(57)【要約】【課題】動画サイトにアップロードされた演奏ファイルは有効利用されていない。【解決手段】オーディオＣＤメタデータ受信部１２は、記録媒体に録音された楽曲を一意に識別する楽曲識別情報を取得する。演奏パートデータ受信部１０は、楽曲の特定のパートを楽器で演奏して得られた演奏データを取得する。特徴解析部１６は、演奏データの音楽特徴量を解析する。単一楽器判定部１８は、特徴解析部１６による解析結果にもとづき、演奏データは、単一の楽器で演奏されたものであるか否かを判定する。演奏ファイル生成部２０は、楽曲識別情報を演奏データに関連づけた演奏ファイルを生成する。演奏ファイル登録部２２は、単一楽器判定部１８によって単一の楽器で演奏されたものであると判定された場合、演奏ファイルを演奏ファイルデータベース１１０に登録する。【選択図】図２
2012018282.tif 000002
【特許請求の範囲】
【請求項１】
録音された楽曲を一意に識別する楽曲識別情報を取得する楽曲識別情報取得部と、
楽曲の特定のパートを楽器で演奏して得られた演奏データを取得する演奏データ取得部と、
前記演奏データの音楽特徴量を解析する解析部と、
前記解析部による解析結果にもとづき、前記演奏データは、単一の楽器で演奏されたものであるか否かを判定する判定部と、
前記楽曲識別情報を前記演奏データに関連づけた演奏ファイルを生成する演奏ファイル生成部と、
前記判定部によって単一の楽器で演奏されたものであると判定された場合、前記演奏ファイルを演奏ファイルデータベースに登録する登録部とを含むことを特徴とする演奏ファイル管理装置。
【請求項２】
前記判定部によって前記演奏データが複数の楽器で演奏されたものであると判定された場合、前記登録部は、前記演奏データには著作権侵害の可能性があるものとして、前記演奏ファイルの前記演奏ファイルデータベースへの登録を拒否することを特徴とする請求項１に記載の演奏ファイル管理装置。
【請求項３】
前記楽器で演奏された前記楽曲のパートを識別する演奏パート識別情報を取得する演奏パート識別情報取得部をさらに備え、
前記演奏ファイル生成部は、前記楽曲識別情報と前記演奏パート識別情報を前記演奏データに関連づけた演奏ファイルを生成することを特徴とする請求項１または２に記載の演奏ファイル管理装置。
【請求項４】
前記楽曲の特定のパートを楽器で演奏するユーザの動画像データを取得する演奏画像取得部をさらに含み、
前記演奏ファイル生成部は、前記ユーザの動画像データを前記演奏ファイルに含めることを特徴とする請求項１から３のいずれかに記載の演奏ファイル管理装置。
【請求項５】
録音された楽曲を一意に識別する楽曲識別情報を取得する楽曲識別情報取得部と、
楽曲の特定のパートを楽器で演奏して得られた演奏データを取得する演奏データ取得部と、
前記楽曲識別情報を前記演奏データに関連づけた演奏ファイルを生成する演奏ファイル生成部と、
前記演奏ファイルを演奏ファイルデータベースに登録する登録部と、
前記演奏ファイルデータベースに登録された前記演奏ファイルを前記楽曲識別情報により互いに関連づけたマッチングデータを生成するマッチング部とを含むことを特徴とする演奏ファイル管理装置。
【請求項６】
前記楽器で演奏された前記楽曲のパートを識別する演奏パート識別情報を取得する演奏パート識別情報取得部をさらに備え、
前記演奏ファイル生成部は、前記楽曲識別情報と前記演奏パート識別情報を前記演奏データに関連づけた演奏ファイルを生成し、
前記マッチング部は、前記演奏ファイルデータベースに登録された前記演奏ファイルを前記楽曲識別情報により互いに関連づけ、同一楽曲内では、前記演奏ファイルを前記演奏パート識別情報で互いに関連づけたマッチングデータを生成する請求項５に記載の演奏ファイル管理装置。
【請求項７】
楽曲の特定のパートを楽器で演奏した演奏データを楽曲識別情報と演奏パート識別情報に関連づけた演奏ファイルが登録された演奏ファイルデータベースに対して、楽曲の検索条件を指定して演奏ファイルを検索する検索部と、
検索の結果得られた楽曲の演奏ファイルの中から、他人が演奏したパートの演奏ファイルを選択する演奏パート選択部と、
演奏パート選択部により選択された、他人が演奏したパートの演奏ファイルの演奏データを受信する受信部と、
ユーザが楽器を用いて楽曲の特定のパートを演奏した演奏データを入力する演奏パート入力部と、
受信された他人が演奏したパートの演奏データと、ユーザが演奏するパートの演奏データとを同期させて再生する同期再生部とを含むことを特徴とする演奏ファイル再生装置。
【請求項８】
楽曲の特定のパートを楽器で演奏した演奏データを楽曲識別情報と演奏パート識別情報に関連づけた演奏ファイルが登録された演奏ファイルデータベースを参照して、前記演奏ファイルを前記楽曲識別情報により互いに関連づけ、同一楽曲内では、前記演奏ファイルを前記演奏パート識別情報で互いに関連づけたマッチングデータを生成して表示するステップと、
表示された楽曲の演奏ファイルの中から、他人が演奏したパートの演奏ファイルを選択して、他人が演奏したパートの演奏ファイルの演奏データを受信するステップと、
ユーザが楽器を用いて楽曲の特定のパートを演奏した演奏データを入力して、受信された他人が演奏したパートの演奏データに同期させて再生するステップとを含むことを特徴とする演奏ファイル再生方法。
【請求項９】
楽曲の特定のパートを楽器で演奏した演奏データを楽曲識別情報と演奏パート識別情報に関連づけた演奏ファイルが登録された演奏ファイルデータベースを参照して、前記演奏ファイルを前記楽曲識別情報により互いに関連づけ、同一楽曲内では、前記演奏ファイルを前記演奏パート識別情報で互いに関連づけたマッチングデータを生成して表示する機能と、
表示された楽曲の演奏ファイルの中から、他人が演奏したパートの演奏ファイルを選択して、他人が演奏したパートの演奏ファイルの演奏データを受信する機能と、
ユーザが楽器を用いて楽曲の特定のパートを演奏した演奏データを入力して、受信された他人が演奏したパートの演奏データに同期させて再生する機能とをコンピュータに実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、楽曲の演奏ファイルを管理する装置、その演奏ファイルを再生する装置および方法に関する。
【背景技術】
【０００２】
ＭＰ３（ＭＰＥＧ  Ａｕｄｉｏ  Ｌａｙｅｒ−３）などの音声圧縮技術の進歩により、音楽を携帯端末や携帯ゲーム機に保存して、外出先で聴いたり、自宅のパーソナルコンピュータで音楽のストリーム配信を楽しんだり、音楽ファイルを自由に加工することが手軽にできるようになった。
【０００３】
楽器の好きなユーザであれば、自分で楽器を演奏してビデオに撮影し、動画サイトなどに投稿して他のユーザに見せることもできる。また、ユーザがライブで楽器を演奏している様子をホームビデオなどで撮影して、インターネットを介してリアルタイムでストリーム配信することも手軽に行える。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
動画サイトには、いろいろなユーザが既存楽曲やオリジナル楽曲のパートを楽器で演奏している様子が投稿されている。しかしながら、動画サイトにアップロードされた演奏ファイルを一元的に管理し、音楽愛好者または楽器演奏者に演奏ファイルを提供するポータルサービスのようなものがないため、アップロードされた演奏ファイルが有効利用されていない現状がある。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、楽曲の演奏ファイルを管理し、ユーザに効率良く提供することのできる技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の演奏ファイル管理装置は、録音された楽曲を一意に識別する楽曲識別情報を取得する楽曲識別情報取得部と、楽曲の特定のパートを楽器で演奏して得られた演奏データを取得する演奏データ取得部と、前記演奏データの音楽特徴量を解析する解析部と、前記解析部による解析結果にもとづき、前記演奏データは、単一の楽器で演奏されたものであるか否かを判定する判定部と、前記楽曲識別情報を前記演奏データに関連づけた演奏ファイルを生成する演奏ファイル生成部と、前記判定部によって単一の楽器で演奏されたものであると判定された場合、前記演奏ファイルを演奏ファイルデータベースに登録する登録部とを含む。
【０００７】
本発明の別の態様もまた、演奏ファイル管理装置である。この装置は、録音された楽曲を一意に識別する楽曲識別情報を取得する楽曲識別情報取得部と、楽曲の特定のパートを楽器で演奏して得られた演奏データを取得する演奏データ取得部と、前記楽曲識別情報を前記演奏データに関連づけた演奏ファイルを生成する演奏ファイル生成部と、前記演奏ファイルを演奏ファイルデータベースに登録する登録部と、前記演奏ファイルデータベースに登録された前記演奏ファイルを前記楽曲識別情報により互いに関連づけたマッチングデータを生成するマッチング部とを含む。
【０００８】
本発明のさらに別の態様は、演奏ファイル再生装置である。この装置は、楽曲の特定のパートを楽器で演奏した演奏データを楽曲識別情報と演奏パート識別情報に関連づけた演奏ファイルが登録された演奏ファイルデータベースに対して、楽曲の検索条件を指定して演奏ファイルを検索する検索部と、検索の結果得られた楽曲の演奏ファイルの中から、他人が演奏したパートの演奏ファイルを選択する演奏パート選択部と、演奏パート選択部により選択された、他人が演奏したパートの演奏ファイルの演奏データを受信する受信部と、ユーザが楽器を用いて楽曲の特定のパートを演奏した演奏データを入力する演奏パート入力部と、受信された他人が演奏したパートの演奏データと、ユーザが演奏するパートの演奏データとを同期させて再生する同期再生部とを含む。
【０００９】
本発明のさらに別の態様は、演奏ファイル再生方法である。この方法は、楽曲の特定のパートを楽器で演奏した演奏データを楽曲識別情報と演奏パート識別情報に関連づけた演奏ファイルが登録された演奏ファイルデータベースを参照して、前記演奏ファイルを前記楽曲識別情報により互いに関連づけ、同一楽曲内では、前記演奏ファイルを前記演奏パート識別情報で互いに関連づけたマッチングデータを生成して表示するステップと、表示された楽曲の演奏ファイルの中から、他人が演奏したパートの演奏ファイルを選択して、他人が演奏したパートの演奏ファイルの演奏データを受信するステップと、ユーザが楽器を用いて楽曲の特定のパートを演奏した演奏データを入力して、受信された他人が演奏したパートの演奏データに同期させて再生するステップとを含む。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、楽曲の演奏ファイルを管理し、ユーザに効率良く提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係るオンラインセッションシステムの構成図である。
【図２】図１のサーバに実装される演奏ファイル管理装置の構成図である。
【図３】図１のクライアントに実装される演奏ファイル再生装置の構成図である。
【図４】ユーザの演奏ファイルの登録手続きを示すフローチャートである。
【図５】ユーザが他人の演奏ファイルを選択して、オンラインセッションを組む処理を示すフローチャートである。
【図６】図１のクライアントのディスプレイに表示されるマッチングデータの画面例である。
【図７】演奏ファイルのリンク構造を説明する図である。
【図８】演奏ファイルの詳細を表示する画面例である。
【発明を実施するための形態】
【００１３】
図１は、本発明の実施の形態に係るオンラインセッションシステムの構成図である。このオンラインセッションシステムでは、楽曲の特定のパートを楽器で演奏するユーザが、同じ楽曲の他のパートを楽器で演奏する他人とオンラインでセッションを組むことができる。オンラインセッションシステムは、サーバ１００、演奏ファイルデータベース１１０、オーディオＣＤデータベース１２０、クライアント２００、楽器２１０、およびカメラ２２０を含む。サーバ１００、クライアント２００、オーディオＣＤデータベース１２０はネットワーク２４０に接続されている。
【００１４】
サーバ１００は、演奏ファイルデータベース１１０を有し、楽曲の特定のパートを楽器で演奏したデータを含む演奏ファイルを演奏ファイルデータベース１１０に登録する。
【００１５】
オーディオＣＤデータベース１２０は、オーディオＣＤ（Compact Disc）に録音された楽曲や圧縮ファイル形式の楽曲のメタ情報を管理するデータベースであり、サーバ１００またはクライアント２００からアクセス可能である。
【００１６】
クライアント２００は、ユーザが操作するパーソナルコンピュータ、ゲーム機、携帯端末であり、ネットワーク２４０に有線または無線で接続可能な通信機能を有する。クライアント２００には楽器２１０およびカメラ２２０が接続されており、楽器２１０による演奏をクライアント２００にライン入力し、ユーザが演奏している様子を動画像でクライアント２００に入力することができる。
【００１７】
図２は、サーバ１００に実装される演奏ファイル管理装置の構成図である。演奏ファイル管理装置は、楽曲の特定のパートをユーザが楽器を用いて演奏した演奏データにメタデータを関連づけた演奏ファイルを演奏ファイルデータベース１１０に登録する機能、演奏ファイルデータベース１１０に登録された演奏ファイルをメタデータをもとにマッチングさせてユーザに提供する機能、ユーザが指定した演奏ファイルをストリーム配信する機能などを有する。
【００１８】
演奏パートデータ受信部１０は、クライアント２００からユーザが楽器を用いて楽曲の特定のパートを演奏した演奏データを受信する。オーディオＣＤメタデータ受信部１２は、ユーザが楽曲の演奏をする際に利用したオーディオＣＤに録音された楽曲を識別するメタデータをクライアント２００から受信する。演奏パートメタデータ受信部１３は、ユーザが演奏している楽曲のパートを識別するメタデータを受信する。演奏画像データ受信部１４は、楽曲を演奏中のユーザの動画像を受信する。
【００１９】
特徴解析部１６は、演奏パートデータ受信部１０により受信したユーザの演奏データの音楽的特徴を解析する。一例として、特開２００８−１２２４２６号公報に記載されている解析技術を用いて、演奏データの周波数特性から演奏データの音楽的特徴量を抽出する。この音楽解析技術は、音楽の波形を解析し、音程、テンポ、拍子、ビート、コード進行、キー、楽曲構造を抽出し、楽曲の分類に有効な特徴量を抽出する。そして、抽出された特徴量を元に音楽検索のキーとして利用可能なメタデータを決定する。メタデータの例として、音楽のスピード感やエネルギー感のような指標、あるいは、ロック、ジャズ、クラシックなどのジャンル、明るい、暗い、荘厳など音楽全体のムード、演奏に使用されている楽器音（ピアノ、ベース、ギターなどの楽器の種別）などがある。
【００２０】
単一楽器判定部１８は、特徴解析部１６による解析結果にもとづいて、ユーザの演奏データが単一の楽器で演奏されたものであるかどうかを判定する。たとえば、演奏データが、ギター、ドラム、キーボードなどのいずれの単一の楽器で演奏されたものであるかどうかは、演奏データに含まれる音の種類を解析すれば、ある程度の正確さをもって判定することができる。複数の楽器で演奏されたものであれば、複数種類の音が含まれるから、容易に複数の楽器で演奏されたものをはじくことができる。単一楽器判定部１８は、判定結果を演奏ファイル生成部２０または演奏ファイル登録部２２に与える。
【００２１】
演奏ファイル生成部２０は、オーディオＣＤメタデータ受信部１２が受信した楽曲のメタデータを、演奏パートデータ受信部１０が受信した演奏データに関連づけた演奏ファイルを生成する。演奏ファイル生成部２０は、演奏パートメタデータ受信部１３が受信した演奏パートのメタデータを演奏データにさらに関連づけることもできる。また、演奏ファイル生成部２０は、演奏画像データ受信部１４が受信した演奏しているユーザの動画像を演奏ファイルに含めることもできる。
【００２２】
演奏ファイル登録部２２は、単一楽器判定部１８によってユーザの演奏データが単一の楽器で演奏されたものであると判定された場合、演奏ファイル生成部２０が生成した演奏ファイルを演奏ファイルデータベース１１０に登録する。単一楽器判定部１８によってユーザの演奏データが単一の楽器で演奏されたものであると判定されなかった場合は、演奏ファイルの演奏ファイルデータベース１１０への登録を拒否する。
【００２３】
演奏ファイル生成部２０は、単一楽器判定部１８によってユーザの演奏データが単一の楽器で演奏されたものであると判定されなかった場合は、演奏ファイルの生成をせず、演奏ファイル登録部２２に演奏ファイルを与えないように構成してもよい。
【００２４】
検索部２３は、クライアント２００から楽曲の検索条件を受信して、検索条件に合う楽曲の各パートを演奏した演奏ファイルを演奏ファイルデータベース１１０から検索して、メタデータマッチング部２５に与える。メタデータマッチング部２５は、検索条件に合った演奏ファイルをメタデータにより互いに関連づけたマッチングデータを生成する。メタデータマッチング部２５は、演奏ファイルを楽曲のメタデータにより互いに関連づけ、同一楽曲内では、さらに演奏パートのメタデータで互いに関連づけたマッチングデータを生成する。マッチングデータ送信部２７は、生成されたマッチングデータをクライアント２００に送信する。
【００２５】
オーディオストリーム送信部２４は、クライアント２００からのリクエストに応じて、指定された演奏ファイルの演奏データをクライアント２００にストリーム配信する。ビデオストリーム送信部２６は、クライアント２００からのリクエストに応じて、指定された演奏ファイルに含まれるユーザの動画像データをクライアント２００にストリーム配信する。
【００２６】
図３は、クライアント２００に実装される演奏ファイル再生装置の構成図である。演奏ファイル再生装置は、楽曲の特定のパートをユーザが楽器で演奏した演奏データをサーバ１００に送信して登録する機能、サーバ１００に登録された演奏ファイルの中からユーザが演奏したい楽曲の他のパートの演奏ファイルを検索してダウンロードし、ユーザの演奏パートと同期させて再生する機能などを有する。
【００２７】
ユーザはオーディオＣＤ３００をクライアント２００のＣＤ読み取り装置に挿入して、オーディオＣＤ３００をヘッドホンなどで聴きながら、楽器を使って演奏する。オーディオＣＤ読み取り部３０は、オーディオＣＤ３００のリードトラックに書き込まれているＴＯＣ（Table Of Contents）と呼ばれる音楽データのトラック数や再生時間のデータなどを読み取り、オーディオＣＤメタデータ取得部３２に与える。オーディオＣＤメタデータ取得部３２は、オーディオＣＤ読み取り部３０により読み出されたＴＯＣのデータをもとにオーディオＣＤデータベース１２０に問い合わせを行い、楽曲のタイトルやアーティスト名などのメタデータを取得する。オーディオＣＤメタデータ取得部３２は、このメタデータをサーバ１００に送信する。
【００２８】
演奏パートデータ入力部５２は、ユーザが演奏する楽器２１０からライン入力される楽曲の特定のパートの演奏データを受け取り、サーバ１００に送信する。演奏パートメタデータ入力部５１は、ユーザが演奏する楽曲のパートに関するメタデータをサーバ１００に送信する。ビデオ入力部４２は、カメラ２２０が撮影する演奏中のユーザの動画像データを受け取り、サーバ１００に送信する。
【００２９】
サーバ１００側では、クライアント２００から、演奏パートデータ受信部１０が演奏データを受信し、オーディオＣＤメタデータ受信部１２が楽曲を識別するメタデータを受信し、演奏パートメタデータ受信部１３が演奏パートを識別するメタデータを受信し、演奏画像データ受信部１４が演奏中のユーザの動画像データを受信する。サーバ１００は、これらのデータをもとに、前述のように、演奏ファイルの演奏ファイルデータベース１１０への登録の可否を決定する。
【００３０】
検索部３４は、ユーザから楽曲の検索条件を受け取るか、オーディオＣＤメタデータ取得部３２からオーディオＣＤ３００に録音された楽曲のメタデータを受け取り、サーバ１００に楽曲の検索コマンドを送信する。検索部３４は、サーバ１００から検索結果をマッチングデータの形で受け取る。このマッチングデータは、ユーザの指定した楽曲を中心として、演奏ファイルを楽曲のメタデータにより互いに関連づけ、同一楽曲内では、さらに演奏パートのメタデータで互いに関連づけたものである。
【００３１】
マッチングデータ表示出力部３８は、クライアント２００に接続されたディスプレイにマッチングデータをグラフィカル表示する。演奏パート選択部４０は、グラフィカルユーザインタフェース（ＧＵＩ）を提供して、ユーザがグラフィカル表示されたマッチングデータの中から他人が演奏したパートの演奏ファイルを選択することを支援する。
【００３２】
演奏パート選択部４０は、ユーザが選択した他人の演奏ファイルの情報をビデオストリーム受信部４４とオーディオストリーム受信部５４に与える。ビデオストリーム受信部４４とオーディオストリーム受信部５４は、サーバ１００に演奏ファイルの情報を送信し、演奏ファイルに含まれる他人の演奏データと演奏中の他人の動画像データのストリーム配信を依頼する。
【００３３】
オーディオストリーム受信部５４は、サーバ１００から受信した演奏データをオーディオストリーム同期再生部５６に与える。オーディオストリーム同期再生部５６は、演奏パートデータ入力部５２からユーザが楽器を用いて楽曲の特定のパートを演奏した演奏データを受け取り、オーディオストリーム受信部５４から受信された他人が演奏したパートの演奏データと同期させて再生し、オーディオ出力部５８に与える。オーディオ出力部５８は同期再生されたオーディオ信号を合成してスピーカに出力する。これにより、ユーザはあたかも他人とセッションをしているかのような経験をすることができる。
【００３４】
ここで、ユーザがそれぞれ別々に楽曲のパートを演奏した演奏データを同期させることができる理由を説明する。ユーザは音楽ＣＤやＭＰ３ファイルを再生して聴きながら、楽器を演奏している。同じ楽曲を聴いて演奏したものであれば、同期が取れるはずであるが、単に曲名が同じだけでは、同期が取れないことがある。たとえば、同じ曲でも、ライブで演奏された楽曲と、アルバムに収録されたレコーディング曲とでは、一般にテンポが合わないからである。また、同じ曲でも別のアーティストがカバーした楽曲もあり、全く別の曲に仕上がっていることもある。商用のＣＤＤＢでは、同じ曲でもライブ版とベストアルバム版を別の楽曲として管理しており、また、カバーしたアーティストが異なれば、別の曲として管理する。そこで、本実施の形態では、ＣＤＤＢで識別された楽曲のメタデータにユーザの演奏データを関連づけることで、演奏の元になっている楽曲をユニークに特定できるようにした。本実施の形態では、楽曲のユニークな識別情報で関連づけられた演奏ファイル間でマッチングが取られるため、同期を取ったとき、曲が違ってテンポなどが合わない心配がない。
【００３５】
また、ユーザが、他人の演奏ファイルの演奏データを聴きながら、自分のパートを演奏して演奏ファイルを登録した場合も、他人の演奏ファイルが、ＣＤＤＢで識別された楽曲の識別情報に関連づけられたものであれば、ユーザが演奏した演奏ファイルも同一の楽曲の識別情報に関連づけることができる。したがって、あるパートを聴きながら、他のパートを弾き、演奏データをアップロードすることを繰り返しても、最初の演奏ファイルがＣＤＤＢで一意に決まる楽曲の識別情報に間違いなく関連づけられていれば、同期を取ったときにテンポのずれなどの問題が生じることはない。
【００３６】
ビデオストリーム受信部４４は、サーバ１００から受信した演奏中の他人の動画像データをビデオストリーム同期再生部４６に与える。ビデオストリーム同期再生部４６は、ビデオ入力部４２から演奏中のユーザの動画像データを受け取り、ビデオストリーム受信部４４から受信された他人の動画像データと同期させて再生し、ビデオ出力部４８に与える。ビデオ出力部４８は、同期再生されたビデオデータを一画面に合成して、ディスプレイに表示する。他人の楽曲による演奏だけでなく、演奏中の他人の動画像を同期させることで、セッションのライブ感を高めることができる。
【００３７】
図４は、ユーザの演奏ファイルの登録手続きを示すフローチャートである。図４に示すフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ１４のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ１４のＮ）と表示する。
【００３８】
ユーザは、クライアント２００上でオーディオＣＤに録音された曲を再生するか、あるいはＭＰ３形式などの圧縮音声ファイルフォーマットで提供される音楽ファイルを再生して、楽曲を聴きながら、楽器２１０で自分の弾きたいパートを演奏する。楽器２１０の出力は、クライアント２００にライン入力されており、演奏されたパートはクライアント２００に直接、入力される（Ｓ１０）。ユーザは、ボーカルのパートを担当してもよく、その場合は、マイクなどから歌声をクライアント２００に入力する。
【００３９】
入力された演奏パートのデータはサーバ１００に送信され、音楽的特徴が解析される（Ｓ１２）。解析結果を踏まえて、演奏パートデータが単一楽器で演奏されたものであるかどうかが判定される（Ｓ１４)。演奏パートデータに複数の楽器の音が混ざっていると判定された場合（Ｓ１４のＮ）、当該演奏パートデータは登録を拒否され、登録処理は終了する（Ｓ１６）。演奏パートデータに複数の楽器の音が混ざっていると場合、音楽ＣＤをリッピングしたデータである可能性があるため、著作権保護の観点から登録を受け付けないことにした。
【００４０】
ステップＳ１４の判定の結果、単一の楽器で演奏されたものであると認定される場合（Ｓ１４のＹ）、ステップＳ１８に進む。商用のＧｒａｃｅｎｏｔｅ（登録商標）のＣＤＤＢ機能などを利用して、ユーザが演奏の際に利用した音楽ＣＤから取得されるＴＯＣなどの情報をもとに楽曲のメタデータを取得する（Ｓ１８）。楽曲のメタデータには、楽曲の識別情報、曲名、アーティスト名などが含まれる。ユーザの演奏パートデータに楽曲のメタデータを関連づけて演奏ファイルを生成する（Ｓ２０）。演奏ファイルは演奏ファイルデータベース１１０に登録される。
【００４１】
図５は、ユーザが他人の演奏ファイルを選択して、オンラインセッションを組む処理を示すフローチャートである。
【００４２】
ユーザは、オーディオＣＤ３００で聴いている楽曲を指定するか、楽曲の曲名やアーティスト名などを検索条件として直接指定して、演奏ファイルデータベース１１０から該当する演奏ファイルを検索する（Ｓ３０）。メタデータマッチング部２５は、ユーザが指定する楽曲に関連する演奏ファイルを、楽曲のメタデータと演奏パートのメタデータをもとにマッチングさせてユーザに提示する（Ｓ３２）。メタデータマッチング部２５の機能は、サーバ１００側に設けられてもクライアント２００側に設けられてもよい。
【００４３】
図６は、クライアント２００のディスプレイに表示されるマッチングデータの画面例である。ユーザが楽曲のタイトル「いとしのレイラ」、アーティスト名「エリック・クランプトン」、演奏パート「ギター」を検索条件として演奏ファイルを検索した例を示す。「いとしのレイラ」のパートをギターで演奏したファイル（符号７０ａ、７０ｂなど）が互いにリンク付けされて、符号８０で示すグループを形成している。ＣＤＤＢで同一曲であると識別された楽曲のギターのパートを演奏しているという共通性をもとにこれらの演奏ファイルは互いに直接的または間接的に関連付けされる。あるユーザＡの楽器の演奏ファイルを別のユーザＢが聴きながら同じ楽器で演奏した場合、ユーザＢの演奏ファイルはユーザＡの演奏ファイルに直接的にリンク付けされる。
【００４４】
「いとしのレイラ」を他の楽器で演奏した演奏ファイルも同じ画面に表示される。ギターのパートの演奏ファイルと同様に、「いとしのレイラ」のドラムのパートの演奏ファイル（符号７２ａ、７２ｂなど）は互いにリンク付けされて、符号８２で示すグループを形成している。また、「いとしのレイラ」のキーボードのパートの演奏ファイル（符号７４ａ、７４ｂなど）も互いにリンク付けされて、符号８４で示すグループを形成している。
【００４５】
「いとしのレイラ」という同一の楽曲について、ギターのパートの演奏ファイルのグループ８０と、ドラムのパートの演奏ファイルのグループ８２と、キーボードのパートの演奏ファイルのグループ８４とは互いにリンク付けされている。ＣＤＤＢで同一曲であると識別された楽曲について演奏しているという共通性をもとにこれらの演奏ファイルのグループは互いに関連付けされている。各グループ内の演奏ファイルは、グループをまたがって、直接的または間接的に関連付けられる。あるユーザＡが「いとしのレイラ」をギターで演奏したファイルを別のユーザＢが聴きながらの同じ曲をドラムで演奏した場合、ユーザＢのドラムの演奏ファイルはユーザＡのギターの演奏ファイルに直接的にリンク付けされる。
【００４６】
さらに、同じ検索画面には、エリック・クランプトンがカバーした「チェンジ・ザ・ワールド」の演奏ファイルもリンク付けされて表示される。「チェンジ・ザ・ワールド」のドラムのパートの演奏ファイル（符号７６ａ、７６ｂなど）は互いにリンク付けされて、符号８６で示すグループを形成している。また、「チェンジ・ザ・ワールド」のキーボードのパートの演奏ファイル（符号７８ａ、７８ｂなど）も互いにリンク付けされて、符号８８で示すグループを形成している。
【００４７】
「チェンジ・ザ・ワールド」のドラムのパートの演奏グループ８６が、「いとしのレイラ」のドラムのパートの演奏グループ８２に関連付けられているのは、アーティストが同じで、演奏に用いた楽器が同じためである。同じ理由で「チェンジ・ザ・ワールド」のキーボードのパートの演奏グループ８８は、「いとしのレイラ」のキーボードのパートの演奏グループ８４に関連付けられている
【００４８】
図７は、演奏ファイルのリンク構造を説明する図である。符号７０は、「いとしのエイラ」をユーザＡがギターで演奏した演奏データのファイルであり、メタデータとして楽曲ＩＤ「ａｂｃ」、タイトル「いとしのレイラ」、アーティスト名「エリック・クラプトン」、ユーザ名「Ａ」、演奏パート「ギター」が付けられている。図６の画面例でも説明したように、同一の楽曲の異なる楽器による演奏ファイルは互いにリンク付けされる。符号７２は、「いとしのレイラ」をユーザＢがドラムで演奏したデータのファイルであり、符号７４は、「いとしのレイラ」をユーザＣがキーボードで演奏した演奏データのファイルであり、いずれも、符号７０の同曲をユーザＡがギターで演奏した演奏データのファイルにリンク付けされている。ここで、楽曲の同一性は、タイトルとアーティスト名の一致で判断されるのではなく、ＣＤＤＢで識別される楽曲ＩＤの一致で判断されることに留意する。同じ曲でもライブ演奏の録音とＣＤ用にスタジオで録音されたものとではテンポなどが微妙に異なるからである。
【００４９】
符号７８は、「チェンジ・ザ・ワールド」をユーザＤがキーボードで演奏した演奏データのファイルであり、メタデータとして、楽曲ＩＤ「ｄｅｆ」、タイトル「チェンジ・ザ・ワールド」、アーティスト名「エリック・クラプトン」、ユーザ名「Ｄ」、演奏パート「キーボード」が含まれる。符号７８は、「チェンジ・ザ・ワールド」をユーザＥがドラムで演奏した演奏データのファイルであり、メタデータとして、楽曲ＩＤ「ｄｅｆ」、タイトル「チェンジ・ザ・ワールド」、アーティスト名「エリック・クラプトン」、ユーザ名「Ｅ」、演奏パート「ドラム」が含まれる。
【００５０】
「チェンジ・ザ・ワールド」のキーボードの演奏ファイル７８は、「いとしのレイラ」のキーボードの演奏ファイル７４にリンク付けられる。これは、曲が違っても、アーティストが共通し、演奏パートが同じためである。「チェンジ・ザ・ワールド」のキーボードの演奏ファイル７８と、「チェンジ・ザ・ワールド」のドラムの演奏ファイル７６とは、楽曲ＩＤが共通する楽曲の異なる楽器による演奏であるため、互いにリンク付けされる。さらに、「チェンジ・ザ・ワールド」のドラムの演奏ファイル７６は、「いとしのレイラ」のドラムの演奏ファイル７２にリンク付けられる。曲は異なるが、アーティストが共通し、演奏パートが同じだからである。
【００５１】
図８は、演奏ファイルの詳細を表示する画面例である。ユーザが図６の検索画面において「いとしのレイラ」のギター演奏ファイルの１つ（符号７０ａ）を選択すると、符号９２で示すように、ファイルの詳細内容を提供するウインドウが表示される。このウインドウ内には、この演奏ファイルのメタデータを含む詳細情報が表示される。たとえば、楽曲のタイトル、アーティスト名、ユーザ名、演奏パート、演奏時間、演奏回数、評価、コメント、演奏中のユーザの動画像または静止画像が表示される。「演奏回数」は、この演奏ファイルを他のユーザが選択して、再生した回数である。「評価」は、他のユーザがこの演奏ファイルの良し悪しをたとえば５段階で評価した値である。「コメント」は、この演奏ファイルをアップロードしたユーザによるメッセージである。
【００５２】
プレビューボタン９４を選択すると、この演奏ファイルの演奏データを視聴することができる。そのとき、演奏中のユーザの動画像が再生されるようにしてもよい。
【００５３】
ユーザは演奏ファイルの詳細画面を参考にして、バンド編成に用いる演奏ファイルを最終的に決定し、セッションを構成することができる。
【００５４】
図５を再び参照する。ユーザは、グラフィカル表示されたマッチングデータを閲覧しながら、指定した楽曲の自分のパート以外のパートを演奏している他人の演奏ファイルを見つけて選択する（Ｓ３４）。たとえば、ユーザがエレキギターを弾いており、ドラムやピアノと合わせてセッションを組みたいときは、同一曲のドラム、ピアノの各パートを他人が演奏した演奏ファイルを見つけて選択する。
【００５５】
サーバ１００から他人の演奏ファイルに含まれる演奏データと動画像データを受信する（Ｓ３６）。ユーザが自分の楽器２１０で演奏するパートと、他人が別の楽器で演奏するパートを同期させて合成したオーディオ信号を生成し、演奏中のユーザの動画像と他人の動画像を同期させて合成したビデオ信号を生成する（Ｓ３８）。合成されたオーディオ信号をスピーカに出力し、合成されたビデオ信号をディスプレイに出力する（Ｓ４０）。これによりユーザの望み通りのセッションをオンラインで作ることができる。
【００５６】
以下、本実施の形態に係るオンラインセッションシステムの様々な利用形態について説明する。オンラインセッションモードとして次の４種類がある。
【００５７】
（１）カバーセッションモード
これは上述したように、アーティスト名やタイトル名などで検索された既存楽曲の一部のパートをユーザが演奏し、残りのパートは他人の演奏ファイルを利用して、好みの編成で既存楽曲をカバーしたセッションを構成するモードである。
【００５８】
（２）オリジナルセッションモード
ユーザが楽器を用いて演奏したオリジナル楽曲の演奏ファイルをサーバ１００で共有することにより、オンラインでセッションを構成するモードである。参加ユーザが増えると、オリジナル楽曲のアップロード数が増え、オリジナル楽曲について自由な編成でセッションを作ることができる。
【００５９】
（３）カラオケセッションモード
好みの楽曲について好みの編成のセッションを構成し、編成されたバンドをバックにして自分の歌声を重ねるモードである。ユーザは、生バンドの前で歌っている気分を味わうことができる。
【００６０】
（４）プロデュースモード
サーバ１００に登録された演奏ファイルの中から好みのユニットやバンドを編成することで、仮想的に演奏グループをプロデュースするモードである。プロデュースした編成をサーバ１００に登録して公開することも可能である。公開されたセッション編成をユーザが選択すると、リアルタイムでそのセッションを編成するパートの演奏データがストリーム配信される。公開されたセッション編成がプレビューまたはダウンロードされた回数を記録することで、プロデューサとしての評価が算定される。
【００６１】
これらのオンラインセッションモード以外に、楽器初心者を支援するモードとしてプラクティスモードを設けてもよい。ＣＤ音源等の既存の音楽データを解析すると、使用されている楽器を特定し、その楽器で演奏するためのコードやタブ（ＴＡＢ）譜を自動生成することが可能である。ユーザがＣＤなどから楽曲を聴くのに合わせて、コードやタブ譜を表示することで楽器の演奏を支援する。特に、譜面が読めないユーザには、タブ譜を画面に表示したり、弾く弦をグラフィカルに表示することで演奏の支援が可能である。あるいは、クライアント２００が、ユーザが演奏したい楽曲をユーザのもっている楽器で演奏した演奏ファイルをサーバ１００から検索し、手本として再生することで、楽器の演奏を支援してもよい。
【００６２】
以上述べたように、本実施の形態のオンラインセッションシステムでは、複数の楽器で演奏されたものと判定される演奏ファイルの登録を拒否することで、著作権侵害のリスクをクリアしたビジネスモデルを構築することができる。また、ＣＤＤＢなどで一意に特定される楽曲識別情報をもとに演奏ファイルのマッチングを取ることから、同一曲名であっても、生演奏の録音とＣＤ用にスタジオで録音したものを区別したり、カバーしたアーティストの違いに対応することができる。これにより、オンラインセッションを構成する際、確実に同一楽曲の演奏パートを互いに組み合わせることができ、同期の際にずれが生じることがない。
【００６３】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６４】
上記の実施の形態では、クライアント２００からのリクエストに応じて、指定された演奏ファイルの演奏データがクライアント２００にストリーム配信される例を説明したが、クライアント２００は、演奏ファイルをサーバ１００からストリーム受信するだけでなく、ダウンロード受信してもよい。
【００６５】
また、上記の実施の形態では、ユーザがオーディオＣＤに記録された音楽を聴いているときに、オーディオＣＤのＴＯＣにもとづいて、楽曲を識別するメタデータをＣＤＤＢから取得する例を説明したが、楽曲を識別するメタデータは、音楽ＣＤだけではなく、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc）（商標）に記録された音楽または映像を再生する場合に、ＤＶＤやＢＤに記録された音楽データのトラック数や再生時間等のデータにもとづいて、楽曲を識別するメタデータをＣＤＤＢのような楽曲データベースから取得してもよい。また、ＣＤ、ＤＶＤ、ＢＤなどの記録媒体からリッピングされたＭＰ３ファイルやＡＣ３などのオーディオファイルを再生する場合に、再生時間等のデータにもとづいて、楽曲を識別するメタデータをＣＤＤＢのような楽曲データベースから取得してもよい。
【符号の説明】
【００６６】
１００  サーバ、  １１０  演奏ファイルデータベース、  １２０  オーディオＣＤデータベース、  ２００  クライアント、  ２１０  楽器、  ２２０  カメラ、  ３００  オーディオＣＤ、  １０  演奏パートデータ受信部、  １２  オーディオＣＤメタデータ受信部、  １３  演奏パートメタデータ受信部、  １４  演奏画像データ受信部、  １６  特徴解析部、  １８  単一楽器判定部、  ２０  演奏ファイル生成部、  ２２  演奏ファイル登録部、  ２３  検索部、  ２５  メタデータマッチング部、  ２７  マッチングデータ送信部、  ３０  オーディオＣＤ読み取り部、  ３２  オーディオＣＤメタデータ取得部、  ３４  検索部、  ３８  マッチングデータ表示出力部、  ４０  演奏パート選択部、  ４２  ビデオ入力部、  ４４  ビデオストリーム受信部、  ４６  ビデオストリーム同期再生部、  ５１  演奏パートメタデータ入力部、  ５２  演奏パートデータ入力部、  ５４  オーディオストリーム受信部、  ５６  オーディオストリーム同期再生部。
【図１】
2012018282.tif 000003
【図２】
2012018282.tif 000004
【図３】
2012018282.tif 000005
【図４】
2012018282.tif 000006
【図５】
2012018282.tif 000007
【図６】
2012018282.tif 000008
【図７】
2012018282.tif 000009
【図８】
2012018282.tif 000010