(57)【要約】【課題】  インターネット音楽セッションにおいて、非ＭＩＤＩ楽器の演奏音を、その特徴を失わず、なおかつ遅れが少ないように、転送する情報量を減らして送信する。【解決手段】  楽器の発音をマイクロフォン１２で集音して楽音信号として出力し、マイクロフォン１２から出力される楽音信号の立ち上がりを検出する。立ち上がりが検出されると、制御部１０は不揮発性記憶部１１ｂからアタック時間Ｗを読み出して計時を開始し、楽音信号をオーディオデータに変換する。次に、サンプリングされたこのオーディオデータを端末２に向けて送信する。そして、アタック時間Ｗが終了すると、オーディオデータと同じピッチを指示するパラメータを含んだＭＩＤＩ信号を生成して、オーディオデータに代えて端末２に向けて送信する。【選択図】      図１
2006284796.tif 000002
【特許請求の範囲】
【請求項１】
楽器から放音される楽音が入力されるとこれを楽音信号として出力する入力手段と、
前記入力手段が出力する楽音信号に対し、波形の立ち上がりから所定の範囲をアタック部として抽出するアタック部抽出手段と、
前記入力手段が出力する楽音信号のピッチを検出するピッチ検出手段と、
前記入力手段が出力する楽音信号の消音時点を検出する消音検出手段と、
ネットワークを介して信号の授受を行う通信手段と、
前記ピッチ検出手段が検出したピッチと同じピッチを指示するピッチパラメータ、前記アタック部の終了時点を楽音の発音タイミングとして指示する発音タイミングパラメータおよび前記消音検出手段が検出した消音時点を消音タイミングとして指示する消音タイミングパラメータを生成するパラメータ生成手段と、
前記入力手段に入力された一の楽音について、前記アタック部抽出手段が抽出した波形信号を波形データに変換して前記通信手段を用いて送信させるとともに、当該波形データの送信に続いて前記パラメータ生成手段が生成したピッチパラメータ、発音タイミングパラメータおよび消音タイミングパラメータを送信させる送信制御手段と
を具備することを特徴とする楽音信号送信端末。
【請求項２】
前記アタック抽出部における前記所定の部分は、前記波形の立ち上がり時から予め定められた所定の区間であることを特徴とする請求項１記載の楽音信号送信端末。
【請求項３】
前記アタック抽出部は、前記波形のレベルが立ち上がり時のピークから所定量下回る時点をアタック終了点として検出し、前記波形の立ち上がりからアタック終了点までをアタック部として抽出することを特徴とする請求項１記載の楽音信号送信端末。
【請求項４】
前記アタック抽出部は、前記波形の立ち上がり時から前記ピッチ検出手段がピッチを検出するまでの間をアタック部として抽出することを特徴とする請求項１記載の楽音信号送信端末。
【請求項５】
前記パラメータ生成手段は、音色を指定する音色パラメータを発生する音色パラメータ発生手段を有し、前記送信制御手段は、ピッチパラメータ、発音タイミングパラメータおよび消音タイミングパラメータに加えて、前記音色パラメータ発生手段が指示した音色パラメータをも前記通信手段に送信させることを特徴とする請求項１から４いずれかに記載の楽音信号送信端末。
【請求項６】
前記音色パラメータ発生手段は、前記入力手段が出力する楽音信号を解析することにより音色を特定し、この音色を示す音色パラメータを発生することを特徴とする請求項５記載の楽音信号送信端末。
【請求項７】
ネットワークを介して信号の授受を行う通信手段と、
前記通信手段が受信した波形データに基づいて楽音信号を生成する波形再生手段と、
前記通信手段が、ピッチを指示するピッチパラメータ、楽音の発音タイミングを指示する発音タイミングパラメータおよび前記楽音の消音タイミングを指示する消音タイミングパラメータを受信した場合には、これらのパラメータに基づいて楽音信号を生成する音源手段と、
前記波形再生手段が生成した楽音信号の再生に続けて前記音源手段が生成した楽音信号の再生を行わせる再生制御手段と
を具備することを特徴とする楽音信号受信端末。
【請求項８】
前記音源手段は、前記通信手段が音色を指示する音色パラメータを受信した場合には、前記音色パラメータに基づく音色により前記楽音信号の生成を行うことを特徴とする請求項７記載の楽音信号受信端末。
【請求項９】
前記再生制御手段は、前記波形再生手段による波形信号の再生が終了する前に前記音源手段が生成した楽音信号の再生を開始し、両者の再生が重なる期間においてはクロスフェード処理を行うことを特徴とする請求項７または８記載の楽音信号受信端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽器の演奏音を集音し、ネットワークを介して送受信する技術に関する。
【背景技術】
【０００２】
ネットワークを介して合奏を行うネットセッションと呼ばれる演奏形態が普及しつつある。この場合、自然楽器の音をデジタル信号化してオーディオデータとして伝送したり、あるいは電子楽器から出力されるＭＩＤＩ（Musical Instrument Digital Interface）信号を伝送したりすることが一般的である。
特許文献１においては、音楽指導を行うシステムにおいて、教師と生徒間の通信を行う際に、マイクによって集音した音声や楽器音についてはオーディオデータで通信を行い、電子楽器の演奏についてはＭＩＤＩ信号で通信を行っている。
【特許文献１】特開２００３−２５５９３５号公報
【０００３】
ところで、ネットワークにおけるデータ伝送は、端末の処理速度の問題、トラフィック増加の問題あるいはネットワークの遅延などの問題を考慮した場合、データ量を減らすことが重要である。この場合、ＭＩＤＩ信号による通信を行った方が、オーディオデータによる通信を行う場合にくらべ、データ量は圧倒的に少ない。
しかしながら、ＭＩＤＩ信号を出力できるのは、電子楽器やＭＩＤＩ機器だけであるから、自然楽器の楽音を伝送しようとした場合は、特許文献１に示されるようにオーディオデータを用いて通信を行うしかなかった。また、オーディオデータのサンプリング周波数を低くしたり、圧縮技術によってデータ量を削減したりすることもできるが、この場合には、自然楽器特有の音色を忠実に伝送することできず、楽音品質が著しく低下してしまうという問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この発明は上述した事情に鑑みてなされたもので、ＭＩＤＩ信号を出力できない自然楽器等の楽音を伝送する際に、楽音の品質を保ちつつ、データ量を削減することができる楽音信号送信端末を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、楽器から放音される楽音が入力されるとこれを楽音信号として出力する入力手段と、前記入力手段が出力する楽音信号に対し、波形の立ち上がりから所定の範囲をアタック部として抽出するアタック部抽出手段と、前記入力手段が出力する楽音信号のピッチを検出するピッチ検出手段と、前記入力手段が出力する楽音信号の消音時点を検出する消音検出手段と、ネットワークを介して信号の授受を行う通信手段と、前記ピッチ検出手段が検出したピッチと同じピッチを指示するピッチパラメータ、前記アタック部の終了時点を楽音の発音タイミングとして指示する発音タイミングパラメータおよび前記消音検出手段が検出した消音時点を消音タイミングとして指示する消音タイミングパラメータを生成するパラメータ生成手段と、前記入力手段に入力された一の楽音について、前記アタック部抽出手段が抽出した波形信号を波形データに変換して前記通信手段を用いて送信させるとともに、当該波形データの送信に続いて前記パラメータ生成手段が生成したピッチパラメータ、発音タイミングパラメータおよび消音タイミングパラメータを送信させる送信制御手段とを具備することを特徴とする楽音信号送信端末を提供する。
【０００６】
本発明の好ましい態様において、前記アタック抽出部における前記所定の部分は、前記波形の立ち上がり時から予め定められた所定の区間であるようにしてもよい。
また、本発明の別の好ましい態様において、前記アタック抽出部は、前記波形のレベルが立ち上がり時のピークから所定量下回る時点をアタック終了点として検出し、前記波形の立ち上がりからアタック終了点までをアタック部として抽出するようにしてもよい。
また、本発明の別の好ましい態様において、前記アタック抽出部は、前記波形の立ち上がり時から前記ピッチ検出手段がピッチを検出するまでの間をアタック部として抽出するようにしてもよい。
【０００７】
また、本発明の別の好ましい態様において、前記パラメータ生成手段は、音色を指定する音色パラメータを発生する音色パラメータ発生手段を有し、前記送信制御手段は、ピッチパラメータ、発音タイミングパラメータおよび消音タイミングパラメータに加えて、前記音色パラメータ発生手段が指示した音色パラメータをも前記通信手段に送信させるようにしてもよい。
また、本発明の更に好ましい態様においては、前記音色パラメータ発生手段は、前記入力手段が出力する楽音信号を解析することにより音色を特定し、この音色を示す音色パラメータを発生するようにしてもよい。
【０００８】
また、本発明は、ネットワークを介して信号の授受を行う通信手段と、前記通信手段が受信した波形データに基づいて楽音信号を生成する波形再生手段と、前記通信手段が、ピッチを指示するピッチパラメータ、楽音の発音タイミングを指示する発音タイミングパラメータおよび前記楽音の消音タイミングを指示する消音タイミングパラメータを受信した場合には、これらのパラメータに基づいて楽音信号を生成する音源手段と、前記波形再生手段が生成した楽音信号の再生に続けて前記音源手段が生成した楽音信号の再生を行わせる再生制御手段とを具備することを特徴とする楽音信号受信端末を提供する。
本発明の好ましい態様においては、前記音源手段は、前記通信手段が音色を指示する音色パラメータを受信した場合には、前記音色パラメータに基づく音色により前記楽音信号の生成を行うようにしてもよい。
また、本発明の更に好ましい態様においては、前記再生制御手段は、前記波形再生手段による波形信号の再生が終了する前に前記音源手段が生成した楽音信号の再生を開始し、両者の再生が重なる期間においてはクロスフェード処理を行うようにしてもよい。
【発明の効果】
【０００９】
特徴のあるアタック部分は実際の波形データ（例えば、オーディオデータ）に基づいて楽音を発音し、アタック部以外はパラメータ（例えばＭＩＤＩデータ）に基づいて発音することによって、自然楽器などで実際に発音される楽音の特徴を損なわせることなく、実際の楽音に近い楽音を発音することが可能となる。しかも、データ転送量は著しく低減される。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照しつつ本発明の実施形態について説明する。
（１）構成
まず、本実施形態に係るシステムの全体構成について説明する。図１は、本実施形態に係るセッションシステムの全体構成を示すブロック図である。図に示すように、このシステムは、端末１と端末２とが通信ネットワークにより接続されて構成される。なお、実際にはより多くの端末が接続されるが、説明の簡略化のために２つの端末１，２だけを示している。
【００１１】
図２は、端末１の構成の示す図である。端末１は、アコースティックギターＡＧなどの自然楽器の音を集音してネットワークを介して他の端末に通信するものである。図において、１０は、ＣＰＵ（Central Processing Unit）等の制御部であり、記憶部１１に格納されているソフトウェアプログラムに従い、ＢＵＳを介して回路各部を制御する。
【００１２】
１２は、アコースティックギターＡＧなどの楽器が放音する楽音を集音するマイクロフォンである。制御部１０は、マイクロフォン１２で集音した楽音に対して所定の処理を行い、デジタルオーディオデータやＭＩＤＩ形式のデジタルデータを生成する。なお、以下の説明では、説明の便宜上、デジタルオーディオデータを「オーディオデータ」と称し、ＭＩＤＩ形式のデジタルデータを、「ＭＩＤＩデータ」と称する。
【００１３】
１３は、通信インターフェース等を有する通信部であり、制御部１０の制御の下、制御部１０が生成したオーディオデータまたはＭＩＤＩデータを、ブロック単位で通信ネットワークを介して端末２に送信する。１４は、計時部であり、時刻を計時して時刻情報ＴＩを出力する。
【００１４】
ここで、制御部１０が生成するデータブロックの構成について、図３を参照しつつ説明する。図示のように、データブロックは、ブロック識別子ＢＩと時刻情報ＴＩとデータＤＡとの３つの情報によって構成される。ブロック識別子ＢＩは、データブロックが、オーディオデータであるかそれともＭＩＤＩデータであるかを示す識別子である。ブロック識別子ＢＩがオーディオデータを示す場合は、データＤＡがオーディオデータであることを示し、ブロック識別子ＢＩがＭＩＤＩデータを示す場合は、データＤＡがＭＩＤＩデータであることを示す。時刻情報ＴＩは、前述した計時部１４が生成する情報である。
【００１５】
記憶部１１は、図２に示すように、揮発性記憶部１１ａと不揮発性記憶部１１ｂとを含んでいる。揮発性記憶部１１ａは、例えばＲＡＭ（Random Access Memory）であり、各種ソフトウェアプログラムにしたがって作動している制御部１０によってワークエリアとして利用される。一方、不揮発性記憶部１１ｂは、例えばＲＯＭ（Read Only Memory）やハードディスクであり、本発明に係る端末１に特有な機能を制御部１０に実現させるためのソフトウェアを格納しておくためのものである。この不揮発性記憶部１１ｂに格納されているソフトウェアの一例としては、ＯＳ（Operating System）を制御部１０に実現させるためのＯＳソフトウェアプログラムと、上記オーディオデータとＭＩＤＩデータの生成処理や送信処理を制御部１０に実行させるためのソフトウェアがある。
【００１６】
また、記憶部１１の不揮発性記憶部１１ｂには、入力される楽器の音のアタック部の時間幅を示すアタック時間Ｗが記憶されている。ここで、図４を参照しながら、このアタック時間Ｗについて以下に説明する。
図４は、マイクロフォン１２が集音する楽器音の波形の一例をグラフで示した図である。図において、横軸は時刻、縦軸は波形の振幅である。この図では、時刻ｔ1に楽音が発生し、時刻ｔ3に消音した場合を表している。波形の立ち上がりから一定区間（時刻ｔ1から時刻ｔ2の間に発音される楽音）は一般にアタック部と呼ばれ、この部分の波形にはその楽器特有の音色や弾き方の特徴が現れる。一方、それ以降（時刻ｔ2から時刻ｔ3の間に発音される楽音）では音の波形がほぼ一定となって徐々に減衰する波形となる。このような波形は電子的に構成しても品質はあまり劣化しないことが知られている。本実施形態においては、アタック部を抽出するための期間として固定のアタック時間Ｗを設定している。この場合、アタック部の時間は、楽器の特性や弾き方によって若干の変動があるが、発音開始時の短い時間であるため、固定の値を設定しても実用上は問題ない。
【００１７】
次に、端末２の構成について図５を参照しつつ説明する。同図において、２０は、例えばＣＰＵ等の制御部であり、記憶部２１に格納されているソフトウェアプログラムに従い、ＢＵＳを介して回路各部を制御する。２２は、ＤＳＰ（Digital signal processor）等の音声信号処理回路およびスピーカ等を有する発音部であり、制御部２０の制御の下に楽音を発音させる。２３は、通信インターフェースを有する通信部であり、制御部２０の制御の下、端末１から送信されるデータブロックを受信する。２４は、計時部であり、発音タイミング等を決定する上で基準となる時刻を生成する。
【００１８】
記憶部２１は、図５に示すように、揮発性記憶部２１ａと不揮発性記憶部２１ｂとを含んでいる。不揮発性記憶部２１ｂには、音色パラメータＴＰが記憶されている。本実施形態の場合は、アコースティックギターの音色を示すパラメータが記憶されている。２５は音源であり、音色パラメータＴＰで示される音色に対応する楽音信号を生成する。この楽音信号は発音部２２に供給され、ここで楽音として放音される。
【００１９】
（２）動作
次に、本実施形態に係るセッションシステムの動作について説明する。
以下では、端末１のユーザがアコースティックギターＡＧ（図２参照）を演奏し、この楽音が端末２に送信される場合を例にとる。なお、以下の説明においては、アコースティックギターＡＧは単音で演奏されるものとする。
【００２０】
（２−１）端末１の動作
図６は、端末１の制御部１０が行う処理を示すフローチャートである。マイクロフォン１２はアコースティックギターＡＧから放音される音を集音し、楽音信号として出力する。制御部１０は、マイクロフォン１２から出力される楽音信号を解析する。
この解析は、ビートトラッキングと呼ばれる一般的な手法が用いられ、マイクロフォン１２が出力する楽音信号と所定の閾値を比較し、信号の立ち上がりを検出する。具体的には、楽音信号に対してハイパスフィルタをかけ、その振れ幅が所定の閾値より大きければ、信号が立ち上がりアタック部が開始されたと認識する。
そして、信号の立ち上がりが検出されると、ステップＳＰ１の判定がＹＥＳとなり、制御部１０は不揮発性記憶部１１ｂからアタック時間Ｗを読み出して計時を開始し（ステップＳＰ２）、マイクロフォン１２が出力する楽音信号（アナログ信号）を所定のサンプリングレートでオーディオデータに変換する。そして、サンプリングされたこのオーディオデータをデータＤＡとして、各サンプリング時点における計時部１４の時刻情報ＴＩを付けてデータブロックを順次生成する。そして、このようにして生成されたデータブロックの各々の識別情報ＢＩをオーディオデータとして、通信部１３から端末２に向けて送信する（ステップＳＰ３）。同時に、制御部１０はオーディオデータを解析してピッチ検出を開始する（ステップＳＰ４）。
【００２１】
そして、アタック時間Ｗの計時が終了して、ステップＳＰ５の判定が「ＹＥＳ」となると、制御部１０はオーディオデータのデータブロックの送信を停止し（ステップＳＰ６）、検出されたピッチをノートとして指定するノートオンのＭＩＤＩデータを生成し、これをデータＤＡとするデータブロックを生成して通信部１３から端末２に向けて送信する（ステップＳＰ７）。このデータブロックには、計時部１４が出力する時刻情報ＴＩが付加され、また、ＭＩＤＩであることを指示する識別情報ＢＩが付加される。このとき、付加される時刻情報ＴＩは、発音開始時刻にアタック時間Ｗが終了する時間を加えた時刻（図４の時刻ｔ2参照）となる。
【００２２】
続けて、制御部１０は、マイクロフォン１２が出力している楽音波形に対して消音したか否かを判定する（ステップＳＰ８）。消音したと判定された場合は（ステップＳＰ８；ＹＥＳ）、ＭＩＤＩのノートオフデータを生成し、データブロックのデータＤＡに配置して送信する（ステップＳＰ９）。このとき、生成されるノートオフデータは、時刻ｔ2において送信したノートオンと同じノートを指示するものであり、また、このノートオフデータに付加される時刻情報ＴＩは消音検出時において計時部１４が出力する時刻情報ＴＩである（図４の時刻ｔ3参照）。一方、ステップＳＰ８において、消音していないと判定された場合は（ステップＳＰ８；ＮＯ）、消音が検出されるまで待機する。
【００２３】
上述した一連の処理において、一つの楽音（単音）がどのように送信されるかについて以下に概略的に説明する。図７の（ａ）は、オーディオデータの波形の一例をグラフで示した図であり、図４と同一のものである。図７の（ｂ）は、図７の（ａ）と対応する時刻に送信されるデータブロックに含まれるオーディオデータまたはＭＩＤＩデータを図示したものであり、図において、Ｄ１はオーディオデータを示し、Ｄ２はＭＩＤＩデータ（ノートオン）、Ｄ３はＭＩＤＩデータ（ノートオフ）を示している。図７の時刻ｔ1において、端末１の演奏者がアコースティックギターＡＧを用いて楽音の発音を開始させると、端末１の制御部１０は、図６のステップＳＰ１→ＳＰ２→ＳＰ３→ＳＰ４→ＳＰ５の処理を実行し、アタック時間Ｗが経過するまでの間、オーディオデータＤ１の送信を連続して行うとともに、ピッチ検出処理を並行して行う。
アタック時間Ｗが経過すると（時刻ｔ2）、図６のステップＳＰ６、ステップＳＰ７の処理を行い、ノートオンパラメータを含むＭＩＤＩデータＤ２を端末２に送信する。そして、時刻ｔ3において楽音が消音すると、ノートオフパラメータを含むＭＩＤＩデータＤ３を端末２に送信する。
【００２４】
以上のように、楽音の特徴を多く含むアタック部については、再現性の高いオーディオデータを送信し、アタック部以外についてはＭＩＤＩデータを送信しているので、送信するデータ量は著しく削減される。
【００２５】
（２−２）端末２の動作
次に、端末２の動作について、図面を参照しつつ説明する。
図８は、端末２が行う処理を示すフローチャートである。端末２の制御部２０は、データブロック（オーディオデータまたはＭＩＤＩデータを含む）を受信すると（ステップＳ５１；ＹＥＳ）、そのブロックに含まれるブロック識別子を判定する（ステップＳ５２）。ブロック識別子ＢＩが「オーディオ」である場合は、そのデータ部ＤＡがオーディオデータであると判断し、時刻情報ＴＩに基づくタイミングでオーディオデータを順次発音部２２に供給する。発音部２２は、供給されたオーディオデータに基づいて、楽音を発音する（ステップＳ５３）。例えば、図７（ｂ）に示すオーディオデータを受信した場合は、時刻ｔ1から時刻ｔ2に至る間は、端末１から順次送信される各サンプリングタイミング毎のデータブロックを受信し、そこに含まれるオーディオデータに基づいて楽音が発生される。これにより、アコースティックギターＡＧのアタック部の楽音がオーディオデータに基づいて高音質で発音される。
一方、制御部２０は、受信したデータブロックのブロック識別子ＢＩが「ＭＩＤＩ」である場合は、データ部ＤＡがＭＩＤＩデータであると判断し、そのＭＩＤＩデータに基づいて、音源２５によって楽音信号を発生させ、発生した楽音信号を発音部２２に供給する（ステップＳ５４）。例えば、図７（ｂ）に示すような場合は、時刻ｔ2においてキーオンのＭＩＤＩデータを受信すると、このＭＩＤＩデータに対して記憶部２１に記憶した音色パラメータＴＰを付加して音源２５に供給する。この結果、音源２５は時刻ｔ2に対応する時刻からギターの音色の楽音信号を生成し、この楽音信号が発音部２２に供給されて発音される。この場合に再生される音高は、ＭＩＤＩデータによって指定されたノートの音高となる。すなわち、時刻ｔ1から時刻ｔ2まではオーディオデータに基づくアタック部の楽音が再生され、時刻ｔ2からはＭＩＤＩ用の音源２５による楽音がアタック部と同じ音高によって再生される。そして、図７（ｂ）に示すＭＩＤＩデータＤ３を通信部２３が受信すると、ステップＳ５２→Ｓ５４と進み、制御部２０は音源２５に対して消音処理を指示する。この結果、時刻ｔ2から発音されていた音源２５による発音が停止される。
【００２６】
以上のように、本実施形態では、特徴のあるアタック部分は実際のオーディオデータに基づいて楽音を発音し、アタック部以外はＭＩＤＩデータに基づいて発音することによって、端末２は、アコースティックギターＡＧで実際に発音される楽音の特徴を損なわせることなく、実際の楽音に近い楽音を発音することが可能となる。
また、上述の実施形態においては、音源２５が生成する楽音信号としては、キーオンが指示されたときから、アタック部以降の楽音信号（ディケイ部、サステイン部などの信号）を生成するとよい（図４のＤＷ２参照）。オーディオデータによるアタック部の波形の後にＭＩＤＩデータによる楽音波形が続くため、ＭＩＤＩデータによる発音にはアタック部が不要だからである。なお、一般的なＭＩＤＩ音源を用いる場合は、キーオンが指示されるとアタック部を有した楽音信号を生成するが、聴感上問題がなければ、このような音源を用いても良い。
【００２７】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
【００２８】
（変形例１）
上述した実施形態においては、端末１が送信するＭＩＤＩデータには音色パラメータは含まれておらず、端末２が記憶している音色パラメータＴＰによって音源２５が生成する楽音信号の音色を指定するようにしたが、これに変えて、端末１が送信するＭＩＤＩデータに音色パラメータＴＰを含めるようにしてもよい。例えば、図２に破線で示すように、ユーザの操作に従って音色を選択する音色選択部１５を設け、制御部１０がＭＩＤＩデータを生成する際には、この音色選択部１５が選択している音色パラメータＴＰを付加するように構成する。そして、音色パラメータＴＰが付加されたＭＩＤＩデータを端末２に送信するように構成し、端末２の音源２５においては、送信されたＭＩＤＩデータに含まれる音色パラメータＴＰによって指示される音色の楽音信号を生成するようにする。また、端末１の制御部１０がマイクロフォン１２が出力する楽音信号を周波数解析することによって音色を特定するように構成し、特定した音色に対応する音色パラメータＴＰをＭＩＤＩ信号に含めて送信するように構成してもよい。
【００２９】
（変形例２）
上述した実施形態では、アタック部の長さは、固定値（記憶部１１に記憶されているアタック時間Ｗ）であったが、アタック部の長さを切り替えるようにしてもよい。例えば、アタック部の長さは弾き方によって異なることがあるので、図２に示す不揮発性記憶部１１ｂ内に複数のアタック時間を記憶させておき、これをランダムに選択してアタック時間にゆらぎを持たせるようにしてもよい。また、マイクロフォン１２が出力する楽音信号の振幅から楽音の強さ（ベロシティ）を検出し、このベロシティに対応して不揮発性記憶部１１ｂ内のアタック時間を選択してもよい。
また、楽音波形の立ち上がりから、ピッチが検出されるまでの期間をアタック部の長さとして特定してもよい。このようにすると、アタック部においてピッチが変動しているためにピッチが特定できない場合に有効である。この場合においても、アタック部が終了して波形が安定した直後にピッチ検出を行うことができるから、アタック部として検出された期間は、実際のアタック部に対して過度に長い期間が設定されることはなく、端末２において不自然な楽音が再生されることはない。
また、アタック部の長さを特定する他の方法として、波形の振幅の変化率が所定の閾値を下回ったとき（波形が安定領域に入ったとき）をアタック部の終了点として特定してもよい。なお、アタック部の検知方法は上記に限定されるものではなく、例えば、アタック部の振幅だけでは検出が難しい楽器の場合は、周波数成分の変化が振幅変化より優位にある区間をアタック部とする、といった検知方法を用いるようにしてもよい。
【００３０】
（変形例３）
上述した実施形態においては、アタック部分は実際のオーディオデータに基づいて楽音を発音し、アタック部以外はＭＩＤＩデータに基づいて発音するようにしたが、オーディオデータとＭＩＤＩデータをクロスフェードさせるようにしてもよい。例えば、図２に破線で示すように、フェード時間Ｗ´（アタック時間Ｗよりも長い時間が設定される）を端末１の記憶部１１に記憶させておくようにする。そして、図７の（ｃ）に示すように、端末１の制御部１０は、時刻ｔ1からフェード時間Ｗ´が経過する時刻ｔ2´までの間、オーディオデータＤ１の送信を連続して行うとともに、時刻ｔ1からアタック時間Ｗが経過した時刻ｔ2において、ノートオンパラメータを含むＭＩＤＩデータＤ２を端末２に送信する。
【００３１】
図９は、端末２によって発音される楽音の波形を示す図である。図において、Ｔ１は、受信されるＭＩＤＩデータに基づいて発音される楽音の波形を示したものであり、Ｔ２は、受信されるオーディオデータに基づいて発音される楽音の波形を示したものである。図示のように、端末２の音源２５は、時刻ｔ2から時刻ｔ3までの間、受信したＭＩＤＩデータＤ２に基づいて楽音信号を生成する。また、時刻ｔ1から時刻ｔ2´までの間は、発音部２２が受信したオーディオデータに基づいて楽音を発音する。この際、端末２の発音部２２は、時刻ｔ2から時刻ｔ2´の間は、ＭＩＤＩデータに基づく楽音がフェードインするように楽音信号を再生する一方、オーディオデータに基づく楽音がフェードアウトするように楽音信号を再生する。そして、これらの２種類の楽音信号を合成した楽音信号によって放音を行う。このようにすることで、ＭＩＤＩデータに基づく楽音とオーディオデータに基づく楽音とがクロスフェードして発音され、両者をより自然な感覚で切り換えることができる。
【００３２】
（変形例４）
上述した実施形態においては、端末１が送信するＭＩＤＩデータにはベロシティパラメータは含まれていなかったが、端末１の制御部１０が、マイクロフォン１２が出力する楽音信号の振幅からベロシティを検出するようにし、端末１が送信するＭＩＤＩデータにベロシティパラメータを含めるようにしてもよい。この場合、端末２の音源２５においては、送信されたＭＩＤＩデータに含まれるベロシティパラメータによって指示される音量の楽音信号を生成するようにする。
【００３３】
（変形例５）
端末２の発音部２２は、楽音が消音される直前にＭＩＤＩデータに基づく発音から予め記憶した波形による発音に切り換えるようにしてもよい。この場合、消音付近の発音はどの楽音についても近似しているため、一つの波形を用意しておけば、ＭＩＤＩデータ内のノートに従ったピッチ変換をするだけで全ての音高の楽音に使用することができる。したがって、波形データによる発音を行う場合であっても記憶する波形は一つ（あるいは少数）で済む。そして、消音付近発音を波形データに切り換えると、音が消えて行く瞬間の余韻を自然楽器のような味わいのあるものにすることができ、音質をさらに向上させることができる。
【００３４】
（変形例６）
また、端末２の音源２５において、通常のＭＩＤＩデータと上記実施形態におけるＭＩＤＩデータとで発音する楽音をそれぞれ異ならせるようにしてもよい。例えば、図３に示したデータブロックのブロック識別子ＢＩに設定される識別情報として、上記実施形態で説明した「オーディオ」と「ＭＩＤＩ」に加え、「特殊ＭＩＤＩ」を設定できるようにする。そして、端末１は、上記実施形態においてＭＩＤＩデータを送信する際に設定していた「ＭＩＤＩ」に代えて、ブロック識別子ＢＩに「特殊ＭＩＤＩ」を設定してＭＩＤＩデータを送信する。
また、端末２の音源２５に、図５に破線で示すような、楽音の波形を示す波形データ２５ａを記憶させておく。この波形データ２５ａは、図４に示すような、アタック部の波形データＤＡ１（ＤＷ１に対応）と、アタック部以降の振幅が安定している波形データＤＡ２（ＤＷ２に対応）とを有している。
【００３５】
端末２の音源２５は、ブロック識別子ＢＩが「ＭＩＤＩ」であるデータを受信すると、波形データＤＡ１に基づいて楽音信号を生成した後、波形データＤＡ２に基づいて楽音信号を生成する。このように、アタック部の波形データＤＡ１を用いて楽音信号を生成することによって、オーディオデータが付随していない通常のＭＩＤＩデータに対しては、アタック部を有する楽音を発音させることができる。
一方、ブロック識別子ＢＩが「特殊ＭＩＤＩ」であるデータを受信した場合は、アタック部の波形データＤＡ１を用いず、波形データＤＡ２のみを用いて楽音信号を生成するようにする。これは、アタック部分は実際のオーディオデータに基づいて楽音が発音されるため、アタック部の波形データＤＡ１を用いて楽音信号を生成する必要がないためである。
【００３６】
端末２が、端末１からＭＩＤＩデータを受信するとともに、本発明の特徴を有さない他の端末からもＭＩＤＩデータを受信する場合には、上述したような処理を行うことによって、端末２は、どちらのＭＩＤＩデータに対しても、アタック部分の楽音を表現することができる。
【００３７】
（変形例７）
また、本発明で用いられる楽器は、上記実施形態で用いたアコースティックギターに限定されるものではない。例えば、太鼓やドラム等の打楽器や、ピアノ等の弦楽器など、任意の楽器に対して適用可能である。
【００３８】
（変形例８）
上述した実施形態は楽器から単音が出力される場合を例にしたが、一定の条件を満たせば、単音に限ることなく和音の演奏にも本発明は適用することができる。例えば、ギターのストローク演奏などにおいては、アタック部は各弦について同じタイミングであり、同じ期間になる。そして、ピッチについてマイクロフォン１２が出力する複数の音程を含んだ楽音信号から識別して分離し、各音程に対応するノートを有するＭＩＤＩデータを生成して、端末２に送信すればよい。
【００３９】
（変形例９）
なお、上述した実施形態においては、楽音信号送信端末として端末１を、楽音信号受信端末として端末２を用いたが、１台の端末に送信側と受信側の両方の機能を設けるようにし、端末間で双方向のセッションを行えるようにしてもよい。例えば、上記実施形態における端末１に、端末２に設けられている音源と発音部を設け、受信するオーディオデータまたはＭＩＤＩデータに基づいた楽音を発音するようにする。このような構成の端末を複数台用いれば、それぞれの端末が、マイクロフォンから出力される楽音信号からオーディオデータとＭＩＤＩデータを生成して他の端末に送信するとともに、他の端末から受信するオーディオデータまたはＭＩＤＩデータに基づいた楽音を発音させることができ、これにより、複数の端末１同士で双方向のセッションを行うことが可能となる。
【図面の簡単な説明】
【００４０】
【図１】本実施形態に係るシステムの全体構成を示すブロック図である。
【図２】同実施形態の端末１の構成を示す図である。
【図３】同実施形態の端末１の制御部１０が生成するデータブロックのデータ構成図である。
【図４】オーディオデータの波形の一例をグラフで示した図である。
【図５】同実施形態の端末２の構成を示す図である。
【図６】同実施形態の端末１が行う処理を示すフローチャートである。
【図７】オーディオデータの波形の一例をグラフで示した図である。
【図８】同実施形態の端末２が行う処理を示すフローチャートである。
【図９】オーディオデータの波形とＭＩＤＩデータに基づく楽音波形の一例を示した図である。
【符号の説明】
【００４１】
１…端末、２…端末、１０，２０…制御部、１１，２１…記憶部、１２…マイクロフォン、２２…発音部、１３，２３…通信部、１４，２４…計時部、ＡＧ…アコースティックギター。
【図１】
2006284796.tif 000003
【図２】
2006284796.tif 000004
【図３】
2006284796.tif 000005
【図４】
2006284796.tif 000006
【図５】
2006284796.tif 000007
【図６】
2006284796.tif 000008
【図７】
2006284796.tif 000009
【図８】
2006284796.tif 000010
【図９】
2006284796.tif 000011