(57)【要約】【課題】  ユーザが豊かな音表現を行うことを可能とするデータ処理装置およびそのプログラムを提供する。【解決手段】  ユーザはスティック２０を用いて、タッチパネル１０２に対し筆記動作と同様の操作を行う。スティック２０は、タッチパネル１０２との間に生じた押圧強度を示す圧力データをパネル型楽器本体部１０に送信する。同時に、パネル型楽器本体部１０は、スティック２０が触れた位置を示す位置データを生成する。パネル型楽器本体部１０は、生成した位置データとスティック２０から受信した圧力データに基づき、雛形となる演奏制御データを選択し、選択した演奏制御データに対し、位置データおよび圧力データに基づいたテンポおよび楽音の強さの調整を施す。パネル型楽器本体部１０は調整を施した演奏制御データを再生することにより、スピーカ１０５から演奏音を発音する。【選択図】        図１
2005084251.tif 000002
【特許請求の範囲】
【請求項１】
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、
前記位置データおよび前記圧力データに基づき、音の生成に用いられるデータを生成するデータ生成手段と、
前記音の生成に用いられるデータを出力する出力手段と
を備えることを特徴とするデータ処理装置。
【請求項２】
前記位置データおよび前記圧力データに基づき、描画を行う描画手段を備える
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
楽音の発音の制御を指示する雛形演奏制御データを記憶する記憶手段
を備え、
前記データ生成手段は、前記雛形演奏制御データを用いて前記音の生成に用いられるデータを生成する
ことを特徴とする請求項１に記載のデータ処理装置。
【請求項４】
平面上の位置の軌跡を示す雛形位置データおよび当該軌跡上の押圧強度の変化を示す雛形圧力データを含み、手本となる筆記動作を示す雛形データを記憶する記憶手段と、
前記取得手段により取得される位置データおよび圧力データにより示される筆記動作と、前記雛形データにより示される筆記動作との間の類似度を示す指標を算出する指標算出手段と、
前記指標を通知する通知手段と
を備えることを特徴とする請求項１に記載のデータ処理装置。
【請求項５】
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得処理と、
前記位置データおよび前記圧力データに基づき、音の生成に用いられるデータを生成するデータ生成処理と、
前記音の生成に用いられるデータを出力する出力処理と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音を生成する機能を有するデータ処理装置およびそのプログラムに関する。
【背景技術】
【０００２】
電子的に音を生成する技術は、楽器に限られず、文房具や玩具など、多くの分野の製品に利用されている。電子的に音を生成する技術を用いた文房具の一つとして、ユーザのタッチパネルに対するスタイラスペンを用いた手書き入力動作に応じて、筆記具と紙との間の擦れ音を模した音を発生する手書き入力装置が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開平８−１９０４５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した従来技術による手書き入力装置は、ユーザによる手書き入力動作の速度情報のみに基づいて、筆記具と紙との間の擦れ音を模した音を発生する構成であるため、発生される音のバリエーションが乏しい、という問題があった。
【０００４】
上記の状況に鑑み、本発明は、ユーザのパネルに対する操作に応じて、豊かなバリエーションの音を発生するデータ処理装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を達成するために、本発明は、平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、前記位置データおよび前記圧力データに基づき、音の生成に用いられるデータを生成するデータ生成手段と、前記音の生成に用いられるデータを出力する出力手段とを備えることを特徴とするデータ処理装置を提供する。
【０００６】
このデータ処理装置によれば、ユーザの筆記動作と同様の操作により、様々な音の生成を指示するデータが生成される。
【０００７】
上記データ処理装置において、前記位置データおよび前記圧力データに基づき、描画を行う描画手段を備える構成としてもよい
【０００８】
このデータ処理装置によれば、ユーザの操作が画像として描画されるため、ユーザは操作を視覚的に確認することができる。
【０００９】
上記データ処理装置において、楽音の発音の制御を指示する雛形演奏制御データを記憶する記憶手段を備え、前記データ生成手段は、前記雛形演奏制御データを用いて前記音の生成に用いられるデータを生成する構成としてもよい。
【００１０】
このデータ処理装置によれば、予め記憶されている演奏制御データがユーザの操作に応じてアレンジされ、再生される。
【００１１】
上記データ処理装置において、平面上の位置の軌跡を示す雛形位置データおよび当該軌跡上の押圧強度の変化を示す雛形圧力データを含み、手本となる筆記動作を示す雛形データを記憶する記憶手段と、前記取得手段により取得される位置データおよび圧力データにより示される筆記動作と、前記雛形データにより示される筆記動作との間の類似度を示す指標を算出する指標算出手段と、前記指標を通知する通知手段とを備える構成としてもよい。
【００１２】
このデータ処理装置によれば、ユーザは手本となる筆記動作と自分の筆記動作の類似度を数量的に確認することができる。
【００１３】
上記データ処理装置において、前記データ生成手段は、音の生成に用いられるデータとして、楽音の発音の制御を指示する演奏制御データを生成する構成としてもよい。
【００１４】
このデータ処理装置によれば、音の生成に用いられるデータのデータ量が小さくなると同時に、音の生成時における音色の変更等が容易となる。
【００１５】
上記データ処理装置において、前記出力手段は、データを他の装置に送信する送信手段である構成としてもよい。
【００１６】
また、上記データ処理装置において、前記位置データおよび前記圧力データを他の装置に送信する送信手段を備える構成としてもよい。
【００１７】
これらのデータ処理装置によれば、生成されたデータが他の装置で容易に利用可能となる。
【００１８】
上記データ処理装置において、前記取得手段は、データを他の装置から受信する受信手段である構成としてもよい。
【００１９】
このデータ処理装置によれば、他の装置で生成された位置および押圧強度を示すデータを用いて、様々な音の生成を指示するデータが生成される。
【００２０】
さらに、本発明は、平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得処理と、前記位置データおよび前記圧力データに基づき、音の生成に用いられるデータを生成するデータ生成処理と、前記音の生成に用いられるデータを出力する出力処理とをコンピュータに実行させるプログラムを提供する。
【００２１】
このプログラムによれば、ユーザの筆記動作と同様の操作に従い、コンピュータにより、様々な音の生成を指示するデータが生成される。
【発明の効果】
【００２２】
本発明にかかるデータ処理装置およびプログラムによれば、ユーザは、パネルに対する手書き動作等により、ユーザが望む様々な音を発生させることができる。
【発明を実施するための最良の形態】
【００２３】
［１．第１実施形態］
［１．１．データ処理装置の構成］
図１は、本発明に係るデータ処理装置の第１実施形態であるパネル型楽器１の外観を示す斜視図である。パネル型楽器１は、パネル型楽器本体部１０とスティック２０から構成されている。
【００２４】
スティック２０は、演奏操作子として用いられる。本実施形態では、ユーザがスティック２０を用いて、パネル型楽器本体部１０のタッチパネル１０２（後述）の表面を擦る操作を行うことにより演奏が行われる。また、本実施形態では、スティック２０のタッチパネル１０２の対する押圧強度が演奏を左右するパラメータの１つとして利用される。この押圧強度に関する情報を得るため、スティック２０の先端のヘッド部２００には、圧力センサ、無線通信部およびアンテナ（いずれも図示略）が内蔵されている。そして、ヘッド部２００に圧力が加えられた場合、加わる押圧強度が圧力センサによって計測され、その計測結果が電波信号としてアンテナから送信されるようになっている。なお、スティック２０からパネル型楽器本体部１０に対し電波信号により押圧強度を示す情報が伝達される構成に代えて、スティック２０とパネル型楽器本体部１０とをケーブルで接続し、そのケーブルを介して押圧強度を示す情報が伝達される構成であってもよい。
【００２５】
パネル型楽器本体部１０は、中央表示部１００、右表示部１０１、タッチパネル１０２、操作部１０３、アンテナ１０４、２個のスピーカ１０５および有線通信部１０６を備えている。
【００２６】
中央表示部１００および右表示部１０１は、例えば液晶ディスプレイである。中央表示部１００は、スティック２０とタッチパネル１０２との接触位置の軌跡等を表示する。以下、例として、中央表示部１００はＸ方向に９８０、Ｙ方向に６００の画素を持つ液晶ディスプレイであるものとする。また、中央表示部１００上の各位置は、中央表示部１００の左上角を原点とし、右方向をＸ正方向、下方向をＹ正方向とする座標を用いて表現されるものとする。従って、例えば中央表示部１００の右下の角の画素の位置座標は、（９７９，５９９）となる。また、右表示部１０１は、ユーザの操作部１０３を用いた操作内容や各種制御に関する情報を表示する。
【００２７】
タッチパネル１０２は、中央表示部１００の前面を覆うように配置され、スティック２０が接触した場合に、その接触位置を示す信号を出力する。操作部１０３は、テンキー等を有し、ユーザによる各種パラメータの変更等の操作を受け付ける。アンテナ１０４は、スティック２０から送信される電波信号を受信する。
【００２８】
スピーカ１０５は左右に１つずつ配置されており、各種の音を発音する。なお、以下の説明においては、人の声に限られない音一般を示す表現として「音声」という表現を用いる。有線通信部１０６は、有線の通信回線を介して他の装置との間でデータの送受信を行う。なお、パネル型楽器本体部１０が有線通信部１０６の代わりに他の装置との間で無線による通信を行う通信部を有する構成としてもよい。
【００２９】
図２は、パネル型楽器１の構成を機能により区分した機能ブロック図である。上述したように、パネル型楽器１はパネル型楽器本体部１０とスティック２０から構成されている。パネル型楽器本体部１０は、上述した外観される構成部に加え、制御部１０７、位置データ生成部１０８、無線通信部１０９、圧力データ生成部１１０、音声データ生成部１１１、雛形ＭＩＤＩデータ記憶部１１２、ＭＩＤＩデータ生成部１１３、Ｄ／Ａ（Ｄｉｇｉｔａｌ−ｔｏ−Ａｎａｌｏｇ）コンバータ１１４およびアンプ１１５を備えている。また、スティック２０は、圧力センサ２０１、無線通信部２０２およびアンテナ２０３を備えている。なお、図２における矢印は構成部間のデータの流れを示すが、制御部１０７および操作部１０３と、他の構成部との間のデータの流れを示す矢印は図の簡略化のため、省略されている。
【００３０】
音声データ生成部１１１は、ＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）音源部１１１１およびＦＭ（Ｆｒｅｑｕｅｎｃｙ  Ｍｏｄｕｌａｔｉｏｎ）音源部１１１２を有している。ＰＣＭ音源部１１１１は、複数種類の楽器のそれぞれの楽音を生成するための波形データを記憶している。ＰＣＭ音源部１１１１は、発音を指示する演奏制御データを受け取り、受け取った演奏制御データによって指定された音色に応じた波形データを選択し、これに基づいて、演奏制御データによって指定された音高および強さを有する楽音の音声データを生成する。一方、ＦＭ音源部１１１２は、発音を指示する演奏制御データを受け取り、受け取った演奏制御データに含まれる音高に応じた周波数の基本波形を示す音声データに対し、音色および音の強さに関する情報に応じた音量調整処理やフィルタ処理等を行うことにより、音声データを生成する。
【００３１】
雛形ＭＩＤＩデータ記憶部１１２は、楽曲の演奏を示す雛形となる演奏制御データを複数の楽曲に関し記憶している。本実施形態においては、ユーザがスティック２０をタッチパネル１０２に接触させると、パネル型楽器本体部１０はタッチパネル１０２上のいずれの範囲内の位置にスティック２０が最初に接触したかに応じて、雛形ＭＩＤＩデータ記憶部１１２に記憶されている複数の演奏制御データの中から１つの楽曲の演奏制御データを選択し、その再生を開始する。その後、ユーザがスティック２０をタッチパネル１０２上で滑らせると、パネル型楽器本体部１０はスティック２０の移動速度に応じて、選択した演奏制御データの再生速度を、またスティック２０のタッチパネル１０２に対する押圧強度に応じて、選択した演奏制御データに示される楽音の強さを、それぞれ調整しつつ、演奏制御データの再生を継続する。
【００３２】
本実施形態においては、演奏制御データとして、ＭＩＤＩ（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）規格に従ったデータ（以下、「ＭＩＤＩデータ」と呼ぶ）が用いられる。ＭＩＤＩデータは元来、楽音の発音等の制御指示をリアルタイムに行うための個々のイベントデータを指すが、ＭＩＤＩデータを記憶する形式として、各イベントデータに実行タイミングに関する時間情報を付加したＳＭＦ（Ｓｔａｎｄａｒｄ  ＭＩＤＩ  Ｆｉｌｅ）が広く用いられている。雛形ＭＩＤＩデータ記憶部１１２に記憶されているＭＩＤＩデータはＳＭＦ形式のデータである。以下、雛形ＭＩＤＩデータ記憶部１１２に記憶されているデータを「雛形ＭＩＤＩデータ」と呼ぶ。なお、ＭＩＤＩデータ以外の形式の演奏制御データが用いられてもよい。
【００３３】
図３は、雛形ＭＩＤＩデータ記憶部１１２に記憶される雛形ＭＩＤＩデータの構成を示す図である。雛形ＭＩＤＩデータは、曲名および範囲データに対応付けられている。範囲データは、その曲名に対応した雛形ＭＩＤＩデータが選択されるスティック２０の接触位置の範囲を指定するデータであり、タッチパネル１０２上における当該範囲の左上の頂点の位置を示す位置データと、右下の頂点の位置を示す位置データを含んでいる。
【００３４】
ＭＩＤＩデータ生成部１１３は、雛形ＭＩＤＩデータを加工することにより、演奏用のＭＩＤＩデータを生成する構成部である。ＭＩＤＩデータ生成部１１３の動作の詳細は、以下の動作説明において述べる。また、ＭＩＤＩデータ生成部１１３は雛形ＭＩＤＩデータ等を一時的に記憶するために、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１１３１を有している。
【００３５】
［１．２．データ処理装置の動作］
ユーザは、パネル型楽器１を用いた演奏を行う場合、スティック２０をスタイラスペンのように用いて、タッチパネル１０２に対し一筆書きの筆記と同様の操作を行う。
【００３６】
タッチパネル１０２は、スティック２０が接触していない場合は、位置信号を位置データ生成部１０８に出力することはない。ユーザが演奏動作を開始すると、スティック２０がタッチパネル１０２に接触するため、タッチパネル１０２はその接触位置を示す位置信号を位置データ生成部１０８に出力する。位置データ生成部１０８は、位置信号を受け取ると、受け取った位置信号をサンプリングした時系列のデジタルデータ、すなわち位置データの生成を開始する。例えば、位置データ生成部１０８は、タッチパネル１０２上の座標（１０，１５）の位置に対応する位置信号を受け取った場合、位置データ（１０，１５）を生成する。その後、ユーザの演奏動作が行われる間、タッチパネル１０２による位置信号の出力および位置データ生成部１０８による位置データの生成が継続される。位置データ生成部１０８は位置データを生成すると、生成した位置データを順次、ＭＩＤＩデータ生成部１１３および制御部１０７に送出する。
【００３７】
また、スティック２０の圧力センサ２０１は、スティック２０のヘッド部２００がタッチパネル１０２に接触していない場合は、圧力信号を無線通信部２０２に出力することはない。ユーザが演奏動作を開始すると、スティック２０がタッチパネル１０２に接触するため、圧力センサ２０１は、ユーザの演奏動作によりスティック２０とタッチパネル１０２との間に生じた押圧強度を示す圧力信号を無線通信部２０２に出力する。圧力センサ２０１から出力された圧力信号は、無線通信部２０２を介し、アンテナ２０３から電波信号として送信され、パネル型楽器本体部１０のアンテナ１０４により受信される。受信された電波信号は、無線通信部１０９から圧力信号として圧力データ生成部１１０に出力される。圧力データ生成部１１０は、圧力信号を受け取ると、受け取った圧力信号をサンプリングした時系列のデジタルデータ（以下、「圧力データ」と呼ぶ）の生成を開始する。その後、ユーザの演奏動作が行われる間、圧力センサ２０１による圧力信号の出力および圧力データ生成部１１０による圧力データの生成が継続される。圧力データ生成部１１０は、圧力データを生成すると、生成した圧力データを順次、ＭＩＤＩデータ生成部１１３および制御部１０７に送出する。
【００３８】
ＭＩＤＩデータ生成部１１３は、ユーザがスティック２０をタッチパネル１０２から離している状態においては、位置データ生成部１０８および圧力データ生成部１１０から位置データおよび圧力データを受け取らない。ＭＩＤＩデータ生成部１１３は、位置データおよび圧力データを受け取らない状態が一定時間以上、例えば１０秒以上続いた後に、初めて位置データおよび圧力データを受け取ると、雛形ＭＩＤＩデータ記憶部１１２から、その最初に受け取った位置データに対応する雛形ＭＩＤＩデータを読み出し、ＲＡＭ１１３１に記憶する。例えば、ＭＩＤＩデータ生成部１１３が最初に受け取った位置データが（１０，１５）であった場合、図３に示した例によれば、ＭＩＤＩデータ生成部１１３は、位置データ（１０，１５）を含む範囲を示す範囲データ（０，０）〜（１９，１９）に対応付けられた雛形ＭＩＤＩデータを読み出す。
【００３９】
ＭＩＤＩデータ生成部１１３は、位置データ生成部１０８および圧力データ生成部１１０から受け取った位置データおよび圧力データを、ＲＡＭ１１３１に時系列で順次、記憶する。その記憶処理と並行して、ＭＩＤＩデータ生成部１１３は、雛形ＭＩＤＩデータ記憶部１１２から読み出した雛形ＭＩＤＩデータに対し調整処理を施すことにより演奏用のＭＩＤＩデータを生成し、生成した演奏用のＭＩＤＩデータを音声データ生成部１１１に送出する処理を開始する。以下、その処理を具体的に説明する。
【００４０】
まず、ＭＩＤＩデータ生成部１１３は、ＲＡＭ１１３１に位置データが順次記憶される間、時系列で記憶されるそれらの位置データに基づき、常時、スティック２０の速度の時系列変化を示す速度エンベロープを算出している。一方、ＭＩＤＩデータ生成部１１３は、周期的に発するテンポクロックをカウントし、このカウント値により経過時間を把握し、雛形ＭＩＤＩデータに含まれる各イベントデータに対応付けられた時間情報により指定されるタイミングでイベントデータを音声データ生成部１１１に送出する機能を有している。本実施形態において、ＭＩＤＩデータ生成部１１３は、算出した速度エンベロープに応じて、イベントデータの送出タイミングを決定するためのテンポクロックを時々刻々と変化させる。その結果、ＭＩＤＩデータ生成部１１３から音声データ生成部１１１に対して、スティック２０の移動速度に応じたテンポでイベントデータの送出が行われる。
【００４１】
さらに、ＭＩＤＩデータ生成部１１３は、ＲＡＭ１１３１に圧力データが順次記憶される間、強さのパラメータであるベロシティを含むイベントデータに関して、時系列で記憶されるそれらの圧力データが示す圧力エンベロープに応じて、ベロシティの調整を行う。ＭＩＤＩデータ生成部１１３は、ベロシティを含まないイベントデータに関してはそのまま、またベロシティを含むイベントデータに関してはベロシティの調整後のものを、上記のように速度エンベロープに応じたテンポ調整後のタイミングで、音声データ生成部１１１に順次送出する。
【００４２】
音声データ生成部１１１は、イベントデータを受け取ると、受け取ったイベントデータに従って、ＰＣＭ音源部１１１１もしくはＦＭ音源部１１１２により音声データを生成し、生成した音声データを順次、Ｄ／Ａコンバータ１１４に送出する。Ｄ／Ａコンバータ１１４に送られた音声データは、Ｄ／Ａコンバータ１１４によりアナログ音声信号に変換され、アンプ１１５において音量調整がなされた後、スピーカ１０５から音声として発音される。このようにしてスピーカ１０５から発音される音声は、ユーザの演奏動作により選択され、かつテンポ調整および音の強さ調整が施された楽曲の演奏を示す音声である。
【００４３】
上記のように、ユーザの演奏動作に応じた音声の発音が行われる一方で、制御部１０７は、位置データおよび圧力データに基づき、中央表示部１００に、スティック２０がタッチパネル１０２に接触した位置を示す画像を表示させる。例えば、位置データ生成部１０８により位置データ（１０，１５）が生成され、同時に圧力データ生成部１１０により圧力データ（３０）が生成された場合、制御部１０７は座標（１０，１５）に位置する画素を、例えば濃い青に着色し、座標（１０，１５）に位置する画素の周囲の一定距離内に位置する画素を、座標（１０，１５）からの距離に応じて濃い青〜薄い青に着色するように示した描画データを生成し、生成した描画データを中央表示部１００に送出する。中央表示部１００は、制御部１０７から受け取った描画データに従い、画像の表示を行う。このようにして中央表示部１００により表示される画像は、ユーザによる演奏動作によりスティック２０がタッチパネル１０２上を移動した軌跡を示す画像である。
【００４４】
上述したように、ユーザはスティック２０をスタイラスペンとして用いて、タッチパネル１０２に対し筆記動作と同様の操作を行うことにより、希望する楽曲をパネル型楽器本体部１０に演奏させることができる。その際、ユーザは演奏動作の速度および押圧の強さに応じて、テンポおよび強さをリアルタイムに調整することができる。
【００４５】
［１．３．複数のデータ処理装置による演奏システム］
ユーザは、上記のようにパネル型楽器１を用いて一人で演奏動作を行うだけでなく、異なる場所にいる他のユーザと二重奏もしくは多重奏を行うことができる。図４は、異なる場所にいるユーザＳとユーザＴが、それぞれパネル型楽器１を用いて二重奏を行う場合の演奏システムの構成を示す図である。以下、ユーザＳが用いるパネル型楽器本体部１０をパネル型楽器本体部１０Ｓ、ユーザＴが用いるパネル型楽器本体部１０をパネル型楽器本体部１０Ｔと呼ぶ。
【００４６】
パネル型楽器本体部１０Ｓとパネル型楽器本体部１０Ｔは、それぞれが有する有線通信部１０６によって、インターネット７０を介して互いに接続されている。インターネット７０は、インターネットプロトコルにより相互に接続された通信網群である。有線通信部１０６は、音声データ等の各種データをパケット化しインターネット７０に送出するとともに、インターネット７０からパケット化された各種データを受信し、それらのパケット化されたデータを再構築して音声データ等を生成する。以下、例として、有線通信部１０６はインターネットプロトコルの一種であるＲＴＰ（Ｒｅａｌｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）を用いて、他の機器との間でデータの送受信を行うものとする。ＲＴＰとは、音声データ、画像データ、テキストデータ等の複数種類のデータを、インターネットを介してリアルタイムに送受信するための通信プロトコルである。
【００４７】
なお、本実施形態の演奏システムにおいて、パネル型楽器本体部１０Ｓとパネル型楽器本体部１０Ｔは、インターネット７０の代わりに他の形態のデータ通信網により接続されていてもよい。例えば、パネル型楽器本体部１０Ｓとパネル型楽器本体部１０ＴがＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や専用線により接続されていてもよい。また、パネル型楽器本体部１０Ｓとパネル型楽器本体部１０Ｔの間の通信経路の一部もしくは全てが無線接続されていてもよい。
【００４８】
ユーザＳは、二重奏を開始するに先立ち、まず、パネル型楽器本体部１０Ｓおよびパネル型楽器本体部１０Ｔのそれぞれが担当する楽器パートの指定を行う。すなわち、ユーザＳの操作部１０３を用いた楽器パートのリスト表示の指示操作に応じて、制御部１０７は右表示部１０１に、楽器パートのリストを表示させる。ユーザＳは右表示部１０１に表示されたリストから、希望する楽器パートを１または複数、選択する。ユーザＳにより選択された楽器パートを示すデータは制御部１０７からＭＩＤＩデータ生成部１１３に送出され、ＲＡＭ１１３１に記憶される。一方、ユーザＳにより選択された楽器パートを示すデータは制御部１０７から有線通信部１０６にも送出され、有線通信部１０６からパネル型楽器本体部１０Ｔに送信される。パネル型楽器本体部１０Ｔの有線通信部１０６は、受信した楽器パートを示すデータをパネル型楽器本体部１０ＴのＭＩＤＩデータ生成部１１３に送出する。ＭＩＤＩデータ生成部１１３はユーザＳにより選択された楽器パートを示すデータを受け取ると、そのデータにより示されない楽器パート、すなわちユーザＳにより選択されなかった楽器パートを示すデータをＲＡＭ１１３１に記憶する。
【００４９】
続いて、ユーザＳは、演奏処理の開始を指示するために、スティック２０をタッチパネル１０２に接触させる。その結果、位置データ生成部１０８および圧力データ生成部１１０はそれぞれ、位置データおよび圧力データを生成し、生成したデータをＭＩＤＩデータ生成部１１３、制御部１０７および有線通信部１０６に送出する。
【００５０】
ＭＩＤＩデータ生成部１１３は、位置データおよび圧力データを受け取ると、最初に受け取った位置データに基づき、雛形ＭＩＤＩデータの読み出しおよびＲＡＭ１１３１への記憶を行う。続いて、ＭＩＤＩデータ生成部１１３は読み出した雛形ＭＩＤＩデータにより示される基準となるテンポおよび拍子に従い、例えば１小節分のメトロノーム音の発音を指示するノートオンメッセージを音声データ生成部１１１に送出する。その結果、スピーカ１０５からはメトロノーム音の発音が開始される。
【００５１】
制御部１０７は、位置データ生成部１０８および圧力データ生成部１１０から位置データおよび圧力データを受け取ると、中央表示部１００に対し、受け取った位置データおよび圧力データに応じた描画データを送出する。その結果、中央表示部１００にはスティック２０の移動の軌跡を示す画像が表示される。
【００５２】
有線通信部１０６は、位置データおよび圧力データを受け取ると、受け取ったそれらのデータをパネル型楽器本体部１０Ｔに順次、送信する。パネル型楽器本体部１０Ｔの有線通信部１０６は、パネル型楽器本体部１０Ｓから位置データおよび圧力データを受信すると、受信したそれらのデータをＭＩＤＩデータ生成部１１３および制御部１０７に送出する。
【００５３】
パネル型楽器本体部１０ＴのＭＩＤＩデータ生成部１１３は、有線通信部１０６から最初の位置データおよび圧力データを受け取ると、パネル型楽器本体部１０Ｓと同様に、その位置データおよび圧力データに基づき、雛形ＭＩＤＩデータの読み出しおよびＲＡＭ１１３１への記憶を行う。さらに、ＭＩＤＩデータ生成部１１３はメトロノーム音の発音を指示するノートオンメッセージを音声データ生成部１１１に送出する。その結果、パネル型楽器本体部１０Ｔのスピーカ１０５からもメトロノーム音の発音が開始される。
【００５４】
１小節分のメトロノーム音の発音が終了するタイミングで、ユーザＳおよびユーザＴは、それぞれスティック２０を用いてタッチパネル１０２に対する演奏動作を開始する。ユーザＳの演奏動作を示す位置データおよび圧力データは、パネル型楽器本体部１０Ｓからパネル型楽器本体部１０Ｔに送信され、パネル型楽器本体部１０Ｔにおいて、有線通信部１０６からＭＩＤＩデータ生成部１１３および制御部１０７に送出される。同様に、ユーザＴの演奏動作を示す位置データおよび圧力データは、パネル型楽器本体部１０Ｔからパネル型楽器本体部１０Ｓに送信され、パネル型楽器本体部１０Ｓにおいて、有線通信部１０６からＭＩＤＩデータ生成部１１３および制御部１０７に送出される。以下、パネル型楽器本体部１０Ｓとパネル型楽器本体部１０Ｔの動作は同じであるので、パネル型楽器本体部１０Ｓの動作のみを説明する。
【００５５】
パネル型楽器本体部１０ＳのＭＩＤＩデータ生成部１１３および制御部１０７は、パネル型楽器本体部１０Ｓの位置データ生成部１０８および圧力データ生成部１１０により生成された位置データおよび圧力データ（以下、それぞれ「自機位置データ」および「自機圧力データ」と呼ぶ）と、パネル型楽器本体部１０Ｔから受信された位置データおよび圧力データ（以下、それぞれ「他機位置データ」および「他機圧力データ」と呼ぶ）を同時に受け取る。
【００５６】
ＭＩＤＩデータ生成部１１３は、自機位置データに基づく速度エンベロープの算出と同時に、他機位置データに基づく速度エンベロープの算出を行う。続いて、ＭＩＤＩデータ生成部１１３は生成した２つの速度エンベロープが示す速度の平均値を算出し、算出した速度の平均値に基づいて、雛形ＭＩＤＩデータのテンポの調整処理を行う。また、ＭＩＤＩデータ生成部１１３は、雛形ＭＩＤＩデータに含まれるイベントデータのうち、ユーザＳにより選択された楽器パートに関するものについては自機圧力データに基づくベロシティ調整を行い、その他のイベントデータについては、他機圧力データに基づくベロシティ調整を行う。ＭＩＤＩデータ生成部１１３は、そのように調整を施した雛形ＭＩＤＩデータを演奏用のＭＩＤＩデータとして、順次、音声データ生成部１１１に送出する。
【００５７】
一方、制御部１０７は、自機位置データおよび自機圧力データに基づき、ユーザＳの演奏動作によるスティック２０の移動の軌跡を、例えば青で示す描画データを生成する。また、制御部１０７は、他機位置データおよび他機圧力データに基づき、ユーザＴの演奏動作によるスティック２０の移動の軌跡を、青とは異なる色、例えば赤で示す描画データを生成する。制御部１０７は生成した２つの描画データを合成することにより、同時にユーザＳおよびユーザＴの演奏動作を画像として示す描画データを生成し、生成した描画データを中央表示部１００に送出することにより、画像の表示を指示する。
【００５８】
上記のＭＩＤＩデータ生成部１１３の処理により、スピーカ１０５からは、ユーザＳの演奏動作により選択された楽曲の演奏音声が、ユーザＳおよびユーザＴの演奏動作によりリアルタイムにテンポ調整が施されて発音される。その際、ユーザＳにより選択された楽器パートの楽音に関してはユーザＳの演奏動作により、またユーザＳにより選択されなかった楽器パートの楽音に関してはユーザＴの演奏動作により、リアルタイムに強さの調整が施されたものとなる。また上記の制御部１０７の処理により、中央表示部１００には、ユーザＳおよびユーザＴの演奏動作によるスティック２０の移動の軌跡が異なる色でリアルタイムに表示される。
【００５９】
従って、ユーザＳおよびユーザＴは、スティック２０をスタイラスペンとして用いた筆記動作と同様の操作によって、互いに離れた場所においても二重奏を楽しむことができる。その際、ユーザＳおよびユーザＴは筆記動作の速度および押圧の強さに応じて、テンポおよび強さをリアルタイムに調整することができる。さらに、ユーザＳおよびユーザＴは、自分の演奏に加え、相手の演奏の様子を画像により視覚的に確認しつつ演奏動作を行うことができる。
【００６０】
なお、パネル型楽器本体部１０Ｓおよびパネル型楽器本体部１０Ｔは、位置データおよび圧力データに加え、ＭＩＤＩデータもしくは音声データを送受信する構成としてもよい。
【００６１】
例えば、ＭＩＤＩデータがパネル型楽器本体部１０Ｓとパネル型楽器本体部１０Ｔの間で送受信される場合、パネル型楽器本体部１０ＳのＭＩＤＩデータ生成部１１３は、ユーザＳにより選択された楽器パートに関してのみ、雛形ＭＩＤＩデータの調整処理を行うことにより演奏用のＭＩＤＩデータを生成する。ＭＩＤＩデータ生成部１１３は、生成したＭＩＤＩデータを音声データ生成部１１１に送出すると同時に、有線通信部１０６を介してパネル型楽器本体部１０Ｔに送信する。一方、ユーザＳにより選択されなかった楽器パートに関しては、有線通信部１０６がパネル型楽器本体部１０ＴからＭＩＤＩデータを受信し、受信したＭＩＤＩデータを音声データ生成部１１１に送出する。その結果、スピーカ１０５からは、ユーザＳおよびユーザＴの演奏動作に応じた音声が同時に発音される。
【００６２】
また、音声データがパネル型楽器本体部１０Ｓとパネル型楽器本体部１０Ｔの間で送受信される場合、パネル型楽器本体部１０ＳのＭＩＤＩデータ生成部１１３は、ユーザＳにより選択された楽器パートに関してのみ、雛形ＭＩＤＩデータの調整処理を行うことにより演奏用のＭＩＤＩデータを生成する。ＭＩＤＩデータ生成部１１３は、生成したＭＩＤＩデータを音声データ生成部１１１に送出する。音声データ生成部１１１は、ＭＩＤＩデータ生成部１１３から受け取ったＭＩＤＩデータに従い音声データを生成すると、生成した音声データを有線通信部１０６を介して、パネル型楽器本体部１０Ｔに送信する。一方、ユーザＳにより選択されなかった楽器パートに関しては、有線通信部１０６がパネル型楽器本体部１０Ｔから音声データを受信し、受信した音声データをＤ／Ａコンバータ１１４に送出する。その結果、スピーカ１０５からは、ユーザＳおよびユーザＴの演奏動作に応じた音声が同時に発音される。
【００６３】
なお、上述した説明においては、速度エンベロープに応じて楽曲のテンポを、また圧力データに応じて楽音の強さを調整する場合を例示したが、位置データおよび圧力データを用いて楽曲に調整を加えるものであれば、いずれのデータに基づき、いずれのパラメータを調整するものであってもよい。
【００６４】
また、上述した説明においては、位置データはタッチパネル１０２から出力される位置信号により生成され、圧力データはスティック２０から出力される圧力信号により生成される場合を例示したが、後述する第３実施形態で例示するように、各位置の押圧強度を計測可能な圧力センサパネルから出力される信号により、位置データおよび圧力データを生成する構成としてもよい。
【００６５】
また、パネル型楽器本体部１０は、音声データの処理および通信処理が可能な汎用コンピュータに対し、タッチパネル１０２、アンテナ１０４および無線通信部１０９に相当する装置を接続し、上述したパネル型楽器本体部１０の処理を指示するプログラムを汎用コンピュータに実行させることによっても実現することができる。その場合、制御部１０７、位置データ生成部１０８、圧力データ生成部１１０、音声データ生成部１１１およびＭＩＤＩデータ生成部１１３は、汎用コンピュータが有するＣＰＵ（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）やＤＳＰ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）等のプロセッサがプログラムに従った処理を行うことにより実現される。また、中央表示部１００および右表示部１０１は、ＣＰＵが表示部に対し、複数の領域に分割された画像を表示させることにより実現される。
【００６６】
［２．第２実施形態］
［２．１．データ処理装置の構成］
第２実施形態のデータ処理装置は、ユーザのスティックをスタイラスペンとして用いた筆記動作と同様の操作に応じて、例えば１小節分の演奏フレーズを示す雛形ＭＩＤＩデータを順次選択し、選択した雛形ＭＩＤＩデータに調整処理を施すことにより、ユーザによりアレンジされた演奏音声の発音を行う。
【００６７】
第２実施形態は上述した第１実施形態と多くの点が共通しているため、第２実施形態が第１実施形態と異なる点のみを説明する。以下、第２実施形態におけるデータ処理装置をパネル型楽器２と呼ぶ。
【００６８】
パネル型楽器２の外観および構成は、雛形ＭＩＤＩデータ記憶部１１２に記憶されている雛形ＭＩＤＩデータの構成を除き、第１実施形態におけるパネル型楽器１と全く同様である。従って、以下、図１および図２を用いて、パネル型楽器２の動作等の説明を行う。
【００６９】
図５は、雛形ＭＩＤＩデータ記憶部１１２が記憶しているデータの構成を示す図である。パネル型楽器２の雛形ＭＩＤＩデータ記憶部１１２に記憶されている雛形ＭＩＤＩデータは、パネル型楽器１の雛形ＭＩＤＩデータ記憶部１１２に記憶されている雛形ＭＩＤＩデータと異なり、楽曲に含まれる各小節に関し、複数の演奏フレーズを示す演奏制御データである。各演奏フレーズを示す雛形ＭＩＤＩデータは、「曲名」、「曲調」、「楽器パート」、「基本音符長」、「音程変化」および「小節」の順に階層的に整理されて、雛形ＭＩＤＩデータ記憶部１１２に記憶されている。
【００７０】
「基本音符長」とは、雛形ＭＩＤＩデータが示す演奏フレーズに含まれる基本となる音符長による区分を示し、「全音符」、「２分音符」等の名称で区別される。例えば、「全音符」に区分される演奏フレーズは、「１６分音符」に区分される演奏フレーズよりも各楽音の発音時間が平均して長く、静かな印象を与える演奏フレーズである。一方、「１６分音符」に区分される演奏フレーズは、「全分音符」に区分される演奏フレーズよりも各楽音の発音時間が平均して短く、賑やかな印象を与える演奏フレーズである。
【００７１】
「音程変化」とは、演奏フレーズの音程の変化の傾向による区分を示し、「急上昇」、「緩上昇」、「無変化」、「緩下降」および「急下降」の名称で区別される。例えば、「急上昇」に区分される演奏フレーズは、演奏フレーズの開始から終了に向けて、急速に音程が上昇するような演奏フレーズである。
【００７２】
上記のような区分により、例えば、楽曲「ＡＢＣ」−曲調「ロック」−楽器パート「ギター」−基本音符長「全音符」−音程変化「急上昇」−小節「第１小節」という区分により示される雛形ＭＩＤＩデータが１つ、特定される。以下、そのように特定される雛形ＭＩＤＩデータを、「ＡＢＣ／ロック／ギター／全音符／急上昇／第１小節」のように示す。なお、第１小節に区分される雛形ＭＩＤＩデータは、楽曲のテンポ、拍子および基準となる基本音符長（以下、「基準基本音符長」と呼ぶ）を示すデータを含んでいる。
【００７３】
［２．２．データ処理装置の動作］
ユーザは、パネル型楽器２を用いた演奏動作を開始するに先立ち、アレンジ演奏を行う楽曲の曲名、曲調およびユーザがアレンジを行う楽器パートの指定を行う。すなわち、ユーザは操作部１０３を操作し、曲名、曲調および楽器パートの順でそれらの候補リストを右表示部１０１に表示させ、表示された候補リストから希望するものを選択する。その際、ユーザは複数の楽器パートを選択することもできる。
【００７４】
ユーザの操作に応じて、操作部１０３は選択された曲名、曲調および楽器パートを示すデータをＭＩＤＩデータ生成部１１３に送出する。ＭＩＤＩデータ生成部１１３は、受け取った曲名、曲調および楽器パートを示すデータをＲＡＭ１１３１に記憶する。以下、例として、ユーザは曲名「ＡＢＣ」、曲調「ロック」、楽器パート「ギター」および「サックス」を選択したものとする。また、曲名「ＡＢＣ」および小節「第１小節」に区分される雛形ＭＩＤＩデータには、テンポ「１２０」、拍子「４／４」および基準基本音符長「４分音符」が含まれているものとする。
【００７５】
続いて、ユーザは操作部１０３を操作して、パネル型楽器本体部１０に対し演奏の開始を指示する。ユーザの操作に応じて、操作部１０３は演奏の開始を指示するデータをＭＩＤＩデータ生成部１１３に送出する。ＭＩＤＩデータ生成部１１３は、演奏の開始を指示するデータに応じて、ＲＡＭ１１３１に記憶した曲名「ＡＢＣ」および曲調「ロック」に基づき、それらの区分に属する雛形ＭＩＤＩデータのうち、小節「第１小節」に区分されるものをいずれか１つ読み出す。
【００７６】
ＭＩＤＩデータ生成部１１３は、読み出した雛形ＭＩＤＩデータに含まれるテンポ「１２０」および拍子「４／４」に従い、メトロノームの音色による発音を指示するノートオンメッセージを１小節分だけ生成し、生成したノートオンメッセージを順次、音声データ生成部１１１に送出する。その結果、スピーカ１０５からメトロノーム音が発音される。
【００７７】
ユーザは、上記のようにメトロノーム音が発音される間、演奏の第１小節における基本音符長および音程変化を指定する目的で、スティック２０をスタイラスペンとして用いたタッチパネル１０２への筆記動作と同様の操作を行う。
【００７８】
パネル型楽器本体部１０は、各小節に対応する演奏用のＭＩＤＩデータを生成するにあたり、一つ前の小節に対応する時間におけるスティック２０のＹ方向の累積移動量に応じて基本音符長を決定し、スティック２０のＸ方向の移動量に応じて音程変化を決定することにより、用いる雛形ＭＩＤＩデータを選択する。従って、例えばユーザが賑やかな演奏フレーズで演奏を開始したいと考える場合、ユーザは第１小節の演奏が開始される前の１小節の間、すなわちメトロノーム音が発音されている間、スティック２０をタッチパネル１０２上のＹ正方向およびＹ負方向に素早く往復させる動作を行う。また、例えばユーザが、上昇傾向で音程が変化する演奏フレーズで演奏を開始したいと考える場合、ユーザはメトロノームの音が発音されている間、スティック２０をタッチパネル１０２上のＸ正方向に滑らせる動作を行う。
【００７９】
ユーザのスティック２０を用いた動作に応じて、位置データ生成部１０８および圧力データ生成部１１０は、それぞれ位置データおよび圧力データを生成し、生成したデータをＭＩＤＩデータ生成部１１３に送出する。ＭＩＤＩデータ生成部１１３は圧力データおよび位置データを受け取ると、それらをＲＡＭ１１３１に順次記憶する。ＭＩＤＩデータ生成部１１３は、操作部１０３から演奏の開始を指示するデータを受け取った後、１小節分の時間が経過する直前に、過去の１小節分の時間にＲＡＭ１１３１に記憶した位置データに基づき、以下に示すような雛形ＭＩＤＩデータの選択処理を行う。
【００８０】
まず、ＭＩＤＩデータ生成部１１３はＲＡＭ１１３１に記憶されている過去１小節分の位置データのＹ方向の累積移動量を算出する。すなわち、位置データが（Ｘ1，Ｙ1）、（Ｘ2，Ｙ2）、・・・（Ｘn，Ｙn）のように時系列に並んでいるとすると、ＭＩＤＩデータ生成部１１３は、例えば式（１）の値を算出する。
【数１】
2005084251.tif 000003
【００８１】
なお、式（１）はＹ方向の累積移動量を算出するための算出式の例示であって、例えば隣り合うＹ座標の絶対値の和を算出するなど、様々な算出式が利用可能である。
【００８２】
ＭＩＤＩデータ生成部１１３は、先に読み出した小節「第１小節」に区分される雛形ＭＩＤＩデータに含まれる基準基本音符長「４／４」に基づき、上記のように算出したＹ方向の累積移動量に応じて、第１小節における基本音符長を決定する。例えば、Ｙ方向の累積移動量が大きい場合、ＭＩＤＩデータ生成部１１３は第１小節の基本音符長を基準基本音符長「４分音符」よりも賑やかな演奏フレーズの区分を示す「１６分音符」に決定する。
【００８３】
続いて、ＭＩＤＩデータ生成部１１３はＲＡＭ１１３１に記憶されている過去１小節分の最初の位置データおよび最後の位置データのＸ座標の差を算出する。すなわち、位置データが（Ｘ1，Ｙ1）、（Ｘ2，Ｙ2）、・・・（Ｘn，Ｙn）のように時系列に並んでいるとすると、ＭＩＤＩデータ生成部１１３は、（Ｘn−Ｘ1）を算出する。この値は、過去１小節分の時間における、スティック２０のＸ方向の移動量を示す値である。なお、Ｘ方向の移動量を算出する方法としては、例えば１小節分の時間の前半部分のＸ座標の平均値と後半部分のＸ座標の平均値の差を算出するなど、様々なものが考えられる。ＭＩＤＩデータ生成部１１３は、上記のように算出した値に応じて、第１小節における音程変化を決定する。例えば、Ｘ方向の移動量が非常に大きい正の値である場合、ＭＩＤＩデータ生成部１１３は第１小節の音程変化を「急上昇」に決定する。
【００８４】
ＭＩＤＩデータ生成部１１３は、以上のように第１小節における基本音符長および音程変化を決定すると、それらに対応する雛形ＭＩＤＩデータを雛形ＭＩＤＩデータ記憶部１１２から読み出し、ＲＡＭ１１３１に記憶する。この場合、ＭＩＤＩデータ生成部１１３は、ＲＡＭ１１３１に記憶されているユーザにより選択された楽器パート「ギター」および「サックス」というデータに基づき、「ＡＢＣ／ロック／ギター／１６分音符／急上昇／第１小節」および「ＡＢＣ／ロック／サックス／１６分音符／急上昇／第１小節」の雛形ＭＩＤＩデータを読み出す。また、ＭＩＤＩデータ生成部１１３は、ＲＡＭ１１３１に記憶されていない楽器パート、例えば「ベース」、「ドラム」等に関し、「ＡＢＣ／ロック／ベース／４分音符／無変化／第１小節」、「ＡＢＣ／ロック／ドラム／４分音符／無変化／第１小節」等の雛形ＭＩＤＩデータを読み出す。これらのユーザに選択されなかった楽器パートの雛形ＭＩＤＩデータに関しては、基準基本音符長と同じ基本音符長「４／４」、また音程変化「無変化」であるものが常に読み出される。以上がＭＩＤＩデータ生成部１１３における雛形ＭＩＤＩデータの選択処理である。
【００８５】
ＭＩＤＩデータ生成部１１３は上記のように雛形ＭＩＤＩデータを読み出すと、読み出した雛形ＭＩＤＩデータに含まれるイベントデータの音声データ生成部１１１に対する送出処理を開始する。その際、ＭＩＤＩデータ生成部１１３は圧力エンベロープに応じて、イベントデータに対するベロシティ調整を行う。ただし、第２実施形態においては、ＭＩＤＩデータ生成部１１３は速度エンベロープに応じたテンポ調整処理は行わない。
【００８６】
音声データ生成部１１１はＭＩＤＩデータ生成部１１３から受け取ったイベントデータに従い、ギター、サックス、ベース、ドラム等の音声データを生成し、Ｄ／Ａコンバータ１１４に送出する。その結果、スピーカ１０５からはそれらの楽器の演奏音声が発音される。
【００８７】
ＭＩＤＩデータ生成部１１３は、上記のように、第１小節に関するノートオンメッセージの送出処理を行っている間も継続して位置データの記憶を行い、第２小節が開始する直前のタイミングで、過去１小節分の時間に記憶した位置データに基づいて、上述した雛形ＭＩＤＩデータの選択処理を行う。続いて、ＭＩＤＩデータ生成部１１３は選択した雛形ＭＩＤＩデータに含まれるイベントデータの音声データ生成部１１１に対する送出処理を行うが、その際、ユーザに選択された楽器パート「ギター」および「サックス」の雛形ＭＩＤＩデータに含まれるノートオンメッセージに関しては、上述したベロシティ調整処理に加え、音高の調整処理を行う。
【００８８】
例えば、第１小節の演奏用のＭＩＤＩデータ生成のために選択された、ある楽器パートの雛形ＭＩＤＩデータが「Ｃ３」の音高で開始し「Ｃ４」の音高で終了しており、第２小節の演奏用のＭＩＤＩデータ生成のために選択された同じ楽器パートの雛形ＭＩＤＩデータが「Ｂ３」の音高で開始し「Ｂ４」の音高で終了しているものとする。このような場合、ＭＩＤＩデータ生成部１１３は第２小節の雛形ＭＩＤＩデータに含まれるノートオンメッセージの音高を示すパラメータであるノートナンバーに１２を加えることにより、ノートオンメッセージが発音指示する楽音の音高を１オクターブだけ高音側にシフトさせる。このような音高の調整処理により、スピーカ１０５から発音される演奏音声は、小節間のつながりが自然なものとなる。
【００８９】
上述したＭＩＤＩデータ生成部１１３の処理により、パネル型楽器本体部１０から発音される音声は、ユーザのスティック２０を用いた演奏操作に応じて、賑やかさ、音程の変化傾向および楽音の強さが様々にアレンジされた演奏音声となる。その結果、ユーザは筆記動作と同様の操作により、容易に楽曲のアレンジ演奏を行うことができる。
【００９０】
なお、第２実施形態においても、第１実施形態と同様に、ユーザの演奏動作を示す画像が中央表示部１００に表示される。また、第２実施形態においても、第１実施形態と同様に、通信網等により接続された複数のパネル型楽器２を用いることにより、複数のユーザが二重奏もしくは多重奏を行うことができる。パネル型楽器２におけるそれらの動作は、パネル型楽器１におけるものと同様であるので、説明を省略する。
【００９１】
また、上述した説明においては、スティック２０のＹ方向の累積移動量を基本音符長、Ｘ方向の移動量を音程変化、タッチパネル１０２に対する押圧強度を楽音の強さに対応付けた場合を例示したが、位置データおよび圧力データに基づき生成されるどのような指標を用いるか、またその指標に応じて楽曲のどのパラメータに調整を加えるかは任意に変更可能である。
【００９２】
また、上述した説明においては、１小節単位で雛形ＭＩＤＩデータの選択を行ったが、雛形ＭＩＤＩデータが示す演奏フレーズの長さは任意に変更可能である。例えば、ＭＩＤＩデータ生成部１１３が１／４小節単位で演奏フレーズを選択および加工するように構成すれば、ユーザの演奏動作がより迅速かつ細やかに演奏に反映される。
【００９３】
［３．第３実施形態］
［３．１．データ処理装置の構成］
第３実施形態のデータ処理装置は、ユーザの筆記動作に応じて、その筆記動作に応じた音声を発音すると同時に、手本となる筆記動作を示した時系列の位置データおよび圧力データと、ユーザの筆記動作により生成される時系列の位置データおよび圧力データとの類似度を評価し、評価結果を表示する。
【００９４】
第３実施形態は上述した第１実施形態と多くの点が共通しているため、第３実施形態が第１実施形態と異なる点のみを説明する。以下、第３実施形態におけるデータ処理装置をパネル型楽器３と呼ぶ。また、パネル型楽器３が備える構成部のうち、パネル型楽器１が備える構成部と共通しているものに関しては、以下、同じ符号を用いる。
【００９５】
図６は、パネル型楽器３の外観を示す斜視図である。パネル型楽器３は、パネル型楽器本体部３０のみから構成されている。すなわち、第１実施形態におけるスティック２０に相当する構成部は備えていない。パネル型楽器本体部３０は、パネル型楽器本体部１０のアンテナ１０４に相当する構成部を備えていない。これは、パネル型楽器３はスティック２０に相当する構成部を備えていないので、パネル型楽器本体部３０はスティック２０から送信される電波信号を受信する必要がないためである。また、パネル型楽器本体部３０は、パネル型楽器本体部３０のタッチパネル１０２の代わりに、圧力センサパネル３１６を備えている。その他の点において、パネル型楽器本体部３０とパネル型楽器本体部３０の外観は共通している。
【００９６】
圧力センサパネル３１６は、例えば長方形の透明なアクリルボードと、その透明なアクリルボードの四隅にそれぞれ配置された高精度の圧力センサから構成されている。各々の圧力センサは、例えば歪みゲージ等を有しており、取り付けられた位置における、圧力センサパネル３１６の面に対し垂直方向に加えられた圧力の大きさを圧力信号として出力する。以下、圧力センサパネル３１６の四隅に配置された圧力センサの各々から出力される圧力信号をそれぞれ、「圧力信号１」、「圧力信号２」、「圧力信号３」および「圧力信号４」と呼ぶ。なお、圧力センサパネル３１６に設けられる圧力センサの数および配置の方法は様々に変更可能である。
【００９７】
図７は、パネル型楽器本体部３０の構成を機能により区分した機能ブロック図である。パネル型楽器本体部３０は、パネル型楽器本体部１０と異なり、上述したようにアンテナ１０４を備えておらず、また、タッチパネル１０２の代わりに圧力センサパネル３１６を備えている。さらに、位置データ生成部１０８および圧力データ生成部１１０の代わりに、それらの機能を併せ持つ位置圧力データ生成部３１７を備えている。また、パネル型楽器本体部３０は、パネル型楽器本体部１０が備えていた雛形ＭＩＤＩデータ記憶部１１２およびＭＩＤＩデータ生成部１１３を備えていない一方で、雛形位置圧力データ記憶部３１８および指標算出部３１９を備えている。
【００９８】
位置圧力データ生成部３１７は、圧力センサパネル３１６から出力される圧力信号に基づき、圧力センサパネル３１６上に加えられた圧力の位置を示す位置データとその圧力の押圧強度を示す圧力データの組である位置圧力データを生成する。圧力信号を位置圧力データに変換するための情報として、位置圧力データ生成部３１７は基準圧力データ群３１７１を記憶している。図８は、基準圧力データ群３１７１の構成を示す図である。基準圧力データ群３１７１は、圧力センサパネル３１６上の各位置に対し、所定の押圧強度の圧力、例えば１ｋＰａの圧力を加えた場合の圧力信号１〜４の値を示す基準圧力データ１〜４を含んでいる。例えば、図８の例によれば、位置（０，０）に対し１ｋＰａの圧力を加えた場合に、圧力センサパネル３１６の四隅に配置された圧力センサからは、０．３８５ｋＰａ、０．１０７ｋＰａ、０．２５６ｋＰａおよび０．０５２ｋＰａの押圧強度を示す圧力信号がそれぞれ出力されることが分かる。
【００９９】
位置圧力データ生成部３１７は、圧力センサパネル３１６から入力される圧力信号１〜４をサンプリングした時系列のデータ、すなわち圧力データ１〜４を生成する。続いて、位置圧力データ生成部３１７は基準圧力データ群３１７１から、基準圧力データ１〜４の比が、生成した圧力データ１〜４の比と最も近い基準圧力データを選択する。
【０１００】
例えば、圧力センサパネル３１６から受け取った圧力信号１〜４に基づいて生成された圧力データ１〜４がｈ、ｉ、ｊおよびｋであり、位置データ（ｘ，ｙ）に対応する基準圧力データ１〜４がＨ(x,y)、Ｉ(x,y)、Ｊ(x,y)およびＫ(x,y)であるとする。その場合、位置圧力データ生成部３１７は、例えば以下の式（２）の値を全ての（ｘ，ｙ）に関し算出する。
【数２】
2005084251.tif 000004
【０１０１】
式（２）の値は、ｈ〜ｋの比とＨ(x,y)〜Ｋ(x,y)の比が近いほど、０に近づく。従って、位置圧力データ生成部３１７は式（２）の値が最小となる（ｘ，ｙ）を選択する。なお、式（２）は、生成された圧力データの比と基準圧力データの比の近似度を示す指標の算出式の例示であり、他の算出式が用いられてもよい。
【０１０２】
上記の処理により選択された（ｘ，ｙ）は、圧力センサパネル３１６に加えられた圧力の中心点を示す位置データである。続いて、位置圧力データ生成部３１７は、圧力センサパネル３１６から受け取った圧力信号１〜４が、選択した（ｘ，ｙ）に対応する基準圧力データの何倍の大きさであるかを算出する。すなわち、位置圧力データ生成部３１７は、選択した（ｘ，ｙ）に関し、例えばｐ＝（ｈ／Ｈ(x,y)）を算出する。このように算出された値ｐは、（ｘ，ｙ）で示される点における圧力の大きさをｋＰａで示した数値である。位置圧力データ生成部３１７は、以上のように求めた数値を（ｘ，ｙ，ｐ）のように組合せたデータ、すなわち位置圧力データを生成する。
【０１０３】
雛形位置圧力データ記憶部３１８は、手本となる文字の筆記動作を示すデータを記憶する構成部である。図９は、雛形位置圧力データ記憶部３１８に記憶されているデータの構成を示す図である。雛形位置圧力データ記憶部３１８には、ある文字および書体の組合せに関し位置圧力データを時系列に並べたデータである雛形位置圧力データ群が、複数の文字および書体の組合せに関し記憶されている。例えば、文字「創」、書体「行書体」に対応する雛形位置圧力データ群は、例えば優れた書道家が、墨を付けない毛筆を用いて、「創」という文字を行書体で圧力センサパネル３１６に対し書き付けた際に、位置圧力データ生成部３１７により生成された位置圧力データを順次、時系列に記憶したものである。
【０１０４】
指標算出部３１９は、位置圧力データ生成部３１７から時系列で受け取る位置圧力データの群（以下、「ユーザ位置圧力データ群」と呼ぶ）と、雛形位置圧力データ群との類似度を示す指標を生成する構成部である。指標算出部３１９は、ユーザ位置圧力データ群および雛形位置圧力データ群等を一時的に記憶するためのＲＡＭ３１９１を有している。指標算出部３１９が行う処理は、以下の動作説明において併せて説明する。
【０１０５】
［３．２．データ処理装置の動作］
ユーザは、パネル型楽器本体部３０を用いた筆記動作を開始するに先立ち、操作部１０３を操作し、文字および書体の候補リストを右表示部１０１に表示させ、表示された候補リストから希望する文字および書体を選択する。以下、ユーザにより文字「創」、書体「行書体」が選択されたものとする。
【０１０６】
操作部１０３はユーザにより選択された文字および書体を示すデータを指標算出部３１９に送出する。指標算出部３１９は文字および書体を示すデータを受け取り、それらのデータに対応する雛形位置圧力データ群を雛形位置圧力データ記憶部３１８から読み出し、ＲＡＭ３１９１に記憶する。続いて、指標算出部３１９はＲＡＭ３１９１に記憶した雛形位置圧力データ群に含まれる位置圧力データを順次、音声データ生成部１１１および制御部１０７に送出する。
【０１０７】
音声データ生成部１１１は、指標算出部３１９から位置圧力データを受け取ると、受け取った位置圧力データに応じた音声データを生成する。例えば、音声データ生成部１１１のＦＭ音源部１１１２は、受け取った位置圧力データのＸ座標に応じて基本波形の周波数を変化させ、Ｙ座標に応じて基本波形の形状をサイン波から矩形波のように、連続的に変化させる。また、ＦＭ音源部１１１２は位置圧力データに含まれる圧力データに応じて、音調調整やフィルタ処理等を行う。音声データ生成部１１１は、そのように生成した音声データをＤ／Ａコンバータ１１４に送り、その結果、スピーカ１０５からは雛形位置圧力データ群に含まれる位置圧力データに応じて、様々に音高、音色および音量が変化する音声が発音される。
【０１０８】
一方、制御部１０７は指標算出部３１９から位置圧力データを受け取ると、受け取った位置圧力データに応じた線等を示す描画データを生成し、生成した描画データを中央表示部１００に送出することにより、中央表示部１００に対し画像の表示を指示する。その結果、中央表示部１００には手本となる「創」という文字が動画として描かれる。
【０１０９】
続いて、ユーザは墨を付けない毛筆を用いて、中央表示部１００に既に表示されている手本を参考としながら、中央表示部１００のいずれかの場所、例えば中央表示部１００の右半分に「創」という文字を書き付ける。ユーザが毛筆を圧力センサパネル３１６に接触させると、位置圧力データ生成部３１７は位置圧力データを制御部１０７および指標算出部３１９に送出する。制御部１０７は、指標算出部３１９から位置圧力データを受け取ると、上述した雛形位置圧力データ群に含まれる位置圧力データを受け取った場合と同様に、中央表示部１００に線等の表示を指示する。
【０１１０】
一方、指標算出部３１９は、位置圧力データ生成部３１７から最初の位置圧力データを受け取ると、雛形位置圧力データ群により示される文字の位置と、ユーザの筆記動作により書かれる文字の位置とのズレが音声データの生成に影響を与えないようにするために、それらの位置の調整処理を行う。より具体的には、まず、指標算出部３１９は位置圧力データ生成部３１７からから最初に受け取った位置圧力データに含まれるＸ座標およびＹ座標と、先に読み出した雛形位置圧力データ群に含まれる最初の位置圧力データのＸ座標およびＹ座標との差を算出する。例えば、「創」の雛形位置圧力データ群に含まれる最初の位置データが（２５０，３２０）であり、ユーザの筆記動作により最初に生成された位置圧力データに含まれる位置データが（７３０，３００）であったとすると、指標算出部３１９はＸ座標およびＹ座標の差として（−４８０，＋２０）を算出する。指標算出部３１９は、その後、位置圧力データ生成部３１７から受け取る位置圧力データに対し、算出した座標の差を用いて、位置データの調整処理を行う。例えば、指標算出部３１９は位置圧力データ生成部３１７から（７２５，２７０，２５）という位置圧力データを受け取った場合、Ｘ座標から４８０を減算し、Ｙ座標に２０を加算することにより、調整後の位置圧力データとして（２４５，２９０，２５）を生成する。指標算出部３１９は生成したＸ座標およびＹ座標の調整後の位置圧力データを、順次、ＲＡＭ３１９１に記憶するとともに、音声データ生成部１１１に送出する。
【０１１１】
音声データ生成部１１１は、指標算出部３１９から位置圧力データを受け取ると、上述した雛形位置圧力データ群に含まれる位置圧力データを受け取った場合と同様に音声データを生成し、生成した音声データをＤ／Ａコンバータ１１４に送出する。その結果、スピーカ１０５からはユーザの筆記動作に応じて、様々に音高、音質および音量が変化する音声が発音される。従って、ユーザは先にスピーカ１０５から発音された雛形位置圧力データ群による音声と、自分の筆記動作により発音される音声とを比較することにより、筆記動作のどの部分がどのように異なっているかを聴覚的に確認しながら筆記動作を行うことができる。
【０１１２】
指標算出部３１９は、先にＲＡＭ３１９１に記憶した雛形位置圧力データ群に含まれる位置圧力データの数と同じ数だけ、ユーザの筆記動作に応じた位置圧力データをＲＡＭ３１９１に記憶すると、雛形位置圧力データ群と、ユーザの筆記動作により時系列的に記憶された位置圧力データ、すなわちユーザ位置圧力データ群との間の類似度を示す指標算出の処理を行う。
【０１１３】
例えば、雛形位置圧力データ群が（Ｘ1，Ｙ1，Ｐ1）、（Ｘ2，Ｙ2，Ｐ2）、・・・、（Ｘm，Ｙm，Ｐm）であり、ユーザ位置圧力データ群が（ｘ1，ｙ1，ｐ1）、（ｘ2，ｙ2，ｐ2）、・・・、（ｘm，ｙm，ｐm）であるとする。この場合、指標算出部３１９は例えば、以下の式（３）の値を算出する。
【数３】
2005084251.tif 000005
【０１１４】
式（３）の値は、雛形位置圧力データ群に含まれるデータの値とユーザ位置圧力データ群に含まれるデータの値が近い程、０に近づく。従って、式（３）の値は、ユーザの筆記動作が、どの程度、手本となる書道家の筆記動作と近いかを示す指標である。なお、式（３）に示した算出式は、雛形位置圧力データ群とユーザ位置圧力データ群との類似度を示す指標を求める算出式の例示であって、他の様々な算出式が利用可能である。
【０１１５】
指標算出部３１９は、上記のように算出した指標を制御部１０７に送出する。制御部１０７は、指標算出部３１９から受け取った指標を示す描画データを生成し、右表示部１０１に送出する。右表示部１０１は、制御部１０７から受け取った描画データに従い指標を表示する。その結果、ユーザは自分の筆記動作がどの程度、手本の筆記動作に近いかを数量的に確認することができる。なお、制御部１０７は、右表示部１０１に描画データを送出する代わりに、例えば音声データ生成部１１１に音声データを送出することにより、スピーカ１０５からユーザに対し指標を通知する音声を発音させる構成としてもよい。
【０１１６】
［３．３．複数のデータ処理装置による演奏システム］
第３実施形態においては、通信網等により接続された複数のパネル型楽器本体部３０を用いることにより、例えば書道の教師が生徒に対し、遠隔教育を行うことができる。例えば書道の生徒であるユーザＳが有するパネル型楽器本体部３０Ｓと、書道の教師であるユーザＴが有するパネル型楽器本体部３０Ｔが、インターネット７０を介して接続されているものとする。まず教師であるユーザＴにより、手本となる筆記動作が行われる。パネル型楽器本体部３０Ｔは、ユーザＴの筆記動作を示すユーザ位置圧力データ群をパネル型楽器本体部３０Ｓに送信する。以下、ユーザＴの筆記動作により生成されたユーザ位置圧力データ群を「手本位置圧力データ群」と呼び、ユーザＳの筆記動作により生成されるユーザ位置圧力データ群と区別する。
【０１１７】
パネル型楽器本体部３０Ｓの有線通信部１０６は、パネル型楽器本体部３０Ｔから受信した手本位置圧力データ群を制御部１０７および指標算出部３１９に送出する。制御部１０７は手本位置圧力データ群を受け取ると、受け取ったデータに応じた線等の描画データを中央表示部１００に送出する。また、指標算出部３１９は、手本位置圧力データ群を受け取ると、受け取ったデータを音声データ生成部１１１に送出する。その結果、中央表示部１００にはユーザＴの筆記動作による毛筆の軌跡を示す画像が表示され、スピーカ１０５からはユーザＴの筆記動作に応じて様々に音高、音質および音量が変化する音声が発音される。
【０１１８】
ユーザＴによる筆記動作が終了すると、続いて、ユーザＳがパネル型楽器本体部３０Ｓに対し筆記動作を行う。ユーザＳの筆記動作に応じて、パネル型楽器本体部３０Ｓの中央表示部１００にはユーザＳの筆記動作による毛筆の軌跡を示す画像が表示され、スピーカ１０５からはユーザＳの筆記動作に応じて様々に音高、音質および音量が変化する音声が発音される。
【０１１９】
また、パネル型楽器本体部３０Ｓの有線通信部１０６は、パネル型楽器本体部３０Ｔに対し、ユーザＳの描画動作により生成されたユーザ位置圧力データ群を送信する。パネル型楽器本体部３０Ｔは、パネル型楽器本体部３０Ｓから送信されたユーザ位置圧力データ群に基づき、中央表示部１００にユーザＳの筆記動作による毛筆の軌跡を示す画像を表示すると同時に、スピーカ１０５からユーザＳの筆記動作に応じて音高、音質および音量が変化する音声を発音する。その結果、ユーザＴは、ユーザＳによる筆記動作における改善点等を視覚および聴覚を用いて、容易に把握することができる。
【０１２０】
なお、上述した説明においては、ユーザが墨を付けない毛筆を用いて筆記動作を行う場合を例として説明したが、ユーザは圧力センサパネル３１６の上に紙を置いて、その上から墨を付けた毛筆を用いて筆記動作を行うようにしてもよい。また、毛筆は筆記用具の例示であって、鉛筆、ペン、クレヨンなど、様々な筆記用具が利用可能である。
【０１２１】
［４．第４実施形態］
［４．１．データ処理装置の構成］
第４実施形態のデータ処理装置は、ユーザのスティックを用いたタッチパネルに対する擦る、叩くといった演奏動作に応じて、スティックとタッチパネルの接触した位置および押圧強度に応じた音高、音色および音量の楽音を発音する。
【０１２２】
第４実施形態は上述した第１実施形態と多くの点が共通しているため、第４実施形態が第１実施形態と異なる点のみを説明する。以下、第４実施形態におけるデータ処理装置をパネル型楽器４と呼ぶ。また、パネル型楽器４が備える構成部のうち、パネル型楽器１が備える構成部と共通しているものに関しては、以下、同じ符号を用いる。
【０１２３】
図１０は、パネル型楽器４の外観を示す斜視図である。パネル型楽器４は、パネル型楽器本体部５０およびスティック２０から構成されている。パネル型楽器本体部５０は、パネル型楽器本体部１０が備えていない構成部として、上表示部５２０および左表示部５２１を備えている。上表示部５２０および左表示部５２１は、例えば液晶ディスプレイであり、上表示部５２０はタッチパネル１０２のＸ方向に関する情報として、例えば音高を示す鍵盤の画像を表示し、一方、左表示部５２１は、タッチパネル１０２のＹ方向に関する情報として、例えば音色を示す楽器名を表示する。
【０１２４】
パネル型楽器本体部５０は、内部的な構成において、雛形ＭＩＤＩデータ記憶部１１２を備えていない点がパネル型楽器本体部１０と異なっている。また、パネル型楽器本体部５０の備えるＭＩＤＩデータ生成部１１３は、第１実施形態および第２実施形態における場合のように雛形ＭＩＤＩデータに調整処理を施すことは行わず、位置データおよび圧力データに応じて、イベントデータそのものを生成する。
【０１２５】
［４．２．データ処理装置の動作］
ユーザは、パネル型楽器４を用いた演奏動作を行うに先立ち、操作部１０３を操作して、パネル型楽器本体部５０に対し、音域および音色の設定を行う。例として、ユーザはＸ方向に４９鍵の鍵盤に対応する音域を、Ｙ方向に関し「ピアノ」、「シンセパッド」、「ギター」、「サックス」、「ベース」および「ドラムセット」の音色を設定するものとする。ユーザの設定動作に応じて、制御部１０７は上表示部５２０に４９鍵の鍵盤を示す画像を、左表示部５２１に「ピアノ」等の音色を示す文字を、また中央表示部１００にＸ方向およびＹ方向の位置を示すグリッド線を、それぞれ表示させる。
【０１２６】
ユーザにより設定された音域および音色を示すデータは、操作部１０３からＭＩＤＩデータ生成部１１３にも送出される。ＭＩＤＩデータ生成部１１３は、受け取った音域および音色を示すデータをＲＡＭ１１３１に記憶すると同時に、そのデータに基づき、音色の指定を行うＭＩＤＩデータであるプログラムチェンジメッセージを生成し、生成したプログラムチェンジメッセージを音声データ生成部１１１に送出する。音声データ生成部１１１は、受け取ったプログラムチェンジメッセージに応じて、１〜６番目の楽器パートの音色設定を「ピアノ」、「シンセパッド」、「ギター」、「サックス」、「ベース」および「ドラムセット」にそれぞれ変更する。
【０１２７】
続いて、ユーザは、スティック２０をスタイラスペンのように用いてタッチパネル１０２の表面を擦ったり、スティック２０をドラムスティックのように用いてタッチパネル１０２の表面を叩いたりする。そのようなユーザの演奏動作に応じて、位置データ生成部１０８および圧力データ生成部１１０は、それぞれ位置データおよび圧力データを生成し、生成したそれらのデータをＭＩＤＩデータ生成部１１３に送出する。
【０１２８】
ＭＩＤＩデータ生成部１１３は、位置データおよび圧力データを受け取ると、受け取った位置データに含まれるＸ座標に基づき、音高を示すパラメータであるノートナンバーを、受け取った位置データに含まれるＹ座標に基づき、楽器パートを指定するパラメータであるチャンネルナンバーを、また受け取った圧力データに基づき、音の強さを指定するパラメータであるベロシティを、それぞれ決定する。ＭＩＤＩデータ生成部１１３は、上記のように決定したノートナンバー、チャンネルナンバーおよびベロシティを用いて、ノートオンメッセージを生成する。
【０１２９】
ＭＩＤＩデータ生成部１１３は、生成したノートオンメッセージを音声データ生成部１１１に送出する。音声データ生成部１１１はＭＩＤＩデータ生成部１１３からノートオンメッセージを受け取ると、例えば受け取ったノートオンメッセージに含まれるチャンネルナンバーにより指定される楽器パートの音色およびノートナンバーにより指定される音高の波形データに対し、ベロシティに応じた音量調整等を施すことにより、音声データを生成する。音声データ生成部１１１は生成した音声データをＤ／Ａコンバータ１１４に送出し、その結果、スピーカ１０５からはユーザのスティック２０を用いた演奏動作に応じた音高、音色および音量の楽音が発音される。
【０１３０】
なお、第４実施形態においても、第１実施形態と同様に、ユーザの演奏動作を示す画像が中央表示部１００に表示される。また、第４実施形態においても、第１実施形態と同様に、通信網等により接続された複数のパネル型楽器４を用いることにより、複数のユーザが二重奏もしくは多重奏を行うことができる。パネル型楽器４におけるそれらの動作は、パネル型楽器１におけるものと同様であるので、説明を省略する。
【０１３１】
なお、上述した説明においては、Ｘ方向に音高、Ｙ方向に音色を割り当てる場合を例示したが、いずれの方向にいずれのパラメータを割り当てるかは任意に変更可能である。
【０１３２】
また、上述した説明においては、音声データ生成部１１１はピアノ等のように半音単位で変化する音声を示す音声データを生成する場合を例示したが、位置データに応じて、バイオリン等のように任意の音高の音声データを生成する構成にしてもよい。また、上述した説明においては、Ｙ方向に互いに非連続な異なる音色を割り当てる場合を例示したが、例えばＹ方向の上部にバイオリンの音色を、下部にフルートの音色を割り当て、それらの音色を示す波形データをクロスフェードさせるなどして、上部から下部に向かい音色が連続的に変化するような構成にしてもよい。上記のように音高や音色を自由に割り当てることにより、ユーザはパネル型楽器４を用いて、従来のミュージックキーボード等では困難であった音楽表現を行うことが可能となる。
【０１３３】
また、上述した説明においては、スティック２０を１本のみ用いる場合を例示したが、例えばパネル型楽器４は複数のスティック２０を備える構成にしてもよい。その場合、例えば、それぞれのスティック２０に異なる周波数帯を割り当て、それぞれのスティック２０から送出される電波信号を区別可能にするとともに、例えばアンテナ１０４および無線通信部１０９を複数設け、それぞれのアンテナ１０４において受信される電波強度から、各々のスティック２０の位置を特定するようにすればよい。
【０１３４】
［５．態様］
本発明はＰＤＡ等の電子文房具、玩具、楽器等、様々な電子機器に適用することが可能であるが、以下に本発明を楽器に適用した場合の実施態様例を示す。
【０１３５】
［５．１．第１態様］
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、前記位置データおよび前記圧力データに基づき楽音の波形を示す楽音データもしくは楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記データ生成手段により生成されたデータを出力する出力手段とを備えることを特徴とするパネル型楽器。
【０１３６】
［５．２．第２態様］
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、前記位置データおよび前記圧力データに基づき楽音の波形を示す楽音データもしくは楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記データ生成手段により生成されたデータを出力する出力手段と、前記位置データおよび前記圧力データに基づき描画を行う描画手段とを備えることを特徴とするパネル型楽器。
【０１３７】
［５．３．第３態様］
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、楽音の発音の制御を指示する雛形演奏制御データを記憶する記憶手段と、前記位置データ、前記圧力データおよび前記雛形演奏制御データを用いて楽音の波形を示す楽音データもしくは楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記データ生成手段により生成されたデータを出力する出力手段とを備えることを特徴とするパネル型楽器。
【０１３８】
［５．４．第４態様］
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、演奏フレーズを示す雛形演奏データを複数記憶する記憶手段と、前記位置データおよび前記圧力データに基づき前記記憶手段により記憶される複数の雛形演奏データから１以上の雛形演奏データを選択する選択手段と、前記位置データ、前記圧力データおよび前記選択手段により選択された雛形演奏データを用いて楽音の波形を示す楽音データもしくは楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記データ生成手段により生成されたデータを出力する出力手段とを備えることを特徴とするパネル型楽器。
【０１３９】
［５．５．第５態様］
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、前記位置データおよび前記圧力データに基づき楽音の波形を示す楽音データもしくは楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記データ生成手段により生成されたデータを出力する出力手段と、平面上の位置の軌跡を示す雛形位置データおよび当該軌跡上の押圧強度の変化を示す雛形圧力データを含み手本となる筆記動作を示す雛形データを記憶する記憶手段と、前記取得手段により取得される位置データおよび圧力データにより示される筆記動作と前記雛形データにより示される筆記動作との間の類似度を示す指標を算出する指標算出手段と、前記指標を通知する通知手段とを備えることを特徴とするパネル型楽器。
【０１４０】
［５．６．第６態様］
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、前記位置データおよび前記圧力データに基づき楽音の波形を示す楽音データもしくは楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記位置データ、前記圧力データおよび前記データ生成手段により生成されたデータの少なくとも１つを他の装置に送信する送信手段とを備えることを特徴とするパネル型楽器。
【０１４１】
［５．７．第７態様］
平面上の指示位置を示す位置データおよび前記指示位置における押圧強度を示す圧力データを他の装置から受信する受信手段と、前記位置データおよび前記圧力データに基づき楽音の波形を示す楽音データもしくは楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記データ生成手段により生成されたデータを出力する出力手段とを備えることを特徴とするパネル型楽器。
【０１４２】
［５．８．第８態様］
平面上の指示位置を座標により示す座標データおよび前記指示位置における押圧強度を示す圧力データを取得する取得手段と、前記座標データに含まれるＸ成分およびＹ成分のいずれか１つに応じて音色を決定する音色決定手段と、前記座標データに含まれるＸ成分およびＹ成分のうち前記音色決定手段が音色の決定に用いない成分に応じて音高を決定する音高決定手段と、前記圧力データに応じて音の強さを決定する音強決定手段と、前記音色決定手段により決定された音色、前記音高決定手段により決定された音高および前記音強決定手段により決定された音の強さに応じた楽音の波形を示す楽音データもしくは当該楽音の発音の制御を指示する演奏制御データの少なくとも一方を生成するデータ生成手段と、前記データ生成手段により生成されたデータを出力する出力手段とを備えることを特徴とするパネル型楽器。
【図面の簡単な説明】
【０１４３】
【図１】本発明の第１実施形態に係るパネル型楽器の外観を示す斜視図である。
【図２】本発明の第１実施形態に係るパネル型楽器の構成を機能により区分した機能ブロック図である。
【図３】本発明の第１実施形態に係る雛形ＭＩＤＩデータの構成を示す図である。
【図４】本発明の第１実施形態に係る複数のパネル型楽器を用いた演奏システムの構成を示す図である。
【図５】本発明の第２実施形態に係る雛形ＭＩＤＩデータ記憶部が記憶しているデータの構成を示す図である。
【図６】本発明の第３実施形態に係るパネル型楽器の外観を示す斜視図である。
【図７】本発明の第３実施形態に係るパネル型楽器の構成を機能により区分した機能ブロック図である。
【図８】本発明の第３実施形態に係る基準圧力データ群の構成を示す図である。
【図９】本発明の第３実施形態に係る雛形位置圧力データ記憶部に記憶されているデータの構成を示す図である。
【図１０】本発明の第４実施形態に係るパネル型楽器の外観を示す斜視図である。
【符号の説明】
【０１４４】
１・２・３・４…パネル型楽器、１０・３０・５０…パネル型楽器本体部、２０…スティック、７０…インターネット、１００…中央表示部、１０１…右表示部、１０２…タッチパネル、１０３…操作部、１０４・２０３…アンテナ、１０５…スピーカ、１０６…有線通信部、１０７…制御部、１０８…位置データ生成部、１０９・２０２…無線通信部、１１０…圧力データ生成部、１１１…音声データ生成部、１１２…雛形ＭＩＤＩデータ記憶部、１１３…ＭＩＤＩデータ生成部、１１４…Ｄ／Ａコンバータ、１１５…アンプ、２００…ヘッド部、２０１…圧力センサ、３１６…圧力センサパネル、３１７…位置圧力データ生成部、３１８…雛形位置圧力データ記憶部、３１９…指標算出部、５２０…上表示部、５２１…左表示部、１１１１…ＰＣＭ音源部、１１１２…ＦＭ音源部、１１３１・３１９１…ＲＡＭ、３１７１…基準圧力データ群。
【図１】
2005084251.tif 000006
【図２】
2005084251.tif 000007
【図３】
2005084251.tif 000008
【図４】
2005084251.tif 000009
【図５】
2005084251.tif 000010
【図６】
2005084251.tif 000011
【図７】
2005084251.tif 000012
【図８】
2005084251.tif 000013
【図９】
2005084251.tif 000014
【図１０】
2005084251.tif 000015