(57)【要約】【課題】  従来の音楽演奏用装置において、任意の色の絵を描画するモードと、任意の色の絵に基づく音を出力する演奏モードとのいずれかのモードに切換制御する必要があり、ユーザにとって処理が煩雑であるという問題があった。また、予め登録した音を再生するため、演奏時に所望の音を合成出来ないという問題もあった。また、同一のユーザであっても筆圧値にばらつきが生ずる問題もあった。【解決手段】  本発明は、音高と音色の２軸表示を行う表示部１と、該表示部に接触した座標位置を検出する位置検出部３と、接触した圧力を検出する圧力検出部４と、座標の一方の軸に対応する音高を他方の軸に対応する音色で、圧力値に対応した音量にて出力する音出力部５と、座標位置に図形を発生させ、該図形の色を生成させ、前記圧力検出部からの入力により前記図形の大きさと形状を変形させる図形合成部６とを具備することで解決するものである。【選択図】図１
2007156109.tif 000002
【特許請求の範囲】
【請求項１】
音高および音色に対応する２軸表示を行う表示部と、
該表示部に接触する入力手段の座標位置を検出する位置検出部と、
前記入力手段の前記表示部への圧力を検出する圧力検出部と、
前記座標位置の一方の軸に対応する音高を他方の軸に対応する音色で、前記圧力検出部からの入力に対応した音量にて出力する音出力部と、
前記座標位置に図形を発生させ、該図形の色を生成させ、前記圧力検出部からの入力により前記図形の大きさと形状を変形させる図形合成部とを具備することを特徴とする音楽演奏用装置。
【請求項２】
前記音色に対応した軸は分割され、各領域に異なる楽器の音色を割り当てることを特徴とする請求項１に記載の音楽演奏用装置。
【請求項３】
前記音色に対応した軸は分割され、各領域に異なる合成波を割り当てることを特徴とする請求項１に記載の音楽演奏用装置。
【請求項４】
前記音高に対応した軸は分割され、各領域に周波数の低い音から順に割り当てることを特徴とする請求項１に記載の音楽演奏用装置。
【請求項５】
前記図形は、前記音色に対応して形状を変化させ、前記音高に対応して色を変化させることを特徴とする請求項１に記載の音楽演奏用装置。
【請求項６】
前記図形の形状は、円、多種の多角形、あるいは折れ線と曲線で囲まれる図形で表示されることを特徴とする請求項１に記載の音楽演奏用装置。
【請求項７】
図形提示部により前記表示部に入力用の図形を全て提示し、前記入力手段で前記入力用の図形のいずれかに接触し、入力として受け付けることを特徴とする請求項１に記載の音楽演奏用装置。
【請求項８】
前記図形提示部により前記表示部に入力用の図形を１つ提示し、前記入力手段で前記入力用の図形に接触し、入力として受け付けることを特徴とする請求項１に記載の音楽演奏用装置。
【請求項９】
前記図形提示部は、前記入力用の図形の大きさ、前記入力用の図形の提示時間、前記入力用の図形の移動距離を所望の値に設定することを特徴とする請求項８に記載の音楽演奏用装置。
【請求項１０】
前記図形提示部は、生成される音の並びが楽曲あるいは旋律パターンとなるように、楽曲情報に基づいて前記入力用の図形を提示することを特徴とする請求項８に記載の音楽演奏用装置。
【請求項１１】
前記圧力検出部は、入力開始から１００ミリ秒以下の時点の値に対し、予め得られている圧力値の標準偏差を用いて補正し、あるいはユーザの登録した平均値と標準偏差を用いてユーザの意図する値を推定し、音の強弱を調整することを特徴とする請求項１に記載の音楽演奏用装置。
【請求項１２】
前記圧力検出部は、入力開始から終了までの間、圧力値を連続的に取得して図形の大きさと形状、および音の大きさを連続的に変化させることを特徴とする請求項１に記載の音楽演奏用装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された座標位置情報と圧力情報を認識して音楽を演奏する装置に関し、特にインタラクティブに音と図形を生成して音楽を演奏する装置に関するものである。
【背景技術】
【０００２】
従来の音楽演奏用装置としては、絵を描画した後に音を出力できる装置が知られている。例えば、任意の色の絵を描画するためのペンと、描画が行われるタブレットとを有する入力手段と、入力装置に入力された前記任意の色の絵を表示する表示装置と、任意の色の絵に基づく音声を出力する音源装置と、前記任意の色の絵を描画するための描画モードと、該任意の色の絵に基づく音を出力するための演奏モードとのいずれかのモードに切り換え制御する制御部とを有するシステムにおいて、演奏モードではユーザが表示装置に表示された任意の色の絵をなぞるようにペンをタブレットに接触させることで、なぞられた絵の部分の色に割り当てられた音を音源装置から出力する。絵のなぞり方の変化に対応した音を出力したり、タブレットに対するペンの筆圧又は傾斜による入力情報を絵の色の変化として表したりする技術は、特許文献１に記載されている。
【０００３】
また、液晶タブレットを用いて、図形に対応した音符および筆圧に対応した音量情報を指定できる楽譜情報を入力する技術は、特許文献２に記載されている。
【０００４】
更にまた、液晶タブレットを用いて、ペンで指示した座標位置を検出し、筆圧に対応した大きさ、色、濃度、明るさで文字・図形などを描画するカーソルを有する技術は、特許文献３に記載されている。
【０００５】
更にまた、入力装置の位置情報を取込み、座標位置に対応して設定されたテンポ（演奏速度）、強弱（音量、ボリューム）などにリアルタイムで制御できる技術は、特許文献４に記載されている。
【特許文献１】特許第３２２４４９２号公報
【特許文献２】特許第３４７８２９５号公報
【特許文献３】特許第３５２２３９９号公報
【特許文献４】特開平８−２０２３５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したように従来の音楽演奏用装置では、任意の色の絵を描画するための描画モードと、入力装置（具体的には、液晶タブレットとペン）を音源装置から任意の色の絵に基づく音を出力するために用いる演奏モードとのいずれかのモードに切り換え制御する必要があり、描画をする場合と演奏をする場合とのモードの切り換え作業がユーザにとって煩雑になるという問題があった。
【０００７】
また、音高と音色の明確な制御がないという問題があった。
【０００８】
また、絵の部分をなぞるようにペンをタブレットに接触させて絵の色に割り当てられた音を音源装置から出力させるため、手の不自由なユーザには演奏し難いという問題があった。
【０００９】
更に、予め登録した音を再生するため、演奏時に所望の音を合成出来ないという問題があった。
【００１０】
更に、タブレットに対するペンの筆圧あるいは傾斜の強弱に対応した音を出力するため、同一のユーザであっても筆圧値にばらつきが発生する問題があった。
【００１１】
そして、インタラクティブに音と図形を生成し、音楽演奏が行える機能を有する楽器の提供が望まれていた。
【００１２】
また、音と同時に図形を生成あるいは変形し、視覚的にも楽しんで演奏できることも望まれていた。
【課題を解決するための手段】
【００１３】
本発明は、上述した問題点に鑑みて為されたものであり、音高および音色に対応する２軸表示を行う表示部と、該表示部に接触する入力手段の座標位置を検出する位置検出部と、前記入力手段の前記表示部への圧力を検出する圧力検出部と、前記座標位置の一方の軸に対応する音高を他方の軸に対応する音色で、前記圧力検出部からの入力に対応した音量にて出力する音出力部と、前記座標位置に図形を発生させ、該図形の色を生成させ、前記圧力検出部からの入力により前記図形の大きさと形状を変形させる図形合成部とを具備することで解決するものである。
【００１４】
また、前記音色に対応した軸は分割され、各領域に異なる楽器の音色を割り当てることを特徴とするものである。
【００１５】
更に、前記音色に対応した軸は分割され、各領域に異なる合成波を割り当てることを特徴とするものである。
【００１６】
更に、前記音高に対応した軸は分割され、各領域に周波数の低い音から順に割り当てることを特徴とするものである。
【００１７】
更に、前記図形は、前記音色に対応して形状を変化させ、前記音高に対応して色を変化させることを特徴とするものである。
【００１８】
更に、前記図形の形状は、円、多種の多角形、あるいは折れ線と曲線で囲まれる図形で表示されることを特徴とするものである。
【００１９】
更に、図形提示部により前記表示部に入力用の図形を全て提示し、前記入力手段で前記入力用の図形のいずれかに接触し、入力として受け付けることを特徴とするものである。
【００２０】
更に、前記図形提示部により前記表示部に入力用の図形を１つ提示し、前記入力手段で前記入力用の図形に接触し、入力として受け付けることを特徴とするものである。
【００２１】
そして、前記図形提示部は、前記入力用の図形の大きさ、前記入力用の図形の提示時間、前記入力用の図形の移動距離を所望の値に設定することを特徴とするものである。
【００２２】
そして、前記図形提示部は、生成される音の並びが楽曲あるいは旋律パターンとなるように、楽曲情報に基づいて前記入力用の図形を提示することを特徴とするものである。
【００２３】
また、前記圧力検出部は、入力開始から１００ミリ秒以下の時点の値に対し、予め得られている圧力値の標準偏差を用いて補正し、あるいはユーザの登録した平均値と標準偏差を用いてユーザの意図する値を推定し、音の強弱を調整することを特徴とするものである。
【００２４】
更に、前記圧力検出部は、入力開始から終了までの間、圧力値を連続的に取得して図形の大きさと形状、および音の大きさを連続的に変化させることを特徴とするものである。
【発明の効果】
【００２５】
上述したように、本発明の音楽演奏用装置は、音高および音色に対応する２軸表示を行う表示部と、該表示部に接触する入力手段の座標位置を検出する位置検出部と、前記入力手段の前記表示部への圧力を検出する圧力検出部と、前記座標位置の一方の軸に対応する音高を他方の軸に対応する音色で、前記圧力検出部からの入力に対応した音量にて出力する音出力部と、前記座標位置に図形を発生させ、該図形の色を生成させ、前記圧力検出部からの入力により前記図形の大きさと形状を変形させる図形合成部とを具備することにより、インタラクティブに音と図形を生成することができる。これにより、音と図形の同時生成の効果が得られ、音のみの生成と比較しユーザが受ける印象を強くすることができる。楽器演奏の経験のないユーザであっても、気軽かつ容易に楽器演奏を行うこともできる。そして従来の装置の如く、図形を描画する場合と音楽を演奏する場合とでモードを切り換え制御する必要がないため、ユーザの処理の煩雑化を軽減できる。
【００２６】
また、音色に対応した軸を分割することにより、各領域に異なる楽器の音色あるいは異なる合成波を割り当てることができる。これにより、演奏の途中に複数の音色あるいは複数の合成波を用いることができる。そして、ユーザは各領域を移動するだけで良いので、容易に操作できる。
【００２７】
更に、音高に対応した軸を分割することにより、各領域に周波数の低い音から順に割り当てることができる。これにより、既存の楽器と異なり、音律や音階を自由に変更することができる。
【００２８】
更に、図形の形状を円、多種の多角形、あるいは折れ線と曲線で囲まれる図形で表し、音色に対応して前記図形の形状を変化させ、音高に対応して色を変化させることができる。これにより、ユーザは演奏をしながら視覚的にも楽しむことができる。
【００２９】
更に、図形提示部が表示部に入力用の図形を１つあるいは全てを提示することにより、入力手段で所望の前記入力用の図形に接触し、前記接触を入力として受け付けることができる。これにより、ユーザとシステムがインタラクションしながら音楽を演奏することができる。
【００３０】
更に、図形提示部により、表示部に提示する入力用の図形の大きさ、前記入力用の図形の提示時間、前記入力用の図形の移動距離を所望の値に設定できる。これにより、ユーザの運動能力に合わせた設定が可能となるため、手の運動機能のリハビリテーションや脳機能のトレーニングを目的として利用することができ、それらの機能に対する効果も期待することができる。そして、設定レベルを難しくすることにより、さらに効果を期待することができる。
【００３１】
更に、図形提示部により、生成される音の並びを楽曲あるいは旋律パターンとなるように、楽曲情報に基づいて入力用の図形を提示させることができる。これにより、楽器演奏に親しみの少ないユーザであっても、容易に楽曲あるいは旋律パターンを演奏することができる。
【００３２】
更に、圧力検出部により、入力開始から１００ミリ秒以下の時点の値に対して予め得られている圧力値の標準偏差を用いて補正し、あるいはユーザの登録した平均値と標準偏差を用いてユーザの意図する値を推定し、音の強弱を調整することができる。これにより、同一のユーザによる圧力値のばらつきを回避することができ、楽器演奏時における音の強弱を安定させることができる。そして、１００ミリ秒以下の時点の圧力値を用いることができるため、表示部を連続してなぞることが困難なユーザであっても、楽器を演奏することができる。
【００３３】
更に、圧力検出部により、入力開始から終了までの間、圧力値を連続的に取得することにより、圧力値に応じて図形の大きさと形状、および音の大きさを連続的に変化させることができる。
【００３４】
更に、本発明の音楽演奏用装置を複数台接続して画像情報を共有することにより、音楽の合奏に加えて、視覚的なコミュニケーションを楽しむことができる。
【００３５】
更に、図形提示部による入力用の図形の提示方法を利用して、幼児教育等において、音と図形の時系列のパターン学習に使用することが可能である。
【発明を実施するための最良の形態】
【００３６】
以下に、本発明における実施の形態について、図１乃至図１３を参照にして詳細に説明する。尚、本発明の音楽演奏用装置は、液晶タブレットやタッチパネル等に適用できるが、ここでは液晶タブレットを用い、入力手段にペンを用いる場合を例に説明していく。
【００３７】
図１（Ａ）は、本発明の一実施の形態における音楽演奏用装置の構成図であり、図１（Ｂ）は、音楽演奏用装置を２台接続した場合を説明する図である。
【００３８】
図１（Ａ）に示すごとく、音楽演奏用装置は、表示部１、入力手段２、位置検出部３、圧力検出部４、音出力部５、図形合成部６、図形提示部７、音入力部８、通信制御部９、メモリ、ＣＰＵ、バスとから構成される。
【００３９】
表示部１は、画面に触れることでコンピュータの操作を行なえる入力装置であり、具体的には、液晶タブレットあるいはタッチパネルである。また、表示部１は、座標を用いた直感的な操作が可能であり、表示部に表示された２軸のうち、一方の軸で音高を表し、他方の軸で音色を表している。
【００４０】
入力手段２は、表示部１に指示を与える手段であり、具体的には、ペン、マウス、あるいは指である。
【００４１】
位置検出部３は、入力手段２で表示部１に接触した座標位置を検出する部分である。
【００４２】
圧力検出部４は、入力手段２が表示部１へ与えた圧力を検出する部分である。
【００４３】
音出力部５は、座標位置の一方の軸に対応する音高を他方の軸に対応する音色で、圧力検出部４から入力した圧力の大きさに対応した音量にて出力する部分である。具体的には、スピーカから出力する。
【００４４】
図形合成部６は、入力手段２で指示を与えた座標位置に図形を発生させ、図形の色を生成させ、圧力検出部４からの入力により図形の大きさと形状を変形させる部分である。
【００４５】
図形提示部７は、表示部１に入力用の図形を提示する部分であり、入力手段２で前記入力用の図形に接触し、位置検出部３および圧力検出部４が前記接触を入力として受け付ける。
【００４６】
音入力部８は、入力された音をデータ処理し、音データとしてメモリへ登録する部分である。具体的には、マイクより入力された音を登録する。
【００４７】
通信制御部９は、ＣＰＵと通信回線の間にあって、データの送受信を制御する装置である。具体的には、図１（Ｂ）に示すごとく、当該音楽演奏用装置２台を接続して、一方の装置における図形情報を他方の装置へ送信すること等に利用する。
【００４８】
メモリは、データやプログラムを記憶する装置であり、具体的には、音源情報、図形情報、当該装置を制御するプログラム等を記憶している。また、入力装置から受け取ったデータおよび出力装置に出力するデータを保持する。
【００４９】
ＣＰＵは、各装置の制御やデータの計算・加工を行う中枢部分であり、メモリに記憶されたプログラムを実行する装置で、メモリを介して入力装置からデータを受け取り、演算・加工した上で、メモリを介して出力装置に出力する。具体的には、表示部１、入力手段２、位置検出部３、圧力検出４、音入力部８、通信制御部９からメモリを介してデータを受け取り、演算・加工して、表示部１、音出力部５、図形合成部６、図形提示部７、通信制御部９にメモリを介して出力する。
【００５０】
バスは、コンピュータ内部で各回路がデータのやり取りをするための伝送路である。具体的には、位置検出部３、圧力検出部４、音出力部５、図形合成部６、図形提示部部７、音入力部８、通信制御部９、ＣＰＵがメモリを介してデータのやり取りをしている。
【００５１】
次に、図２乃至図５を用いて、当該音楽演奏用装置においてユーザ主導により演奏を行う場合について説明する。図２（Ａ）は本発明の一実施の形態における音楽演奏用装置のユーザ主導による場合の表示画面の一例であり、図２（Ｂ）はセルの形状ボタンの押下により展開される表示画面の一例であり、図２（Ｃ）はセルの形状の設定後に展開される表示画面の一例である。また、図３（Ａ）は音階・音律の設定ボタンの押下により展開される表示画面の一例であり、図３（Ｂ）は色の設定ボタンの押下により展開される表示画面の一例である。更に、図４および図５は、音・図形設定ボタンの押下後に展開される各ボタンにおける表示画面の一例である。
【００５２】
尚、ここでいう「ユーザ主導」とは、ユーザの意思により表示部１上の所望の座標位置を入力手段２で指示する入力の形態のことをいい、前記入力により音および図形が生成され、音出力部５より音が出力され、図形合成部６より図形が出力される。すなわち、音楽演奏用装置を楽器として用い、ユーザの意思により入力がされ、演奏を行うことである。また、「システム主導」の入力の形態も存在するが、これについては後で詳細に説明する。
【００５３】
図２（Ａ）に示すごとく、表示部１に表示されるユーザ主導による画面は、楽器領域１１０、入力切替ボタン１１１、セルの形状ボタン１１２、音階・音律の設定ボタン１１３、色の設定ボタン１１４、音・図形設定ボタン１１５等から構成される。
【００５４】
楽器領域１１０は、表示部１内の多くの領域を利用して２軸表示され、２軸表示を行った一方の軸に音色を対応させ、他方の軸に音高を対応させた領域である。音色に対応した軸は複数領域に分割され、各領域には異なる楽器の音色あるいは異なる合成波が割り当てられる。また、各領域には図形を対応させることもできる。また、音高に対応した軸も複数領域に分割され、各領域には周波数の低い音から高い音の順に割り当てられる。また、各領域には色を対応させることもできる。
【００５５】
「音高」とは、音の高さをいい、音階を構成する音である。具体的には、音階を構成する「ド、レ、ミ、ファ、ソ、ラ、シ」等の音である。
【００５６】
「音色」とは、音の強さや高さが等しくても、それを発する楽器の種類などによって違って感じられる音の特性をいい、音に含まれる周波数成分の強さの比、その減衰度などによって決まる。具体的には、（１）正弦波を合成する方式、あるいは（２）既存の音色を選択する方式と音色にエフェクトを掛ける方式との組み合わせにより音色を制御する。
【００５７】
（１）正弦波を合成する方式とは、正弦波を次式のように合成して音を生成することをいい、
ｇ（ｔ）×｛Ａｌ×ｓｉｎ（２π×ｆ×ｔ）＋・・・+Ａｉ×ｓｉｎ（２π×ｉ×ｆ×ｔ）+・・・｝
ｇ（ｔ）：音の減衰を表す関数
Ａｌ   ：基本周波数の振幅
Ａｉ   ：ｉ倍音の振幅〔ｉは整数のみでなく、小数を指定可能〕
ｆ     ：基本周波数
ｉ倍音の合成は、具体的には、図４（Ａ）に示すように整数倍音を合成する他に、
（１−１）三和音の場合：基本周波数に１．２６倍の音、１．５倍の音を合成
（１−２）うなりの場合：基本周波数に１．０１倍の音を合成
のように音を合成する。
【００５８】
尚、減衰関数は、次式のなかから選択することができ、
【００５９】
【数１】
2007156109.tif 000003
また上式の他に、ユーザが式を定義することもできる。
【００６０】
入力切替ボタン１１１は、当該音楽演奏用装置の入力の形態を「ユーザ主導」から「システム主導」へと切り替えるボタンである。
【００６１】
セルの形状ボタン１１２は、楽器領域１１０に表示される入力用セルの形状を設定する画面へ展開させるボタンである。尚、ここではＸ軸に音色を割り当てた場合、つまり画面上の各列に音色と図形を設定する場合について説明する。
【００６２】
具体的には、図２（Ｂ）に示すごとく、入力用セルの形状設定画面１１２ａは、列の指定領域、入力用セルの形状の選択領域、新規図形の登録領域、確定領域とから構成される。列の指定領域は、入力用セルの形状を設定する列を指定する領域である。尚、列の指定をしない場合には全ての列で同じ形状となる。そして、楽器領域１１０に表示する列の数を変更することもできる。
【００６３】
また、入力用セルの形状の選択領域は、選択可能なセルの形状の一覧（この場合は、矩形の他、円、多角形、星型等）を画面１１２ａに表示する。ユーザは、一覧から所望のセルの形状を選択することで設定ができる。尚、選択しない場合にはシステムが矩形を選択するように、プログラム制御を行っている。
【００６４】
また、新規図形の登録領域は、描画された図形を新規に登録する領域であり、ユーザは自由に図形を登録できる。
【００６５】
また、確定領域は、ＯＫボタンとキャンセルボタンとを有し、ＯＫボタンにより入力用セルの形状の設定内容を確定し、キャンセルボタンにより設定内容をキャンセルする。
【００６６】
図２（Ｃ）に示すごとく、ユーザが全列のセルの形状を「円」と選択した場合は、楽器領域の入力用セルは全て「円」で表示される。
【００６７】
音階・音律の設定ボタン１１３は、楽器領域１１０の２軸表示の一方の軸に対応した音高を設定する画面へ展開させるボタンである。
【００６８】
具体的には、図３（Ａ）に示すごとく、音階・音律の設定画面１１３ａは、音律設定領域、音階設定領域、音域設定領域、表示音設定領域、確定領域とから構成される。音律設定領域は、平均律あるいはピタゴラス音律の選択を行う領域である。尚、デフォルトでは平均律が選択されており、ユーザの指示によりピタゴラス音律が選択される。ピタゴラス音律を選択した場合には、音律の第１音を指定することができる。一方、音律の第１音の指定がない場合には、音階の第１音と同じとする。「音律」とは、各音間の周波数比を規定したものである。尚、Ａ４（ラ音）の周波数のデフォルトは４４０Ｈｚであるが、ユーザが周波数を指定できる。具体的には、Ａ４の右隣のボックスに直接数値を入力すればよい。
【００６９】
また、音階設定領域は、旋法と主音の選択を行う領域である。「旋法」とは、ある音階に基づく旋律に関し、その動きの性格を規律している法則であり、ここでは、ドーリア旋法、フリギア旋法等の７つの旋法から選択できる。また「主音」とは、音階の第１度音であり、１オクターブ中の１２音：Ｃ（ド）、Ｃ♯、Ｄ（レ）、・・・、Ｂ（シ）から選択できる。具体的には、箏曲の平調子はフリギア旋法で主音がＤとなる。尚、旋法の名称は中世西洋音楽に基づいて表示している。旋法を名称ではなく音程列で表示してもよい。
【００７０】
また、音域設定領域は、表示部１上の音域に対応した軸に表示する音域を指定する領域である。音域の指定がない場合は、Ｃ３〜Ｃ６が設定される。
【００７１】
また、表示音設定領域は、５音、７音、１２音のいずれかを選択できる領域である。尚、デフォルトでは７音が設定されており、７音表示の場合には、「＃」と「♭」のボタンを楽器領域１１０の各音の横に表示するか否かを選択できる。５音を選択した場合のみ、７音中のどの５音を表示するかを指定できる。
【００７２】
また、確定領域は、ＯＫボタンとキャンセルボタンとを有し、ＯＫボタンにより音階・音律の設定内容を確定し、キャンセルボタンにより設定内容をキャンセルする。
【００７３】
色の設定ボタン１１４は、楽器領域１１０の２軸表示の一方の軸に対応した音高の色を設定する画面へ展開させるボタンである。
【００７４】
具体的には、図３（Ｂ）に示すごとく、色の設定画面１１４ａは、各音の色設定領域、色設定パレット、確定領域とから構成される。色設定領域は、ＲＧＢの割合（０００〜２５５）を直接指定できる領域であり、合成された色は設定画面１１４ａ上の「第ｎ音」部分に示され、確認できる。
【００７５】
また、色設定パレットは、表示されたパレットから色の状態を確認しながら指定する領域である。尚、ユーザは、色設定領域あるいは色設定パレットのいずれかを用いて設定を行う。
【００７６】
また、確定領域は、ＯＫボタンとキャンセルボタンとを有し、ＯＫボタンにより色の設定内容を確定し、キャンセルボタンにより設定内容をキャンセルする。
【００７７】
音・図形設定ボタン１１５は、楽器領域１１０の２軸表示の他方の軸に対応した音および図形を設定する画面へ展開させるボタンであり、当該ボタンの押下により展開された画面には、合成波用の音色設定ボタン、音源用の音色設定ボタン、音量設定ボタン、図形設定ボタンの４つのボタンが表示される（図示せず）。
【００７８】
合成波用の音色設定ボタンの押下により展開される画面１１５ａは、合成波の場合における音色の設定を行う画面である。
【００７９】
具体的には、図４（Ａ）に示すごとく、音の長さの設定領域、減衰の設定領域、各倍音の振幅の設定領域等から構成される。音の長さの設定領域は、音の長さ（この場合は、３ｓｅｃ）、ペンが離れた場合の音の消去（ＹＥＳかＮＯを選択）等の設定を行う領域である。減衰の設定領域は、減衰関数の選択（この場合は、ｅｘｐ（−ａｔ））、および係数の設定を行う領域である。各倍音の振幅の設定領域は、各倍音、およびその振幅の割合を設定する領域である。各倍音の指定は、整数以外に、小数第４位まで指定できる。また、画面１１５ａの下部にある「他の列も同じ設定にする」のＹＥＳボタンを押下すれば、全ての列を同じ設定にすることができる。尚、列毎に設定を換えることも可能である。そして、音色のデフォルトは単一正弦波とする。
【００８０】
また、音源用の音色設定ボタンの押下により展開される画面１１５ｂは、音源を基に音色の設定を行う画面である。
【００８１】
具体的には、図４（Ｂ）に示すごとく、音色設定画面１１５ｂは、音源選択領域、音の長さの設定領域、音色登録ボタン、エフェクト選択領域等から構成される。音源選択領域は、メモリに登録されている音源が一覧表示されており、ユーザは一覧から所望の音源を選択する領域である。尚、一覧以外の音色を設定したい場合には、ユーザは音色登録ボタンを用いて、メモリに音源を登録すればよい。すなわち、マイクから入力した音が、音入力部８によりデータ変換され、メモリに登録される。ここでは、音色登録ボタン押下後の録音用画面は省略する。また、音の長さの設定領域は、音の長さ、ペンが離れた場合の音の消去等の設定を行う領域である。エフェクト選択領域では、音色にかけるエフェクト（エコー、ディレイ等）を選択したり、イコライザにより周波数成分の比率を変えることができる。また、他の列も同じに設定するように指示するボタンを有する。尚、列毎に設定を換えることも可能である。
【００８２】
また、音量設定ボタンの押下により展開される画面１１５ｃは、当該音楽演奏用装置の演奏時の音量を設定する画面である。
【００８３】
具体的には、図５（Ａ）に示すごとく、音量設定画面１１５ｃは、筆圧値を用いず音量を固定に設定する固定値ボタン、筆圧値を補正する筆圧補正ボタン、入力された筆圧値の強／弱のレベルを推定するレベル推定ボタン、レベル推定に用いるユーザの筆圧情報（各レベルに対する平均値と標準偏差）を登録するユーザ登録ボタン、筆圧値を連続して用い音量を変化させる連続的音量決定ボタンから構成される。また、音量の全体のレベルを調整するボタンと、他の列も同じに設定するように指示するボタンを有する。尚、列毎に音量の設定を換えることも可能である。
【００８４】
また、図形設定ボタンの押下により展開される画面１１５ｄは、当該音楽演奏用装置の演奏時の図形の形状を設定する画面である。
【００８５】
具体的には、図５（Ｂ）に示すごとく、図形設定画面１１５ｄは、図形の形状選択領域、図形登録領域、図形の連続的変形の選択領域、確定領域等から構成される。図形の形状選択領域は、メモリに登録されている図形の形状が一覧表示されており、ユーザは一覧から所望の図形の形状を選択する領域である。尚、当該領域の「なし」ボタンを押下することにより、ユーザの入力に対して図形を生成しない選択もできる。そして、一覧以外の図形の形状を設定したい場合には、ユーザは図形登録領域に描画し、メモリに図形の形状を登録すればよい。図形の連続的変形の選択領域は、筆圧値を連続して用いた場合における図形の形状の変化を決定する領域であり、具体的には、円→多角形へ、円→星へ、多角形→円へと変化の内容を選択するボタンを有する。尚、他の列の設定を同じにすることも、列毎に図形の形状の設定を換えることも可能である。また、筆圧値に対応させた図形の大きさの変化の有無の選択も可能である。図形の大きさの変化「あり」、あるいは図形の大きさの変化「なし」のボタンが押下されると、それぞれ大きさの指定画面が展開される（図示せず）。また、ペンが離れた時に図形を消すか否かの指定も可能である。
【００８６】
次に図６乃至図７を用いて、当該音楽演奏用装置においてシステム主導により演奏を行う場合について説明する。図６（Ａ）は本発明の一実施の形態における音楽演奏用装置のシステム主導による場合の表示画面の一例であり、図６（Ｂ）は提示図形設定ボタンの押下により展開される表示画面の一例であり、図６（Ｃ）は音楽演奏ボタンの押下により展開される表示画面の一例であり、図６（Ｄ）はパターン学習ボタンの押下により展開される表示画面の一例である。また、図７（Ａ）および図７（Ｂ）はパターン学習の一例を説明する図である。
【００８７】
尚、ここでいう「システム主導」とは、図形提示部７がＣＰＵの指示により、表示部１上の任意の座標位置に入力用の図形を１つ提示させ、ユーザが入力手段２を用いて前記入力用の図形に接触し、その接触を入力として受け付ける形態のことをいい、前記入力により音の生成および表示図形の変形が行われ、音出力部５より音が出力され、図形合成部６より図形が出力される。すなわち、音楽演奏用装置を楽曲演奏、手の運動機能のリハビリテーション、あるいは脳機能のトレーニングとして用いる場合の利用形態である。
【００８８】
図６（Ａ）に示すごとく、表示部１に表示されるシステム主導による画面は、入力用図形提示領域１２０、提示図形設定ボタン１２１、音楽演奏ボタン１２２、パターン学習ボタン１２３、音楽・パターンなしボタン１２４、開始ボタン１２５、終了ボタン１２６、入力切替ボタン１２７とから構成される。
【００８９】
入力用図面提示領域１２０は、図形提示部７がＣＰＵの指示により、音高および音色に対応した座標位置に入力用の図形（この場合は、円。）を１つづつ、セルの形状の設定に基づき表示させる画面領域である。また、ユーザが入力手段２で前記入力用の図形に接触すると、入力が認識され、音・図形設定に基づき、当該座標位置に表示図形（この場合は、円。）が音と共に生成される。
【００９０】
尚、入力用の図形の形状は、デフォルトで「円」に設定されているため、円以外の形状へ変更する場合は、ユーザ主導により演奏を行う画面（図２（Ａ））へ戻り、セルの形状画面１１２ａ（図２（Ｂ））にて設定を変更する。また、入力用の図形は、各列毎に異なる形状に設定できる。
【００９１】
同様に、ユーザの入力に対応した表示図形の形状も、デフォルトで「円」に設定されているため、円以外の形状へ変更する場合は、ユーザ主導により演奏を行う画面（図２（Ａ））へ戻り、音・図形設定画面の図形設定画面１１５ｄ（図５（Ｂ））にて設定を変更する。また、表示図形も、各列毎に異なる形状に設定ができる。
【００９２】
また同様に、音色や音量の設定を行う場合は、ユーザ主導により演奏を行う画面（図２（Ａ））へ戻り、音・図形設定画面１１５ａ、１１５ｂ、１１５ｃ（図４（Ａ）、図４（Ｂ）、図５（Ａ））の音色設定や音量設定にて設定し、各列毎に設定をすることもできる。
【００９３】
提示図形設定ボタン１２１は、提示される入力用の図形の大きさ、提示時間、移動距離を設定する画面へ展開するボタンである。
【００９４】
具体的には、図６（Ｂ）に示すごとく、入力用の図形の提示図形設定画面１２１ａは、大きさ設定領域、提示時間設定領域、移動距離設定領域、確定領域とから構成される。大きさ設定領域は、入力用の図形の大きさを設定する領域であり、ユーザが直接所望の値を入力したり、あるいは画面の右側に位置するツマミを用いて所望の値を設定することができる。同様にして、提示時間および移動距離を設定する。
【００９５】
また、確定領域は、ＯＫボタンとキャンセルボタンとを有し、ＯＫボタンにより入力用の図形の提示図形設定内容を確定し、キャンセルボタンにより設定内容をキャンセルする。
【００９６】
尚、ユーザにより設定が行われない個所は、ＣＰＵがメモリ内のプログラムを実行してランダム値が設定される。
【００９７】
具体的には、入力用の図形の大きさ、提示時間、移動距離の設定として、（１）入力用の図形の大きさ、提示時間、移動距離をユーザに適した値に設定、（２）入力用の図形の大きさ、提示時間をユーザに適した値に設定し、移動距離はランダム値と設定、（３）図形の大きさをユーザに適した値に設定し、提示時間、移動距離をランダム値と設定、等が存在する。
【００９８】
音楽演奏ボタン１２２は、演奏する楽曲を設定する画面へ展開するボタンである。
【００９９】
具体的には、図６（Ｃ）に示すごとく、音楽演奏の設定画面１２２ａは、ジャンル選択領域と確定領域とから構成される。ユーザは、ジャンル選択領域に表示されたジャンルを選択し、確定領域のＯＫボタンを押下すると、当該ジャンルに属する楽曲を選択する画面へと展開される（図示せず）。ユーザは、当該楽曲の中から演奏したい楽曲を選択し、確定領域のＯＫボタンを押下することにより設定は完了となる。
【０１００】
またジャンル選択時に、「コンピュータ音楽」を選択すると、旋律合成方式を選択する画面へと展開される（図示せず）。そして、音楽演奏の設定後に開始ボタンを押下すると、楽曲が生成されるように入力用図形が提示される。尚、図６（Ｂ）で設定された図形の大きさと提示時間に基づき入力用図形が提示される。
【０１０１】
パターン学習ボタン１２３は、旋律パターンを選択する画面へ展開するボタンである。
【０１０２】
具体的には、図６（Ｄ）に示すごとく、パターン学習画面１２３ａは、旋律パターン・ジャンル選択領域、旋律パターンの長さ指定領域、確定領域とから構成される。ユーザは、旋律パターン・ジャンル選択領域に表示された一覧から所望のものを選択し、そして旋律パターンの長さ指定領域に所望の値を指定し、そして確定領域のＯＫボタンを押下することにより設定は完了となる。
【０１０３】
尚、「パターン学習」とは、図形提示領域１２０に音と図形の時系列パターンをユーザに入力させることで、脳機能のトレーニングを行う学習方法である。具体的には、図７（Ａ）に示すごとく、まず、ＣＰＵの指示により図形提示部７が入力用図面提示領域１２０に時系列パターンを一定時間提示する。一定時間経過後にパターンは消去され、図７（Ｂ）に示すごとく、柄だけが表示された状態となる。その後、ユーザは記憶した時系列パターンを、入力手段２で接触していく。入力された前記接触位置と時系列が正しいか否かをＣＰＵで判断し、正確に入力された場合は、音と図形が生成され、音は音出力部５より、図形は図形合成部６より出力される。尚、図６（Ｂ）で設定された図形の大きさと提示時間に基づき入力用図形が提示される。
【０１０４】
音楽・パターンなしボタン１２４は、旋律パターンあるいは楽曲を用いずに、図６（Ｂ）で設定された図形の大きさ、提示時間、移動距離で  図形提示領域１２０内に入力用の図形を提示させるボタンである。
【０１０５】
開始ボタン１２５は、音楽演奏、パターン学習、音楽・パターンなしの何れかの設定後に押下することで、それぞれの入力を開始するボタンである。
【０１０６】
終了ボタン１２６は、上記入力を終了するボタンである。
【０１０７】
入力切替ボタン１２７は、当該音楽演奏用装置の入力の形態を「システム主導」から「ユーザ主導」へと切替えるボタンである。
【０１０８】
次に図８（Ａ）は本発明の一実施の形態における時間と平均筆圧の関係を表したグラフであり、図８（Ｂ）は筆圧値を連続的に用いて音および図形を生成した状態を説明する図である。尚、筆圧の平均値を取るために入力の目的筆圧を最大値の半分（具体的には、５１２）と指定して、入力開始から３秒間、サンプリング点毎に筆圧を計測する実験をおこない、４００回試行した結果をグラフにした。
【０１０９】
具体的には、図８（Ａ）に示すごとく、時間と平均筆圧の関係は、約５００ミリ秒で目的の筆圧（この場合は、５１２）に達しており、また約２００ミリ秒位からグラフの傾斜が緩やかとなる。すなわち、２００〜５００ミリ秒の筆圧値を用いることが望ましいが、対話的インタフェースの場合には、ユーザは時間的遅れを感じる。また、インタラクティブな使用に適当で、かつユーザに時間的遅れを感じさせないためには、１００ミリ秒以下の時点の値を用いることが望ましいが、１００ミリ秒以下の時点における筆圧値は、ばらつきが大きい。そこで、当該音楽演奏用装置は、以下に記載した音に関しては４通り、図形に関しては２通りの方法から選択することにより、インタラクティブな使用を実現することができる。
【０１１０】
具体的には、音の生成に関しては、（１）筆圧値を用いない場合、（２）筆圧値を用いる場合、（３）筆圧値を用いて、入力レベルを推定する場合、（４）筆圧値を連続的に用いる場合の４通りの方法がある。
【０１１１】
（１）筆圧値を用いない場合は、入力手段２が表示部１に接触した直後に固定音量で音を生成する。当該方式では音の強弱は付けることができないが、速い音のフィードバックを得ることができる。
【０１１２】
（２）筆圧値を用いる場合は、入力開始から約１００ミリ秒時点の筆圧値を用い、筆圧値の標準偏差の２倍を足して補正し、それに比例した音の大きさを決定して音を生成する。
【０１１３】
（３）筆圧値を用いて、入力レベルを推定する場合は、まず生成する音の大きさを、強／弱の２レベルに分け、約５０ミリ秒時点の筆圧値を用い、音を生成する。具体的には、ユーザに予め強／弱と思う筆圧を入力してもらい、そのデータの平均値および標準偏差をメモリへ保存しておく。そしてこれらのデータを基に、筆圧の入力値からレベルを推定して音の大きさの決定を行う。
【０１１４】
（４）筆圧値を連続的に用いる場合は、１回の入力手段２の入力で（具体的には、数百ミリ秒位の時間内に）、圧力検出部４から約１０ミリ秒毎に入力された筆圧値に対応した音量で音を生成する。すなわち、入力手段２が接触している間は、音の大きさが連続的に変化する。
【０１１５】
また具体的には、図形の生成に関しては、（１）筆圧値を用いない場合、（２）筆圧値を連続的に用いる場合の２通りの方法がある。
【０１１６】
（１）筆圧値を用いない場合は、入力手段２が表示部１に接触した直後に固定した大きさと形状で図形を生成する。
【０１１７】
（２）筆圧値を連続的に用いる場合は、図８（Ｂ）に示すごとく、１回の入力手段２の入力で、圧力検出部４から約１０ミリ秒毎に入力された筆圧値に対応して、図形の形状を連続的に変化（具体的には、円→多角形→・・・→三角形）させることができる。尚、筆圧値に対応させて図形の大きさを連続的に変化（具体的には、円の半径を増加）させることもできる（図示せず）。
【０１１８】
次に、図９乃至図１０を用いて、当該音楽演奏用装置における各処理部の処理フローを説明する。図９は当該音楽演奏用装置のメインフロー図であり、図１０は当該音楽演奏用装置の処理の一つである入力処理に関するフロー図である。ここでは、「ユーザ主導」による演奏の場合で、表示部１の２軸のうちＹ軸に音高を設定し、Ｘ軸に音色を設定した場合を前提に説明する。尚、入力手段に液晶タブレットおよびペンを利用した場合を例に説明していくが、液晶タッチパネルなどであってもよい。
【０１１９】
まず、図９に示すごとく、当該音楽演奏用装置を開始すると、表示部１に初期画面が表示される（ステップＳ１）。具体的には、図２（Ａ）に示すごとく、楽器領域１１０、入力切替ボタン１１１、セルの形状ボタン１１２、音階・音律の設定ボタン１１３、色の設定ボタン１１４、および音・図形ボタン１１５を有する画面である（各ボタン押下時の設定については前述）。また、ユーザが各ボタンで設定した情報は、保持される。
【０１２０】
そして、演奏形態が「システム主導」によるものか否かの判断が行われる（ステップＳ２）。具体的には、「ユーザ主導」による演奏であるため（ステップＳ２のＮｏ）、音楽演奏用装置は、入力手段２（この場合は、液晶タブレットとペン）の入力待ちの状態となる。
【０１２１】
その後、ユーザが液晶タブレットおよびペン２を用いて入力処理を行う（ステップＳ３）。具体的には、入力処理とは、液晶タブレットおよびペン２による入力を検出し、インタラクティブに音および図形の生成をし、音出力部５より音を出力し、図形合成部６より図形を出力する処理である。尚、入力処理の詳細については、後で説明する。
【０１２２】
その後、ユーザによる設定変更あるいは終了の指示がされたか否かの判断が行われる（ステップＳ４）。ユーザが設定変更あるいは終了を指示しない場合は（ステップＳ４のＮｏ）、液晶タブレットおよびペン２の入力待ちの状態となり、処理はステップＳ３の前へ戻る。
【０１２３】
一方、ユーザが設定変更あるいは終了を指示した場合は（ステップＳ４のＹｅｓ）、全体の終了の指示がされたか否かの判断が行われる（ステップＳ５）（尚、全ての処理を終了するボタンは図２（Ａ）他には図示せず）。ユーザが全体の終了を指示しない場合は（ステップＳ５のＮｏ）、処理はステップＳ１の前に戻り初期設定（ステップＳ１）を行う。
【０１２４】
一方、ユーザが全体の終了を指示した場合は（ステップＳ５のＹｅｓ）、音楽演奏用装置の全ての処理が終了となる。
【０１２５】
尚、「システム主導」による演奏を行った場合は、以下のような処理が行われる。
【０１２６】
まず、ステップＳ２の判断において「システム主導」による演奏であるため（ステップＳ２のＹｅｓ）、入力方法の設定へと進む（ステップＳ６）。具体的には、図５（Ａ）に示すごとく、入力用図形提示領域１２０、提示図形設定ボタン１２１、音楽演奏ボタン１２２、パターン学習ボタン１２３、音楽・パターンなしボタン１２４、開始ボタン１２５、終了ボタン１２６、入力切替ボタン１２７等を有する画面が表示される（各ボタン押下時の設定については前述）。また、ユーザが各ボタンで設定した情報は、保持される。尚、入力切替ボタン１２７が押下された場合は、処理はステップＳ１の前に戻り初期設定を行う（フロー図は省略）。
【０１２７】
その後、開始ボタン１２５が押されると、終了ボタン１２６が押されるまで、以下の処理が繰り返される。
【０１２８】
表示部１へ入力用の図形が提示される（ステップＳ７）。具体的には、図形提示部７により、ステップＳ６で設定した条件で、入力用図形提示領域１２０に入力用の図形が提示され、入力待ちの状態となる。
【０１２９】
ユーザは、提示された前記入力用の図形に対し、液晶タブレットおよびペン２を用いて入力処理を行う（ステップＳ８）。
【０１３０】
その後、ユーザによる同一設定の入力終了の指示がされたか否かの判断が行われる（ステップＳ９）。ユーザが入力終了を指示していない場合は（ステップＳ９のＮｏ）、処理はステップＳ７の前へ戻り、入力用の図形を提示し、入力待ちの状態となる。
【０１３１】
一方、ユーザが入力終了を指示した場合は（ステップＳ９のＹｅｓ）、更に全体の終了の指示がされたか否かの判断が行われる（ステップＳ１０）。ユーザが全体の終了を指示しない場合は（ステップＳ１０のＮｏ）、ステップＳ６の前へ戻り、入力方法設定（ステップＳ６）を行う。
【０１３２】
一方、ユーザが全体の終了を指示した場合は（ステップＳ１０のＹｅｓ）、音楽演奏用装置の全ての処理が終了となる。尚、全ての処理を終了するボタンは図６（Ａ）他に示していない。
【０１３３】
次に、入力処理（ステップＳ３、ステップＳ８）について詳細に説明する。
【０１３４】
図１０に示すごとく、まず、液晶タブレットおよびペン２で接触した表示部１上の座標位置を取得する（ステップＳ１００）。具体的には、位置検出部３により入力座標の取得が行われる。
【０１３５】
その後、取得した座標が入力用の図形内に存在するか否かの判断を行う（ステップＳ１０１）。取得した座標が入力用の図形内に存在しない場合は（ステップＳ１０１のＮｏ）、後続処理は何も行われず、メインフローへ処理は戻される。
【０１３６】
一方、取得した座標が入力用の図形内に存在する場合は（ステップＳ１０１のＹｅｓ）、図形の色と形を決定する（ステップＳ１０２）。具体的には、位置検出部３で取得したＹ座標から色を決定し、Ｘ座標から図形の形状を決定する。尚、ユーザが図形の形状の設定時において、表示図形を設定していない場合は、システムにより「円（デフォルト値）」が決定される。
【０１３７】
その後、入力開始（０ミリ秒）から、ペンが離れるまで、約１０ミリ秒毎に、ステップＳ１０３（後で、説明する）からステップＳ１０９（後で、説明する）の処理が繰返し実行される。
【０１３８】
まず、圧力検出部４により圧力値の取得が行われる（ステップＳ１０３）。具体的には、液晶タブレットおよびペン２による筆圧値を検出し、筆圧値を入力する。
【０１３９】
その後表示部１へ図形を表示する処理を行う（ステップＳ１０４）。具体的には、ユーザが事前に、図５（Ｂ）に示すごとく、図形設定の画面において、形状、大きさ変化、連続的変形等を設定しておき、圧力検出部４から入力した筆圧値を取得する度に、その値に対応した大きさで図形を表示する。あるいは、筆圧値取得の度に、その値に対応して図形を変形させる。あるいは、図形の大きさおよび図形の形状を筆圧値取得の度に変化させずに表示することもできる。
【０１４０】
その後音の生成に筆圧値を利用するか否かの判断が行われる（ステップＳ１０５）。音の生成に筆圧値を利用する場合は（ステップＳ１０５のＹｅｓ）、更に、音を補正するか否かの判断が行われる（ステップＳ１０６）。そして、音の補正をしない場合は（ステップＳ１０６のＮｏ）、更に、音レベルの推定をするか否かの判断が行われる（ステップＳ１０７）。音レベルの推定をしない場合は（ステップＳ１０７のＮｏ）、音連続処理が行われる（ステップＳ１０８）。具体的には、音の生成時に筆圧値を連続的に用いる場合であり、１回のペン入力で、音の大きさが筆圧値取得の度に変化して生成される。尚、音高はＹ座標、音色はＸ座標に対応して決定される。
【０１４１】
その後液晶タブレットからペン２が離れたか否かの判断が行われる（ステップＳ１０９）。
【０１４２】
ペンが液晶タブレットに接触している場合は（ステップＳ１０９のＮｏ）、処理はステップＳ１０３の前へ戻り、後続処理が繰り返される。
【０１４３】
尚、ステップＳ１０５の判断で、音の生成に筆圧値を利用しない場合は（ステップＳ１０５のＮｏ）、音処理が行われる（ステップＳ１１１）。具体的には、音の生成時に筆圧値を用いない場合であり、ペンが液晶タブレットに触れた直後に、固定値の音量で、Ｙ座標で音高を決定し、Ｘ座標で音色を決定して音が生成される。その後、ステップＳ１０９の判断へと処理が続く。
【０１４４】
また、ステップＳ１０６の判断で、音を補正する場合は（ステップＳ１０６のＹｅｓ）、音補正処理が行われる（ステップＳ１１２）。具体的には、音の生成時に筆圧値を用いる場合であり、入力開始から約１００ミリ秒時点において、筆圧値を用い、その筆圧値の標準偏差の２倍を足して補正し、その結果に比例して音の大きさを決定し、Ｙ座標で音高を決定し、Ｘ座標で音色を決定して音を生成する。その後、ステップＳ１０９の判断へと処理が続く。
【０１４５】
また、ステップＳ１０７の判断で、音レベルの推定をする場合は（ステップＳ１０７のＹｅｓ）、音レベル推定処理が行われる（ステップＳ１１３）。具体的には、筆圧値を用いて、入力レベルを推定する場合であり、事前に登録したユーザの筆圧値（強／弱の２レベル）のデータ（平均値と標準偏差）を基に、入力開始から約５０ミリ秒時点において、入力値からレベル（強／弱）を推定して音の大きさを決定し、Ｙ座標で音高を決定し、Ｘ座標で音色を決定して音を生成する。その後、ステップＳ１０９の判断へと処理が続く。
【０１４６】
一方、ステップＳ１０９の判断で、ペンが液晶タブレットより離れた場合は（ステップＳ１０９のＹｅｓ）、後処理が行われる（ステップＳ１１０）。具体的には、後処理とは、図４（Ａ）あるいは図４（Ｂ）に示すごとく、音色設定画面においてユーザが「ペンが離れたら音を消す」をＹＥＳに設定している場合の処理であり、ペンが液晶タブレットより離れることにより、音の生成が中止される。前記設定がない場合は、ペンが離れた後も、同設定画面で設定された音の長さで、音が生成され続ける。
【０１４７】
また、図５（Ｂ）に示すごとく、図形設定画面においてユーザが「ペンが離れたら図形を消す」をＹＥＳに設定している場合、ペンが液晶タブレットより離れることにより、入力に対応して表示された図形が表示部１より消去される。前記設定がない場合は、次のペン入力で新しい図形が生成されるまで、前の図形が表示されている。
【０１４８】
（実施例１）
本発明の音楽演奏用装置を、楽器として使用する場合の実施例である。尚、表示部１の２軸のうち、Ｙ軸には音高（具体的には、ド、レ、ミ、ファ、ソ、ラ、シ）、Ｘ軸には音色（具体的には、１列目にピアノ、２列目に箏、３列目にバイオリン、４列目にフルート）を割り当てており、音の生成時において、筆圧値を用いない設定である。また、「ユーザ主導」による入力形態とする。
【０１４９】
図１１は、本発明の一実施の形態における音楽演奏用装置を楽器として使用している状態を説明する図である。
【０１５０】
当該音楽演奏用装置をユーザ主導とし、圧力検出部４により筆圧値を用いない設定としているため、図１１に示すごとく、ユーザが入力手段２で所望の領域（この場合は、ファ→ミ）を接触した直後に音を生成し、音出力部５より音を出力することができる。これにより、ユーザは楽器として当該音楽演奏用装置を利用することができる。尚、筆圧値を音量の制御に利用する３つの方法を選択することもできる。
【０１５１】
また、図２乃至図５で示した画面を用いて、音色および音高を自由に設定できる。また、異なる音色を並べて表示することができるため、演奏途中に複数の音色を用いることができ、操作性も容易である。
【０１５２】
（実施例２）
本発明の音楽演奏用装置を用いて、演奏時に視覚的な楽しみを提供する場合の実施例である。尚、表示部１の２軸のうち、Ｙ軸には音高（具体的には、ド、レ、ミ、ファ、ソ、ラ、シ）、Ｘ軸には音色（具体的には、１列目にピアノ、２列目に箏、３列目にバイオリン、４列目にフルート）を割り当てており、音の生成時と同時に図形を生成し、また生成時には筆圧値を用いない設定である。尚、筆圧値を音量の制御に利用する３つの方法を選択することもできる。そして、「ユーザ主導」による入力形態とする。
【０１５３】
図１２（Ａ）は、ペンで画面上のセルを１つずつ指定して行く場合の図である。
【０１５４】
ユーザは、事前に図２乃至図５に示した画面を用いて、１列目には「円」、２列目には「三角形」を設定しておく。図１２（Ａ）に示すごとく、最初に２列目を入力手段２で接触すると、Ｙ座標に対応した音高で、かつＸ座標に対応した音色（この場合は、箏）で、音を生成すると同時に、三角形の図形を表示部１に表示させる。続いて、入力手段２で１列目に接触すると、Ｙ座標に対応した音高で、かつＸ座標に対応した音色（この場合は、ピアノ）で音を生成すると同時に、円の図形を表示部１に表示させる。
【０１５５】
これにより、従来の楽器にはない音と図形の同時生成を行うことができ、また視覚的印象により、音のみの生成と比較して、ユーザが受ける印象を強くすることができる。
【０１５６】
更に、図１（Ｂ）に示したように、複数台の音楽演奏装置を通信制御部９により接続することで、複数人による合奏時に、画像情報等をやり取りして楽しむことができる。
【０１５７】
また、図１２（Ｂ）は、本発明の一実施の形態における音楽演奏用装置において、ペンを画面上でスライドさせた場合の図である。
【０１５８】
図１２（Ｂ）に示すごとく、ユーザは入力手段２を表示部１に接触させた状態で、入力手段２を右上へと移動させる。
【０１５９】
具体的には、１列目には「円」が設定されているため、ユーザは入力手段２を移動することにより、円が連続して表示される。
【０１６０】
このようにユーザの入力に対して、音と図形のフィードバックを与えることにより、手の運動機能のリハビリテーションや脳機能のトレーニングの分野において、効果を得られることが期待できる。
【０１６１】
（実施例３）
本発明の音楽演奏用装置を手の運動のリハビリテーションや脳機能のトレーニングやパターン学習に用いる場合の実施例である。尚、図示はしないが、表示部１の２軸のうち、Ｙ軸には音高（具体的には、ド、レ、ミ、ファ、ソ、ラ、シ）、Ｘ軸には音色（具体的には、１列目にピアノ、２列目に箏、３列目にバイオリン、４列目にフルート）を割り当てており、音の生成時と同時に図形を生成し、また生成時には筆圧値を用いない設定である。また、「システム主導」による入力形態とする。
【０１６２】
図１３は、本発明の一実施の形態における音楽演奏用装置をパターン学習、手の運動のリハビリテーション、あるいは脳機能のトレーニングに用いる場合を説明する図である。
【０１６３】
また、図２乃至図６で示した画面を用いて、事前に音色、音高、入力用図形の大きさ、提示時間、移動距離、楽曲、旋律パターン等を自由に設定しておく。
【０１６４】
図１３に示すごとく、ユーザが選択した楽曲あるいは旋律パターン、あるいは楽曲・旋律パターンなしにより、図形提示部７は、表示部１に入力用の図形を時系列で提示する（具体的には、ｔ１→ｔ２）。ユーザは、入力用の図形が表示部１に提示されると、入力手段２で図形内に接触する。接触が成功すると、音と図形が生成される。尚、図形を連続的に変化させたり、図形の大きさを変化させたりすることもできる。
【０１６５】
これにより、従来の楽器と異なり、ユーザとシステムがインタラクションしながら音楽演奏をすることができる。また、入力用図形の提示方法をユーザに合わせて設定することで、手の運動機能のリハビリテーションや脳機能のトレーニングの分野において効果が期待される。また、図７に示したような、パターン学習にも適用できるため、幼児教育などの教育分野においても効果が期待される。
【図面の簡単な説明】
【０１６６】
【図１】本発明の一実施の形態における音楽演奏用装置の構成図である。
【図２】本発明の一実施の形態における音楽演奏用装置のユーザ主導による場合の表示画面、および各ボタンを押下することにより展開される表示画面の一例である。
【図３】本発明の一実施の形態における音楽演奏用装置のユーザ主導による場合の表示画面、および各ボタンを押下することにより展開される表示画面の一例である。
【図４】本発明の一実施の形態における音楽演奏用装置のユーザ主導による場合の表示画面、および各ボタンを押下することにより展開される表示画面の一例である。
【図５】本発明の一実施の形態における音楽演奏用装置のユーザ主導による場合の表示画面、および各ボタンを押下することにより展開される表示画面の一例である。
【図６】本発明の一実施の形態における音楽演奏用装置のシステム主導による場合の表示画面の一例であり、および各ボタンを押下することにより展開される表示画面の一例である。
【図７】本発明の一実施の形態における音楽演奏用装置のパターン学習について説明する図である。
【図８】本発明の一実施の形態における（Ａ）時間と平均筆圧の関係を表したグラフ、（Ｂ）筆圧値を連続的に用いた場合の音および図形の生成ついて説明する図である。
【図９】本発明の一実施の形態における当該音楽演奏用装置のメインフローである。
【図１０】本発明の一実施の形態における当該音楽演奏用装置の入力処理に関するフローである。
【図１１】本発明の音楽演奏用装置を楽器として用いた実施例を説明する図である。
【図１２】本発明の音楽演奏用装置を音の生成と同時に図形を生成させる実施例を説明する図である。
【図１３】本発明の音楽演奏用装置を学習やリハビリテーションに用いた実施例を説明する図である。
【符号の説明】
【０１６７】
１      表示部
２      入力手段
３      位置検出部
４      圧力検出部
５      音出力部
６      図形合成部
７      図形提示部
８      音入力部
９      通信制御部
【図１】
2007156109.tif 000004
【図２】
2007156109.tif 000005
【図３】
2007156109.tif 000006
【図４】
2007156109.tif 000007
【図５】
2007156109.tif 000008
【図６】
2007156109.tif 000009
【図７】
2007156109.tif 000010
【図８】
2007156109.tif 000011
【図９】
2007156109.tif 000012
【図１０】
2007156109.tif 000013
【図１１】
2007156109.tif 000014
【図１２】
2007156109.tif 000015
【図１３】
2007156109.tif 000016