(57)【要約】【課題】音楽の演奏を身体で覚えるようにした楽器演奏支援システムの提供。【解決手段】このシステムでは、演奏者の手首や指などの演奏操作を行う身体部位を半固定的に装着するホルダーＷＬ，ＷＲ；Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒが演奏支援に用られ、これらのホルダーは、楽器ＭＩの演奏操作子（鍵盤）ＫＢの近傍に設置される。各ホルダーは、演奏データに応じて生成されるホルダー駆動信号によって駆動され、演奏データに対応する位置に変位される。演奏者の演奏操作部位は、このホルダーの変位に伴って、操作すべき位置に強制的に動かされ、演奏データに対応する演奏操作子ＫＢが操作される。駆動信号は、先読みされた所定時間分の演奏データに基づいてスムースな移動となるように生成されるので、演奏者の身体部位の動きに無理を生じることなく、ホルダーを或る演奏イベントの位置から次の演奏イベントの位置に変位させることができる。【選択図】図２
2004109758.tif 000002
【特許請求の範囲】
【請求項１】
演奏データを取得するデータ取得手段と、
楽器の演奏操作子の近傍に設けられた演奏者の演奏操作部位が装着可能なホルダーと、
上記演奏データに基づいて、上記演奏操作子に対して操作すべき位置に演奏者の演奏操作部位がくるように、順次、上記ホルダーを変位させるための制御信号を生成するホルダー制御手段と、
生成された制御信号に基づいて上記ホルダーを駆動するホルダー駆動手段と
を具備することを特徴とする楽器演奏支援装置。
【請求項２】
前記データ取得手段は、或る時点の演奏データを、当該時点の演奏データに対応する位置に前記ホルダーを変位させるタイミングより所定時間早いタイミングで取得し、
前記ホルダー制御手段は、取得された所定時間分の演奏データに基づいて前記ホルダーを次に変位させるための制御信号を生成する
ことを特徴とする請求項１に記載の楽器演奏支援装置。
【請求項３】
前記ホルダー駆動手段は、前記ホルダーの動作状況を前記ホルダー制御手段にフィードバックする動作状況帰還手段を有し、
前記ホルダー制御手段は、フィードバックされた動作状況に応じて演奏データの進行を制御するか、或いは、前記ホルダー駆動手段によるホルダーの駆動態様を制御する
ことを特徴とする請求項１又は２に記載の楽器演奏支援装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、楽器の演奏を身体で覚えることができる楽器演奏支援システムに関する。
【０００２】
【従来の技術】
従来、楽器を弾くことができるようになりたい願望のある人は多い。しかし、実際に弾けるようになるには練習が必要である。楽器の練習は面倒であり、また、解りにくいという人があまりにも多い。従って、実際に楽器を弾くことができる人は少ないというのが現状である。
【０００３】
【発明が解決しようとする課題】
この発明は、このような現状に鑑みて、音楽を理論や理解から入るのではなく、音楽の演奏を身体で覚えることができるようにした楽器演奏支援システムを提供することを目的とする。
【０００４】
【課題を解決するための手段】
この発明の主たる特徴に従うと、演奏データ（Ｓ１）を取得するデータ取得手段（４）と、楽器（ＭＩ）の演奏操作子（ＫＢ）の近傍に設けられた演奏者の演奏操作部位が装着可能なホルダー（Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒ；ＷＬ，ＷＲ）と、演奏データに基づいて、演奏操作子に対して操作すべき位置に演奏者の演奏操作部位がくるように、順次、ホルダーを変位させるための制御信号を生成するホルダー制御手段（５）と、生成された制御信号に基づいてホルダーを駆動するホルダー駆動手段（６，７）とを具備する楽器演奏支援装置（請求項１）が提供される。なお、括弧書きは、対応する実施例での使用記号乃至用語であり、以後においても同様である。
【０００５】
この発明による楽器演奏支援装置においては、データ取得手段（４）は、或る時点の演奏データを、当該時点の演奏データに対応する位置に前記ホルダーを変位させるタイミングより所定時間早いタイミングで取得し、ホルダー制御手段（５）は、取得された所定時間分の演奏データに基づいて、ホルダー（Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒ；ＷＬ，ＷＲ）を次に変位させるための制御信号を生成するように構成することができる（請求項２）。また、ホルダー駆動手段（６，７）は、ホルダー（Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒ；ＷＬ，ＷＲ）の動作状況をホルダー制御手段にフィードバックする動作状況帰還手段（反力センサ等）を有し、ホルダー制御手段（５）は、フィードバックされた動作状況に応じて演奏データの進行を制御するか（５→４→１）、或いは、ホルダー駆動手段（６，７）によるホルダーの駆動態様を制御する（５→６，７）ように構成することができる（請求項３）。
【０００６】
なお、この発明による楽器演奏支援装置において、データ取得手段（４）は演奏データを外部から受け付ける構成にすることができ、ホルダー制御手段（５）は、演奏操作子（ＫＢ）の位置に関する操作子位置情報を設定する操作子位置情報設定手段（Ｄ３，５２）を有し、設定された操作子位置情報に基づく操作子位置に合うようにホルダー（Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒ；ＷＬ，ＷＲ）の位置を演算するように構成することができる。このホルダー制御手段（５）は、さらに、演奏者の身体に関する演奏者身体情報を設定する身体情報設定手段（５３）を有し、設定された演奏者身体情報を考慮して制御信号の生成態様を変更する構成にすることができ、ホルダーは、演奏者の指又は手首に装着可能な複数のホルダー（Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒ；ＷＬ，ＷＲ）とすることができる。
【０００７】
〔発明の作用〕
この発明の主たる特徴による楽器演奏支援装置では、楽器（ＭＩ）の演奏操作子（ＫＢ）に対応した位置に設置可能なホルダー（Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒ；ＷＬ，ＷＲ）は、演奏者（ユーザ）が演奏操作を行う身体部位、例えば、演奏者の指や手首に半固定的に装着可能であり、演奏データ（音楽情報）に応じて動作するように構成される。そして、演奏データに応じてホルダーを動作させると、ホルダーの動作に伴って演奏者の演奏操作を行う身体部位が強制的に動かされ、これにより、演奏データに対応する演奏操作子が操作される。従って、演奏者は、当該演奏データが表わす曲の演奏を身体で覚えることができる。
【０００８】
この楽器演奏支援装置では、ホルダー（Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒ；ＷＬ，ＷＲ）が実際に動作するタイミングの前に、演奏データを先読みしておき、先読みされた所定時間分の演奏データに基づいてホルダー制御信号を生成することにより、或る時点の演奏データ（演奏イベント）に対応する位置から次の時点の演奏データ（演奏イベント）に対応する位置にホルダーを変位させる場合、演奏者の身体部位の動きに無理が生じないような制御信号を生成することができる。なお、演奏データを受信したタイミングで、直ちに、当該時点の演奏データに対応する動作信号を生成するモードがあってもよい。
【０００９】
また、この演奏支援に並行して、演奏データに基づく楽音生成処理（１８，１９）を行い、或る時点の演奏データ（演奏イベント）から、直ちに、当該演奏データ（演奏イベント）に対応する楽音信号を生成させて模範演奏音或いは伴奏音を発音させることができる。この場合、ホルダー制御手段（５）は、楽音信号生成処理より早いタイミングで、ホルダー（Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒ；ＷＬ，ＷＲ）の位置を演算して制御信号を生成することにより、ホルダー駆動手段（６，７）の動作遅れ（主として機械系の遅延応答）を補償し、演奏支援に基づく演奏操作を模範演奏音又は伴奏音の発生時期に一致させることができる。
【００１０】
この楽器演奏支援装置では、ホルダー（Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒ；ＷＬ，ＷＲ）の動作状況を監視するためのセンサを設け、センサの検出出力に応じて制御モードを変更して、演奏データの進行を制御したり、ホルダーの駆動を制御することができる。例えば、ホルダーに対する演奏者身体部位の反力が所定以上になった場合は、ホルダーの駆動力を弱めたり、反力が更に過大になった場合には、強制的にホルダーの動作を停止させることにより、演奏者の安全を図ることができる。この場合、ホルダー動作を強制停止させるときには、演奏データの進行を停止することが好ましい。
【００１１】
或いは、反力が所定以上になった場合には、制御信号を生成する元になる演奏データの進行を中断させずに演奏データの進行速度を低下させて、以後のホルダー駆動タイミング（制御信号生成タイミング）を遅らせることにより、演奏者に無理がないように安全を図りつつ、演奏操作の援助を続行し、リズムが狂うことがあっても、演奏者は最後まで練習することができる。
【００１２】
さらに、上述した演奏データ進行速度の低下（ホルダー駆動の遅延）、ホルダー駆動力の低減、ホルダー駆動の強制終了などの制御モードのうち、何れの制御を採用するかについては、任意に選択することができる。例えば、初心者に対しては、演奏データ進行速度の遅延モードを予め設定して、とにかく練習することができるようにし、上達者に対してはホルダー駆動力の低減又は強制終了モードを設定してリズムを崩さずに練習することができるようにする。また、各制御モードをランク付けしておき、反力などの動作状況量の程度に応じてランク順に自動的に制御モードを選択する方法もある。なお、強制モードは、安全のために必ず設定しておかなければならない。
【００１３】
なお、この楽器演奏支援装置による演奏支援が適用される楽器（ＭＩ）は、アコースティック楽器でもよいし電子楽器でもよい。電子楽器の場合は、楽器演奏支援装置（３）の制御機能を楽器（ＭＩ）内に組み込んで、楽器と一体式に構成することができる。また、楽器（ＭＩ）は、鍵盤楽器でもよいし、ギター等の弦楽器やドラムセット等の打楽器など、他の楽器であってもよい。さらに、この楽器演奏支援装置で演奏支援に用いられる演奏データは楽曲情報処理機能を有するパーソナルコンピュータ（ＰＣ）や、電子楽器、シーケンサなどの外部の楽曲情報処理装置から受信するように構成することができ、楽器演奏支援装置に演奏データ生成機能を内蔵させる必要がなくなる。つまり、演奏データ入力端子から入力される演奏データによりホルダーを動作させることによって、シーケンサなどを内蔵しなくても、楽曲情報処理機能を有するパーソナルコンピュータや外部シーケンサを利用して演奏支援の元になる演奏データを取得することができる。
【００１４】
この楽器演奏支援装置においては、演奏支援に用いられる楽器（ＭＩ）の種類毎に特定される演奏操作子（ＫＢ）の位置やサイズなどの位置情報をホルダー（Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒ；ＷＬ，ＷＲ）の変位情報に対応させて設定し、この設定に応じてホルダーを駆動させることにより、楽器の大きさや位置の違いに柔軟に対応することができる。つまり、演奏操作子（鍵盤など）の位置と大きさに関する情報をセットすることができ、演奏操作子の位置とサイズに合わせてホルダー動作位置を調整することによって、演奏操作子の大きさや位置の違いを吸収させて、種々のサイズ（仕様）の楽器にも適用することができる。
【００１５】
また、演奏支援を行う演奏者の身体に関する演奏者身体情報（５３）を考慮して、ホルダー（Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒ；ＷＬ，ＷＲ）に対する制御信号の生成態様を変更することができる。例えば、演奏者の身体条件からみて無理のある演奏動作が必要になった場合には、対応する制御信号を生成せず、その音を演奏させずに飛ばして（「音飛ばし」と呼ぶ。）、次の演奏に対応する制御信号の生成に進むことができる。より具体的にいえば、演奏者の手が小さいのに無理に指を広げた和音を押させると、指が壊れることになるので、この演奏のためのホルダー駆動は省略する。このように、演奏者の身体情報を入力することで、身体に無理のある動作が必要になった場合には、その音を演奏しない（音飛ばし）ようにしているので、例えば、演奏者の手が小さい場合に、無理に指を広げた和音を押させて指が壊れるようなことがない。
【００１６】
さらに、ホルダーとして、演奏者の１０本の指乃至両手首に半固定式で装着可能な複数の指ホルダー（Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒ）乃至手首ホルダー（ＷＬ，ＷＲ）を用い、例えば、鍵盤楽器（ＭＩ）に対して好適に実施することができる。この場合、ホルダー制御手段（５）は、位置情報設定手段（５２）にセットされた鍵盤位置情報に基づいて、演奏データ（鍵盤情報）のノートイベントから、指乃至手首ホルダーの位置を演算し、ホルダー駆動手段（６）により、当該ノートイベントのタイミングに合わせて指乃至手首ホルダーを動作させる。従って、手首ホルダーにより演奏者の手首を自然な位置に無理なく案内し、指ホルダーに装着されている指で、当該ノートイベントに対応する鍵盤（ＫＢ）を押鍵及び離鍵させることができる。つまり、指だけでは適切な指運びを促すことが困難でありしかも危険であるが、指ホルダーとは別に手首ホルダーを設け、指ホルダーの位置関係から求められた適切な位置に手首ホルダーを変位させることによって、演奏者の手首も最適に移動させて安全でスムーズな演奏が可能となる。
【００１７】
また、指乃至手首ホルダーを選択的に駆動するように設定することもできる。例えば、１乃至複数の或る指乃至手首による演奏操作だけを練習したい場合には、演奏データに基づいて、当該指乃至手首に対応するホルダーに対する制御信号を選択的に生成して当該ホルダーのみを駆動し、他の全てのホルダーについてはフリー状態とする。
【００１８】
この演奏支援装置は、指や手首に限らず、さらに、鍵盤楽器に付属するフットペダルや、ドラムセットのペダルを操作する足首などに対しても適用することができる。また、いずれの身体部位の演奏操作を支援する場合も、ホルダー及びホルダー駆動制御機構は、人間型ロボットやマニピュレータにおける身体各部位の制御の技術を応用することにより簡単に製作することができる。
【００１９】
【発明の実施の形態】
以下、図面を参照しつつ、この発明の好適な実施例を詳述する。なお、以下の実施例は単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。
【００２０】
〔ハードウエア構成〕
図１は、この発明の一実施例による楽器演奏支援システムのハードウエア構成を示すブロック図を示し、図２は、この発明の一実施例による楽器演奏支援システムの概観を表わすイメージ図を示す。
【００２１】
まず、図１及び図２を用いてこの楽器演奏支援システムの概略を説明しておく。この楽器演奏支援システムでは、例えば、演奏者（ユーザ）の手首や指などの演奏操作を行う身体部位を半固定的に装着するホルダーＷＬ，ＷＲ；Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒが演奏支援に用られ、これらのホルダーは、楽器ＭＩの演奏操作子（鍵盤）ＫＢの近傍に設置される。各ホルダーは、順次進行する演奏データＳ１に応じて制御部５で生成されるホルダー駆動信号によって演奏補助ユニット７の各ホルダー駆動部７２，７３によって駆動され、演奏データに対応する位置に変位される。演奏者の演奏操作部位は、このホルダーの変位に伴って、操作すべき位置に強制的に動かされ、演奏データに対応する演奏操作子ＫＢが操作される。ホルダー駆動部７２，７３への駆動信号は、先読みされた所定時間分の演奏データに基づいてスムースな移動となるように生成されるので、演奏者の身体部位の動きに無理を生じることなく、ホルダーを或る演奏イベントの位置から次の演奏イベントの位置に変位させることができる。
【００２２】
さて、この楽器演奏支援システムは、図１に示すように、楽曲情報処理装置１及び演奏支援装置３から成り、この例では、楽曲情報処理装置１はパーソナルコンピュータなどの汎用のコンピュータで構成される。パーソナルコンピュータ１は、中央演算処理装置（ＣＰＵ）１１、読出専用メモリ（ＲＯＭ）１２、ランダムアクセスメモリ（ＲＡＭ）１３、タイマ１４、外部記憶装置１５、操作子装置１６、表示装置１７、音源部１８、サウンドシステム１９などを備え、これらの装置１〜１９は、バス２０を介して互いに接続されている。
【００２３】
システム全体を制御するＣＰＵ１１は、ＲＯＭ１２に記憶された所定プログラムを実行する。ＲＯＭ１２には、このシステムを制御するための各種制御プログラムが記憶されており、これらの制御プログラムには、基本的な情報処理プログラムと共に、楽器演奏支援プログラムを含む楽曲情報処理プログラム及びこれらの処理に付随する各種テーブル及び各種データが含まれる。ＲＡＭ１３は、これらの処理に際して必要なデータを記憶するワーキングメモリとして機能し、これらのデータには、プログラムを実行するに必要な各種レジスタ、フラグなどが含まれ、タイマ１４はプログラム実行中の時間を計測する。これにより、ＣＰＵ１１は、タイマ１４によるクロックを利用し楽器演奏支援プログラムに従って自動演奏や演奏支援などを進行させることができる。
【００２４】
外部記憶装置１５は、自動演奏のための種々の曲データや各種制御プログラムを記憶することができ、これには、ハードディスク（ＨＤ）や、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）やフレキシブルディスク（ＦＤ）等の記憶媒体が用いられる。外部記憶装置１５やＲＯＭ１２に記憶されている自動演奏の曲データには、パート毎に自動演奏用データ（楽音指示データ）や運指データが含まれ、特定の楽曲については、複数種類の曲データが用意されている。なお、自動演奏用データのみから成り、運指データが記憶されていない曲データについては、運指データ作成プログラムを用いて一定の演奏条件から運指データを生成することが可能である。これらの音楽データは、演奏支援に用いることができ、以後、演奏データと総称する。
【００２５】
操作子装置１６は、キーボードやマウス等のポインチングデバイスなどの各種操作子〔図２に示される楽器ＭＩの演奏操作子（鍵盤など）ＫＢと区別するため「パネル操作子」と呼ばれることがある。〕を備え、表示装置１７と共にマンマシンインターフェースを構成し、表示装置１７の援助の下で、この楽器演奏支援システムの種々の設定を行うのに用いられる。これらパネル操作子の操作によって、例えば、自動演奏を選択設定したり、演奏支援のパラメータを設定することができる。
【００２６】
表示装置１７は、液晶表示器（ＬＣＤ）などのディスプレイＤＰ（図２）や各種インジケータを備え、これらディスプレイＤＰ又はインジケータによりシステムの種々の設定状態を確認することができる。また、ディスプレイＤＰの表示画面には、演奏支援中の演奏データ曲を楽譜などでガイド表示したり、演奏支援装置３側の状態を表示することができる。
【００２７】
サウンドシステム１９は、ＤＳＰ（ディジタル信号処理装置）回路や、ＤＡＣ（デジタルアナログコンバータ）、アンプ、スピーカなどを備えており、ＲＯＭ１２、ＲＡＭ１３などから読み出される演奏データに応じた楽音を発生（再生）することができる。すなわち、音源部８にて、演奏データに応じてピッチ変換された複合波形データが、順次、発生されると、サウンドシステム１４では、ＤＳＰ回路９により複合波形データを基にして所望の各種効果を付与した楽音信号を形成し、ＤＡＣによりアナログ化した後アンプで増幅してスピーカを介して発音する。
【００２８】
ＰＣ１のバス１１には、さらに、インターフェース２１を介して演奏支援装置３に接続される。演奏支援装置３は、入出力部４、制御部５、左手用演奏補助ユニット６及び右手用演奏補助ユニット７を備え、両演奏補助ユニット６，７の駆動系は、楽器ＭＩの演奏操作部ＫＢの近傍に設けられる。例えば、図２に示すように、鍵盤楽器ＭＩの鍵盤ＫＢの上部にフレームＦＲを設置し、フレームＦＲの上面に制御部５を取り付け、フレームＦＲの下面には、鍵盤ＫＢの上方でユーザ（演奏者）の指及び手首を動かすための演奏補助ユニット６，７の駆動系を取り付ける。
【００２９】
なお、演奏支援を行う楽器ＭＩは、図２に示されるような鍵盤楽器に限らず、指や手首を動かして演奏するものであれば、ギターなどの他の楽器を採用することができ、また、自然楽器で構成しても電子楽器で構成してもよい。
【００３０】
入出力部４は、ＰＣ１から、順次進行する演奏データ（運指データを含む）や、鍵盤幅・位置設定の変更指示信号などを含む制御信号Ｓ１を受けて制御部５に入力すると共に、ＰＣ１での処理に必要な演奏支援装置３からの駆動部返送信号Ｓ２を中継してＰＣ１に送信する。制御部５は、主たる制御機能部である支援制御回路５１と、位置設定条件（ノートナンバと操作すべき鍵の位置との対応関係）を格納する位置情報テーブル５２及びユーザの演奏部位に関する身体情報（例えば、手のサイズとサイズ番号）を格納する身体情報テーブル５３を備え、さらに、フロントパネルには、図２に示すように、表示器や複数の入力操作スイッチが設けられている。
【００３１】
支援制御回路５１は、入出力部４から入力される所定時間分の演奏データを含む制御信号Ｓ１に基づき、位置情報テーブル５２や身体情報テーブル５３に基づいて設定される位置や身体に関する設定条件などを参照して手首及び指ホルダー駆動信号を生成して、それぞれ、左手用及び右手用演奏補助ユニット６，７に送る。例えば、演奏データに基づいて指ホルダーの位置を求め、さらに、各指ホルダーの位置関係から、手首ホルダーが変位すべき適切な位置を求め、各演奏タイミングで各ホルダーを夫々の位置にスムースに変位するための駆動信号を生成する。支援制御回路５１は、また、各演奏補助ユニット６，７の設定状態や動作状態に応じて生成される確認信号やテンポ変更要望（再生速度変更指示）信号などの駆動部返送信号Ｓ２を、入出力部４を通じてＰＣ１に送信させる。
【００３２】
左手用及び右手用演奏補助ユニット６，７は、それぞれ、駆動部制御回路７１、手首ホルダー駆動部７２及び指ホルダー駆動部７３を備える。両演奏補助ユニット６，７の指ホルダー駆動部７３は、それぞれ、親指用ホルダー駆動部７４、人指し指用ホルダー駆動部７５、中指用ホルダー駆動部７６、薬指用ホルダー駆動部７７及び小指用ホルダー駆動部７８から成る。なお、図１では、右手用演奏補助ユニット７のみにつき内部構成が示されているが、左手用演奏補助ユニット６も全く同様の構成を有するので、左手用演奏補助ユニット６内の各部も右手用演奏補助ユニット７の各部の参照記号で代表的に表わすものとする。
【００３３】
左手用及び右手用演奏補助ユニット６，７の手首ホルダー駆動部７２及び指ホルダー駆動部７３；７４〜７８は、楽器ＭＩの鍵盤ＫＢを押圧して演奏するユーザの左手及び右手における夫々の手首及び五指を半固定する（若干の自由度を持たせつつその動きを強制する）手首ホルダーＷＬ，ＷＲ及び親指用、人指し指用、中指用、薬指用及び小指用ホルダーＦ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒ〔中間の人指し指用、中指用及び薬指用ホルダー（Ｆ２Ｌ，Ｆ２Ｒ；Ｆ３Ｌ，Ｆ３Ｒ；Ｆ４Ｌ，Ｆ４Ｒ）については、参照記号の図示を省略。〕を駆動する。
【００３４】
つまり、支援制御回路５１は、運指データに対応して左右の各手首及び各五本の指の位置を演算して、左右の手首及び指ホルダー駆動信号を生成し、それぞれを左手用及び右手用演奏補助ユニット６，７の駆動部制御回路７１に送る。この場合、ホルダー駆動信号は、先読みされた所定時間分の演奏データに基づいて生成されるので、演奏者の左右の手首及び指の動きに無理を生じることがない。
【００３５】
そして、各駆動部制御回路７１は、手首及び指ホルダー駆動信号を対応する手首ホルダー駆動部７２及び指ホルダー駆動部７３（７４〜７８）に分配する。手首及び指ホルダー駆動部７２，７３（７４〜７８）は、分配された駆動信号に基づいて、手首ホルダーＷＬ，ＷＲに装着された手首を所望位置に案内しつつ、各演奏タイミングで、対応する各ホルダーＷＬ，ＷＲ；Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒを駆動して夫々の演算された位置に変位させて、指ホルダーＦ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒに装着された指を鍵盤ＫＢの押鍵すべき鍵に向かって移動させる。
【００３６】
これらの駆動部７２，７３（７４〜７８）は、駆動源にソレノイドを使って目的の位置に向けて力がかかるようにしてもよいし、圧縮空気を弁の開閉で制御することで各ホルダーＷＬ，ＷＲ；Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒを動かすようにしてもよい。　他に、駆動源として油圧を利用するものや、モーターで実施したりすることが可能である。また、駆動部７２，７３（７４〜７８）は、それぞれのホルダーにかかる負荷を検出する反力センサ（図示せず）を備える。
【００３７】
〔ＰＣ側の処理〕
図３〜図５は、この発明の一実施例による楽器演奏支援システムの楽曲情報処理装置（ＰＣ）側で実行されるメイン処理のフローチャートである。図３において、ＰＣ１の電源を投入して楽器演奏支援に対応するシーケンスソフトウエア（楽器演奏支援プログラム）を立ち上げると、最初のステップＰ１では、プログラムの実行が開始されてＲＡＭ１３の内容をクリアすると共に初期設定を行いシステムの初期化が行われる。次のステップＰ２で、パネル操作子（１６）の操作入力があると（Ｐ２→ＹＥＳ）、ディスプレイＤＰ上に表示されるパネル設定画面（図示せず）を用いたステップＰ３〜Ｐ１５のパネル設定処理が実施され、パネル操作子の操作状況を受け付けると共に、この設定に対応した必要な動作が行われる。
【００３８】
パネル設定処理においては、パネル操作子（１６）の入力が演奏処理に関連するものである場合に（ステップＰ３→ＹＥＳ）、演奏データの再生を指示する入力であれば（ステップＰ４→ＹＥＳ）、ステップＰ５で、当該演奏データを記憶装置（１２，１５）から読み出して再生を開始する。また、再生指示ではなく（Ｐ４→ＮＯ）、演奏データの停止を指示する入力であれば（ステップＰ６→ＹＥＳ）、ステップＰ７で、当該演奏データの再生処理を停止する。
【００３９】
そして、再生指示でもなくその他の指示であれば（Ｐ６→ＮＯ）、ステップＰ８で、「その他指示」を実行する。「その他指示」には、例えば、演奏データ曲の演奏位置を進めたり或いは戻す指示や、発音処理すべきパート（チャンネル）に関する設定などがあり、演奏位置の進遅のような指示であれば、対応する位置に演奏位置を変更し。また、発音パートの設定であれば、設定されたパートに、設定された発音条件を割り当てる。なお、演奏支援システムがオンの場合には、演奏支援を行う楽器又は鍵域と同種の発音パートを設定することにより、演奏支援に並行して模範演奏音を発生させ、伴奏に対応する発音パートの設定により、伴奏音を発生させることができる。
【００４０】
パネル操作子（１６）の入力が演奏処理に関連するものではないときは（Ｐ３→ＮＯ）、ステップＰ９で、演奏支援システムの設定・制御に関する指示であるか否かが判定される。ここで、演奏支援システムの設定・制御に関する指示である場合には（Ｐ９→ＹＥＳ）、ステップＰ１１〜Ｐ１５の演奏支援システムの設定・制御に関する処理を行い、そうでないときは（Ｐ９→ＮＯ）、ステップＰ１０で、その他指示のあった事項を実行する。例えば、自動演奏曲の選択などの操作入力があると、記憶装置（１２，１５）に記憶されている演奏データのタイトルを表示させ、ユーザが、このタイトル表内から、所望のタイトルを選択的に指示すると、選択されたタイトルの演奏データ曲が演奏のためにセットされる。
【００４１】
演奏支援システムの設定・制御に関する処理（Ｐ１１〜Ｐ１５）においては、パネル操作子（１６）からの指示が、演奏支援のオン／オフを設定するものであれば（ステップＰ１１→ＹＥＳ）、ステップＰ１２で、この設定に対応して演奏支援のオン／オフを設定する。オン／オフ設定ではなく（Ｐ１１→ＮＯ）、鍵盤合わせの設定であれば（ステップＰ１３→ＹＥＳ）、ステップＰ１４で、鍵盤合わせの設定に関する指示データをインターフェース２１を介して演奏支援装置３に送信する。なお、この鍵盤合わせ指示データは、演奏支援装置３においてホルダー動作前に行われる各種設定を有効化するのに必要な情報である。
【００４２】
鍵盤合わせの設定でもない演奏支援システム設定の指示であるときは（Ｐ１３→ＮＯ）、ステップＰ１５で、その他の演奏支援システムの設定に関する「その他設定」を実行する。「その他設定」には、例えば、演奏支援装置３の負荷が一定値を超える場合に演奏データの再生速度（テンポ）自体を低下させる「モードＡ」の設定や、位置及び身体情報テーブル５２，５３の内容の設定及び更新がある。
【００４３】
さて、ステップＰ２でパネル操作子（１６）の操作入力が検出されなかったとき（Ｐ２→ＮＯ）及びパネル設定処理（Ｐ３〜Ｐ１５）における各処理（Ｐ５，Ｐ７，Ｐ８，Ｐ１０，Ｐ１２，Ｐ１４，Ｐ１５）の終了後は、ステップＰ１６で自動演奏が開始されているか否かを判定する。ここで、自動演奏が開始されていないときは（Ｐ１６→ＮＯ）、ステップＰ２（図３）に戻って上述したステップＰ２〜Ｐ１６の処理を繰り返す。また、自動演奏が開始されているときは（Ｐ１６→ＹＥＳ）、ステップＰ１７〜Ｐ２２の自動演奏処理を継続する。
【００４４】
この自動演奏処理には、演奏支援のための処理ステップＰ１８〜Ｐ２０が含まれる。この自動演奏処理では、先ず、記憶装置（１２，１５）から、自動演奏による再生の指示が設定されている演奏データ（Ｐ５）のうち、現時点で読み出すべきイベントの演奏データを、順次、読み出す（ステップＰ１７）。
【００４５】
次に、ステップＰ１８で演奏支援システムがオンであるか否かを判定する。ここで、演奏支援システムがオンに設定されており且つ演奏支援装置３からの確認信号を既に受信しているときは演奏支援システムがオンであると判断し（Ｐ１８→ＹＥＳ）、ステップＰ１９，Ｐ２０（図５）においてＰＣ１側での第１の演奏支援処理を実行する。第１の演奏支援処理では、先ず、ステップＰ１９において、ステップＰ１７で読み出された演奏データに含まれている運指データを抽出し、演奏支援装置３に送信する。なお、運指データが含まれていない演奏データの場合は、演奏データにおける一連のノートデータから運指データを作成してもよい。そして、次のステップＰ２０にて、この演奏データを短時間の間ＲＡＭ１３上に順次記憶していく。
【００４６】
ステップＰ２０での処理の後は、ステップＰ２１に進み、ＲＡＭ１３上に一定時間前に保持した演奏データを順次読み出し、音源部１８にて、当該演奏データの割当てパート（チャンネル）の楽音信号を生成する。そして、続くステップＰ２２において、音源部１８で生成された楽音信号をサウンドシステム１９に送り、楽音信号に従った発音処理を行う。この発音処理では、サウンドシステム１９のＤＳＰで所望の効果が付加された楽音信号をＤＡＣでアナログ化しアンプで増幅して、対応する楽音をスピーカから発音させる。
【００４７】
ステップＰ１９〜Ｐ２２において、ステップＰ１９で演奏支援装置３に送信される演奏データは、ステップＰ１７（図４）で現在読み出された演奏データ、つまり、ステップＰ１８でＲＡＭ１３上に所定の短時間だけ保持されている演奏データではなく、記憶装置から読み出されたばかりの演奏データである。一方、音源部１８及びサウンドシステム１９における演奏データの再生（図５：Ｐ２１，Ｐ２２）については、ステップＰ１９での演奏データの短時間保持によって、演奏支援装置（演奏補助装置）３における各ホルダーの実際の駆動にかかる遅れ時間を見越して、この遅れ時間分だけ遅れてＲＡＭ１３から演奏データが読み出される。
【００４８】
なお、この遅れ時間は、演奏支援装置３において、“或る演奏イベント（或る時点の演奏データ）に対応する動作信号の生成タイミングから所定時間だけ前のタイミングまでの時間”＋“同生成タイミングからホルダーが当該イベントに対応する位置に実際に変位するタイミングまでの時間”で表わされる。
【００４９】
従って、この演奏データの遅れ読出し（Ｐ１９）によって、演奏支援装置３側での遅れ時間が吸収され、ＲＡＭ１３上に保持された遅れ演奏データに基づく楽音信号の生成タイミングは、記憶装置（１２，１５）からそのまま（遅れなく）読み出された演奏データに基づいて動作する演奏支援装置３における各ホルダーの実際の駆動タイミングに一致させることができる。なお、ＰＣ１側の音源部１８及びサウンドシステム１９における楽音信号の生成タイミングからみると、ステップＰ１７（図４）での演奏データの読出しは、楽音信号の再生タイミングに先立って所定時間だけ先読みしておくことに等しい。
【００５０】
なお、自動演奏処理時においては、演奏支援システムがオンの場合には、ユーザが演奏するパート（チャンネル）を除いた他のパートの演奏データに基づく楽音信号を演奏してもよいし、全てのパートを演奏してもよい。また全パートを演奏する場合、ユーザが演奏するパートの演奏データによる再生音は小さめに発音するように処理することが好ましい。
【００５１】
さて、ステップＰ１８（図４）で演奏支援システムがオフに設定されていると判定された場合も（Ｐ１８→ＮＯ）、ステップＰ２１（図５）に進む。この場合は、ステップＰ１７（図４）で読み出された演奏データに基づいて音源部１８で楽音信号を生成し（Ｐ２１）、この楽音信号に従って発音処理を行い（Ｐ２２）、通常の自動演奏が実行される。
【００５２】
なお、ステップＰ１８（図４）で演奏支援システムがオフに設定されているときに（Ｐ１８→ＮＯ）、破線で示すように、（演奏支援システムのオン・オフに拘わらず）ステップＰ２０で演奏データを短時間保持し、その後、楽音信号生成ステップＰ２１に進むようにしてもよい。この場合は、ステップＰ２１では、ステップＰ２０で保持した一定時間前の演奏データに基づいて楽音信号を発生させる。
【００５３】
ステップＰ２２（図５）の処理の終了後は、ステップＰ２３において、演奏支援装置３側から再生速度変更指示信号（テンポ変更要求信号）を受信したか否かを判定し、この信号を受信したときは（Ｐ２３→ＹＥＳ）、ステップＰ２４で、この再生速度変更指示信号に合わせて演奏データの再生速度（テンポ）を変更する第２の演奏支援処理を行う。この速度変更処理によって、演奏支援の駆動速度も変更され、速度を低下させた場合には、ゆっくりとした動作速度で演奏支援を行わせ、当該演奏データに慣れないユーザに対して演奏がし易くする。
【００５４】
そして、再生速度変更指示信号を受信していないとき（Ｐ２３→ＹＥＳ）或いはステップＰ２４での処理の終了後は、ステップＰ２に戻り、メイン処理の終了指示があるまで、上述したステップＰ２〜Ｐ２４の処理が繰り返し実行される。
【００５５】
〔演奏支援装置側の処理〕
図６及び図７は、この発明の一実施例による楽器演奏支援システムの演奏支援装置側で実行される駆動制御処理のフローチャートである。演奏支援装置３の電源スイッチを投入すると、ステップＤ１で、位置情報テーブル５２や身体情報テーブル５３に基づき設定される位置や身体に関する条件や動作モードを標準値（デフォルト）に初期設定するなどの初期化が行われ、ＰＣ１と交信可能な状態になる。次のステップＤ２では、演奏支援装置３に接続されているＰＣ１から、鍵盤合わせの設定等を指示する信号が送信されてきたか否かを判別する。
【００５６】
鍵盤合わせや、テーブル設定／更新、モード指定などのＰＣ１からの設定用指示信号をから受信したときは（Ｄ２→ＹＥＳ）、ステップＤ３，Ｄ４の位置等設定処理を行う。この位置等設定処理では、まず、ＰＣ１からの鍵盤合わせの指示に従い、オクターブ幅の変更を受け付け、また、各ホルダーをフリー状態にする（ステップＤ３）。オクターブ幅の変更は、ユーザが演奏しようとする楽器ＭＩの鍵盤ＫＢの各鍵の位置間隔に応じて、１オクターブの幅を標準値（例えば、１６ｃｍ）から変更するものである。次に、位置情報テーブル５２を参照して、各ホルダーＷＬ，ＷＲ；Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒの駆動系の基準位置（原点）を、現在演奏しようとしている鍵盤ＫＢの基準位置（例えば、“Ｃ４”鍵の位置）に一致するように設定し、変更されたオクターブ幅及び設定された各基準位置に基づき、演奏データの各ノート（音符）に対応する各鍵位置を補正し設定する（ステップＤ４）。
【００５７】
このようにして補正・設定された位置設定状態は、演奏支援装置３のフロントパネルの表示器（図２）に表示される。また、位置等設定処理においては、この表示器には、身体情報テーブル５３に格納されている身体情報一覧リストが表示され、ユーザが、自身に該当する身体情報（例えば、手のサイズ）の番号（例えば、サイズ番号）を数字キー（１〜０）で指示すると、演奏しようとするユーザに合った身体情報がセットされ、セット状態が表示器に表示される。なお、位置及び身体情報テーブル５２，５３自体の内容は、ＰＣ１からの指示信号で設定／更新される。さらに、ＰＣ１から指示信号に基づく「モードＡ」などの他の設定情報も表示器に表示される。
【００５８】
そして、フロントパネルの表示器に表示された位置、身体、モードなどの設定情報に対して、ユーザがフロントパネルの確認スイッチ（Ｓ）を操作することにより、設定確認信号がＰＣ１に返信される（ステップＤ５）。この確認信号がＰＣ１で受理されると、以下のステップＤ６〜Ｄ１３の処理機能が有効化される。
【００５９】
鍵盤合わせ指示信号の受信がないとき（Ｄ２→ＮＯ）及び位置設定の補正処理（Ｄ５）の終了後は、ステップＤ６で、各駆動部７２〜７８への駆動信号があるか否かを判断する。ここで、駆動信号があるときは（Ｄ６→ＹＥＳ）、ステップＤ７（図７）に進んで、指と手首のホルダーＦ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒ；ＷＬ，ＷＲを駆動する。つまり、演奏データのうち、ユーザが演奏するパートに、ノートイベントのキーオンの指示信号があったときに、指示信号に対応する指及び手首ホルダーの駆動信号が生成されるので、この駆動信号で駆動部７２〜７８を動作させ、当該キーオンの運指データにより指示されるホルダーを駆動して、演奏データのノートに対応する鍵をユーザの指で強制的に押圧させる。
【００６０】
ステップＤ６（→ＮＯ），Ｄ７に続くステップＤ８では、各駆動部７２〜７８への駆動停止信号があるか否かを判断し、駆動停止信号があるときは（Ｄ７→ＹＥＳ）、ステップＤ９に進んで、対応するホルダーＷＬ，ＷＲ；Ｆ１Ｌ〜Ｆ５Ｌ，Ｆ１Ｒ〜Ｆ５Ｒの駆動を停止し元の非演奏状態（例えば、フリー状態）に戻す。つまり、演奏イベントのキーオン指示に続いてキーオフの指示信号があったときには、駆動中のホルダーに対して駆動停止信号が生成されるので、この駆動停止信号により、当該イベントに対応する駆動部７２〜７８の動作を停止させる。なお、元に戻すものは指に関するホルダーのみでもよい。また、次のキーオンにあわせて事前に手首ホルダーを動かすことをしてもよい。
【００６１】
ステップＤ８（→ＮＯ），Ｄ９に続くステップＤ１０では、各ホルダーに設けられた反力センサにより検出された負荷が一定値を超える場合、当該ホルダーの駆動力を弱める。これにより、演奏についていけないユーザには負荷がかかってしまうのを防止することができる。
【００６２】
なお、図示しないが、反力センサにより検出された負荷が、上述の一定値より更に大きい所定の過大値を超えた場合は、直ちに、このステップＤ２以下の駆動制御処理（演奏支援処理）を停止し、当該駆動信号は中断され以後の駆動信号の生成処理も中止されると共に、フロントパネルのアラームランプの点灯及び／又は表示器の「演奏支援停止」表示が行われる。この場合、フロントパネルの再開スイッチの操作によりステップＤ５の直前の状態に戻すことにより、演奏支援処理を再開することができる。
【００６３】
続くステップＤ１１では、さらに、演奏支援装置３に現在「モードＡ」が設定されているか否かを調べ、「モードＡ」が設定されているときは（Ｄ１２→ＹＥＳ）、ステップＤ１３に進んみ、ＰＣ１に対し、演奏信号が速すぎることを伝えて自動演奏データの読出し速度を遅らせるためのテンポ変更要望信号（再生速度変更指示信号）を返送する。
【００６４】
そして、各ホルダーの負荷が超過しない場合（Ｄ１０→ＮＯ）及びテンポ変更要望信号の返送後は（Ｄ１３）、ステップＤ２（図６）に戻り、演奏支援処理に対する終了指示（ＰＣ１側での演奏支援システムのオフ設定、演奏支援装置３側での支援オフスイッチ（Ｅ）又は電源オフスイッチの操作や、過大負荷による強制終了など）があるまで、上述したステップＤ２〜Ｄ１３の処理が繰り返し実行される。
【００６５】
〔種々の実施態様〕
以上、この発明による各種ガイド制御を一実施例に従って説明してきたが、実施形態は例示したものに限らない。例えば、実施例では、演奏データ源である楽曲情報処理装置（１）として、楽曲情報処理ソフトウエアをインストールしたパーソナルコンピュータを用いたが、電子楽器や、シーケンサ、自動演奏装置などのような楽曲情報処理用に特化した情報処理装置を用いてもよい。
【００６６】
また、演奏支援装置（３）側で指ホルダーの動作タイミング（指ホルダーが実際に演奏者の指で演奏操作を行わせようとしたタイミング）で、対応する演奏イベントを指示する指示信号を楽曲情報処理装置（１）側に返送し、再生（楽音信号生成処理）が行われている再生演奏イベントとの対比するように構成することにより、楽曲情報処理装置（１）側で、演奏支援装置（３）のホルダー動作が演奏データに忠実に行われていないことを認識することができる。
【００６７】
例えば、演奏支援装置（３）の誤動作又は音飛ばしを検出し、これをディスプレイＤＰに表示させることができる。また、返送された指示信号のタイミングを観察し、再生演奏イベントのタイミングと所定時間以上の開きが発生した場合には、演奏支援装置（３）側に送信される演奏データのテンポを一時的に遅らせ、ホルダー駆動機構の応答遅延を補償することができる。
【００６８】
また、実施例における楽曲情報処理装置（１）と演奏支援装置（３）の制御機能部とを一体化してもよい。さらに、演奏支援を行う楽器（ＭＩ）が電子楽器である場合には、楽曲情報処理装置（１）及び演奏支援装置（３）を電子楽器（ＭＩ）として一体化してもよい。
【００６９】
【発明の効果】
以上説明したように、この発明によれば、演奏者の演奏操作に用いられる身体部位（指など）を固定するホルダーを持ち、演奏データを元にホルダーを動作させることが可能な楽器演奏練習装置が得られる。従って、演奏データの曲にあわせて指などが勝手に動き、最初は、「演奏できる感触」を楽しむことができ、時間の経過とともに演奏が身につき、そして、知らず知らずのうちに、この装置なしでも当該曲の演奏が可能になる。
【００７０】
この発明の楽器演奏支援装置によれば、ホルダーの実際の動作タイミングに対して、常に、所定時間だけ前に演奏データ（押鍵情報など）を取得し（＝演奏データ上で時間に対しホルダーの動作タイミングを一定時間遅らせる）、現動作タイミングで次のホルダー動作のための制御の準備を開始しておくようにしている。つまり、演奏データの各演奏イベントを受け取ると、その都度ホルダーを動かすという制御では、スムースな演奏ができず、また、急激なホルダーの動作により演奏者の身体を破壊することがあるが、この発明では、現在のホルダー動作タイミングより所定時間だけ先の演奏データを取得することにより、演奏者の身体に負担のないホルダー動作を実現することができ、演奏内容の音楽性を高め、さらに、身体にも安全なホルダー動作を提供することができる。
【００７１】
この発明の楽器演奏支援装置によれば、ホルダーに設けた反力センサにより検出された反力が所定値以上になった場合には、ホルダーの駆動力を弱めたり（駆動力低下）、演奏のタイミングを遅らせる（遅延演奏）ことにより、曲を中断させることはなく、無理がないように押鍵させ、安全を図ることができる（遅延演奏では、リズムが狂うことがあっても、とにかく、最後まで練習することができる。）。また、反力が過大になった場合は、強制的にホルダーの動作を停止させて（強制終了）安全を図ることができる。また、上述した駆動力低下、遅延演奏及び強制終了は、自動的又は設定により選択することができる。
【図面の簡単な説明】
【図１】図１は、この発明の一実施例による楽器演奏支援システムのハードウエア構成を示すブロック図である。
【図２】図２は、この発明の一実施例による楽器演奏支援システムの概観を表わすイメージ図である。
【図３】図３は、この発明の一実施例による楽曲情報処理装置（ＰＣ）側の処理を表わすフローチャートの第１部分（１／３）である。
【図４】図４は、この発明の一実施例による楽曲情報処理装置（ＰＣ）側の処理を表わすフローチャートの第２部分（２／３）である。
【図５】図６は、この発明の一実施例による楽曲情報処理装置（ＰＣ）側の処理を表わすフローチャートの第３部分（２／３）である。
【図６】図６は、この発明の一実施例による楽器演奏支援装置側の処理を表わすフローチャートの一部である。
【図７】図７は、この発明の一実施例による楽器演奏支援装置側の処理を表わすフローチャートの他部である。
【符号の説明】
１　楽曲情報処理装置（パーソナルコンピュータ）、
３　入出力部４、支援制御回路５並びに左手用及び右手用演奏補助ユニット６，７を備える演奏支援装置、
ＭＩ　楽器（鍵盤楽器）、
ＫＢ　鍵盤（演奏操作子）、
Ｆ１Ｌ〜Ｆ５Ｌ　左手用指ホルダー、
ＷＬ　左手用手首ホルダー、
Ｆ１Ｒ〜Ｆ５Ｒ　右手用指ホルダー、
ＷＲ　右手用手首ホルダー。
【図１】
2004109758.tif 000003
【図２】
2004109758.tif 000004
【図３】
2004109758.tif 000005
【図４】
2004109758.tif 000006
【図５】
2004109758.tif 000007
【図６】
2004109758.tif 000008
【図７】
2004109758.tif 000009