(57)【要約】計算機を用いた楽譜の表示において、演奏中の曲中位置と、コンピュータ内で更新している曲中位置を合わせる機能を構成し、その曲中位置に基づいて表示更新の制御を行なう。一頁分の楽譜を複数に分割し、各分割を前の頁に上書き更新するタイミングを、その分割の頁中の位置から所定の関数で求める頁の中での位置にコンピュータ内の曲中位置が到来したときとして、順次更新表示するようにし演奏位置の前後十分な幅での先行表示と表示の保持ができるスムーズな表示更新を実現する。ここで必要となる曲中位置合わせのために、複数のタイミング入力手段を備え、下位のレベルでの追跡のずれをより信頼度の高いレベルの手段で随時補正できるようにする。合奏に用いるときには各パート毎に楽譜が異なっていても、この曲中位置情報を供給することによって表示更新を制御できる。【特許請求の範囲】
【請求項１】
曲中の音符の位置を小節番号と小節内位置の組などで表現した音楽時刻を定義しておき、演奏者が演奏している演奏音楽時刻にコンピュータ内で更新しているコンピュータ音楽時刻を継続的に合わせるための第１の機能と、このコンピュータ音楽時刻を基に楽譜表示の更新を行なう第２の機能とを持つことを特徴とするコンピュータによる楽譜の表示方法及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２】
第１項に加え、頁及び表示画面中の位置と音楽時刻との変換を行なう第３の機能を持ち、第２の機能は、表示画面にはまる一頁分の楽譜を複数に分割し、各分割を前の頁に上書きして更新するタイミングを、その分割の頁中の位置からまず所定の関数で求める頁の中での他方の位置を求め、さらにその位置を上記第３の機能で音楽時刻に変換しておき、コンピュータ音楽時刻が求めた音楽時刻に到達したときとするようにした請求の範囲第１項記載の楽譜の表示方法及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３】
第１項あるいは第２項記載の第１の機能として、複数レベルのタイミング入力手段を有し下位のレベルの手段による合わせのずれをより信頼度の高い上位のレベルの入力手段によって補正出来るようにした事を特徴とする請求の範囲第１項記載の楽譜の表示方法及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項４】
第３項記載の第１の機能で用いる一つのレベルとして、曲の部分部分の演奏テンポに合わせてコンピュータ音楽時刻の基本単位に対応するクロックの間隔を調節するようにし以後そのクロックでコンピュータ音楽時刻を更新するサブ機能を備えることを特徴とする請求の範囲第３項記載の楽譜の表示方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項５】
第４項記載の第１機能のサブ機能に加えて、それによって求まる部分部分のクロックの間隔を記録し、後ほど演奏を繰り返す際にはその再生を基にコンピュータ音楽時刻を更新する第４の機能を持つようにした請求の範囲第４項記載の楽譜の表示方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項６】
第５項記載の第４の機能は、その再生によってコンピュータ音楽時刻を更新しつつ、演奏音楽時刻とのずれを補正する上位レベルのタイミング入力があれば、補正したクロック間隔を記録するようにした請求の範囲第５項記載の楽譜の表示方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項７】
複数の各々内容の異同混在した楽譜を表示するコンピュータを有するシステムにおいて、マスターとするコンピュータが第１項に記載したコンピュータ音楽時刻を他のスレーブとなるコンピュータに供給することによって演奏音楽時刻の追跡を一元化し、各々のコンピュータでは第２機能による表示更新を行なうようにした請求の範囲第１項あるいは第２項記載の楽譜の表示方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項８】
複数の各々内容の異同混在した楽譜を表示するコンピュータを有するシステムにおいて、音楽時刻と表示上の頁及び位置座標との相互変換を行なう第３の機能を持ち、一つの楽譜表示用コンピュータで表示されている楽譜のある場所を操作者が指示することにより第３の機能で対応する音楽時刻を求め、その音楽時刻情報を他の楽譜表示用コンピュータに伝送し、受信したコンピュータでは第３の機能で表示上の頁と位置を求め、同じ音楽時刻を含む頁の表示をしかつその対応する場所すなわち指示した場所と同時に演奏すべき場所を示す表示を行うようにした請求の範囲第１項あるいは第２項記載の楽譜の表示方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項９】
請求の範囲第５項記載の部分部分のクロック間隔に関する曲対応の情報を含むコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】    本発明はコンピュータを用いて演奏を支援する楽譜情報の表示の方法とそのコンピュータ・プログラムに関する。
【背景技術】    音楽の演奏のために紙の楽譜が使用されるようになって久しい。長い曲が作曲されるようになって演奏中に楽譜をめくる必要が生じた。両手を用いる殆どの楽器特にピアノなどではこれが障害となっていた。最近のコンピュータの発達、低価格化、薄型表示器の出現によって楽譜をコンピュータの表示器に表示することの可能性が生まれ、またコンピュータと表示器を埋め込んだ楽器での楽譜の表示も行われるようになった。コンピュータを用いることによって紙には無かった自動譜めくりなど種々の支援に可能性が開け、またディジタルの情報となることによって保管、販売、流通にも変革が予想される。最近になって関連する多くの発明が現れた。
コンピュータの表示器に楽譜を表示して複数頁にわたる長い曲を演奏するには、演奏中に表示を更新しなければならない。自動演奏ではなく、人が演奏するときには表示更新のタイミングを決定するのが容易ではない。例えば日本国特開２００３−１７７７４５号公報（文献１）では、スイッチの操作を譜めくりの指示入力とし、演奏が頁の最後に到達するより少し前に表示更新を起動し、まず予め定めた更新比率の部分を更新し、更にこのタイミングから選択した時間差を置いて残りの部分も更新することによって表示の中断が無いようにした。また例えば日本国特開２００３−２２３１６６号公報（文献２）では、同じく２段階で表示を更新するが、第１のタイミングの指示にスイッチの操作によらず、音響入力から楽譜情報に照らして演奏個所を特定し、その演奏個所が予め指示しておいた場所に達したときとして検知する。また第２のタイミングは楽譜情報から残りの演奏に必要な時間を算出する。こうしてスイッチなどの操作の必要なく譜めくりが出来るとしている。
これらの例では次の問題点があった。１つには譜めくりの第２のすなわち残部更新のタイミングは予め予定されているため、第１のタイミング以降特別遅いテンポで演奏したり、練習で中断したり部分を繰り返したりすると、頁の最後まで演奏していないのにそこが更新されてしまうことになる。第２の問題点はこれらの例では前述の問題を回避するため、頁の最後にごく近い位置で頁めくりを開始し、次の頁の表示は直前にしか行われない。しかし、次の頁の様子を十分に早く見ることは演奏者がより優れた演奏をするために重要なことである。そこに向かうべく現位置の演奏の流れを形成したり、心構えをしたりするのである。第３の問題点は、これらの従来の方法では使用者に準備のための動作を要求する。例えば文献２は自動譜めくりの手段について述べているが、頁めくりの第１のタイミングとする演奏個所を前もって指示し記録する操作、ステップを踏まなければならない。これは曲毎、頁毎に指示記録することが必要となる。文献１では残り部分の表示更新を行うまでの時間差をパラメータとして与える操作がある。このパラメータは曲により、演奏の完成度により調整することになる。
合奏に注目した発明もある。日本国特開２００２−１６９５４１号公報（文献３）ではオーケストラの演奏などを想定して、総楽譜情報を入力とし、演奏パート別に分けて電子譜面台と呼ぶ各楽譜表示器に分配するネットワークで結ばれたシステムを開示している。各電子譜面台には譜めくり指示手段を備え、同一パート内では、いずれかの電子譜面台での譜めくり指示に連動して一斉に譜めくりが行われる。しかし、楽器あるいはパートが異なれば、楽譜の詰まり具合が異なり、表示更新のタイミングもまちまちになる。楽譜が異なればそれぞれにスイッチなどの操作が必要であった。
関連する発明として、指揮棒に合わせてシーケンサーやＭＩＤＩ楽器に自動演奏を行わせるものが多くある。例えば日本国特開平０９−０９０９４１号公報（文献４）では、指揮棒に埋め込んだ角速度センサーによって拍の位置と振りの大きさを検出し、演奏のテンポと音量に反映する技術を開示している。
本発明の第１の目的は従来のコンピュータによる譜面表示に比べて、より安心して使える表示の更新を実現することである。そのために１つには現在演奏している部分が更新されることが無いこと、２つ目には次の頁の先頭部分が十分に先行して表示されることが必要である。
本発明の第２の目的は表示更新に必要となる演奏個所の追跡を信頼度の高いものとすることである。例えば特許文献２など多くの発明において演奏の音声信号を入力して楽譜情報との照合を取ることが言われているが、音声信号に種々のノイズが混入して検出処理の間違いが起こりえるし、一方人の演奏には間違いが含まれることがある。また、合奏においては個々の楽器の音を分離することはまだ研究段階の技術を要するものであり、実用に十分に耐えるものには到達していない。そこで本発明では直ぐに実用できるようこのような自動追跡の欠陥を補完する手段の提供を目的とする。
本発明の第３の目的はカストマイズ機能の実現である。演奏のテンポ、部分的な揺らぎ、フェルマータの長さなどは、作曲者の表記だけでは規定しきれず、演奏者によって決められていくといえる。本発明のように演奏位置追跡に多重の補正機構が必要なのもそのためである。毎回の演奏でも変化していくものではあるが、演奏者によってある中心値が存在すると考えられ、これをシステムが演奏に合わせてカストマイズして、よりスムーズで、自動で動作する演奏位置追跡と表示更新を実現することが目的である。
本発明の第４の目的はオーケストラなどそれぞれ異なる楽譜を演奏する演奏者全員のための最小限の操作で済む譜めくりの手段の提供にある。
本発明の第５の目的は演奏あるいは合奏のための種々の支援を行う新しい手段の提供にある。従来の例として文献３にはメモ記入の機能について示されている。このように演奏に関連して、コンピュータの使用によって紙の楽譜では考えられなかった新規な支援を実現することを目的とする。後で具体的な項目について列挙する。
【発明の開示】
本発明は上記第１の目的を達成するため、表示画面を楽譜の種類によって分割の方法が決まり、かつ循環して更新を行う多くの部分に分割し、ある分割の更新は、演奏個所が他のある分割にあるときに行うようにする。説明のため最初の分割から番号を付けるが、最後の分割と先頭の分割とは更新の順番では隣合わせとなり、全体としてはリング状になる。ある分割の更新を行うタイミングは、マッピング表を引いて分割の番号として求め、演奏位置がその分割にある間に行う。好みによって複数のマッピング表が作れるが、もっとも単純なのはリングの対極にある分割とするものである。すなわち、従来の方法では紙の楽譜めくりに似せて画面を一度に更新してしまうのに対して、本発明では部分ごとに徐々に更新していくのであり、演奏部分の前後に充分な量の表示がいつも行なわれていることを可能とした。文献２、文献３のように２段アクションの場合にも大部分は一度に更新されていた。
楽譜の種類による分割の例をいくつか図で示す。第１図は１段楽譜の一般的な楽器のためのもので、表示デバイス１０１を横長で使用する場合の表示分割例である。楽譜は一つのウィンドウ１０の中に表示する。楽譜一段を一分割とするのが制御に都合が良い。図中の６つの分割１１−１から１１−６までに、上から順に各分割に番号を付けることとする。
図中の第２、第３分割の間に例示してある分離帯１２は、最新の更新が第２分割１１−２にあったことを示す。この分離帯は巻紙のように表示してそれが降りていくようにアニメーションを行う意匠とするとさらによい。第１図の例に対する上記のマッピング表のいくつかの例を次の表１に示す。
2005062289.tif 000002
表１においてマッピング例の行に書かれた番号は、その番号の分割に表示されている楽譜の分割に演奏個所が入っているときに、１行目の番号の分割の表示を更新することを意味する。マッピング例１では、リングの対極にある分割を更新する方法に対応し、継続的に更新が行われる。マッピング例２では、演奏個所が表示の中央付近の分割３、４にあるときには、上記分離帯が無く、更新も起こらない。すなわちしばらくある頁の楽譜全体が表示されている状態となる。マッピング例３では、演奏個所が最下段にあるときに上半分が、最上段に移ったときに下半分が更新される。演奏個所が途中にあるときには分離帯が無く、さらに長い時間に亙って更新も無い。このようにするのは頁全体のイメージが曲の記憶や把握に重要な役割を果たしている（岩城宏之著「楽譜の風景」岩波新書）のを援助するためである。同じ理由でスクロール表示をせず、上書き更新を選択している。
ピアノなど２段楽譜を用いる場合には、当然一分割に２段の楽譜を入れることにし、その分分割の数は約半減する。またピアノ伴奏つき独奏、独唱でのピアノ伴奏用譜面では３段の楽譜となり、分割数は３分の１となる。表示デバイスを横長で使用するか、縦長で使用するか、あるいは分割の総数をいくらにするかは演奏者の年齢、視力、楽譜の複雑さなどを考慮して決定されるべきで、これらを設定出来るようにすることは可能である。いずれも第１図に示す分割とそれに係わる制御の方式で実現することが出来る。分割数が不足するときには、以下の例のように横方向にも分割して滑らかな更新をすることが出来る。
合奏、合唱など声部の数が増えてくると、少し異なった分割を採用することが適切となることも考えられる。第２図はそのような場合の分割の例である。この例では縦長に設置した表示デバイス１０１のウインドウ２０の中に上下に３行、左右に４分割して１２の分割２１−１から２１−１２までを設けている。各１行ごとに、例えばバイオリン、チェロとピアノ伴奏で４段の楽譜が詰められている。各段の左端には声部の呼び名やその略記名２２、ト音記号やヘ音記号２３、調性を示す記号などを表示するが、これは左端の分割の表示に含むようにする。分割２１−５と分割２１−６の間にある分離帯２４は最近に行われた更新が分割２１−５であることを示している。
この例では分割の番号１から１２までに対して表１と同様のマッピング表を使用できる。次の表２にいくつかのマッピングの例を示す。
2005062289.tif 000003
表２においてマッピング例の行に書かれた番号は、その番号の分割に表示されている楽譜の分割に演奏個所が入っているときに、１行目の番号の分割の表示を更新することを意味する。マッピング例４では、リングの対極にある分割を更新する方法に対応し、継続的に更新が行われる。マッピング例５では、演奏個所が最後の行にあるときに、加速的に１行目から２行目の真中まで更新を行い、演奏個所が１行目に移ると減速しながら残りを更新し、演奏個所が分割４番から９番までにあるときは更新を行わない。マッピング例６は、演奏個所が行の後半に入ると、一行前の表示を一斉に更新する方法である。
大編成オーケストラや、オペラなどでは１０段を越し、時には３０段近くに及ぶパートが並んだ総譜が特に指揮者や、学習者などのために使われる。第３図はこのような総譜の表示のための分割例を示す。必要な画面の大きさと分解能を得るため、表示デバイス２個１０１−ａと１０１−ｂを縦長にし横に並べて２画面で使用する。従来の印刷総譜を左右見開きで見るのに対応している。テクノロジーの進歩によって十分な大きさと分解能の表示デバイスが現れれば、一つの表示デバイスを横長で使用することでも良い。この例では左端から右端まで左右それぞれ６、全部で１２分割としている。左右それぞれの画面の左端には、楽器名やその略記、声部、オペラでの役名など３２、更にそれらをグループ化するための括弧、音部記号、調性記号などがあるが、それらは、この例での３１−１番と３１−７番の分割の表示に含む。分割３１−２と３１−３の間にある縦の棒３３は分離帯で最新と最古の表示更新の境界を示す。この表示での表示更新の制御は上記の例と同じくマッピング表を使用する。表３はそのマッピングのいくつかを示したものである。
2005062289.tif 000004
マッピング７は演奏個所がリングの対極にあるときに更新する方法、マッピング８は、演奏個所が画面右端を通過するときに加速的に左画面を更新し、演奏個所が画面左端を通過するときに減速しながら右画面を更新するものである。マッピング９は、右左の画面のそれぞれ半分を演奏個所が通過したあたりで、相手側の画面の全体を更新するものである。ここで注意することは、演奏個所が左にある間は左側の、演奏個所が右にある間は右側の、画面表示は更新されることは無く、各画面の左端の種々の表記３２がいつでも参照できる。
従来の印刷総譜でよく行われることであるが、楽曲の部分によっては、限られたパートのみ演奏内容があり、演奏の無いパートを総譜に並べないときには必要な段数が少なくなるので、１ページを縦に２行から数行に割って使用している。こうすることによって、見やすく、頁めくりが少なくてよい利点があった。本発明の表示でも同様の表示は可能である。この場合、左右の画面で分割の数を一定にすると上記と同様の更新制御が行える。第４図はこのような分割の組み合わせの一例を示したものである。右の画面は第３図の画面と同様で、左側の画面は第２図の画面と同様であるが、分割数が各行２の３行で６となっている。更新の制御には表３と同じマッピング表で行える。
表示デバイスが楽器に組み込みとなっていて、表示面積に制限がある場合がある。鍵盤楽器で２段楽譜１行あるいは２行分の表示に限定されるような例である。２行であれば、第２図のようにして、１行であれば、第３図の片側だけの表示とした分割、すなわち一行を左右方向に分割しただけとして同様に更新制御を行うことが出来る。第２図の２行目２４に例示したような、更新の新旧の境に境界を示す分離帯の表示を入れると良い。
以上の説明では、説明の都合上分割の数をある整数とし、分割ごとに更新すると説明した。第１図の例ではこれで問題ない。しかし、第２図、第３図、第４図の場合、実際には、小節の単位で表示更新するのが容易であるが、一行あたりの小節数は曲の部分によって変わることも多い。それに分割の数をある特定の整数とすると小節数と合わなくなる。そこで、全画面に並ぶ表示を繋いだとして０から１までの実数に対応させ、上に示したマッピング表は独立変数、従属変数とも０から１までの関数として定義する。例えば、第２図の例では、１行目は０から３分の１まで、２行目は３分の１から３分の２までを割り当てる。更に１行の中では楽譜の表示の都合で小節の長さは均一ではないので、境界の位置を一行の中での相対位置から、割り当てられた区間の中にマッピングする。更新する小節の位置としてその中央の位置を取り、演奏個所は同じスケールの上にやはりマッピングできるので、上記関数を用いて更新をするタイミングを得ることが出来る。
第５図にマッピング関数の例を示す。（Ａ），（Ｂ），（Ｃ）の各関数で横軸は独立変数である分割の位置、縦軸は従属関数である頁の中での演奏位置を表している。（Ａ）は表１のマッピング例１に対応している。例えば分割番号３の行は、頁全体の中で、１２分の５の位置にある。図に破線で示したように横軸の１２分の５の位置５１から関数の値を求めると１２分の１１が値５２として求まる。１２分の１１というのは、６行目の真中であり、演奏がその場所に来たときに分割番号３の表示更新を行う。第５図（Ｂ）は表１のマッピング例２に対応する関数である。演奏が頁の６分の４に達したあたりから更新が始まり、１すなわち頁の最後あたりで加速的に画面半分までの更新が行われる。図中２本の破線ではさまれた区間５３は、演奏がその中にある間更新が無いことを示している。第５図（Ｃ）は表１のマッピング例３に対応する関数である。更に更新の無い区間５４が広くなっている。
特殊な演奏シーケンスへの対応も可能としておかなければ実用できない。楽曲の中には、繰り返しの指定が含まれていることがある。長い区間の繰り返しでは、複数の頁分戻ることもあり、印刷楽譜では演奏者には大変であった。その他、ダルセーニョ、ダカーポ、コーダなど特定の場所への前後方向へのジャンプも同様に大変であった。また、オペラやバレーなどでは、公演の都合上ある部分の楽譜の演奏を抜くことも行われる。本発明では、これらは、演奏前の、あるいは練習途中でのコンピュータとの対話処理によって繰り返しを何回やるのか、どの部分の演奏を抜くのか、などを指示できるようにする。これもカストマイズの一種である。対話の指示が無い場合は、作曲者の指示とおりのシーケンスとする。そして、これらの指示されたシーケンスを演奏順に楽譜を繋いで表示することで、表示においてはジャンプが無いようにすることを可能とする。ただしそれらの記号は表示上に痕跡を残すことで演奏者の留意を促す。
本発明の第１の目的は、以上説明した方式で達成できる。また曲毎あるいは部分毎に指示、調整する必要が無いことが分る。ただし、表においていくつかのマッピングを示したように、使用者の好み、演奏の完成度などから、表示更新のパターンを選択する操作は可能となる。しかし、曲毎、頁毎の指示操作は必要ではない。
更に演奏シーケンスの指示操作を次のようにして、省略することができる。第６図に第２図の分割を用いて例示する。繰り返しの最後６１に近づくと、繰り返しをしない次の部分６２の表示を続けて、この例では分割１１−５、１１−６に表示すると共に、繰り返した場合の先頭の部分６３も分割１１−１と１１−２に同時に表示する。これは頁の先頭がよい。分割１１−２と分割１１−３に表示する楽譜は必ずしも連続していないので分離帯１２は特に目立つようにする。このようにしておいて以下に述べる演奏位置追跡機構が６２または６３のどちらに演奏が進んだかを判定し、その後の表示を続けると共に、その個所の繰り返しの有り無しを記憶することができる。
本発明の第２の目的を達成するために、本発明では演奏個所の追跡を行う部分に多種類のタイミング入力手段を揃え、かつ優先度の設定によりそれらを選択採用するようにした。タイミング入力として、例えば、第１レベルにクロック信号、第２レベルに演奏音検出、第３レベルに指揮棒タクト検出、第４レベルにタクト直接入力、と必ずしもこれらに限定しないが優先度の低いレベルから、優先度の高いレベルへと並べる。優先度の高い入力ほど信頼できる入力として扱う。第２レベルの演奏音検出にはＭＩＤＩ鍵盤楽器からのＭＩＤＩ信号か、音響入力からの検出信号かを選択できる。あるいは無しと設定することもできる。第３レベルの指揮棒タクト検出には、テレビカメラからの映像入力の解析によるもの、加速度センサー入りの指揮棒を用いるもの、あるいは新しい方式によるものなどを用いるが、これはオプションである。第４レベルのタクト直接入力としては、マウス、フットペダルの操作などをマウスの入力インターフェイスを介して入力することができる。ちなみにＭＩＤＩはＭｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅの頭文字をとったものであり、種々の電子楽器の標準インターフェイスとして定められているものである。
本発明において採用される演奏上の時間の表現方法について述べておく。これはＭＩＤＩ楽器やシーケンサーで採用されているものと同様のものとしておくことが、相互の接続を考えると望ましい。そこでは、時間の最小単位は４部音符を分解能の数値で分割した長さとされる。分解能としてＭＩＤＩ１．０では２４が採用されている。これは６４部音符の３連符までの細かさである。更に高精度の分解能として９６、２４０、３８４、４８０などが考えられている。以下の説明は分解能２４で行うが他のものを用いることができるのは当然である。分解能１つ分の物理時間は１クロックと置き直され音符の位置や長さの単位として用いられる。クロックは時分秒の物理的な時間単位と異なり、相対的な時間単位である。演奏のテンポによっても異なり、更に実際の演奏には個別に細かな揺らぎも有る。
各クロックの先頭のタイミングが物理的な時刻の中で発生され、コンピュータ内で曲が進行していく。このようにコンピュータが自律的に音楽時刻を進めているところが従来の方法と異なる点である。クロックの物理的な時間幅は、例えば１分間に６０の速度指定であれば４部音符が丁度１秒となるので、その２４分の１で４１．６ｍｓ、１２０の速度指定であれば２０．８ｍｓととりあえず設定する。また、速度標記についてはＡｌｌｅｇｒｏであれば、とりあえず１分間１３２、Ａｎｄａｎｔｅであれば７２という具合に標準値の速度指定に換算する。あるいはディジタル楽譜情報に予め適切なテンポ情報を含ませることも考えられる。１小節には例えば４分の４拍子では２４ｘ４で９６のクロックが含まれ、８分の１２拍子では２４／２ｘ１２で１４４のクロックが含まれる。各音符の楽曲全体での位置は、小節番号（Ｍｅａｓｕｒｅ）、拍数（Ｂｅａｔ）とクロック番号（Ｔｉｃｋ）の組で表現されＭＢＴ方式と呼ばれている。この明細書においてはこれを「音楽時刻」と呼ぶことにする。更に音楽時刻として、今音となって演奏されている位置を表現する「演奏音楽時刻」と、コンピュータ内で更新していく「コンピュータ音楽時刻」の二種類の音楽時刻を使い分ける。
本発明での「タクト」は指揮者の振るタクト、あるいはいない場合でもいたとしたら想定されるタクトである。基本的には拍子の分母で表現される音符毎の刻みとするが、例えば１４０を越える速い速度では、２あるいは３刻みをまとめて１タクトとする。また５０以下の遅いテンポでは１刻みを更に細かく分割することもある。これらは指揮者によって異なることがあるので、楽譜情報で標準タクトを定めておき、指揮者が自分の設定として変更可能とする。なおＭＢＴの表現におけるＢｅａｔは４部音符となっているので、タクトとは異なることがある。
第１レベルにおいて計算機内臓タイマーは、とりあえず上述したクロックの時間幅を発生する。このクロックによってコンピュータ音楽時刻が進められる。ただし、上位優先度のタイミング入力があった場合、そこからのフィードバックによって演奏に合わせた時間幅に調整していく。またｒｉｔ．（リタルダンド）のように速度の変化を示すものについては、次の速度の表示までの間に等比級数で時間を長くしていくなど、速度標記の解釈プログラムを準備する。もう一方の選択枝であるＭＩＤＩタイミング・クロックはＭＩＤＩシステムの同期のために割り当てられているコードをＭＩＤＩインターフェースでデコードして得る。
第２レベルの演奏音検出において、設定がＭＩＤＩ楽器からのＭＩＤＩ信号であれば音の高さとノート・オンすなわち音の出だしのタイミングが入力される。設定が音響入力からの検出では、内臓のＡＤ変換回路でディジタルデータとした上で、一定時間ごとのデータを高速フーリェ変換プログラムにかけるか、各楽音ごとに設けたフィルタのグループからの出力を観測することによって樂音の出だしを検出し、やはり音の高さとタイミングを求めることになる。
上記検出されたタイミングは最近接のコンピュータ音楽時刻に変換し、楽譜情報から予測される音高と一致し音楽時刻も近接していることが判定できれば採用する。楽譜情報からの予測と異なる音が連続して所定の数だけ入力されると、演奏位置の飛びが想定されるので、マッチングを開始し、楽譜情報に含まれる同所定の数の音の組の音高及びクロック間隔とのマッチングを行う。楽譜情報から音の組を抜き出す位置は、予想された位置を中心に順次前後に幅を広げてずらした位置からとする。ただし、表示されている範囲を越えない。クロック間隔の照合にはある程度の許容度を持たせる。マッチングに成功したときは、入力音の音楽時刻と実時間とのペアとして採用し記録する。
第３レベルの指揮棒のタクト検出については、特許文献４などに示されている角速度センサーの他加速度センサー、歪センサーなどを指揮棒に埋め込む方法、発行素子を埋め込んで固定位置で受光する方法など種々提案されている。いずれもタクトの位置を検出するものである。また、指揮棒が重くなることを受け入れない場合には指揮をビデオカメラで撮影し、映像の解析によってタクトその他を検出しようとするものも有る。これらの詳細は文献４などに示されているので省略する。本発明ではこれらのいずれと特定しないが、タクトの位置が検出された後の制御について次に述べる。いずれにしても、検出は完全ではなく、さらには指揮者が意図的に振りを止る場合もあることもあることを考慮しておかなくてはならない。更にこの第３レベルはオプションであって、装備しなくてもシステムは動作する。タクトのタイミングが入力されると、タクトが指定すべき音楽時刻として優先処理に送る。
第４レベルのタクト直接入力というのは、マウスやフットペダルなどその入力自体は信頼性の高い器具でタクトを直接入力するものである。第２、第３レベルの検出が１００％完全でないために補完するために必要となり、この操作のためには従来の演奏には必要の無かった入力動作を行う演奏に理解のある人間が必要である。手あるいは足の空いている演奏者の一人が操作することでもよいし、オーケストラやオペラでは専任者が着いても良い。操作の位置が離れる場合には、ＬＡＮを経由入力しても良い。後ほど説明するが、本発明の楽譜の表示には演奏時刻を表示楽譜の位置として表示するカーソルが含まれるので、システムの保持する演奏時刻にずれがあれば操作者が察知でき、このタクト直接入力で補正できる。１タクトの半分以内のずれなら正しいタクト位置を１つでも入力すれば修正できる。それ以上でシステムの方が遅れているなら、追加のタクトを入力して修正する。システムの方が進んでいるなら、右ボタンを押すことによって、第１、第２、第３レベルの入力を抑止でき、コンピュータ音楽時刻が停止するので、演奏が追いついたところで左ボタンで１タクト入力すればよい。この右ボタンの進行抑止機能は、フェルマータの場所や、オペラやバレーなど演者の具合でテンポが部分的に大きく揺れる場合などにも用いることができる。尚右ボタンが押されていても、左ボタンの入力は有効とする。左ボタンの入力を次のタクトのタイミング入力として優先処理に送る。
優先処理では、第１レベルからのクロックが入力されるごとに演奏時刻を進めていく。上位レベルの入力があると、その音楽時刻をコンピュータ音楽時刻として採用する。より上位の入力があると、それより下位のレベルでの入力の音楽時刻が上位の音楽時刻より古い場合には上記の処理は行わない。各レベル毎にテンポを求め、入力のあった最も上位のレベルのテンポを次の期間に適用する。これによって第１レベルのクロックが演奏のテンポに合致してくる。なお、第４レベルで右ボタンが押されている間はこのテンポの更新は行わない。そこはテンポ上特異な部分であったり、コンピュータ音楽時刻の修正を行っているからである。
本発明の第４の目的を達成するためには、それぞれのパートによって異なる楽譜を表示更新していかなければならない。楽譜の詰まり具合がちがうので表示更新もそれぞれ異なるタイミングで行うことになる。しかし、上に説明したごとく、演奏追跡において演奏音楽時刻が信頼性高く入力され、コンピュータ音楽時刻として保持されるので、このコンピュータ音楽時刻を各パートの表示の制御に分配し、表示上の位置に対応させることが可能である。したがってコンピュータ音楽時刻が頁中のどの位置にあるのかは割り出すことが可能である。すなわち、演奏位置追跡は、全体で一箇所のみで行えば十分であり、他の全ての表示器での表示更新は自動的に行える。
本発明の第３の目的であるカストマイズ機能を実現するため、本発明では、演奏のテンポの記録を取り、それを次の演奏で基本クロックに反映するようにした。より具体的には、曲の演奏時の全てのタクトあるいはクロックの物理時間長を記録する。この演奏テンポ記録を「時刻情報」と呼ぶことにする。時刻情報が有れば、楽譜情報とあわせると、各部分の拍子が分るから各クロックの間隔に換算でき、第１レベルのクロック発生に用いることができる。これを再生モードと呼ぶ。初回は記録モードであるが、２回目からは、再生モード、記録モード、同時再生記録モードを選択できる。記録データはファイルであるので、過去の記録の中から選択して再生することもできる。部分的な上書きも可能であり、演奏者の気に入った記録を次第に作り上げていくこともできる。
本発明の第５の目的は本発明の基本部分によって多くの項目で可能となっている。まず最初に、コンピュータ音楽時刻を利用して楽譜表示に現在の演奏位置をカーソルでもって刻々表示することができる。それは楽譜の描画時に各音符の音楽時刻と表示位置を結びつけて記録しておけるからである。具体的なカーソルの表示方法として灰色あるいはカラーの縦棒が５線に沿って移動するものでもよく、楔形が五線の上をすべる、ボールがタクトごとにバウンドしながら移動するなどの意匠が考えられる。
合奏、合唱においてあるパートに長い休みの期間があることがある。打楽器やトロンボーンでは非常に長い休みとなることが多い。従来の印刷楽譜では、例えば１００小節の休みと書かれている。これをきちんとカウントすることが合奏上求められていた。本発明の延長として、このカウントをシステムが肩代わりすることができる。表示の一部に、演奏中の曲名、楽章、シーン番号と共に、現在の演奏音楽時刻すなわち小節番号と拍数を表示すればよいし、更には休みの残りの小節数、拍数を表示すれば容易に休みの終わりすなわち次の演奏タイミングを知ることができる。これは短い休みでも重宝である。
次に、従来からリハーサルまたは練習の時に、中断の後どこから演奏を再開するのかを徹底周知させることが面倒であった。貴重な練習時間の多くがその指示のために使われていた。そのため曲の途中にリハーサル番号などが付けられているが、本当はもっと細かい位置を指定したいことも多い。本発明では指揮者の楽譜表示デバイスをタブレットつきとすることによって、開始位置のタッチによって、楽譜上の位置から音楽時刻を割り出せ、これを全員の表示制御に配布することによって、カーソルをその位置に移動することができる。各々に必要あれば表示頁変更も行える。更にあるパートへのコメントにおいても、総譜表示上でポイントすれば、そのパートと音楽時刻が割り出せるので、対応するパートの表示上でカーソル表示することができる。逆に奏者から指揮者への質問でも奏者の楽譜表示に重ねたタブレットでのタッチから指揮者の総譜表示へポイントをすばやく伝え示すことができる。この機能は、個人練習の際、繰返したり、戻ったりするときの位置の指定にも利用できる。
以上に説明した本発明の手段によると、まず第１に従来の印刷楽譜はもとより、従来のコンピュータ利用の楽譜表示に比べて、安心して表示を見ていくことができる。すなわち、十分に先行して次の頁の先頭部分が表示され、かつ、演奏中の部分は決して更新されることがなク、その後しばらく保持される。完成度の高い演奏にも、練習中の演奏にも使用できる。言い換えれば初期の練習からコンサートまで使用できることになる。こうして頁の切り替わりがスムーズにかつ最適に行われるが、なおかつ頁の中央部を演奏中には頁の全体像を長く表示しておくことも選択可能なので、印刷楽譜で可能である頁のイメージを脳裏に焼き付けることも可能であり、再度の演奏のときそのイメージが再現することで安心感も生まれる。
第２に、どの楽曲、どの頁にも統一した制御方法で表示更新が行えるため、個別の楽曲ごとの指定操作を必要としない。更に、繰り返し、ダカーポ、ダルセーニョなどの戻りは印刷楽譜では、時として頁を戻る方向に急いでめくる必要があったし、従来の発明ではこの件の対策は何ら示されていなかった。また、オペラやバレーなどでは、カットすなわちある部分を省略することがある。このカットの場所を全員に徹底することに時間と労力を必要とした。本発明によれば、これらを独奏者、指揮者などの１回の指示操作で事前に指示しておくことで、途切れない表示を可能とする。事前の指示が無い場合でも、演奏の際に選択演奏することによって自動的に判別し、記憶することさえもできる。また全パートへのこれらの情報の徹底は従来リハーサルで口頭で伝えたり、メモで配るなどの全員の労力と時間とを要したが、本発明によれば全てのパートに自動的に反映される。こうして合奏においても自動表示更新は初めて完全に解決された。
第３に、本発明によれば、一段楽譜のみでなく、ピアノの２段、室内楽の数段、オーケストラやオペラなどの頁一杯の段数のものまで、統一した制御方法で表示更新ができる。また、途切れなく演奏される公演だけでなく、練習での中断、戻り、再開にも対応するための手段も備えている。更に、人による演奏に耐えるものであるが、テンポの揺れる自動演奏にも対応できる。すなわち広範な音楽の分野、使用状況で使うことができる。
第４に、従来の自動頁めくりで実用を阻んでいた自動演奏位置の追跡について、本発明においてはより具体的現実的にその解法を示し、また、その欠陥を補完する手段を提供することにより、実用への明快な解法を提供した。
第５に本発明においては、オーケストラなど、多数の表示デバイスでの各々異なるタイミングでの表示更新もコンピュータ音楽時刻情報の配布によって全て自動的に行われる。操作が必要としてもせいぜい１名が時々補正を行うのみでよい。これは演奏者の一人がフットスイッチによって操作してもよい。その他の指揮者を含む全員は、頁めくりから完全に開放される。
第６に本発明においては、ある楽曲を始めて演奏するときには、演奏位置自動追跡の補正のために、時々の操作入力が必要となるが、２度、３度目にはカストマイズ機能により、その必要が劇減する。すなわち全自動に近づく。このカストマイズデータは、自身の記録としてだけでなく、それ自身価値のあるものとして、他者あるいは一般へ提供する道を開くものである。
第７に本発明においては、現在の演奏位置をカーソルで表示することができるため、合奏でのずれ、落ちこぼれを無くすことができる。これはアマチュア初心者の合奏において計り知れない恩恵をもたらす。一人で演奏するときでも、殆ど暗譜できていて、視線を楽譜からしばらく外していても、見たいときには直ぐに位置がわかる利点がある。
本発明においては、各々のパート毎に休みの残りカウントを表示できるので、演奏者は合奏の際の休みのカウントという単純頭脳労働から開放され、より音楽のことに集中できる。
本発明においては、合奏練習において、指揮者の総譜表示を用いての直接ポインティングによって意図伝達が即時可能であり、練習の効率が非常に上がり、演奏の完成度向上あるいは練習期間の短縮といった効果が期待できる。
以上をまとめると、従来の印刷楽譜と比較すればもとより、従来の関連発明に比べても、多くの新しい利便さが実現され、信頼度も高い手段が提供される。
【図面の簡単な説明】    第１図は本発明による一般的な楽譜表示とその分割の例を示す図、
第２図は同合奏などの楽譜表示とその分割の例を示す図、
第３図は同オーケストラなどの楽譜表示とその分割の例を示す図、
第４図は第３図の変形の例を示す図、
第５図は本発明でのマッピング関数の例を示す図、
第６図は本発明による繰り返しがあるときの表示の例を示す図、
第７図は本発明の一実施例におけるプログラムの構成を示す図、
第８図は本発明の一実施例で演奏位置追跡部のプログラムの構成を示す図である。
【発明を実施するための最良の形態】    本発明はパーソナルコンピュータとアプリケーション・プログラムによって実現すると、コンピュータを他の用途にも使用でき、個人利用としては都合がよく、信頼性も高い。これは本体を特別仕様のハードウェア装置としてまとめるのと比較してのことである。パーソナルコンピュータにはディスプレイ用のコネクターを介してＣＲＴのみでなく、液晶などのフラットパネル型の表示デバイスも使用でき、ピアノの上や、高い場所への設置に向く。マウスのためのコネクターあるいはＵＳＢコネクターを介して、マウスやフットスイッチも接続できる。オーディオ信号の入力も標準装備となってきた。ＭＩＤＩ信号の入出力もオプションとして装備することができる。指揮棒タクトの検出のための加速度センサーは少し特殊であるがセンサー埋め込み指揮棒とＵＳＢコネクターを介して入力するためのセンサーボックスとしてまとめることができる。映像からの解析を用いるときにはビデオキャプチャーカードを装備すればよい。なお、指揮棒タクト検出はシステムとしてはオプションである。
オーケストラや合奏団などでは、タブレットＰＣが適している。指揮者にはこれを縦置きで２台用意する。オペラ劇場などでは指揮者のためにパソコン本体と分離した大型の表示デバイスを用いてもよい。樂団員は一人あるいは弦楽器の二人に１台ずつとする。オーケストラピットでの譜面台は小さくてもよくまたランプは不要となる。全てのＰＣはＬＡＮによって結ばれる。現在無線ＬＡＮにＩＥＥＥ８０２．１１規格があり１０Ｇビット／秒の転送速度、最大千六百万台のＰＣが接続でき十分使用に耐える。勿論他のＬＡＮでも実現できる．タブレットＰＣでは、画面の任意の位置をポインティングすることによって位置入力ができる。これを指揮者と団員、あるいは合奏者同士の対話に用いる事ができる。同じ楽譜で演奏するグループについては、コスト節減のため１台をタブレットＰＣとし、そのディスプレイ端子の出力を分配器で分け、残りのメンバーには表示デバイスのみとすることも可能である。１台専用のパーソナルコンピュータをサーバーとして用意するとよい。このサーバーでは、ＣＤ，ＤＶＤなどの記録媒体の読み書きを可能とし、ここから各表示用ＰＣに楽譜データなどを配布すると共に、演奏位置検出を実行しコンピュータ音楽時刻とクロックの供給も行う。またカストマイズデータの記録、記録媒体への書き出しなどもここで行う。映像の解析にはＣＰＵタイムを使うので更にもう１台のコンピュータを用意することも選択できる。
【実施例１】    既に述べたように本発明は、市販のパーソナルコンピュータとそこに搭載するアプリケーション・プログラムによって実現できるので、実施例の説明は主にプログラムとデータの構成及びその働きについて開示することとする。第７図は本発明の一実施例を示したものである。パーソナルコンピュータ１００の外部にあるものとしては次のものがある。表示筆記デバイス１０１は、フラットパネル・ディスプレイで表示面に重ねて、透明のタブレットが装着されたものである。タブレットＰＣではこれが本体に直接組み込まれているので設置が容易である。取り出し可能な記録媒体１０２とその読み書きのデバイスも標準的なものである。例えば、フレキシブルディスクやＣＤ、ＤＶＤ及びその書き込み可のものなどが用いられる。マウス１０３は、左右の足で操作する２つのフットペダルとしてもよい。タクト検出１０４は、特許文献４などに開示された技術を用いる。用いる技術によってセンサーが異なるが、例えばＵＳＢインターフェイスを通じて入力し、検出プログラムによってタクトの検出が行われる。またビデオ映像の解析によるものなど大きなＣＰＵ処理能力を要するものは別のコンピュータで検出してＬＡＮ経由入力することになる。ここではこれらの詳細を省略して書いている。マイクロフォン１０５はその信号を直接入力でき、サンプリングとディジタル化のための回路とプログラム１１３が標準で提供されている。ＭＩＤＩ信号源１０６はリズムマシンやシーケンサなどでタイミング信号を発信するもの、あるいは電子鍵盤である。ＭＩＤＩのためのインターフェイス回路やプログラム１１４も入手容易なオプションとして装備することができる。複数の表示端末を用いる時には、ＬＡＮ（ローカルエリアネットワーク）接続１０７を用いて相互接続を行う。例えばＩＥＥＥ８０２．１１で規定される高速無線ＬＡＮを用いることができる。
第７図においてはプログラムは左右に二重線のある長方形で、データはひし形で表示し、データの参照は実線の矢印で、プログラムの起動関係は破線の矢印にて表示している。図中左側の列のデータ４０１から４０５はファイルとして内部ディスク、外部記録媒体、あるいはＬＡＮ経由他のコンピュータとの間で転送され、また保管される。それに対し真中の列のデータ４１１から４１４は一時的なデータである。表示はウインドウをベースとしたものとし、ウインドウ管理プログラム１１１を通じて行う。タブレットの入力も、タブレットの管理プログラム１１２を通じて、ウインドウ中の相対位置が知らさせ、時には文字入力の認識もここで行われる。ＬＡＮを通じての通信はＬＡＮのサービス・プログラム１１５を用いて行う。これら１１１から１１５までのプログラムはオペーレーティング・システムに付随のものであり、ここでは説明をしない。
プログラムは実時間制御プログラムの形態であり、タスクと呼ぶ各々のプログラムは何らかのイベントによってあるいは他のタスクからの起動によって所定の処理を行った上休止し次の起動を待つ。従って全体のフローチャートがあって各プログラムがその一部となっているのではない。イベントとしては外部デバイスからの入力、タブレットからの入力、ＬＡＮ経由の起動、内部タイマーからの割り込みなどがある。特にタブレットからの入力は、楽譜領域でのタッチの他に表示画面内に設けられた操作用擬似ボタンのタッチがある。
操作対話処理タスク２００は、具体的には更に多くの要素タスクの集まりである。まず、この楽譜表示アプリケーションに起動があったときには、初期化タスクが起動し、全てのタスクをディスクから読み出す。そして、設定対話用ウインドウを発生させ、ユーザの入力を待つ。一般設定の操作があれば、一般設定タスクが応じ、設定表示デバイスの縦置き、横置きの選択、１台か２台かの選択、単独使用か、グループ使用かの選択、グループでは当端末が練習や公演の進行を制御するマスターか、制御を受けるスレーブかの選択などを設定する。前回の設定でよいときにはその操作が行われないのでこのタスクも起動されない。曲目指定の操作に入ると、曲目設定タスクが起動され、外部記憶あるいは内部ディスクから曲目に対応するファイルを選択するよう対話を進める。曲が指定されると、楽譜情報４０１のファイルの他、カストマイズ情報である４０２から４０５の情報のファイルを読み出す。次に曲に関する設定の対話に進んだ場合、各々の繰り返しを行うかどうか、カットをするならその場所、指揮を一小節何拍で振るか、その変化する場所などの設定を対話にて進め、設定情報４０３に設定する。前回の設定を用いるなら起動されない。
曲が設定されると、端末間通信タスク２９０を起動して、他の端末に曲と設定情報４０３を通知し、各端末は曲に関する情報４０１から４０５を読み出す。また、描画準備タスク２１０を起動する。描画準備タスク２１０は楽譜情報を基に各行にどの小節までを詰めるか、総譜では各行に含めるパートと頁に収める行数を曲全体に亙って決定する。この処理には試行錯誤が伴う。その結果を配置情報４０２に記憶する。このデータを用いると、小節番号あるいは音楽時刻からどの頁を表示すればよいのかが直ちに求まり、また楽譜描画の際に試行錯誤無く直ちに描画ができるメリットがある。配置情報４０２には楽章や、リハーサル番号と頁との対応表も含め、指揮者の練習場所の決定の際にすばやく対応できるようにする。
描画準備タスク２１０が終了する前に楽譜描画タスク２２０を起動する。楽譜描画タスク２２０は本発明の分割毎に描画を行い、分割画像データ４１１に記憶する。またその際描画した各音符の表示位置と音楽時刻のペアを音符位置データ４１２に記憶する。更にその分割の表示更新を行うタイミングを更新時刻データ４１３に記憶する。分割毎に表示更新タスク２４０を起動して、１ページ分に達するまで続ける。更に２頁目の分の描画も先行して行い一旦停止する。以降は表示更新があるごとに、次の分割の描画を行う。楽譜描画タスク２２０は一分割の描画を終えるごとに、メモ描画タスク２３０を起動し、メモ描画タスク２３０はその分割に含まれるメモを分割画像データに書き加える。
操作者が画面に設けてある前進・後進の頁めくり様擬似ボタンにタッチしたときには、配置情報４０２を参照し、樂譜描画タスク２２０を起動して１ページ分の表示更新タスク２４０の起動を行い、かつ、前あるいは後ろの頁の描画を行う。楽章やリハーサル番号のメニューからの指定があった場合、配置情報データ４０２から頁番号を割り出し、頁先頭の小節を指示して楽譜描画タスク２２０を起動する。楽譜描画タスク２２０はそこから２頁分の描画を行うと共に、１ページ分については表示更新タスク２４０を起動して表示させる。
操作者が演奏停止中に画面に表示されている楽譜中のある点に筆記をしたときには、メモ書きモードにあるときは、メモ描画タスク２３０を起動してその情報を描画すると共に、メモ情報データ４０５に記憶する。メモ書きモードに無いときに楽譜にタッチすると、その位置にカーソルを移動させ、最近接の音符を音符位置データ４１２から割り出し、その音楽時刻をコンピュータ音楽時刻データ４１４に書き込み、端末間通信タスク２９０を起動して、他の端末にその音楽時刻を報せる。これは、演奏開始位置とすることも出来、その場所の演奏についてのコメントをすることもできる。なお図面においてコンピュータ音楽時刻４１４はＣＭＴと略記している。
次にスタート擬似ボタンが押されると、カーソルの位置すなわちコンピュータ音楽時刻データ４１４の個所から演奏を開始するものとして演奏音楽時刻追跡タスク３００を起動する。また端末間通信タスク２９０を起動して、他の端末も演奏開始の状態にする。演奏位置追跡タスク３００は演奏の進行を追跡してクロックごとにカーソル表示タスク２６０を起動してカーソルを前進させる。また次のタクトの時刻になると、更新判定タスク２５０を起動する。更新判定タスク２５０はコンピュータ音楽時刻データ４１４が更新時刻データ４１３のデータの時刻に達すると表示更新タスク２４０を起動し、一分割分表示を更新させる。また、楽譜描画タスク２２０も起動し、一ページ分先の分割の先行描画を行う。このようにして演奏に追随してカーソルの移動と表示の更新が行われていく。
演奏を中断しストップの擬似ボタンがタッチされたときには、操作対話処理タスク２００が演奏位置追跡タスク３００に停止指令を出し、端末間通信タスク２９０を起動して他の端末に停止を報せる。
次に演奏音楽時刻追跡部３００の構成の一実施例について第８図を用いて述べる。第７図と同様にプログラムは左右に二重線のある長方形あるいは判断による分岐のある処理では６角形で、データはひし形で表示し、データの参照は実線の矢印で、プログラムの起動関係は破線の矢印にて表示している。なお中にかかれているのはキィーワードであり、内容は以下の説明を参照する必要がある。図の下方から上方に向かって一点鎖線で区切った３０１から３０４までの部分が実施例の第１レベルから第４レベルまでのタイミング入力に対応した処理となっている。
３０１の部分は第１レベルの計算機内タイマーを用いたタイミング入力に関する。タスク３１０は操作対話処理２００からのスタート指令２００ａで起動される。自計算機がタイミングのマスターであるときに４３１のデータＦＬＧ１をＯＮにセットし、３０１から３０４までの処理を有効にする。更にタイマーを長い目の時間例えば５秒でセットする。更に音響入力からの検出が設定されているときには計算機内蔵の周期タイマーを起動し、一定の周期で演奏音検出を起動させる。タスク３１１は操作対話処理２００からのストップ指令２００ｂで起動される。４３１のデータＦＬＧ１をＯＦＦにセットし、３０１から３０４までの処理を無効にする。更にタイマーをリセットし、割り込みが起こらないようにする。
タスク３１２〜３１３はタイマー割り込み３０１ａによって起動する。図面で２つの処理に分けたがこの二つは連続して処理される一つのタスクである。二重破線で繋げたのがそれを示すが、以下の説明で同様である。まず４３１のＦＬＧ１と４３２のＦＬＧ２の両方がＯＮであることをチェックし、３５０の時刻更新タスクを起動する。次に３１３のタイマーセット処理を行う。４３１のＦＬＧ１がＯＮであれば、次のクロックまでの間隔を求めタイマーをセットする。この間隔を求めるにあたって、時刻情報の再生モードにあるときには４０４の時刻情報データから４１４のコンピュータ音楽時刻に対応した次の間隔を読み出す。再生モードではない場合４０１の楽譜情報からのテンポ従ってクロック間隔を求める。ただし再生モードではなく４３６の補正間隔データがありかつ楽譜情報がテンポの変化を指定していない場合にはその補正間隔データを用いる。更に時刻情報の記録モードである場合には、セットしたクロック間隔を記録用時刻情報データ４０４のコンピュータ音楽時刻４１４に対応した部分に書き込みを行う。尚再生モードと記録モードは独立にオンオフできる。
間隔補正タスク３１４はレベル２以上の優先度の高いタイミング入力があったときに起動する。まず間隔補正処理３１４では、後に述べる４３４の検出タクトデータ及び、４３５検出音データから、最近の検出を選ぶ。４３４と４３５の最近データが近接している場合には上位の４３４のデータを選択する。選択したデータとその一つ前のデータから実時刻の間隔、音楽時刻の間隔を求めその比からその期間の１クロックあたりの間隔を求める。これを４３６の補正間隔データに保存する。更に時刻情報の記録モードである場合には、記録用時刻情報データの書き込みを行う。その位置は補正間隔を求めるのに用いた最近のデータとその前のデータの音楽時刻の間の全てのクロック位置であり、値は今求めた補正間隔である。処理３１５のタイマー再セットでは再生モードでは時刻情報データ４０４から４１４のコンピュータ音楽時刻に対応した次の間隔を読み出す。再生モードではないときには４３６の補正間隔データを次のクロックまでの間隔とする。ただし再生モードではないが楽譜情報がテンポの変化を指定している位置では楽譜情報からクロック間隔を求める。いずれの場合も求めた間隔でタイマーをセットし直す。これによってそれまでセットされていたタイマーは自動的にキャンセルされ新しいセットで計時が始まる。
３０２の部分は第２レベルの演奏音検出によるタイミング入力に関する。タスク３２１〜３２３は上述の周期タイマーからの割り込み３０２−ａによって起動する。処理３２１では音響入力プログラム１１３がバッファリングしている音のサンプリングデータから所定の数のデータを切り出す。切り出しデータの中央に位置するデータの入力時刻を発生時刻として一時記憶する。３２２のフィルタリング処理では各楽音ごとに設けたフィルタでその楽音のレベルを求める。３２３の立上り判定では各楽音のフィルタ出力とそれまでの出力とから所定のスレッショールドを越える変化を捉えて楽音の立上がりを検出し、立ち上がりと判定すると、その音と、発生時刻を対にして次のタスク３２４を起動する。
タスク３２４〜３２９はタスク３２３からのキュー（呼び出し）あるいはＭＩＤＩ楽器の鍵盤入力信号１１４ａによって起動する。まず一致検出処理３２４では４０１の楽譜データから４１４のコンピュータ音楽時刻データが示す位置の前後ある許容範囲に予想される楽音と今検出された楽音が一致するかどうかを判定する。一致しない場合バッファリング処理３２５で今検出した楽音の種類と検出した時刻を対にして演奏音バッファ４３３に貯える。次の数判定３２６では、バッファに蓄えられた楽音の個数が所定の数に達したかどうか判定し、達していれば照合処理３２７に移り、達していなければそこで処理を終える。一致検出処理３２４で一致と判定した場合、リセット処理３２８に移り、演奏音バッファ４３３の個数を０にリセットし、処理３２９に移る。処理３２９では４３２のＦＬＧ２がＯＮであること、また検出した楽音の音楽時刻が上位レベルの検出結果である４３４のタクト検出データと近接していないことを確認して、時刻更新タスク３５０を起動し、更に間隔補正タスク３１４を起動する。更に最近の検出結果としてコンピュータ音楽時刻とその発生実時刻とを４３５の検出音データに所定個数貯える。
照合処理３２７は、演奏音バッファ４３３のデータと楽譜情報４０１との照合を行う。まず演奏音バッファ４３３に蓄えられた複数の楽音の種類と、順序、各間隔時間を検索パターンとする。一方楽譜情報４０１からコンピュータ音楽時刻４１４の示す個所を中心に同じ個数の隣り合う楽音を切り出して照合パターンとする。検索パターン、照合パターンが間隔時間の誤差の許容範囲で一致すれば成功とし照合パターンの最後の楽音の音楽時刻と切り出し時刻とを持って処理３２９に移る。一致しなければ、楽譜情報４０１からの切り出し位置を前後に振ってトライする。所定の幅でトライを繰返して一致しなければ処理を終了する。
３０３の部分は第３レベルの指揮者タクト検出によるタイミング入力部である。タクト検出１０４で検出されたタイミング信号１０４ａがチェックタスク３３１を起動する。ここでは４３２のＦＬＧ２がＯＮであること、近接して直接入力がなかったことを４３４の検出タクトデータで確認して、タスク３４３を起動する。
３０４の部分は第４レベルの直接入力によるタイミング入力部である。マウスやフットペダルなど２つ以上のボタンを持つ入力デバイスからのＯＮ、ＯＦＦの信号１０３ａが入力されると、タスク３４１〜３４２が起動する。入力が右ボタンであると処理３４２に移り、ＯＮ入力、ＯＦＦ入力に応じて４３２のＦＬＧ２を入力と逆の状態にセットする。右ボタンが押されている間はＦＬＧ２がＯＦＦとなりクロック間隔の更新は行われない。そこはテンポ上特異な部分であったり、システム演奏時刻の修正を行っているからである。左ボタンのＯＮ入力であればタクトの直接入力であるとしてタスク３４３を起動する。左ボタンのＯＦＦ入力には特に処理が無い。
タスク３４３〜３４４では、入力されたタクトに対応する音楽時刻を割り出す。４３２のＦＬＧ２がＯＮのときには、４１４のコンピュータ音楽時刻に最も近いタクトに該当する音楽時刻を求める。ＦＬＧ２がＯＦＦの時は楽譜情報４０１から４１４のコンピュータ音楽時刻から先にある次のタクトに該当する音楽時刻を求める。ここで注釈しておくが、コンピュータ音楽時刻４１４は、このシステムが保持している音楽時刻であって、実際に演奏されている音楽の演奏時刻とずれることがある。数拍ずれたようなときにはマウスの右ボタンをＯＮにしておいて、左ボタンを余分にクリックすることによって実際の音楽に追いつくこと、逆に左ボタンのクリックをしないことによって実際の演奏が追いつくのを待つことができる。さて、タスク３４３は求まった音楽時刻と発生時刻すなわち入力のあった実時刻とをもって時刻更新タスク３５０を起動する。次に３１４のタイマー再セットタスクを起動する。次に処理３４４では最近の数個のタクト検出の音楽時刻とその発生実時間を４３４の検出タクトデータに記録しておく。
タスク３５０〜３５１は４つのレベルと外部マスターからのタイミング入力を集約する。タスク３５２は外部マスターからのタイミング信号を受け付ける。設定情報によって、その計算機がタイミングのスレーブである設定では、端末間通信２９０からの時刻更新信号２９０ａを受け付ける。また別のケースとして、シーケンサーやＭＩＤＩ楽器、リズムマシンなどをマスターとする設定であれば、そのタイミング信号１１４ｂがＭＩＤＩ入力部１１４から来るのを受け付ける。後者の場合音楽時刻の情報がこないのであれば、楽譜情報４０１を用いて、小節、拍、クロックからなる現在の音楽時刻をクロック入力毎に更新して保持しておく処理をここで行う。いずれの外部入力も、音楽時刻とその発生時刻とを持ってタスク３５０を起動する。
時刻更新タスク３５０ではまず４１４のコンピュータ音楽時刻を入力のあった音楽時刻に書き換える。その発生実時刻も４１４のデータに添える。３５１の処理に移り、表示の更新判定処理２５０、カーソル表示処理２６０を起動する。更に、自計算機がタイミングのマスターである設定では端末間通信２９０を経由して、他の計算機に、４１４のコンピュータ音楽時刻と発生時刻とを伝える。
以上で本発明による演奏音楽時刻追跡の一実施例について説明した。４つのレベルのタイミング入力を並行して優先度に従って活用することができる。現在の演奏時刻がクロック単位で保持されていて、他のプログラムから参照することができる。また、ＬＡＮを経由して他の端末にも演奏時刻が知らされる。
実施例１は単独演奏でも、合奏でも用いることのできるものであるが、特にオーケストラ用での構成例と動作について説明する。１台はサーバーとして用い、データサーバとして記録媒体からのデータの読み込み、書き込み、他の計算機へのデータの配布、保存を行う。また、これは唯一演奏音楽時刻追跡を行う計算機としてタイミング・マスターと設定し、上述の３００の処理を行い、専任者がついているときは、直接入力によって、適宜タイミングの補正を行う。そのため観客からは見えなくてもその専任者から指揮者が見え、小声も聞こえるよう設備する。その他の計算機はタイミング・スレーブと設定し、サーバーからのコンピュータ音楽時刻の供給を受け、それによって表示更新を行う。指揮者のための計算機は操作マスターと設定し、スタート位置の指示を行うことができる。これはストップ中の表示画面のタッチによって行なわれる。一方スタート中のタッチはリハーサルにおいてはレビューの必要な場所としてその音楽時刻とパートを記憶させ、後ほどその場所に戻って練習することができる外、データを持ち帰って一人でレビューすることもできる。本番におけるタッチは独奏者とのずれなどに対応して演奏を止めずに演奏位置を合わせるのに用いる。このためには全表示器に対応する個所に特別のマーカーを表示する。指揮者の表示の更新は頻繁で処理の負荷があるため、サーバーと別にした方がよい。スタート、ストップの操作は指揮者が行ってもよいし、サーバーに専任者がついているときにはサーバーで行ってもよい。専任者はスタートの際、第１拍を直接入力する。というのはスタートボタンから第１拍までの時間間隔は上述したように一旦例えば５秒とセットされるが、実際はその時々で不定であるからである。もっとも演奏音検出か、タクト検出がうまく機能しているなら、その必要は無い。更にサーバーは時刻情報の再生、記録も行いそのファイルの管理も行なう。例えば何日のリハーサルのテンポを使うといった要求にも応えられるようにする。各演奏者の計算機では、楽譜情報を基に配置情報を作成し、表示に備える。個人のメモの書き込みもサポートされる。サーバーに専任者がいない場合、指名された演奏者はフットペダルを用いてタイミングの補正操作を行い、その入力はサーバーに送られる。
ちなみに請求の範囲における機能１は第７図のタスク３００で、機能２はタスク２１０、２２０、２４０、２５０で、機能３はタスク２２０、２００、２６０で、機能４は第８図のタスク３１３、３１４、３１５で実現されている。
【実施例２】    ここに記述する実施例は、実施例１における演奏位置追跡の直接入力の部分について拡張したものである。その拡張の一つは、入力デバイスとして表示一体のタブレットを用いることである。表示楽譜の音符、休符、縦線などにタッチすることによって、その瞬間にそのタッチされたものの楽譜時刻が演奏時刻であることを指示できる。マウスやフットペダルより、より直接的にあいまいさなく演奏時刻を指示できる。勿論スタート中のタッチをタイミングの直接入力として使用することを設定しておくことになる。ただしこの入力操作には手が空いていることが必要であり、演奏していない補助者か、手の空いている演奏者によって操作される。第２の拡張は、マウスやフットペダルのタイミング入力の意味付けに多様性を持たせ設定で選択できるようにすることである。実施例１では、タクトと同じ頻度の入力と解釈されることになっている。すなわち入力タイミングはシステムの保持する演奏時刻に最近接のタクトに対応することになる。しかし、システムの演奏時刻が実際の演奏と２タクト以上ずれてきたような場合、それを合わせる操作は１操作では済まない。演奏しながらフットペダルをもちいて補正するには少々の煩雑さが伴う。そこで入力タイミングの意味付けを小節の頭とか、楽譜の行の変わるときとかの大きな区切りの意味としておくと、大きなずれも１操作で補正できるようになる。処理プログラムとしては、現在の演奏時刻に最近接の小節区切りとか、改行位置の楽譜時刻を求めて、それを演奏時刻とすればよい。どの意味で用いるかは予め設定しておけばよい。更に楽譜上に入力をするべきタイミングを表示しておくことも可能である。ピアノのペダル記号のようなものである。例えば休符の場所などとして操作が容易である個所を選べばよい。ただしペダル記号と異なるのは、ずれた場合のみ操作すればよいという点である。勿論これを用いることを予め設定しておく。
【産業上の利用可能性】本発明は全ての音楽演奏に用いることのできる楽譜の表示ツールを提供するものである。独奏、合奏、オーケストラ、バンド、オペラ、ミュージカルなどの種類を問わない。また邦楽その他記譜法の異なる音楽にも応用できる。学習者が使用しても効果が大きく、一方プロフェッショナルにも大きな効果がある。オーケストラなどの練習の効率が上がり、ソリストが暗譜をしなくてもよくなる可能性もある。演奏会での使用はもとより、練習場、個人宅での使用まで広く用いることが出来る。本発明を利用者に供給するには、パーソナルコンピュータの応用プログラムとして、あるいは予め本プログラムをインストールしたコンピュータ、あるいはさらにネットワークも構成したシステムとして行なう。
【図１】
2005062289.tif 000005
【図２】
2005062289.tif 000006
【図３】
2005062289.tif 000007
【図４】
2005062289.tif 000008
【図５】
2005062289.tif 000009
【図６】
2005062289.tif 000010
【図７】
2005062289.tif 000011
【図８】
2005062289.tif 000012
【手続補正書】
【提出日】平成17年5月20日(2005.5.20)
【手続補正００１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【書類名】特許請求の範囲
【請求項１】（補正後）楽譜などを電子的表示機器で表示するシステムであって、表示内容の元となる楽譜の情報を保持する第１のデータ記憶部（４０１）と、同楽曲中の各々の拍あるいは拍をさらに分割したタイミングであるクロックの各々の時間間隔を表現する情報を保持する第２のデータ記憶部（４０４および４０１）とを持ち、この第２データ記憶部のデータを読み出してその時間間隔を計測することによってシステム内部で曲中の位置を示す音楽時刻（４１４）を自律的に進める第１の機能（３０１）と、第１のデータ記憶部の情報に基づいて画面の分割方法を設定し各ページの各分割に表示する画像データを生成する第２の機能（２２０など）と、第１の機能の音楽時刻が各々の所定の値に到達することで各分割の表示を次のページに更新するよう制御する第３の機能（２４０、２５０）と、演奏に対するシステム内部の音楽時刻のずれを、タイミング入力手段からの情報を基に修正する第４の機能（３００）とを有することを特徴とするシステム。
【請求項２】（補正後）請求の範囲第１項記載の楽譜表示システムであって、その第３機能における各分割の表示を次のページへ更新する音楽時刻の設定は、演奏順の観点でその分割から前後ともに充分に離れた分割さらにはその中の位置に表示される音符や休符に対応した音楽時刻とすることを特徴とするシステム。
【請求項３】（補正後）請求の範囲第１項記載の楽譜表示システムであって、その第４の機能として、複数レベルのタイミング入力手段を有し下位のレベルの手段によるずれの修正をより信頼度の高い上位のレベルのタイミング入力手段によってさらに修正出来るようにし、最上位には通常の演奏動作以外にこのずれ修正を目的とした直接的な入力手段（１０３）を備えることを特徴とするシステム。
【請求項４】（補正後）請求の範囲第１項記載の楽譜表示システムであって、その第４の機能によって修正が行われた際に、修正の時間比率を求め、その後の拍あるいはクロックの時間間隔をその比率を掛けた値に置換する第５の機能（３１４など）を有することを特徴とするシステム。
【請求項５】（補正後）請求の範囲第１項記載の楽譜表示システムであって、その第４の機能による修正の結果を反映した部分部分のクロックの間隔を記録さらには保存する第６の機能（２８０）を有し、後ほど同じ楽曲の演奏を繰り返す際にそのデータを第２データ記憶部のデータとすることができるようにしたことを特徴とするシステム。
【請求項６】（補正後）請求の範囲第５項記載の楽譜表示システムであって、その第６の機能は修正後のデータを第２データ記憶部のデータに上書きするか、別データとして記録するか、記録をしないか、を選択できるようにしたことを特徴とするシステム。
【請求項７】（補正後）請求の範囲第１項記載の楽譜表示システムを複数結合し、１つの楽曲について複数の表示機器で各々表示内容が異なり表示更新のタイミングも異なることもある楽譜を表示する複合システムであって、第２データ記憶部と第１の機能、第４の機能をマスターとするシステムに集約し、マスターシステムで更新する音楽時刻を他のスレーブとなるシステムに供給し、各々のスレーブとなるシステムでは第１データ記憶部、第２機能、第３機能による表示更新を行うようにしたシステム。
【請求項８】（補正後）１つの楽曲について複数の表示機器で各々内容の異同混在することのある楽譜を表示する複合システムであって、システム内部の音楽時刻と表示上の頁及び位置座標との相互変換を行う第７の機能を持ち、一つの楽譜表示用システムで表示されている楽譜のある場所を操作者が指示することにより第７の機能で対応する音楽時刻を求め、その音楽時刻情報を他の楽譜表示システムに伝送し、受信したコンピュータでは第７の機能でその音楽時刻に対応した表示上の頁と位置を求め、求まった頁の表示をしかつその対応する位置すなわち指示した場所と同時に演奏すべき位置を示す表示を行うようにした複合システム。
【請求項９】（補正後）請求の範囲第５項記載の楽譜表示システムで作成しあるいはそれを複製した楽曲演奏対応のクロック間隔データを含むコンピュータ読み取り可能な記録媒体。
【請求項１０】（追加）請求の範囲第２項記載の楽譜表示システムであって、その第３機能における各分割の次のページへの更新の音楽時刻の設定は、表示画面前半の分割については中央よりさらに後方に寄った分割さらにはその中の位置に表示される音符や休符に対応した音楽時刻とし、表示画面後半の分割については中央より前方に寄った分割さらにはその中の位置に表示される音符や休符に対応した音楽時刻とすることによって、１ページの全体が表示される時間帯（第５図５３、５４）を長く設けることを特徴とするシステム。
３６
【国際調査報告】
2005062289.tif 000013
2005062289.tif 000014
2005062289.tif 000015
2005062289.tif 000016
2005062289.tif 000017