(57)【要約】演奏補助装置（１００）は、楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づいて、楽譜画像を表示する表示部（１０２）と、例えば鍵盤操作に応じて１又は複数の音高を示す音高情報を取得する取得部（１０４）と、前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別する識別部（１０６）と、前記取得された音高情報の示す音高に一致する音符がある場合、該音高情報の示す音高に一致する全ての音符の表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分の表示態様を変更する表示制御部（１０８）を備える。【選択図】        図１
2017043228.tif 000002
【特許請求の範囲】
【請求項１】
楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づいて、楽譜画像を表示する表示装置と、
１又は複数の音高を示す音高情報を取得する取得部と、
前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別する識別部と、
前記取得された音高情報の示す音高に一致する音符がある場合、該音高情報の示す音高に一致する音符の表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分の表示態様を変更する表示制御部
を備える演奏補助装置。
【請求項２】
前記表示制御部は、前記音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分のうち、該音高情報に対応する部分の表示態様を変更するものである、請求項１に記載の演奏補助装置。
【請求項３】
前記楽譜画像は、前記楽曲を構成する各音に対応する音符を五線上に配置した五線譜からなる楽譜画像である、請求項１又は２に記載の演奏補助装置。
【請求項４】
前記表示制御部は、前記音高情報の示す音高に一致する音符がない場合、該音高情報に対応する前記五線上の位置の表示態様を変更するものである、請求項３に記載の演奏補助装置。
【請求項５】
前記取得された音高情報によって示される複数の時系列的な音高が前記楽譜画像に含まれる複数の時系列的な音符にマッチするか否かを判定する判定部と、
マッチすると判定されたならば、楽譜画像に表示された前記複数の時系列的な音符を際立たせるための表示を行う制御部
を更に備える請求項１乃至４のいずれかに記載の演奏補助装置。
【請求項６】
前記表示制御部は、前記取得された音高情報の示す音高が前記楽曲のスケールノートであるか否かを判定し、スケールノートであるか否かに応じて異なる形態で、前記一致する音符の表示態様を変更し、かつ、前記楽譜画像における音符以外の部分の表示態様を変更するものである、請求項１乃至５のいずれかに記載の演奏補助装置。
【請求項７】
楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づく楽譜画像を表示装置に表示することと、
１又は複数の音高を示す音高情報を取得することと、
前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別することと、
前記取得された音高情報の示す音高に一致する音符がある場合、該音高情報の示す音高に一致する音符の表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分の表示態様を変更すること
からなる演奏補助方法。
【請求項８】
非一過性のコンピュータ読み取り可能な記憶媒体であって、
楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づく楽譜画像を表示装置に表示することと、
１又は複数の音高を示す音高情報を取得することと、
前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別することと、
前記取得された音高情報の示す音高に一致する音符がある場合、該音高情報の示す音高に一致する音符の表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分の表示態様を変更すること
からなる演奏補助方法を実行するためにプロセッサにより実行可能な命令群を記憶している、記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、或る楽曲の演奏の練習に用いる演奏補助装置及び方法に関する。
【背景技術】
【０００２】
音楽教育においては、音階の習得が基本的且つ重要である。そのため、従来より、鍵盤を模した鍵盤部と五線譜を模した五線譜部とを具えたミュージックボードを用いて音階を習得する方法が知られる。ミュージックボードは、鍵盤部において鍵盤楽器で押鍵操作された鍵を点灯するとともに、五線譜部において該押鍵された鍵に対応する音高を示す音符を点灯することにより、音階を習得できるようにするものである（例えば、下記特許文献１を参照）。【０００３】
しかし、ミュージックボードは、音階の習得の補助を目的とする教材であるため、鍵と、その鍵に対応する音高の五線譜上の位置との対応関係を表示するに過ぎず、楽曲の演奏に関連付けられていない。かかるミュージックボードを用いた練習を繰り返すことは、ユーザにとって面白みが少ない。また、ミュージックボードを用いた練習では、或る楽曲の演奏を習得することや、楽譜の読み方を習得することは期待できない。【０００４】
一方、或る楽曲の演奏の習得するための方法として、例えば、電子鍵盤楽器等における演奏ガイド機能がある。演奏ガイド機能は、或る楽曲を演奏するために押鍵すべき鍵を発光させたり、或いは、表示部に音符や指使いを表示したりする機能である。しかし、かかる演奏ガイド機能は、所定の再生テンポに従って、又は、押鍵操作に従って、曲の練習位置を自動的に進行させるように構成されている。すなわち、押鍵すべき鍵の発光や、演奏されるべき音符の表示は、前記曲の進行に基づいて現在演奏すべき位置、つまり曲の一部分に関してのみ行われる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】実公昭６３−４２２６号公報
【非特許文献】
【０００６】
【非特許文献１】「ＹＡＭＡＨＡ  Ｐｏｒｔａｔｏｎｅ  ＥＺ  Ｊ２２０  いい音で楽しくレッスン  取扱説明書」、ヤマハ株式会社、２０１２年発行
【発明の概要】
【０００７】
この発明は、上述の点に鑑みてなされたもので、楽曲の演奏学習効果を向上することができる、演奏補助装置及び方法を提供することを目的とする。
【０００８】
この発明は、楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づいて、楽譜画像を表示する表示装置と、１又は複数の音高を示す音高情報を取得する取得部と、前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別する識別部と、前記取得された音高情報の示す音高に一致する音符がある場合、該音高情報の示す音高に一致する音符の表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分の表示態様を変更する表示制御部を備える演奏補助装置である。
【０００９】
この発明に係る演奏補助装置は、上記の構成を備えることにより、表示部に表示された楽譜画像内の音符のうち、取得された音高情報に一致する音符の表示態様を変更できる。これにより、ユーザは、楽譜画像に示された音符のうちの何れの音符が、取得された音高情報に対応しているかを把握できる。また、音高情報の示す音高に一致する音符が楽譜画像内に存在しない場合は、前記楽譜画像における音符以外の部分の表示態様が変更される。これにより、音高情報の示す音高に一致する音符が楽譜画像内に存在しないことをユーザに知らせることができる。従って、ユーザは、楽譜画像内の各音符と取得された音高情報の対応関係を、視覚的に確認できるようになる。これにより、ユーザは、或る楽曲の演奏練習をスムーズに行うことができる。また、ユーザは、楽譜画像を正確に読むことをしなくとも、楽譜に示された各音符の音高を簡単且つ効率的に把握でき、その結果、自分の演奏したい楽曲の楽譜を読むことができるようになる。また、楽譜画像内の音符と取得された音高情報との対応関係を視覚的に提示する構成であるため、曲の練習位置が自動進行される従来の演奏ガイド機能と比較して、楽曲中の任意の部分に関する部分的練習が行い易くなる。
【００１０】
また、取得された音高情報が複数の音高を示す場合、該複数の音高に対応する各音符の表示態様が変更される。従って、ユーザは、楽曲内に頻出する演奏パターン、繰り返し部分、互いに似通った演奏パターン、和音部分、分散和音、或いは、メロディーにおける分散和音的な部分等を、容易に把握できるようになる。このことは、楽曲の部分的練習や楽曲中の特定パターンの集中的練習を容易にする。このことは、また、楽曲の構成の把握（例えば、繰り返しパターンや和音等が楽曲中のどこにどのように配置されているかを把握すること）を、容易にする。更に、楽譜画像内で視覚的に提示された各音符と音高情報の対応関係を確認するだけで、楽譜を読んで曲を解釈するという手間をかけなくても、例えばメロディー中の経過音の把握や、或いは、メロディーラインの把握（例えばメロディーが調和的展開旋律であるとか、非調和的旋律であるとか、或いは、半音的旋律であるとかいった事柄の把握）等を、簡単に行うことができるようになる。これらのことは、楽曲の演奏学習の効率及び効果の向上に寄与する。
【００１１】
また、この発明は、方法の発明として実施及び構成されてよい。また、この発明は、プログラムの発明として実施及び構成されてよい。
【００１２】
この発明に係る演奏補助装置によれば、楽譜画像内の各音符と音高情報の対応関係を、視覚的に提示する演奏補助機能を使って、楽曲の演奏学習効果を向上することができる、という優れた効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】この発明に係る演奏補助装置の概念的構成を説明するブロック図。
【図２】図１に示す演奏補助装置を適用した電子鍵盤楽器の電気的ハードウェア構成例を示すブロック図。
【図３】図２に示す電子鍵盤楽器におけるメイン処理例を示すフローチャート。
【図４】プレイアシストモード設定処理例を示すフローチャート。
【図５】表示装置に表示された五線譜の一例を示す図。
【図６】音符レジスタの構成例を示す図。
【図７】プレイアシストモード時の押鍵処理例を示すフローチャート。
【図８】押鍵レジスタの構成例を示す図。
【図９】五線譜上に表示された音符の表示態様の変更例を説明する図。
【図１０】（ａ），（ｂ）は、音高情報に対応する五線上の位置の表示態様の変更例を説明する図。
【図１１】複数の音高に対応する音符及び五線上の位置の表示態様を変更した楽譜画像の一例を示す図。
【図１２】プレイアシストモード時の電子鍵盤楽器における離鍵処理例を示すフローチャート。
【図１３】離鍵レジスタの構成例を示す図。
【図１４】プレイアシストモード時の押鍵処理の別の実施例を示すフローチャート。
【図１５】押鍵履歴バッファの構成例を示す図。
【図１６】五線譜上におけるコンボ表示の一例を説明する図。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して、この発明の一実施形態について詳細に説明する。
【００１５】
図１は、この発明に係る演奏補助装置の概念的構成例を示す。演奏補助装置１００は、或る楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づいて、楽譜画像を表示する表示部１０２と、１又は複数の音高を示す音高情報を取得する取得部１０４と、前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別する識別部１０６と、前記取得された音高情報の示す音高に一致する音符がある場合、該音高情報の示す音高に一致する全ての音符の表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分の表示態様を変更する表示制御部１０８を備える。
【００１６】
演奏補助装置１００は、或る楽曲の楽譜画像を表示部１０２に表示する。ユーザは楽譜画像を見ながら、取得部１０４に接続された、例えば鍵盤（図示外）を操作する。演奏補助装置１００は、ユーザにより押鍵された鍵の音高を示す音高情報を取得部１０４により取得する。識別部１０６が、表示部１０２に表示された楽譜画像内の各音符のうち、該取得された音高に一致する音符を識別する。そして、表示制御部１０８は、該音高に一致する音符の表示態様を変更するか、又は、楽譜画像における音符以外の部分の表示態様を変更する。これにより、ユーザは、例えば、自分の演奏した鍵が意図した音符と合っているかなど、楽譜画像内の音符と音高情報の対応関係を、視覚的に確認できる。したがって、ユーザは、或る楽曲の演奏練習をスムーズに行うことができるようになる。
【００１７】
図２は、図１に示す演奏補助装置１００を適用した電子鍵盤楽器の電気的ハードウェア構成例を示す。図２において、電子鍵盤楽器２００は、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３、演奏操作検出回路４、設定操作検出回路５、表示装置６、音源回路７、外部記憶装置８、周辺機器インタフェース（周辺機器Ｉ／Ｆ）９、ＭＩＤＩインタフェース（ＭＩＤＩ  Ｉ／Ｆ）１０、通信インタフェース（通信Ｉ／Ｆ）１１を備える。ＣＰＵ１は、通信バス１２を介して各部２〜１１に接続され、各種データ及び制御信号を相互に通信できる。
【００１８】
ＣＰＵ１は、ＲＯＭ２又はＲＡＭ３に記憶された各種のプログラムを実行して、電子鍵盤楽器２００の全体動作を制御する。ＲＯＭ２及びＲＡＭ３は、ＣＰＵ１が実行する各種のプログラムや各種のデータなどを格納するほか、ＣＰＵ１が実行するプログラムのロード領域やワーク領域に使用される。外部記憶装置８は、ハードディスク、ＦＤ（フレキシブルディスク又はフロッピー（登録商標）ディスク）、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタル多目的ディスク）、あるいはフラッシュメモリ等の半導体メモリなどからなる。ＲＯＭ２、ＲＡＭ３又は外部記憶装置８は、複数楽曲分の楽譜データを記憶し得る。
【００１９】
演奏操作検出回路４には、音高情報を入力するための演奏操作子１３が接続される。演奏操作検出回路４は、演奏操作子１３の操作イベントを検出して、該操作イベントに応じた検出信号を通信バス１２に出力する。ＣＰＵ１は、該検出信号に基づき、例えばＭＩＤＩ（ミディ、Musical Instrument Digital Interface）形式の演奏情報を生成する。演奏操作子１３は、例えば、複数の鍵からなる鍵盤により構成される。この場合、押鍵操作に応じて、発音指示及び音高を指定する音高情報を含む押鍵イベントが生成され、また、離鍵操作に応じて、消音指示及び音高を指定する音高情報を含む離鍵イベントが生成される。
【００２０】
設定操作検出回路５には、各種情報を入力するための設定操作子１４が接続される。設定操作子１４は、例えば、後述する「プレイアシスト機能」のオン・オフ切り替え、音色設定、或いは、楽曲選択等、各種設定を行うためのスイッチ群を含む。設定操作検出回路５は、設定操作子１４の操作イベントを検出して、該操作イベントに応じた検出信号を通信バス１２に出力する。
【００２１】
表示装置６は、例えば液晶ディスプレイで構成され、通信バス１２を介してＣＰＵ１から受信した表示制御信号に基づく各種情報を表示する。ＣＰＵ１は、楽譜データに基づく楽譜画像を、表示装置６に表示できる。
【００２２】
音源回路７にはサウンドシステム１５が接続される。音源回路７は、ＣＰＵ１により生成された演奏情報に基づく楽音信号を電子的に生成して、サウンドシステム１５に出力する。音源回路７は、例えばＦＭ音源、ＰＣＭ音源或いは物理モデル音源等、周知のどのような楽音合成方式を用いて構成されてもよい。また、音源回路７は、ハードウェア音源装置により構成されてもよいし、或いは、ＣＰＵ１又は図示外のＤＳＰ（Digital Signal Processor）によるソフトウェア処理により構成されてもよい。サウンドシステム１０は、デジタルアナログ変換器、アンプ、スピーカなどを含み、音源回路７により生成された楽音信号を発音する。
【００２３】
電子鍵盤楽器２００は、例えばＵＳＢ、ＩＥＥＥ１３９４等の周辺機器Ｉ／Ｆ９を介して、例えば、タブレット端末（例えばｉ  Ｐａｄ（登録商標）等）、携帯電話又はＰＤＡ等の携帯端末や、或いは、パーソナルコンピュータなど、周辺機器１６を有線又は無線接続可能である。なお、本明細書において、「携帯端末」という用語と「周辺機器」という用語は互換的に使用される。電子鍵盤楽器２００は、また、ＭＩＤＩ  Ｉ／Ｆ１０を介して、他のＭＩＤＩ機器１７と有線又は無線接続可能である。また、電子鍵盤楽器２００は、通信Ｉ／Ｆ１１を介して通信ネットワーク１８上のサーバコンピュータ等と通信可能に接続され得る。
【００２４】
この発明に係る演奏補助装置１００の一実施形態は、電子鍵盤楽器２００において、ＲＯＭ２、ＲＡＭ３又は外部記憶装置８に記憶された楽譜データに基づいて、或る楽曲の楽譜画像を表示装置６に表示し（図１の表示部１０２の機能）、演奏操作検出回路４及び演奏操作子１３により音高情報を取得し（図１の取得部１０４の機能）、ＣＰＵ１が図１の識別部１０６及び表示制御部１０８に相当する処理（後述図７のステップＳ１７、Ｓ１８、Ｓ２１、Ｓ２２）を行うように構成される。
【００２５】
図３は、電子鍵盤楽器２００のメイン処理例を示すフローチャートである。この処理は電子鍵盤楽器２００の電源投入に応じて起動する。ステップＳ１において、ＣＰＵ１は、各種制御プログラムの実行を開始し、各種レジスタに初期値を設定する等の初期設定を行う。ステップＳ２において、ＣＰＵ１は、演奏操作子１３及び設定操作子１４に含まれる全ての操作子を走査して、操作イベントを検出する。そして、ＣＰＵ１は、何らかの操作イベントが検出された場合に、ステップＳ３以下の処理を行う。
【００２６】
設定操作子１４の操作イベントが検出された場合（ステップＳ３のｎｏ）、ＣＰＵ１は、ステップＳ７において、操作された設定操作子１４がプレイアシスト設定操作子（以下「プレイアシスト」を「ＰＡ」と略す）か否か判定する。ＰＡ設定操作子は、「ＰＡモード」のオン・オフを切り替える操作子である。ＰＡ設定操作子が操作された場合（ステップＳ７のｙｅｓ）、ＣＰＵ１は、ステップＳ８において「ＰＡ設定処理」を実行する。ＰＡ設定処理の詳細は後述する。ＰＡ設定操作子以外の設定操作子１４が操作された場合（ステップＳ７のｎｏ）、ＣＰＵ１は、ステップＳ９において、その操作内容に応じた処理（図において「その他の処理」）を実行する。その他の処理は、例えば、音色設定処理、効果パラメータ設定処理、或いは、楽譜画像の表示対象となる楽曲を選択する操作に応じた楽曲選択処理等である。
【００２７】
図４は、前記ステップＳ８のＰＡ設定処理例を示す。ステップＳ１０において、ＣＰＵ１は、ＰＡモードフラグ（図において「ＰＡ」）の値を反転する。ＰＡモードフラグは、ＰＡモードがオンのとき値＝「１」をとり、ＰＡモードがオフのとき値＝「０」をとる。前記ステップＳ１０により、ＰＡ設定操作子の１回の操作毎に、ＰＡモードのオン・オフが切り替わるようになっている。
【００２８】
ＰＡモードフラグの値が「１」、すなわち、ＰＡモードがオンに切り替わった場合（ステップＳ１１のｙｅｓ）、ＣＰＵ１は、ステップＳ１２において、表示対象の楽曲の楽譜データに基づく楽譜画像を表示装置６に表示する。楽譜データは、例えばＲＯＭ２、ＲＡＭ３又は外部記憶装置８に複数楽曲分記憶されている。ユーザは、複数楽曲のうちいずれか１つを表示対象に選択できる。ＣＰＵ１は、表示対象に選択されている１つの楽曲の楽譜データを、メモリ２，３又は８から読み出す。表示対象となる楽曲の選択は、前記ステップＳ１２のタイミングで行われてもよいし、或いは、設定操作子１４を用いた楽曲選択操作が行われる毎に随時行われてもよい。また、ＰＡモードをオフした後、表示対象の楽曲の選択状態を保持しておき、次回のＰＡモード開始時に、前回表示対象に選択されていた楽曲の楽譜画像が表示されるようにしてもよい。なお、楽譜データは、電子鍵盤楽器２００内のメモリ２，３又は８に記憶されたものに限らず、例えば周辺機器１６等の外部接続された装置や、通信ネットワーク１８上のサーバコンピュータに記憶されたものでもよい。ＣＰＵ１は、表示対象に選択されている１つの楽曲の楽譜データを、外部接続された装置や通信ネットワーク１８上のサーバコンピュータ等から取得して、取得した楽譜データに基づく楽譜画像を表示装置６に表示する。
【００２９】
一実施形態において、楽譜画像は、或る楽曲を構成する各音に対応する音符を五線上に配置した五線譜からなる。図５は五線譜からなる楽譜画像の一例を示す。五線譜においては、周知の通り、横方向が時間軸を表し、縦方向が音高軸を表す。五線は五本１組の水平線からなり、各線及び各線の間（「線間」と称する）は、それぞれ異なる音高を表す。各音符は、それぞれ対応する音高を表す線上又は線間に配置される。線間は、五線のうち一番上の線の外側（上側）、又は、一番下の線の外側（下側）も含む。また、五線上で表現可能な複数の音高よりも更に高い又は低い音高を表すときは、臨時に追加された「加線」の線上または線間に、音符を配置する。なお、明細書において、五線の各線を、下から順に第１線、第２線、第３線・・・、各線間を、下から順に第１線間、第２線間・・・のように名付ける。また、加線は五線に近い方から順に、五線の上側の加線及び線間については、上第１線、上第２線・・・、上第１線間、上第２線間・・・、五線の下側の加線については下第１線、下第２線・・・、下第１線間、下第２線間・・・のように名付ける。五線は音高を全音階的に規定する。半音階は変化記号（調号又は臨時記号）により表現される。楽譜データは、例えば、曲を構成する各音に対応する音符毎に、時間軸上の位置と音高とを特定する音符データを含み、該音符データに基づく各音符が五線上に描画されるように構成されたデータである。
【００３０】
ＣＰＵ１は、前記ステップＳ１２において楽譜画像を表示した際、該表示された楽譜画像内の各音符の音高を示す音高情報ＫＣを取得して、取得した各音高情報ＫＣを音符レジスタに格納する。各音符の音高を示す音高情報ＫＣは、例えば、楽譜データに含まれる前記音符データに基づき取得可能である。図６は、音符レジスタの一例を示す。図６に示す通り、音符レジスタは、各レジスタ番号Ｎｎ（ｎ＝１、２・・・ｚ）に、表示装置６に表示中の楽譜画像内に存在する全ての音符（ｚ個の音符）の音高情報「ＫＣ1」、「ＫＣ2」「ＫＣ3」・・・「ＫＣz」を、例えば各音符が出現する時間順に、格納する。例えば、楽譜画像内で最初に出現する音符Ｎ１（前記図５を参照）の音高情報は、レジスタ番号Ｎｎ＝１に「ＫＣ1」として格納され、楽譜画像内で最後に出現する音符Ｎｚ（前記図５を参照）の音高情報は、レジスタ番号Ｎｎ＝ｚに「ＫＣz」として格納される。例えば和音などを表す場合など、複数の音符が同時に出現する場合は、音高の低い順など適宜の順で、音高情報ＫＣを格納する。
【００３１】
なお、前記ステップＳ１２の楽譜画像の表示処理、及び、音高情報ＫＣの取得処理は、ＰＡモードをオンに切り替えたタイミングだけでなく、例えばユーザにより楽譜画像の変更が指示された場合など、新たに楽譜画像を表示するときにも実行され得る。
【００３２】
一方、ＰＡモードフラグの値が「０」、すなわち、ＰＡモードがオフに切り替わった場合（ステップＳ１１のｎｏ）、ＣＰＵ１は、ステップＳ１３において、電子鍵盤楽器２００が、通常の演奏モードで動作するようにする。通常の動作モードは、演奏操作子１３の操作があったときに、後述のＰＡ処理を行わない動作モードである。前記ステップＳ１２又はＳ１３の後、ＣＰＵ１は、ＰＡモード設定処理を終えて、前記図３のステップＳ２にリターンする。
【００３３】
図３に戻ると、前記ステップＳ２において演奏操作子１３の操作イベントが検出された場合、すなわち１又は複数の鍵に対する押鍵イベント又は離鍵イベントが検出された場合（ステップＳ３のｙｅｓ）、ＣＰＵ１は、ステップＳ４において、検出された押鍵イベント又は離鍵イベントに基づく楽音の発音及び消音処理を行う。すなわち、ＣＰＵ１は、押鍵イベント又は離鍵イベントに応じた演奏情報を生成し、生成された演奏情報を音源回路７に送信する。音源回路７は、該生成された演奏情報に基づき楽音信号を生成し、該生成された楽音信号に応じた音をサウンドシステム１５から発音及び消音する。
【００３４】
ステップＳ５において、ＣＰＵ１は、ＰＡモードフラグの値に基づき、ＰＡモードのオン又はオフを判別する。ＰＡモードがオンである場合（ステップＳ５のｙｅｓ）、ＣＰＵ１は、ステップＳ６において、後述するＰＡ処理を実行した後、前記ステップＳ２に戻る。一方、ＰＡモードがオフである場合（ステップＳ５のｎｏ）、ＣＰＵ１は、前記ステップＳ６のＰＡ処理を行わず、前記ステップＳ２に戻る。
【００３５】
図７は、前記ステップＳ６のＰＡ処理例を示すフローチャートである。ステップＳ１４において、ＣＰＵ１は、前記ステップＳ２で検出された鍵操作イベントが押鍵又は離鍵の何れであるかを判別する。１又は複数の押鍵イベントが検出された場合（ステップＳ１４の「押鍵」）、ＣＰＵ１は、ステップＳ１５において、各押鍵イベントの示す音高情報ＫＤを押鍵レジスタに格納する。図８は押鍵レジスタの構成例を示す。図８に示すように、押鍵レジスタは、各レジスタ番号Ｊ（ｍ＝１、２、３・・・）に、前記ステップＳ２で検出された各押鍵イベントの示す音高情報ＫＤ（＝ＫＤ1、ＫＤ2、ＫＤ3・・・）を格納する。例えば、３つの鍵に対する押鍵イベントが略同時に検出された場合、ＣＰＵ１は、レジスタ番号Ｊ（１）に１つの押鍵イベントの音高情報ＫＤ1を格納し、レジスタ番号Ｊ（２）に別の押鍵イベントの音高情報ＫＤ2を格納し、レジスタ番号Ｊ（３）に別の押鍵イベントの音高情報ＫＤ3を格納する。
【００３６】
ステップＳ１６において、ＣＰＵ１は、音符レジスタのレジスタ番号Ｎｎ＝１に対応する音符Ｎ１と、押鍵レジスタのレジスタ番号Ｊ（ｍ）＝１に対応する押鍵イベントＪ（１）を、処理対象として設定する。ステップＳ１７において、ＣＰＵ１は、処理対象の音符Ｎ１の音高情報ＫＣ1と処理対象の押鍵イベントＪ（１）の音高情報ＫＤ1とを比較して、両者が一致する場合（ステップＳ１７のｙｅｓ）、ＣＰＵ１は、ステップＳ１８において、処理対象の音符Ｎ１の表示態様を変更する。音符の表示態様の変更とは、表示装置６に表示中の楽譜画像中の当該音符の表示態様を通常状態とは異ならせることであり、周知の様々な手法で表示態様を変更してよい。音符の表示態様の変更は、例えば、音符画像の表示色、彩度、或いは、明瞭度を変えること、点滅表示すること、点滅の周期を変えることなどである。また、音符画像全体の表示態様を変更してもよし、或いは、例えば音符画像の符頭だけの表示態様を変更する（言い換えれば、符頭と符幹とで表示態様を異ならせる）など、音符画像の一部分の表示態様を変更してもよい。また、例えば符頭の周囲にぼんやりと色を付けるなど、音符画像の近傍の表示態様を変えるようにしてもよい。一方、音高情報ＫＣ1と音高情報ＫＤ1が一致しない場合（ステップＳ１７のｎｏ）は、前記ステップＳ１８を行わずに、処理をステップＳ１９に進める。
【００３７】
ステップＳ１９において、ＣＰＵ１は、処理対象の音符を示すレジスタ番号Ｎ（ｎ+１）に変更し、新たな処理対象の音符Ｎ（ｎ＋１）に対して、ステップＳ１７〜Ｓ１９の処理を行う。例えば、直前の処理対象の音符がＮ１の場合、レジスタ番号Ｎｎ＝２に対応する音符Ｎ２を新たな処理対象とする。そして、ＣＰＵ１は、楽譜画像内に出現するｚ個の全ての音符に対して処理を終えるまで、ステップＳ２０のｎｏからステップＳ１７に戻り、ステップＳ１７〜Ｓ２０を繰り返す。ステップＳ２０がｙｅｓとなると、ステップＳ２１に進む。
【００３８】
図９は、音符の表示態様の変更例を示す。図９の例では、「ソ」が割り当てられた鍵に対する押鍵操作に応じて、楽譜画像内に表示された各音符のうち、音高「ソ」を示す全ての音符Ｎ１、Ｎ２、Ｎ４及びＮ７の表示態様が変更された状態を示す。音符Ｎ１、Ｎ２、Ｎ４及びＮ７の表示態様は、通常状態の音符Ｎ３、Ｎ５、Ｎ６及びＮ８とは異なる表示態様に変更される。図９及び図１１の例では、図示の便宜上、表示態様が変更された四分音符及び八分音符に関して、その符頭（黒色）内に白点を入れた描画法で示し、表示態様が変更された二分音符に関して、その符頭（白色）内に黒点を入れた描画法で示す。
【００３９】
図７に戻ると、ステップＳ２１において、ＣＰＵ１は、音符レジスタに格納された全ての音高情報「ＫＣ1」、「ＫＣ2」、「ＫＣ3」・・・「ＫＣz」を調べて、処理対象の音高情報ＫＤ1に一致する音符が楽譜画像内に存在しないかどうかを確認する。音高情報ＫＤ1に一致する音符が楽譜画像内に存在しない場合（ステップＳ２１のｙｅｓ）、ＣＰＵ１は、ステップＳ２２において、音高情報ＫＤ1に対応する五線上の位置の表示態様を変更する。音高情報に対応する五線上の位置とは、その音高情報の示す音高を表す線又は線間である。前記五線上の位置は、「加線」を含む。すなわち、音高情報ＫＤ1が五線上で表現可能な複数の音高よりも更に高い又は低い音高を表す場合は、音高情報ＫＤ1を表すために必要な１又は複数の加線が臨時に追加されるとともに、音高情報ＫＤ1に対応する加線又は該加線の線間の表示態様が変更される。音高情報に対応する五線上の位置の表示態様を変更することは、線又は線間の表示態様を通常の表示態様とは異ならせることである。例えば、線又は線間の表示色、彩度或いは明瞭度を変更することなど、前記の音符の表示態様の変更と同様に、周知の様々な手法で表示態様を変更し得る。一方、音高情報ＫＤ1に一致する音符が楽譜画像内に存在する場合（ステップＳ２１のｎｏ）、ＣＰＵ１は、前記ステップＳ２２を行わずに、ステップＳ２３に処理を進める。
【００４０】
図１０（ａ），（ｂ）は、五線上の位置の表示態様の変更を説明する図である。図９（ａ）の例は、「ソ」が割り当てられた鍵に対する押鍵操作に応じて、音高「ソ」に対応する第２線Ｌ１の表示態様が変更された状態を示す。（ａ）において、通常の表示態様の五線を実線で示し、表示態様が変更された第２線Ｌ１は、点線で示す。また、図１０（ｂ）の例は、「ラ」が割り当てられた鍵に対する押鍵操作に応じて、音高「ラ」に対応する第２線間Ｌ２の表示態様が変更された状態を示す。（ｂ）において、表示態様が変更された線間Ｌ２はハッチングを付して示す。
【００４１】
ステップＳ２３において、ＣＰＵ１は、処理対象に設定されたレジスタ番号Ｊ（ｍ）の音高情報をリセットする。ステップＳ２４において、ＣＰＵ１は、処理対象となる押鍵イベントを示すレジスタ番号Ｊ（ｍ）をＪ（ｍ＋１）に変更する。例えば、直前の処理対象がＪ（１）の場合、Ｊ（２）が新たな処理対象となる。そして、ＣＰＵ１は、新たな処理対象の音高情報ＫＤm+1に関して、前記ステップＳ１６〜Ｓ２４の処理を行う。そして、前記ステップＳ２で検出された全ての押鍵イベント、すなわち、ユーザにより略同時に押鍵された全ての鍵に関して処理を終えるまで（ステップＳ２５のｙｅｓ）、前記ステップＳ１６〜Ｓ２５を繰り返す。次の処理対象となるレジスタ番号Ｊ（ｍ＋１）に音高情報ＫＤm+1が格納されていない場合（ステップＳ２５のｎｏ）、ＣＰＵ１は、全ての押鍵イベントに対して処理を終えたものと判断して、前記図３のステップＳ２にリターンする。
【００４２】
前記図７の処理により、ＣＰＵ１は、表示装置６に表示された楽譜画像内の音符のうち、検出された１又は複数の押鍵イベントＪ（ｍ）の音高情報ＫＤmに一致する各音符を識別して（前記ステップＳ１７、前記ステップＳ２１）、各音高情報ＫＤmの示す各音高に一致する全ての音符の表示態様を変更し（前記ステップＳ１８）、且つ、前記音高に一致する音符が存在しない各音高情報ＫＤmについては、処理対象の音高情報ＫＤmに対応する五線上の位置の表示態様を変更する（前記ステップＳ２２）。このように、或る楽曲の楽譜画像内の各音符と押鍵された鍵の音高との対応関係を視覚的に提示することにより、ユーザは、押鍵操作するだけで、自分の押鍵した音高に対応する音符が楽譜画像内全体のうちの何処にあるのか、押鍵された鍵が意図した音符に対応しているか、或いは、どの音高が当該楽曲に存在しないか等を、簡単に確認できる。
【００４３】
前記ステップＳ２２の処理の別の例として、ＣＰＵ１は、処理対象の音高情報ＫＤmに対応する音高軸上の位置の表示態様を変更する。例えば、楽譜画像が五線譜の形式でない場合などであっても、音高情報ＫＤmに対応する音高軸上の位置の表示態様を変更しさえすれば、当該押鍵された鍵の音高に対応する音高軸上の位置を視覚的に確認できる。
【００４４】
前記ステップＳ２２の処理の更に別の例として、ＣＰＵ１は、処理対象の音高情報ＫＤmの示す音高に一致する音符が楽譜画像内に存在しない場合、楽譜画像の音符以外の部分の表示態様を変更してもよい。楽譜画像の音符以外の部分とは、例えば、五線部分全体であったり、或いは、楽譜画像の背景部分（図５の符号５０）を含む。この場合、楽譜画像の音符以外の部分の表示態様の変更により、押鍵された鍵に対応する音符が楽譜画像内に存在しないことを、ユーザに知らせることができる。また、前記ステップＳ２２の更に別の例として、ＣＰＵ１は、前記楽譜画像の音符以外の部分のうち、前記処理対象の音高情報に対応する部分の表示態様を変更するようにしてもよい。この場合も、押鍵された鍵に対応する音符が楽譜画像内に存在しないことを、ユーザに知らせることができる。なお、この例において、音高情報ＫＤmの音高が加線を用いて表現される場合、ＣＰＵ１は、前記ステップＳ２２において、該音高情報ＫＤmを表す加線又は線間に対応する部分の表示態様を変更する。また、音高情報ＫＤmを表すために加線が１つ以上追加される場合、ＣＰＵ１は、前記ステップＳ２２において、更に、該音高情報ＫＤmを表す加線又は線間以外の加線及び／又は線間を、通常とは異なる表示態様で表示するようにしてもよい。例えば音高情報ＫＤmの音高が下第２線上で表される場合、五線の下側に２本の加線が追加される。この場合、ＣＰＵ１は、前記ステップＳ２２において、下第１線を、例えば通常よりも薄い色の線で表示するなど通常の加線の表示態様とは異なる表示態様で表示するとともに、該音高情報ＫＤmを表す下第２線に対応する部分の表示態様を変更する。これにより、音高情報ＫＤmの示す音高に一致する音符が楽譜画像内に存在しない場合にその音高に対応する部分の表示態様を変更する構成例において、音高が加線を用いて表現される場合でも、その音高の位置が五線の一番上又は下の線からどれだけ離れた位置にあるかを、直感的に把握できる。
【００４５】
図１１は、前記図７の処理により、楽譜画像内の複数の音符、及び、五線上の位置の表示態様が変更された状態の一例を示す。図１１では、ユーザによる複数の鍵を押鍵操作に応じて、「ド」、「ミ」、「ソ」の各音高を示す全ての音符の表示態様と、「シ」の音高に対応する五線上の位置の表示態様が変更されている。このように、複数の音高の各音符の表示態様が変更されることで、ユーザは、例えば、和音部分、分散和音、頻出する演奏パターン、繰り返し部分、互いに似通った演奏パターン等を、容易に把握できる。このことは、楽曲一部分の部分的練習或いは集中的練習を容易にする。また、楽譜を読んで曲を解釈するという手間をかけなくても、メロディーラインの把握等を簡単に行うことができる。これらのことは、楽曲の演奏学習の効率及び効果の向上に寄与する。
【００４６】
一方、ＰＡモード時に離鍵操作が行われた場合（図７の前記ステップＳ１４の「離鍵」）、ＣＰＵ１は、ＰＡモード時の離鍵処理を行う。図１２は、ＰＡモード時の離鍵処理例のフローチャートである。ステップＳ２６において、ＣＰＵ１は、前記検出された各離鍵イベントの示す音高情報ＫＤを離鍵レジスタに格納する。図１３は離鍵レジスタの構成例を示す。離鍵レジスタは、各レジスタ番号ＪＪ（ｍ＝１、２、３・・・）に、前記ステップＳ２で検出された離鍵イベントの示す音高情報ＫＤ（＝ＫＤ1、ＫＤ2、ＫＤ3・・・）を格納する。
【００４７】
ステップＳ２７において、ＣＰＵ１は、音符レジスタのレジスタ番号Ｎｎ＝１に対応する音符Ｎ１と、離鍵レジスタのレジスタ番号ＪＪ（ｍ）＝１に対応する離鍵イベントＪＪ（１）を処理対象として設定する。そして、ＣＰＵ１は、ステップＳ２８において、音符Ｎ１の音高情報ＫＣ1と、離鍵イベントＪＪ（１）の音高情報ＫＤ1を比較し、音高情報ＫＣ1と音高情報ＫＤ1が一致する場合（ステップＳ２８のｙｅｓ）、ステップＳ２９において、音符Ｎ１の表示態様を、通常の表示態様に戻す。一方、音高情報ＫＣ1と音高情報ＫＤ1が一致しない場合（ステップＳ２８のｎｏ）は、前記ステップＳ２９を行わずに、処理をステップＳ３０に進める。ステップＳ３０において、ＣＰＵ１は、処理対象の音符を示すレジスタ番号Ｎ（ｎ+１）に変更し、該新たな処理対象の音符Ｎ（ｎ＋1）に対して、前記ステップＳ２８〜Ｓ３０を行う。そして、ＣＰＵ１は、楽譜画像内のｚ個の全ての音符に対して処理を終えるまで（ステップＳ３１のｎｏ）、前記ステップＳ２８〜Ｓ３０を繰り返す。
【００４８】
ステップＳ３２において、ＣＰＵ１は、音符レジスタに格納された全ての音高情報「ＫＣ1」、「ＫＣ2」「ＫＣ3」・・・「ＫＣz」を調べて、処理対象の音高情報ＫＤ1に一致する音符が楽譜画像内に存在しないかどうか確認する。音高情報ＫＤ1に一致する音符が楽譜画像内に存在しない場合（ステップＳ３２のｙｅｓ）、ＣＰＵ１は、ステップＳ３３において、処理対象の音高情報ＫＤ1に対応する五線上の位置の表示態様を、通常の表示態様に戻す。一方、音高情報ＫＤ1に一致する音符が楽譜画像内に存在する場合（ステップＳ３２のｎｏ）は、前記ステップＳ３３を行わずに、処理をステップＳ３４に進める。
【００４９】
ステップＳ３４において、ＣＰＵ１は、処理対象の離鍵イベントを示すレジスタ番号Ｊ（ｍ）の音高情報をリセットする。ステップＳ３５において、ＣＰＵ１は、処理対象となる離鍵イベントを示すレジスタ番号ＪＪ（ｍ）をＪＪ（ｍ＋１）に変更して、新たな処理対象の音高情報ＫＤm+1に関して、前記ステップＳ２８〜Ｓ３５の処理を行う。そして、前記ステップＳ２で検出された全ての離鍵イベントに関して処理を終えるまで（ステップＳ３６のｙｅｓ）、前記ステップＳ２８〜Ｓ３５を繰り返す。次の処理対象となるレジスタ番号ＪＪ（ｍ+１）に音高情報ＫＤm+1が格納されていない場合（ステップＳ３６のｎｏ）、ＣＰＵ１は、全ての離鍵イベントに対して処理を終えたものと判断して、前記図３のステップＳ２にリターンする。
【００５０】
前記図１２の処理により、ＣＰＵ１は、離鍵操作に応じて、該離鍵操作により指示された音高の音符又は五線上の位置の表示態様を、通常の表示態様に戻すことができる（前記Ｓ２９又は前記Ｓ３３）。
【００５１】
前記図７のステップＳ１８及びＳ２２による表示態様の変更の別の実施形態として、ＣＰＵ１は、音符及び五線上の位置を、音高別に異なった表示態様に変更するようにしてもよい。例えば、１オクターブ中の１２音階音の各音高（音名）がそれぞれ異なる表示態様（例えば異なる色）に変更されてよい。この場合、１２音階音の音高（音名）毎に変更後の表示態様を予め決めておき、ＣＰＵ１は、前記ステップＳ１８及び前記ステップＳ２２において、処理対象の押鍵イベントの音高情報ＫＤmに基づいて何れの表示態様に変更するかを決定し、該当する音符又は五線上の位置の表示態様を該決定された表示態様に変更する。この場合、オクターブが異なっていても同じ音階音（音名）であれば、同じ表示態様（例えば色）で表示され、オクターブに関わりなく音階音（音名）が異なれば、異なる表示態様（例えば色）で表示されることになる。
【００５２】
前記図７のステップＳ１８及びＳ２２による表示態様の変更の更に別の実施形態として、ＣＰＵ１は、音符及び五線上の位置を、オクターブ別に異なった表示態様に変更するようにしてもよい。例えば、音高Ｃ２〜Ｂ２の範囲の１オクターブに属する１２音名がすべて共通の表示態様（例えば或る同じ色）で表示され、音高Ｃ３〜Ｂ３の範囲の１オクターブに属する１２音名がすべて別の共通の表示態様（例えば別の同じ色）で表示されるようにしてよい。
【００５３】
更に別の実施形態として、ＣＰＵ１は、前記ステップＳ１８において、和音又は分散和音を構成する複数の音符と、それ以外の音符とで変更後の表示態様を異ならせるようにしてもよい。この場合、ＣＰＵ１は、前記ステップＳ１８において、処理対象の押鍵イベントの音高情報ＫＤmの示す音高が、和音又は分散和音を構成する音高であるか否かを判定し、判定結果に基づき変化後の表示態様を決定し、該決定された表示態様に、該当する音符の表示態様を変更する。前記和音又は分散和音を構成する音高であるか否かの判定は、例えば、楽譜データに基づき和音又は分散和音を構成する音符を予め特定しておき、前記ステップＳ１８において、処理対象の音符が前記予め特定された和音又は分散和音を構成する音符か否かを判定することにより行う。これにより、楽譜画像上において和音又は分散和音の部分を他の部分とは区別して明示することができる。これにより、楽曲の演奏学習効果が向上することを期待できる。
【００５４】
また、別の一実施形態として、音高情報の示す音高が幹音である場合及び派生音である場合とで、変更後の表示態様を異ならせるようにしてもよい。この場合、幹音の変更後の表示態様と派生音の変更後の表示態様を予め決めておき、ＣＰＵ１は、前記ステップＳ１８及び前記ステップＳ２２において、処理対象の押鍵イベントの音高情報ＫＤmに基づいて音高が幹音及び派生音のどちらであるかを判定し、判定結果に応じて幹音用又は派生音用の何れの表示態様に変更するかを決定し、該当する音符又は五線上の位置の表示態様を該決定された表示態様に変更する。このように、白鍵に対応する幹音と黒鍵に対応する派生音とで表示態様を違えることで、楽曲の楽譜画像にシャープ、フラットなどの変化記号がある場合の楽譜読解が簡便になる。
【００５５】
また、例えば、楽譜上で変化記号（調号又は臨時記号）より音高を半音上げる又は下げるように指定された音符に関して、ユーザが誤って半音ずらさない幹音の音高を押鍵した場合など、ユーザの押鍵が或る音符の変化記号への対応を誤った場合、ＣＰＵ１は、その音符を前記ステップＳ１８で変更される「音符の表示態様」とは更に別の表示態様に変更するようにしてもよい。例えば、ＣＰＵ１は、前記処理対象の音符の音高ＫＣm、又は、押鍵イベントの音高情報ＫＤmが派生音である場合、前記ステップＳ１７において、ＫＣm及びＫＤmの音高が一致しない場合に更に、ＫＣm及びＫＤmの幹音の音名が一致するかどうかを判断する。ＫＣm及びＫＤmの音高が不一致であるが幹音の音名が一致する場合、ユーザの押鍵が変化記号への対応を誤ったものと判断できる。そして、ＫＣm及びＫＤmの幹音の音名が一致した場合、当該処理対象の音符の表示態様を、前記ステップＳ１８の音符の表示態様の変更とは更に別の表示態様に変更するとよい。例えば、音符が「ド  シャープ」を示しており、音高情報ＫＤmが「ド」であった場合、ＣＰＵ１は、「ド  シャープ」の音符を、更に別の表示態様に変更する。これにより、押鍵が変化記号への対応を誤っていることを、ユーザに知らせることができる。このことは、楽譜に変化記号（調号又は臨時記号）がある楽曲の練習に効果的である。また、変形例として、ＣＰＵ１は、処理対象の音符が臨時記号を持つ場合、該臨時記号の効果が及ぶ時間方向の範囲内の各音符に対して、前記ステップＳ１７にて、ＫＣm及びＫＤmの音高が不一致の場合に更に、ＫＣm及びＫＤmの幹音の音名が一致するかどうかを判断を行うようにしてもよい。すなわち、本明細書において、「音高情報の示す音高に一致する音符」とは、「幹音の音名が一致する音符」、すなわち、変化記号を持つ音符に関して半音のズレを許容して音高の一致と判断されたものを含む。
【００５６】
更に、前記ステップＳ１８及び前記Ｓ２２による表示態様の変更の別の実施形態として、ＣＰＵ１は、該当する音符及び五線上の位置を、当該楽曲のオンスケールに該当するか否かに応じて、異なった表示態様に変更するようにしてもよい。例えば、前記ステップＳ１８の処理において、現在の押鍵に一致する楽譜上の音符の表示態様を変更する場合、該音符が当該楽曲のスケールノートであるか否かを判定し、スケールノートである場合とそうでない場合とで異なる変更形態（例えば色相あるいは明度の変化又は点滅の有無等）で表示態様の変更を行うようにしてよい。また、前記ステップＳ２２の処理において、現在の押鍵が楽譜上の音符に一致していないことにより、五線上の位置（押鍵音高位置）表示態様を変更する場合、該位置（押鍵音高位置）が当該楽曲のスケールノートの位置であるか否かを判定し、スケールノートの位置である場合とそうでない場合とで異なる変更形態（例えば色相あるいは明度の変化又は点滅の有無等）で表示態様の変更を行うようにしてよい。これにより、ユーザによる押鍵演奏がオンスケール上の演奏（例えばオンスケール上のアドリブ演奏）であるかどうかをビジュアルに示すことができる。さらに、さらに、この変形例として、種々の音階毎に異なる変更形態（例えば色相あるいは明度の変化又は点滅の有無等）で表示態様の変更を行うようにしてもよい。例えば、ハ長調音階では、現在の押鍵が楽譜上の音符に一致している場合に水色の色相を音符表示に使用し、現在の押鍵が楽譜上の音符に一致していないがオンスケールである場合に水色の色相を五線譜上の位置表示に使用し、他方、ヘ長調では、現在の押鍵が楽譜上の音符に一致している場合に赤色の色相を音符表示に使用し、現在の押鍵が楽譜上の音符に一致していないがオンスケールである場合に赤色の色相を五線譜上の位置表示に使用する、といったような各種音階毎の表示態様変更形態の使い分けをしてよい。
【００５７】
また、前記ステップＳ１８及び前記Ｓ２２による表示態様の変更の更に別の実施形態として、ＣＰＵ１は、音符及び五線上の位置を、押鍵タイミング毎に異なった表示態様に変更するようにしてもよい。すなわち、ＣＰＵ１は、過去ｎ回分の押鍵により指定された複数の音高の情報を適宜のメモリ２，３又は８に保持しておき、該過去ｎ回分の押鍵により指定された複数の音高に対応する各音符及び／又は五線上の各位置を、それぞれ異なった表示態様に変更する。例えば、ユーザが「ド」、「ミ」、「ソ」の３つの鍵を順次押鍵した場合、「ド」、「ミ」、「ソ」に対応する各音符及び／又は五線上の各位置が、それぞれ異なった表示態様に変更される。この場合、過去ｎ回分の押鍵について時間順に変更後の表示態様を予め決めておき、ＣＰＵ１は、前記ステップＳ１８及び前記ステップＳ２２において、押鍵の時間順に変更後の表示態様を決定し、処理対象の音高の音符及び／又は五線上の位置を、該決定された表示態様に変更する。
【００５８】
また、一実施形態において、前記図１２のステップＳ２６〜Ｓ３６に示す音符等の表示態様を通常状態に戻す処理は、前記図１２の説明のように離鍵イベントの検出タイミングで実行されるのでなく、例えば、離鍵イベントのタイミグから所定時間経過後に行われてもよい。更に、別の例として、音符等の表示態様を通常状態に戻す処理は、音符等の表示形態が変更された時点（すなわち押鍵タイミング）から所定時間経過後に行われるようにしてもよい。
【００５９】
前記図２〜前記図１２に示す一実施形態では、表示装置６の１画面中に１つの楽曲の楽譜画像の全体が表示されることを想定した。別の実施形態として、表示装置６の１画面中に、１楽曲分の楽譜画像の一部のみが表示されてもよい。すなわち、本明細書において「楽譜画像」とは、１曲分の楽譜画像の全体みならず、楽譜画像の一部を含む。例えば、１曲分の楽譜画像が複数ページからなる場合、ＣＰＵ１は、前記ステップＳ１２において、該複数ページのうち１ページ分の楽譜画像を表示する。この場合、ＣＰＵ１は、音符レジスタに各音符Ｎｎの音高情報ＫＣを格納する際に、表示装置６の１画面に表示される１ページ分の楽譜画像内の最後に出現する音符ＮＬの音高を格納するレジスタ番号Ｎｎを特定しておくか、或いは、表示された１ページ分の楽譜画像内の音符の音高情報のみを音符レジスタに格納する。前記ステップＳ２０及び前記ステップＳ３１において、ＣＰＵＩ１は、音符レジスタに格納されたデータに基づき、１ページ分の楽譜画像内の最後の音符ＮＬまで処理し終えたかどうかを確認し、１ページ分の音符画像内の全ての音符を処理したかどうかを判断する。そして、ＣＰＵ１は、前記ステップＳ１８及び前記ステップＳ２２において、１ページ分の音符画像内の音符及び／又は五線上の位置の表示態様を変更する。すなわち、ＣＰＵ１は、表示中の楽譜画像の一部に含まれる音符のうち、押鍵された音高に一致するものを識別し、前記楽譜画像の一部に含まれる音符のうちの、該押鍵された音高に対応する音符又五線上の位置の表示態様を変更する。
【００６０】
別の実施形態として、表示装置６の１画面中に、複数ページからなる楽譜画像のうち、見開き２ページを表示してもよい。また、更に別の例として、楽譜画像の一部分を表示することは、２段組の五線譜からなる大譜表のうち１段分のみを表示すること、楽譜画像の一部をユーザが拡大表示すること、などであってもよい。更に、ユーザの演奏に追従して該演奏箇所に対応する楽譜画像の一部を表示装置６に表示する楽譜追跡機能と連動して、該押鍵された音高に対応する音符又五線上の位置の表示態様を変更するようにしてもよい。ユーザが現在演奏中の箇所に対応する楽譜画像の一部は、例えば、ユーザが現在演奏中の箇所に対応する楽譜画像中の一行、或いは、１小節、或いは、現在演奏箇所前後ｎ個の音符などである。なお、楽譜追跡機能は、例えば特開２０１５‐０７９１８３号公報などに開示された周知技術である。
【００６１】
また、前記図７のステップＳ１７の別の実施形態として、ＣＰＵ１は、前記ステップＳ１７において、押鍵された音高（処理対象の音高情報ＫＤm）に一致する音符がある場合、該一致する音符の表示態様を変更し、且つ、該押鍵された音高に対応する五線上の位置の表示態様を変更するようにしてもよい。この場合、ユーザが押鍵すると、押鍵された音高に一致する音符の表示態様が変更されるとともに、当該音高に対応する五線上の位置の表示態様も変更される。
【００６２】
更に、前記図７のステップＳ１７の別の実施形態として、押鍵された音高（処理対象の音高情報ＫＤm）に一致する音符がある場合に、該一致する音符の表示態様の変更を行わずに、該押鍵された音高に対応する五線上の位置の表示態様を変更するようにしてもよい。すなわち、押鍵された音高（処理対象の音高情報ＫＤm）に一致する音符が存在している場合であって、その音符の表示態様の変更を行わずに、楽譜画像の音符以外の部分の表示態様の変更を行うように処理を構成してもよい。その場合、押鍵された音高に対応する五線上の位置の表示態様が変更されることにより、楽譜画像内の音符と押鍵された音高の対応関係を視覚的に確認できる。
【００６３】
更に別の実施例として、楽譜上の複数の音符の時系列にマッチした正しい時系列的押鍵操作が行われたかどうかを判定し、そのような正しい時系列的押鍵操作が行われた場合に、楽譜上の当該複数の音符に関連して特別の表示態様（当該複数の音符を際立たせる表示態様）で表示を行うようにしてもよい。図１４は、そのような実施例を示すフローチャートである。図１４は、図７の変形例として描かれており、図７に示されたステップと同一符号は同一機能のステップを示しているので、それらについては重複説明を省略する。図１４の実施例においては、図１５に示すような押鍵履歴バッファＺを更に利用する。押鍵履歴バッファＺにおいては、レジスタＺ（０）において連続一致数を示す変数ｉを記憶する。変数ｉの初期値は０である。押鍵履歴バッファＺにおける複数のレジスタＺ（−１），Ｚ（−２），Ｚ（−３），・・・には、楽譜上の複数の音符の時系列にマッチした正しい時系列的押鍵操作に対応する音高情報ＫＤ（−１），ＫＤ（−２），ＫＤ（−３），・・・を時系列順に記憶する。これらの音高情報ＫＤ（−１），ＫＤ（−２），ＫＤ（−３），・・・の初期値は、すべて０である。
【００６４】
図１４において、ステップＳ１８とＳ１９との間にステップＳ４０〜Ｓ４３が挿入され、ステップＳ２１のＮＯ分岐ルートにステップＳ４４、Ｓ４５、Ｓ４６が挿入され、ステップＳ２２とＳ２３との間にステップＳ４７が挿入されている。前記ステップＳ１７で、現在処理中の押鍵に係る音高情報ＫＤｍが楽譜上の音符ＫＣｎと一致している判断されると、前記ステップＳ１８の処理を経て、ステップＳ４０に進む。ステップＳ４０において、ＣＰＵ１は、レジスタＺ（０）に記憶している変数ｉが０又は所定の最大値ＭＡＸ（例えば３１）であるかを調べる。ステップＳ４０においてｉが０であると判断されたならば、ステップＳ４０のＹＥＳから前記ステップＳ１９に進む。前記ステップＳ１９、Ｓ２０の処理を経て、前記ステップＳ２１でＮＯと判断されると、ステップＳ４４に進む。ステップＳ４４において、ＣＰＵ１は、押鍵履歴バッファＺの内容を更新する。具体的には、変数ｉの値を１増加し、かつ、各レジスタＺ（−１），Ｚ（−２），Ｚ（−３），・・・の内容を順次下位にシフトし、最上位のレジスタＺ（−１）に現在処理中の音高情報ＫＤｍを記憶する。すなわち、Ｚ（−３）の内容が次段のＺ（−４）にシフトされ、Ｚ（−２）の内容が次段のＺ（−３）にシフトされ、Ｚ（−１）の内容が次段のＺ（−２）にシフトされ、空いたＺ（−１）に音高情報ＫＤｍが記憶される。例えば、すべてのレジスタＺ（−１），Ｚ（−２），Ｚ（−３），・・・の内容が０のときは、最上位のレジスタＺ（−１）のみに現在処理中の音高情報ＫＤｍが記憶される。この最上位のレジスタＺ（−１）に音高情報ＫＤｍが記憶されたということは、該音高情報ＫＤｍが楽譜上の前記音符ＫＣｎと一致していることを意味している。レジスタＺ（−１）に記憶された音高情報をＫＤ（−１）と表すことにする。これは、次の機会に新たな音高情報ＫＤｍに関する処理を行うとき、その１つ前の音高情報ＫＤｍがレジスタＺ（−１）に記憶されていることを示す。同様に、レジスタＺ（−２），Ｚ（−３），・・・に記憶された音高情報をＫＤ（−２），ＫＤ（−３），・・・等と表すことにする。これは、次の機会に新たな音高情報ＫＤｍに関する処理を行うとき、その２つ前、３つ前，・・・等の音高情報ＫＤｍが各レジスタＺ（−２），Ｚ（−３），・・・に順に記憶されていることを示す。音高ステップＳ４４の次に、ステップＳ４５、Ｓ４６の処理を行い、前記ステップＳ２３に進む。これらのステップＳ４５、Ｓ４６については後述する。
【００６５】
前記ステップＳ４４において前記変数ｉの値が１増加されると、次の機会に前記ステップＳ４０の処理を行うとき、ｉの値がＭＡＸでなければ、該ステップＳ４０はＮＯに分岐し、ステップＳ４１に進む。該ステップＳ４１において、ＣＰＵ１は、現在のｎの値に応じた楽譜上の音符ＫＣｎからそれよりもｉ値だけ前の楽譜上の音符ＫＣｎ−ｉまでの音符群の音高配列（これを、「ＫＣｎ〜ＫＣｎ−ｉ」で示す）と、現在の音高情報ＫＤｍと押鍵履歴バッファＺのレジスタＺ（−１）からｉ値に応じたＺ（−ｉ）までに記憶されている音高情報ＫＤ（−１）〜ＫＤ（−ｉ）とを比較し、全てがマッチ（一致）しているかどうかを判定する。すなわち、直近のｉ＋１個の押鍵操作に対応する音高情報ＫＤｍ及びＫＤ（−１）〜ＫＤ（−ｉ）の配列に一致する音高配列からなる音符群が楽譜上に存在していれば、ステップＳ４１はＹＥＳと判定される。例えば、時系列的に順次に押鍵された音高が「ド、ミ、ソ」である場合に、楽譜上の音符群として「ド、ミ、ソ」からなる時系列的音高配列が存在していれば、ステップＳ４１はマッチしていると判定する。従って、ステップＳ４１は、前記取得された音高情報によって示される複数の時系列的な音高が前記楽譜画像に含まれる複数の時系列的な音符にマッチするか否かを判定する判定部として機能する。
【００６６】
次に、ステップＳ４２において、ＣＰＵ１は、ステップＳ４１でマッチしていると判定された楽譜上の音高配列「ＫＣｎ〜ＫＣｎ−ｉ」に係る音符群を区別する（際立たせる）ための特別の表示態様（便宜的に、これを「コンボ表示」という）で表示する。例えば、前記図９あるいは図１０に示すようなメロディラインからなる楽譜画像が表示されるケースにおいて、１番目と２番目の音符Ｎ１、Ｎ２に対応して正しい押鍵操作が順次行われたならば、図１６（ａ）に示すように、これら２つの音符Ｎ１、Ｎ２の表示態様を特別の態様つまり「コンボ表示」（一例として、これら２つの音符Ｎ１、Ｎ２を点線Ｄ１で囲むことからなる表示）で表示する。ステップＳ４２は、前記ステップＳ４１でマッチすると判定されたならば、楽譜画像に表示された前記複数の時系列的な音符を際立たせるための表示を行う制御部として機能する。
【００６７】
次に、ステップＳ４３において、ＣＰＵ１は、コンボ表示フラグＣＢＦをＯＮにセットし、その後、ステップＳ１９に進む。ステップＳ１９からステップＳ２０に進み、楽譜画像内に出現するｚ個の全ての音符に対して処理を終えるまで、ステップＳ２０のｎｏからステップＳ１７に戻り、ステップＳ１７〜Ｓ２０を繰り返す。図１６（ａ）の例の場合、音符Ｎ２に対応して「ソ」が押鍵されているので、前記ステップＳ１８の処理によって「ソ」に対応する音符Ｎ１，Ｎ２，Ｎ４，Ｎ７の表示態様が変更される。
【００６８】
ステップＳ２０のｙｅｓからステップＳ２１に進み、今回の押鍵情報ＫＤｍ（図１６（ａ）の例の場合はＮ２に対応する押鍵「ソ」）に一致する音符があったことが確認されると、前記ステップＳ４４に進み、前記押鍵履歴バッファＺの内容を更新する。この更新により、図１６（ａ）の例の場合は、レジスタＺ（−１）に現在処理中の音高情報ＫＤｍとして「ソ」の情報が記憶され、レジスタＺ（−２）に直前の音高情報ＫＤ（−１）として「ソ」の情報が記憶される。
【００６９】
次に、ステップＳ４５においては、コンボ表示フラグＣＢＦがＯＦＦであれば、コンボ表示をクリアし、かつ、レジスタＺ（−１）を除く前記押鍵履歴バッファＺの内容をクリアする。図１６（ａ）の例の場合は、前記ステップＳ４３でコンボ表示フラグＣＢＦがＯＮにセットされたため、ステップＳ４５におけるクリア処理は行われない。すなわち、今回の押鍵に応じてコンボ表示がなされた場合は、コンボ表示が維持され、かつ、更新された押鍵履歴バッファＺの内容が維持される。ステップＳ４５の後、ステップＳ４６に進む。ステップＳ４６では、コンボ表示フラグＣＢＦをＯＦＦにリセットし、前記ステップＳ２３に進む。
【００７０】
以上の処理により、１番目と２番目の音符Ｎ１、Ｎ２に対応して正しい押鍵操作が順次行われたならば、図１６（ａ）に示すようなコンボ表示が行われ、維持される。
【００７１】
次に、３番目の押鍵操作がなされ、これが３番目の音符Ｎ３に対応する正しい押鍵（ド）であるならば、前記ステップＳ４１において、ｎ＝３のときの楽譜上の音符列ＫＣｎ，ＫＣｎ−１，ＫＣｎ−２（ド、ソ、ソ）と、現在の音高情報ＫＤｍとその直前及び２つ前の音高情報ＫＤ（−１），ＫＤ（−２）（ド、ソ、ソ）とを比較し、全てがマッチ（一致）していると判定する。これに応じて、ステップＳ４２により、図１６（ｂ）に示すようなコンボ表示Ｄ２が行われ、かつ、ステップＳ４３により、コンボ表示フラグＣＢＦがＯＮにセットされる。その後、ステップＳ４４により、前記押鍵履歴バッファＺの内容が更新される。以上により、１、２、３番目の音符Ｎ１、Ｎ２、Ｎ３に対応して正しい押鍵操作が順次行われたならば、図１６（ｂ）に示すようなコンボ表示が行われ、維持される。
【００７２】
次に、４番目の押鍵操作がなされ、これが４番目の音符Ｎ４に対応する正しい押鍵（ソ）ではないが、楽譜上には存在する鍵（例えばファ）であるならば、図１６（ｃ）に示すように、ステップＳ１８の処理により楽譜上の音符Ｎ８の表示態様が変更され、かつ、ステップＳ４４、Ｓ４５の処理により、コンボ表示Ｄ２がクリアされると共に、押鍵履歴バッファＺのレジスタＺ（−１）の内容のみが現在処理中の音高情報ＫＤｍで更新され、かつ、その他の押鍵履歴バッファＺの内容がクリアされる。すなわち、コンボ表示フラグＣＢＦがＯＦＦのままであるため、ステップＳ４５においてコンボ表示とバッファＺのクリアが行われる。
【００７３】
一方、４番目の押鍵操作がなされ、これが４番目の音符Ｎ４に対応する正しい押鍵（ソ）ではなく、かつ、図１６の例において楽譜上にも存在しない鍵（例えばレ）であるならば、ステップＳ２１がｙｅｓに分岐し、前記ステップＳ２２により所定の表示態様変更を行った後、ステップＳ４７に進む。ステップＳ４７においては、それまで維持されていたコンボ表示Ｄ２をクリアし、かつ、前記押鍵履歴バッファＺの内容をすべてクリアする。その後、前記ステップＳ２３に進む。
【００７４】
以上述べたような図１４の実施例によれば、ユーザによる時系列的押鍵操作の正しさを可視的に表示することができるので、ユーザの楽器演奏へのモチベーションを上げることができ、また、ユーザが演奏した時系列的な音階変化パターンが楽譜上のどこに存在するかをビジュアルに提示することができので、ユーザが楽曲構成を理解するのに役立つ。また、同じ音階変化パターンが楽譜上の複数箇所に存在する場合、該楽譜上の複数個所でコンボ表示が行われるので、ユーザが興味を持つ特徴的な音階変化パターンが楽譜上でどのように配置されているかをユーザのインタラクティブな操作に応じて視覚的に表示できる、という効果がある。なお、図１４の実施例において、コンボ表示のみを行う場合は、ステップＳ１８及び／又はＳ２２の処理を省略してもよい。
【００７５】
また、別の実施形態において、表示部１０２、取得部１０４、識別部１０６及び表示制御部１０８のうち少なくともいずれか１つの機能を、電子鍵盤楽器２００とは別の装置が担い、電子鍵盤楽器２００と該別の装置が協働するシステムにより、本願発明に係る演奏補助装置１００が構成されてよい。複数の装置の間で分担する機能（表示部１０２、取得部１０４、識別部１０６及び表示制御部１０８）の組み合わせは、どのような組み合わせでもよい。
【００７６】
例えば、周辺機器Ｉ／Ｆ９を介して接続されたｉ  Ｐａｄ（登録商標）等の周辺機器１６に備わる表示装置に、楽譜画像を表示するように構成してもよい。この場合、例えば、電子鍵盤楽器２００が取得部１０４、識別部１０６及び表示制御部１０８の機能を担い、周辺機器１６が表示部１０２の機能を担う。電子鍵盤楽器２００のＣＰＵ１は、前記ステップＳ１２において、メモリ２，３又は８から読み出した楽譜データを、周辺機器Ｉ／Ｆ９を介して、ｉ  Ｐａｄ（登録商標）等の周辺機器１６に送信する。周辺機器１６は、受信した楽譜データに基づく楽譜画像を、自身に備わる表示装置に表示する。電子鍵盤楽器２００のＣＰＵ１は、鍵盤操作に応じて、押鍵された鍵の音高に対応する音符又は五線上の位置の表示態様を変更するための処理（前記図７、前記１２）を行い、処理結果に応じた表示態様変更指示を、周辺機器１６に送信する。周辺機器１６は、受信した表示態様変更指示に基づき、自身に備わる表示装置に表示された楽譜画像内の音符又は五線上の位置の表示態様を変更する。なお、この場合、楽譜データは、ｉ  Ｐａｄ（登録商標）等の周辺機器１６に備わるメモリに記憶されてもよい。
【００７７】
別の実施形態として、電子鍵盤楽器２００が取得部１０４の機能を担い、ｉ  Ｐａｄ（登録商標）等の周辺機器１６が表示部１０２、識別部１０６及び表示制御部１０８の機能を担うようにしてもよい。この場合、電子鍵盤楽器２００は、鍵操作に応じた音高情報を、周辺機器Ｉ／Ｆ９を介して、ｉ  Ｐａｄ（登録商標）等の携帯端末（周辺機器１６）に送信する。ｉ  Ｐａｄ（登録商標）等の周辺機器１６は、受信した音高情報に基づき、自身の表示装置に表示された楽譜画像内の音符又は五線上の位置の表示態様を変更する処理を行う。
【００７８】
また、別の実施形態において、音高情報の入力の機能を、該電子鍵盤楽器２００に外部接続された他の電子楽器（ＭＩＤＩ機器１７）やｉ  Ｐａｄ（登録商標）等の周辺機器１６が担うようにしてもよい。この場合、ユーザは、ＭＩＤＩ機器１７に備わる演奏操作子や、或いは、例えばｉ  Ｐａｄ（登録商標）等の表示装置に表示されたＧＵＩ操作子画像を用いて演奏操作を行う。ＭＩＤＩ機器１７や周辺機器１６は該演奏操作に応じて音高情報を発生する。電子鍵盤楽器２００は、該ＭＩＤＩ機器１７や周辺機器１６で発生された音高情報を取得し、取得下音高情報に基づいて、楽譜画像内の音符又は五線上の位置の表示態様を変更する処理（識別部１０６及び表示制御部１０８の動作）を行う。
【００７９】
また、音高情報の入力を行う演奏操作子の形式は、鍵盤形式に限らない。ＭＩＤＩ形式の演奏情報を音高情報として入力できさえすれば、例えば、いわゆるウインドシンセサイザーのような管楽器型、パッドを打撃するパッド型、ギター型など、どのような形式の演奏操作子でもよい。
【００８０】
複数の装置が協働するシステムにより演奏補助装置１００を構成する一例として、電子鍵盤楽器２００に外部接続された或る周辺機器１６の表示装置に楽譜画像を表示し、電子鍵盤楽器２００に外部接続された別の周辺機器１６の表示装置に表示されたＧＵＩ操作子画像を用いて音高情報を入力し、電子鍵盤楽器２００が楽譜画像内の音符又は五線上の位置の表示態様を変更する処理を行うように構成してよい。
【００８１】
また、別の実施形態において、音高情報は、自然楽器において発生されたオーディオ信号に基づく音高情報であってよい。すなわち、取得部１０４の機能を担う装置（電子鍵盤楽器２００、又は、周辺機器１６、ＭＩＤＩ機器１７等）は、自然楽器から発生されたオーディオ信号を取り込み、該取り込んだオーディオ信号に対して周知のピッチ検出処理及び音長検出処理を行い、該ピッチ検出処理及び音長検出処理に基づき例えばＭＩＤＩ形式の音高情報（ノートイベント）を生成する。なお、周知のピッチ検出処理としては、例えば特開２００８‐０５８７５３号公報に開示されたような、オーディオ信号に含まれる略同時に発音された複数音の各音のピッチをそれぞれ抽出する複音ピッチ抽出技術を用いてもよい。自然楽器は、例えばサキソフォン、ギター、アコースティックピアノなど、どのようなタイプの自然楽器でもよい。別の例として、取得部１０４が取り込むオーディオ信号は、ユーザが発声した音声信号であってもよい。付加的機能として、取得部１０４が取り込んだ音声信号から得た音高情報（ノートイベント）に基づき楽譜を作成するようにしてもよい。これにより、ユーザが任意に歌った曲の楽譜を作成することができる。
【００８２】
更に、別の実施形態において、楽譜画像は、表示装置６に起動したＷｅｂブラウザ内に表示されるようにしてもよい。すなわち、電子鍵盤楽器２００は、表示装置６にＷｅｂブラウザを起動し、且つ、通信Ｉ／Ｆ１１を介して通信ネットワーク１８上のサーバコンピュータにアクセスし、サーバコンピュータに対して所望の楽曲の楽譜画像を表示することを要求する。サーバコンピュータは、複数の楽曲の楽譜データを保持しており、電子鍵盤楽器２００からの要求に応じて楽譜データを送信する。電子鍵盤楽器２００は、受信した楽譜データに基づく楽譜画像を、前記Ｗｅｂブラウザ内に表示する。そして、電子鍵盤楽器２００のＣＰＵ１は、鍵盤操作に応じて、押鍵された鍵の音高に対応する音符又は五線上の位置の表示態様を変更する。別の実施形態では、サーバコンピュータが識別部１０６及び表示制御部１０８の機能を担ってもよい。その場合、電子鍵盤楽器２００は、鍵盤操作に応じた音高情報をサーバコンピュータに送信する。サーバコンピュータは、受信した音高情報に基づいて、音符又は五線上の位置の表示態様を変更するための処理を行い、該処理結果に応じた表示態様の変更を行うように、電子鍵盤楽器２００に指示する。該指示に応じて、電子鍵盤楽器２００は、Ｗｅｂブラウザに表示された楽譜画像内の音符又は五線上の位置の表示態様を変更する。
【００８３】
なお、楽譜画像の表示（表示部１０２の機能）及びサーバコンピュータへのアクセスは、電子鍵盤楽器２００が行わずに、例えばｉ  Ｐａｄ（登録商標）や、パーソナルコンピュータ等の周辺機器１６が行ってもよい。
【００８４】
以上、この発明の一実施形態を説明したが、この発明は上記実施形態に限定されるものではなく、特許請求の範囲、及び明細書と図面に記載された技術的思想の範囲内において種々の変形が可能である。
【００８５】
例えば、楽譜画像は、五線譜に限らず、或る楽曲を構成する各音を時間軸及び音高軸上に配置した楽譜画像でさえあれば、例えば、コード譜、タブ譜やドラム譜など、どのような種類の楽譜でもよい。なお、コード譜は、コード（和音）を示す記号が時間方向に配置された楽譜である。コード譜の場合、ＣＰＵ１は、前記ステップＳ１６〜Ｓ２５において、例えばユーザにより演奏されたコードなど、取得されたコードに一致するコード譜内のコード記号の表示態様を変更し、一致するコード記号が存在しない場合は、例えばコード譜の背景部分などコード記号以外の部分の表示態様を変更する。コード演奏音を表すオーディオ信号に基づく音高情報を取得する場合、前記特開２００８‐０５８７５３号公報に開示されたような、複音ピッチ抽出技術を用いるとよい。また、五線譜等の楽譜画像は、楽曲を構成する各音の音符を、例えば幼児等に向けて動物等の絵柄で表現したものでもよい。
【００８６】
また、表示装置６に表示される楽譜画像は、例えば画面下側など適宜の箇所に、例えば「ドレミファソラシド」等、全音階の各音名や変化記号等を表示する領域を有していてもよい。この領域は、普段は何も表示されないが、押鍵等により音高情報が取得されたときに、該取得された音高情報に応じた音名等を表示するように構成される。前記ステップＳ２２の処理の別の例として前述した「楽譜画像の音符以外の部分の表示態様を変更」することや、「楽譜画像の音符以外の部分のうち、音高情報に対応する部分の表示態様を変更する」ことは、例えば、この領域に音名を表示すること、或いは、この領域に表示された音名を、一致する音符がある場合とは別の表示態様で表示することを含む。
【００８７】
また、例えば、この発明の演奏補助装置は、例えばｉ  Ｐａｄ（登録商標）等やパーソナルコンピュータなど、ハードウェア的な演奏操作子を具備しない装置（すなわち、楽器ではない装置）により構成されてもよい。また、楽譜データは、例えば単なる画像データなど、前記の音符データを持たないデータであってもよい。この場合、各音符の音高情報ＫＣは、例えば楽譜データに基づく楽譜画像を分析する等、何らかの方法で取得し得る。また、この場合、音符等の表示態様の変更は、たとえば、該当箇所の表示態様を変更した楽譜画像を示す画像データを生成することにより行い得る。
【００８８】
また、この発明は、装置の発明として構成及び実施するのみならず、楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づく楽譜画像を表示部に表示するステップと、１又は複数の音高を示す音高情報を取得するステップと、前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別するステップと、前記取得された音高情報の示す音高に一致する音符がある場合、該音高情報の示す音高に一致する全ての音符の表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分の表示態様を変更するステップを備える演奏補助方法の発明として構成及び実施されてもよい。
【００８９】
また、この発明は、コンピュータに、楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づく楽譜画像を表示部に表示するステップと、１又は複数の音高を示す音高情報を取得するステップと、前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別するステップと、前記取得された音高情報の示す音高に一致する音符がある場合、該音高情報の示す音高に一致する全ての音符の表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分の表示態様を変更するステップを実行させるためのプログラムの発明として構成及び実施されてもよい。
【図１】
2017043228.tif 000003
【図２】
2017043228.tif 000004
【図３】
2017043228.tif 000005
【図４】
2017043228.tif 000006
【図５】
2017043228.tif 000007
【図６】
2017043228.tif 000008
【図７】
2017043228.tif 000009
【図８】
2017043228.tif 000010
【図９】
2017043228.tif 000011
【図１０】
2017043228.tif 000012
【図１１】
2017043228.tif 000013
【図１２】
2017043228.tif 000014
【図１３】
2017043228.tif 000015
【図１４】
2017043228.tif 000016
【図１５】
2017043228.tif 000017
【図１６】
2017043228.tif 000018
【手続補正書】
【提出日】平成28年12月29日(2016.12.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づいて、楽譜画像を表示する表示装置と、
１又は複数の音高を示す音高情報を取得する取得部と、
前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別する識別部と、
前記取得された音高情報の示す音高に一致する音符がある場合、前記楽譜画像における該音高情報の示す音高に一致する音符の音符画像そのものの表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分のうち、該音高情報の示す音高に対応する音高軸上の位置を示す部分の表示態様を時間軸に沿って変更する表示制御部
を備える演奏補助装置。
【請求項２】
（削除）
【請求項３】
前記楽譜画像は、前記楽曲を構成する各音に対応する音符を五線上に配置した五線譜からなる楽譜画像である、請求項１に記載の演奏補助装置。
【請求項４】
前記表示制御部は、前記音高情報の示す音高に一致する音符がない場合、該音高情報の示す音高に対応する前記五線上の特定の線又は線間の表示態様を変更するものである、請求項３に記載の演奏補助装置。
【請求項５】
前記取得された音高情報によって示される複数の時系列的な音高が前記楽譜画像に含まれる複数の時系列的な音符にマッチするか否かを判定する判定部と、
マッチすると判定されたならば、楽譜画像に表示された前記複数の時系列的な音符を際立たせるための表示を行う制御部
を更に備える請求項１乃至４のいずれかに記載の演奏補助装置。
【請求項６】
前記表示制御部は、前記取得された音高情報の示す音高が前記楽曲のスケールノートであるか否かを判定し、スケールノートであるか否かに応じて異なる形態で、前記一致する音符の表示態様を変更し、かつ、前記楽譜画像における音符以外の部分の表示態様を変更するものである、請求項１乃至５のいずれかに記載の演奏補助装置。
【請求項７】
楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づく楽譜画像を表示装置に表示することと、
１又は複数の音高を示す音高情報を取得することと、
前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別することと、
前記取得された音高情報の示す音高に一致する音符がある場合、前記楽譜画像における該音高情報の示す音高に一致する音符の音符画像そのものの表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分のうち、該音高情報の示す音高に対応する音高軸上の位置を示す部分の表示態様を時間軸に沿って変更すること
からなる演奏補助方法。
【請求項８】
非一過性のコンピュータ読み取り可能な記憶媒体であって、
楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づく楽譜画像を表示装置に表示することと、
１又は複数の音高を示す音高情報を取得することと、
前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別することと、
前記取得された音高情報の示す音高に一致する音符がある場合、前記楽譜画像における該音高情報の示す音高に一致する音符の音符画像そのものの表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分のうち、該音高情報の示す音高に対応する音高軸上の位置を示す部分の表示態様を時間軸に沿って変更すること
からなる演奏補助方法を実行するためにプロセッサにより実行可能な命令群を記憶している、記憶媒体。
【請求項９】
前記表示制御部は、前記取得された音高情報の示す音高に一致する音符がある場合、前記楽譜画像における該音高情報の示す音高に一致する音符の音符画像の一部分のみを変更することにより、該一致する音符の表示態様を変更する、請求項１乃至６のいずれかに記載の演奏補助装置。
【請求項１０】
前記表示制御部は、前記楽譜画像における該音高情報の示す音高に一致する音符の音符画像中の符頭の表示態様を変更する、請求項９に記載の演奏補助装置。
【請求項１１】
前記表示制御部は、前記取得された音高情報の示す音高に一致する音符がある場合、前記楽譜画像において、該音高情報の示す音高に対応する音高軸上の位置を示す部分の表示態様を変更することなく、該音高情報の示す音高に一致する音符の音符画像そのものの表示態様を変更する、請求項１乃至６、９及び１０のいずれかに記載の演奏補助装置。
【請求項１２】
楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づいて、楽譜画像を表示する表示装置と、
１又は複数の音高を示す音高情報を取得する取得部と、
前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別する識別部と、
前記取得された音高情報の示す音高に一致する音符がある場合、該音高情報の示す音高に一致する音符の表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分の表示態様を変更する表示制御部と、
前記取得された音高情報によって示される複数の時系列的な音高が前記楽譜画像に含まれる複数の時系列的な音符にマッチするか否かを判定する判定部と、
マッチすると判定されたならば、楽譜画像に表示された前記複数の時系列的な音符を際立たせるための表示を行う制御部
を備える演奏補助装置。
【請求項１３】
楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づく楽譜画像を表示装置に表示することと、
１又は複数の音高を示す音高情報を取得することと、
前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別することと、
前記取得された音高情報の示す音高に一致する音符がある場合、該音高情報の示す音高に一致する音符の表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分の表示態様を変更することと、
前記取得された音高情報によって示される複数の時系列的な音高が前記楽譜画像に含まれる複数の時系列的な音符にマッチするか否かを判定することと、
マッチすると判定されたならば、楽譜画像に表示された前記複数の時系列的な音符を際立たせるための表示を行うこと
からなる演奏補助方法。
【請求項１４】
非一過性のコンピュータ読み取り可能な記憶媒体であって、
楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づく楽譜画像を表示装置に表示することと、
１又は複数の音高を示す音高情報を取得することと、
前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別することと、
前記取得された音高情報の示す音高に一致する音符がある場合、該音高情報の示す音高に一致する音符の表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分の表示態様を変更することと、
前記取得された音高情報によって示される複数の時系列的な音高が前記楽譜画像に含まれる複数の時系列的な音符にマッチするか否かを判定することと、
マッチすると判定されたならば、楽譜画像に表示された前記複数の時系列的な音符を際立たせるための表示を行うこと
からなる演奏補助方法を実行するためにプロセッサにより実行可能な命令群を記憶している、記憶媒体。
【手続補正書】
【提出日】平成29年8月9日(2017.8.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づいて、楽譜画像を表示する表示装置と、
１又は複数の音高を示す音高情報を取得する取得部と、
前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別する識別部と、
前記取得された音高情報の示す音高に一致する音符がある場合、前記楽譜画像における該音高情報の示す音高に一致する音符の音符画像そのものの表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合のみ、前記楽譜画像における音符以外の部分のうち、該音高情報の示す音高に対応する音高軸上の位置を示す部分の表示態様を時間軸に沿って変更する表示制御部
を備える演奏補助装置。
【請求項２】
（削除）
【請求項３】
前記楽譜画像は、前記楽曲を構成する各音に対応する音符を五線上に配置した五線譜からなる楽譜画像である、請求項１に記載の演奏補助装置。
【請求項４】
前記表示制御部は、前記音高情報の示す音高に一致する音符がない場合のみ、該音高情報の示す音高に対応する前記五線上の特定の線又は線間の表示態様を変更するものである、請求項３に記載の演奏補助装置。
【請求項５】
前記取得された音高情報によって示される複数の時系列的な音高が前記楽譜画像に含まれる複数の時系列的な音符にマッチするか否かを判定する判定部と、
マッチすると判定されたならば、楽譜画像に表示された前記複数の時系列的な音符を際立たせるための表示を行う制御部
を更に備える請求項１乃至４のいずれかに記載の演奏補助装置。
【請求項６】
前記表示制御部は、前記取得された音高情報の示す音高が前記楽曲のスケールノートであるか否かを判定し、スケールノートであるか否かに応じて異なる形態で、前記一致する音符の表示態様を変更し、かつ、前記楽譜画像における音符以外の部分の表示態様を変更するものである、請求項１乃至５のいずれかに記載の演奏補助装置。
【請求項７】
楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づく楽譜画像を表示装置に表示することと、
１又は複数の音高を示す音高情報を取得することと、
前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別することと、
前記取得された音高情報の示す音高に一致する音符がある場合、前記楽譜画像における該音高情報の示す音高に一致する音符の音符画像そのものの表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合のみ、前記楽譜画像における音符以外の部分のうち、該音高情報の示す音高に対応する音高軸上の位置を示す部分の表示態様を時間軸に沿って変更すること
からなる演奏補助方法。
【請求項８】
非一過性のコンピュータ読み取り可能な記憶媒体であって、
楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜両像を表示するための楽譜データに基づく楽譜画像を表示装置に表示することと、
１又は複数の音高を示す音高情報を取得することと、
前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別することと、
前記取得された音高情報の示す音高に一致する音符がある場合、前記楽譜画像における該音高情報の示す音高に一致する音符の音符画像そのものの表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合のみ、前記楽譜画像における音符以外の部分のうち、該音高情報の示す音高に対応する音高軸上の位置を示す部分の表示態様を時間軸に沿って変更すること
からなる演奏補助方法を実行するためにプロセッサにより実行可能な命令群を記憶している、記憶媒体。
【請求項９】
前記表示制御部は、前記取得された音高情報の示す音高に一致する音符がある場合、前記楽譜画像における該音高情報の示す音高に一致する音符の音符画像の一部分のみを変更することにより、該一致する音符の表示態様を変更する、請求項１乃至６のいずれかに記載の演奏補助装置。
【請求項１０】
前記表示制御部は、前記楽譜画像における該音高情報の示す音高に一致する音符の音符画像中の符頭の表示態様を変更する、請求項９に記載の演奏補助装置。
【請求項１１】
前記表示制御部は、前記取得された音高情報の示す音高に一致する音符がある場合、前記楽譜画像において、該音高情報の示す音高に対応する音高軸上の位置を示す部分の表示態様を変更することなく、該音高情報の示す音高に一致する音符の音符画像そのものの表示態様を変更する、請求項１乃至６、９及び１０のいずれかに記載の演奏補助装置。
【請求項１２】
楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づいて、楽譜画像を表示する表示装置と、
１又は複数の音高を示す音高情報を取得する取得部と、
前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別する識別部と、
前記取得された音高情報の示す音高に一致する音符がある場合、該音高情報の示す音高に一致する音符の表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分の表示態様を変更する表示制御部と、
前記取得された音高情報によって示される複数の時系列的な音高が前記楽譜画像に含まれる複数の時系列的な音符にマッチするか否かを判定する判定部と、
マッチすると判定されたならば、楽譜画像に表示された前記複数の時系列的な音符を際立たせるための表示を行う制御部
を備える演奏補助装置。
【請求項１３】
楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づく楽譜画像を表示装置に表示することと、
１又は複数の音高を示す音高情報を取得することと、
前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別することと、
前記取得された音高情報の示す音高に一致する音符がある場合、該音高情報の示す音高に一致する音符の表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分の表示態様を変更することと、
前記取得された音高情報によって示される複数の時系列的な音高が前記楽譜画像に含まれる複数の時系列的な音符にマッチするか否かを判定することと、
マッチすると判定されたならば、楽譜画像に表示された前記複数の時系列的な音符を際立たせるための表示を行うこと
からなる演奏補助方法。
【請求項１４】
非一過性のコンピュータ読み取り可能な記憶媒体であって、
楽曲を構成する各音を示す音符を時間軸及び音高軸上に配置した楽譜画像を表示するための楽譜データに基づく楽譜画像を表示装置に表示することと、
１又は複数の音高を示す音高情報を取得することと、
前記楽譜画像に含まれる音符のうち、前記取得された音高情報の示す音高に一致する音符を識別することと、
前記取得された音高情報の示す音高に一致する音符がある場合、該音高情報の示す音高に一致する音符の表示態様を変更し、また、前記取得された音高情報の示す音高に一致する音符がない場合、前記楽譜画像における音符以外の部分の表示態様を変更することと、
前記取得された音高情報によって示される複数の時系列的な音高が前記楽譜画像に含まれる複数の時系列的な音符にマッチするか否かを判定することと、
マッチすると判定されたならば、楽譜画像に表示された前記複数の時系列的な音符を際立たせるための表示を行うこと
からなる演奏補助方法を実行するためにプロセッサにより実行可能な命令群を記憶している、記憶媒体。
【国際調査報告】
2017043228.tif 000019
2017043228.tif 000020
2017043228.tif 000021
2017043228.tif 000022