(57)【特許請求の範囲】
【請求項１】
複数の画像および各画像の色彩属性のデータを記憶する画像記憶手段と、
複数の音から構成される曲のデータを記憶する曲データ記憶手段と、
前記曲データ記憶手段に記憶されている曲データの内容を分析して曲の印象を表すパラメータを抽出し、それを色彩属性に対応する値に変換する曲分析手段と、
前記画像記憶手段に記憶されている複数の画像それぞれの色彩属性のデータと、前記曲分析手段により変換された値との差分値を求め、その差分値が最小である画像を選択する画像選択手段と、
前記曲分析手段が分析した曲データに応じた楽譜の画像を表示するとともに、前記画像選択手段により選択された画像データを、対応する色彩属性に従って前記楽譜の背景画像として表示する画像表示手段と
を具備することを特徴とする楽譜表示装置。
【請求項２】
前記曲分析手段は、曲を構成する各音の音長、音高および音量の値を基にして曲の印象を表すパラメータを抽出することを特徴とする請求項１に記載の楽譜表示装置。
【請求項３】
前記色彩属性は、画像の明度、彩度および色相であることを特徴とする請求項１に記載の楽譜表示装置。
【請求項４】
複数の音から構成される曲のデータの内容を分析して曲の印象を表すパラメータを抽出し、それを色彩属性に対応する値に変換する曲分析処理と、
予め記憶されている複数の画像それぞれの色彩属性のデータと、前記曲分析処理により変換された値との差分値を求め、その差分値が最小である画像を選択する画像選択処理と、
前記曲分析処理により分析された曲データに応じた楽譜の画像を表示するとともに、前記画像選択処理により選択された画像データを、対応する色彩属性に従って前記楽譜の背景画像として表示する画像表示処理と
をコンピュータで実行させることを特徴とする楽譜表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽譜以外の情報を視覚的に表現する楽譜表示装置および楽譜表示プログラムに関する。
【背景技術】
【０００２】
曲を構成する各音を表す曲データを楽譜化して表示する楽譜表示装置が知られている。例えば、特許文献１には、色彩と楽曲の演奏の仕方に関する指示との対応関係を示す関係情報を用いて、楽譜中で演奏指示する部分を指定色で表示して演奏練習を効果的に行えるようにした楽譜表示装置が開示されている。
【０００３】
【特許文献１】特開２００３−５７４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１に開示の装置では、楽譜中で演奏指示する部分を指定色で表示して演奏練習をアシストするだけなので、楽譜化する曲の印象やユーザの演奏結果といった楽譜以外の情報を視覚的に表現することが出来ないという問題がある。
そこで本発明は、このような事情に鑑みてなされたもので、楽譜化する曲の印象やユーザの演奏結果といった楽譜以外の情報を視覚的に表現することができる楽譜表示装置および楽譜表示プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、請求項１に記載の発明では、複数の画像および各画像の色彩属性のデータを記憶する画像記憶手段と、複数の音から構成される曲のデータを記憶する曲データ記憶手段と、前記曲データ記憶手段に記憶されている曲データの内容を分析して曲の印象を表すパラメータを抽出し、それを色彩属性に対応する値に変換する曲分析手段と、前記画像記憶手段に記憶されている複数の画像それぞれの色彩属性のデータと、前記曲分析手段により変換された値との差分値を求め、その差分値が最小である画像を選択する画像選択手段と、前記曲分析手段が分析した曲データに応じた楽譜の画像を表示するとともに、前記画像選択手段により選択された画像データを、対応する色彩属性に従って前記楽譜の背景画像として表示する画像表示手段とを具備することを特徴とする。
【０００７】
上記請求項１に従属する請求項２に記載の発明では、前記曲分析手段は、曲を構成する各音の音長、音高および音量の値を基にして曲の印象を表すパラメータを抽出することを特徴とする。
【０００８】
上記請求項１に従属する請求項３に記載の発明では、前記色彩属性は、画像の明度、彩度および色相であることを特徴とする。
【００１０】
請求項４に記載の発明では、複数の音から構成される曲のデータの内容を分析して曲の印象を表すパラメータを抽出し、それを色彩属性に対応する値に変換する曲分析処理と、予め記憶されている複数の画像それぞれの色彩属性のデータと、前記曲分析処理により変換された値との差分値を求め、その差分値が最小である画像を選択する画像選択処理と、前記曲分析処理により分析された曲データに応じた楽譜の画像を表示するとともに、前記画像選択処理により選択された画像データを、対応する色彩属性に従って前記楽譜の背景画像として表示する画像表示処理とをコンピュータで実行させることを特徴とする。
【発明の効果】
【００１２】
請求項１、４に記載の発明によれば、曲データから曲の印象を表すパラメータを抽出して色彩属性に対応させた変換値に変換すると、その変換値と予め記憶された画像毎の色彩属性の値との差分値で、最小の差分値に対応する画像データを選択し、選択された画像データに対応する色彩属性に従って楽譜の背景画像として表示する。
したがって、楽譜化する曲の印象に相応しい画像が楽譜の背景として表示されるから、楽譜以外の情報を視覚的に表現出来るようになる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施の形態について説明する。
Ａ．構成
図１は、本発明の実施の一形態による楽譜表示装置の構成を示すブロック図である。この図において、操作部１０は、電源スイッチの他、キー入力用のキーボードやマウス等の入力操作子を備え、入力操作に対応したイベントを発生する。このイベントはＣＰＵ１１に取り込まれる。ＣＰＵ１１は、ＲＯＭ１２に記憶される各種制御プログラムを実行し、操作部１０が発生するイベントに対応して装置各部を制御するものであり、その特徴的な処理動作については追って詳述する。
【００１６】
ＲＯＭ１２は、プログラムエリアおよびデータエリアを備える。ＲＯＭ１２のプログラムエリアには、ＣＰＵ１１にロードされる各種制御プログラムが記憶される。各種制御プログラムとは、後述するメインルーチン、曲分析処理、画像選択処理、演奏評価処理、楽譜表示処理、画像補正処理、楽譜描画処理および背景描画処理を含む。ＲＯＭ１２のデータエリアには、音符や休符、譜表などを表示するための楽譜表示データやＧＵＩ画面を形成する各種画面データが記憶される。ＲＡＭ１３は、ワークエリアおよびデータエリアを備える。ＲＡＭ１３のワークエリアには、ＣＰＵ１１の処理に用いられる各種レジスタ／フラグデータが一時記憶される。ＲＡＭ１３のデータエリアは、画像データエリアおよび曲データエリアを有する。
【００１７】
ＲＡＭ１３の画像データエリアには、画像データベースＩＤＢが設けられる。図２は、ＲＡＭ１３の画像データエリアに設けられる画像データベースＩＤＢの構成を示す図である。この図に示す画像データベースＩＤＢは、各画像の色彩属性を表すヘッダＨＤ［０］〜ＨＤ［Ｎ］と、これらヘッダＨＤ［０］〜ＨＤ［Ｎ］に対応する画像データＤ［０］〜［Ｎ］とを備える。ヘッダＨＤは、対応する画像データＤを指定するポインタＨＰ、当該ポインタＨＰで指定される画像データＤ［ＨＰ］の明度Ｂｒｉ、彩度Ｓａｔおよび色相Ｈｕｅを指定する。
【００１８】
なお、明度Ｂｒｉ、彩度Ｓａｔおよび色相Ｈｕｅは、色彩の３属性であり、明度Ｂｒｉは明暗を表す輝度を、彩度Ｓａｔは色の鮮やかさを表す純度（飽和度）を、色相Ｈｕｅは色合をそれぞれ表すものである。本実施形態では、後述するように、楽譜化する曲の印象に最も近い明度Ｂｒｉ、彩度Ｓａｔおよび色相Ｈｕｅを有するヘッダＨＤ［ｐｉｃｐ］を画像データベースＩＤＢから検索し、該当するヘッダＨＤ［ｐｉｃｐ］により指定される画像データＤ［ｐｉｃｐ］を、楽譜の背景として表示するようになっている。
【００１９】
ＲＡＭ１３の曲データエリアには、各曲の属性を表す曲ヘッダＫＨ［０］〜ＫＨ［Ｎ］と、これらヘッダＫＨ［０］〜ＫＨ［Ｎ］に対応する曲データＫＤ［０］〜［Ｎ］とを備える。曲ヘッダＫＨは、図３に図示するように、対応する曲データＫＤを指定するポインタＰ、当該ポインタＰで指定される曲データＫＤ［Ｐ］のテンポＴｍｐ、調Ｋｅｙおよび拍子Ｂｅａｔから構成される。曲データＫＤは、図示していないが、曲を構成する各音の発音時刻、音長、音高および音量を有し、曲の終わりには終端を表すデータｅｎｄを備える。
【００２０】
音源１４は、周知の波形メモリ読み出し方式で構成され、ＲＡＭ１３の曲データエリアからＣＰＵ１１が順次読み出す曲データを、指定テンポに同期して再生して楽音信号を出力する。サウンドシステム１５は、音源１４から出力される楽音信号をＤ／Ａ変換した後に増幅してスピーカＳＰから発音する。表示部１６は、ＣＰＵ１１から供給される表示制御信号に応じて楽譜表示したり、装置の動作状態を表示する。
【００２１】
インタフェース（Ｉ／Ｆ）部１７は、ＣＰＵ１１の制御の下に外部装置と画像データＤを授受する通常のインタフェースの他、外部ＭＩＤＩ機器とＭＩＤＩ形式の曲データを授受するＭＩＤＩインタフェースを備える。なお、図１には図示していないが、インタフェース（Ｉ／Ｆ）部１７のＭＩＤＩインタフェースに、外部ＭＩＤＩ機器としてキーボード装置が接続される場合、当該キーボード装置の押離鍵操作に対応して生じる演奏データは、ＭＩＤＩインタフェースを介してＲＡＭ１３の曲データエリアに、演奏データとして格納されるようになっている。
【００２２】
Ｂ．動作
次に、図４〜図１１を参照して上記構成による実施形態の動作について説明する。以下では、先ず最初に全体動作としてメインルーチンの動作を説明した後、続いてメインルーチンからコールされる曲分析処理、画像選択処理、演奏評価処理および楽譜表示処理の各動作を説明する。
【００２３】
（１）メインルーチンの動作
装置電源の投入に応じて、ＣＰＵ１１は図４に図示するメインルーチンを実行してステップＳＡ１に処理を進め、ＲＡＭ１３のワークエリアに設けられる各種レジスタ／フラグ類をリセットしたり、初期値セットする初期化を実行する。そして、ステップＳＡ２に進み、ユーザによるキー操作入力待ち状態となる。次いで、ステップＳＡ３〜ＳＡ８では、キー操作入力待ち状態下で「曲選択」、「画像選択」、「再生選択」、「演奏開始」、「演奏評価」および「印刷」の実行を指示するキー操作入力の有無を判断する。
【００２４】
「曲選択」を指示するキー操作入力が行われた場合には、ステップＳＡ３において、ＲＡＭ１３の曲データエリアに格納される曲データを一覧表示する曲選択用のＧＵＩ画面を発生して表示部１６に表示する。そして、この曲選択用のＧＵＩ画面においてユーザが曲選択を行うと、ステップＳＡ３の判断結果が「ＹＥＳ」になり、ステップＳＡ９を介して曲分析処理（後述する）を実行した後、ステップＳＡ１５を介して楽譜表示処理（後述する）を実行してから上述のステップＳＡ２に処理を戻してキー操作入力待ち状態に復帰する。
【００２５】
「画像選択」を指示するキー操作入力が行われた場合には、ステップＳＡ４の判断結果が「ＹＥＳ」になり、ステップＳＡ１０を介して画像選択処理（後述する）を実行した後、ステップＳＡ１５を介して楽譜表示処理（後述する）を実行してから上述のステップＳＡ２に処理を戻してキー操作入力待ち状態に復帰する。
【００２６】
「再生選択」を指示するキー操作入力が行われた場合には、ステップＳＡ５の判断結果が「ＹＥＳ」になり、ステップＳＡ１１に進む。ステップＳＡ１１では、上記ステップＳＡ３にて選択された曲データを再生する再生処理を実行する。この後、ステップＳＡ１５を介して楽譜表示処理（後述する）を実行してから上述のステップＳＡ２に処理を戻してキー操作入力待ち状態に復帰する。
【００２７】
「演奏開始」を指示するキー操作入力が行われた場合には、ステップＳＡ６の判断結果が「ＹＥＳ」になり、ステップＳＡ１２に進む。ステップＳＡ１２では、ユーザの演奏操作に応じて、外部ＭＩＤＩ機器（例えばキーボード）からインタフェース部１７のＭＩＤＩインタフェースを介して入力される演奏データをＲＡＭ１３の曲データエリアに取り込む演奏処理を実行する。この後、ステップＳＡ１５を介して楽譜表示処理（後述する）を実行してから上述のステップＳＡ２に処理を戻してキー操作入力待ち状態に復帰する。
【００２８】
「演奏評価」を指示するキー操作入力が行われた場合には、ステップＳＡ７の判断結果が「ＹＥＳ」になり、ステップＳＡ１３を介して演奏評価処理（後述する）を実行した後、ステップＳＡ１５を介して楽譜表示処理（後述する）を実行してから上述のステップＳＡ２に処理を戻してキー操作入力待ち状態に復帰する。
【００２９】
「印刷」を指示するキー操作入力が行われた場合には、ステップＳＡ８の判断結果が「ＹＥＳ」になり、ステップＳＡ１４に進む。ステップＳＡ１４では、表示部１６の画面に表示された楽譜および背景を印刷する印刷処理をを実行する。この後、ステップＳＡ１５を介して楽譜表示処理（後述する）を実行してから上述のステップＳＡ２に処理を戻してキー操作入力待ち状態に復帰する。
【００３０】
（２）曲分析処理の動作
次に、図５を参照して曲分析処理の動作を説明する。上述したメインルーチンのステップＳＡ９（図４参照）を介して本処理が実行されると、ＣＰＵ１１はステップＳＢ１に処理を進める。ステップＳＢ１〜ＳＢ４では、レジスタｍｅａｎｌｅｎ、レジスタｍｅａｎｐｉｔ、レジスタｍｅａｎｖｅｌおよびカウンタｎをゼロリセットする。次いで、ステップＳＢ５では、前述のステップＳＡ３（図４参照）において選択された曲データＫＤ［Ｐ］中の各音（音符）を指定するノートポインタｎｏｔｅｐを初期化する。
【００３１】
続いて、ステップＳＢ６では、ノートポインタｎｏｔｅｐが曲データＫＤ［Ｐ］の終端ｅｎｄに達したか否かを判断する。終端ｅｎｄに達していなければ、判断結果は「ＮＯ」になり、ステップＳＢ７に進む。ステップＳＢ７では、ノートポインタｎｏｔｅｐが指定する音符の音長をレジスタｍｅａｎｌｅｎに加算する。次いで、ステップＳＢ８では、ノートポインタｎｏｔｅｐが指定する音符の音高をレジスタｍｅａｎｐｉｔに加算する。続いて、ステップＳＢ９では、ノートポインタｎｏｔｅｐが指定する音符の音量をレジスタｍｅａｎｖｅｌに加算する。そして、ステップＳＢ１０では、カウンタｎをインクリメントして歩進させる。次に、ステップＳＢ１１では、ノートポインタｎｏｔｅｐを歩進させた後、上述のステップＳＢ６に処理を戻す。
【００３２】
以後、歩進されるノートポインタｎｏｔｅｐが曲データＫＤ［Ｐ］の終端ｅｎｄに達するまで上述したステップＳＢ６〜ＳＢ１１を繰り返すことによって、前述のステップＳＡ３（図４参照）において選択された曲データＫＤ［Ｐ］の音符の数がカウンタｎにて計数されると共に、各音符の音長を累算した値がレジスタｍｅａｎｌｅｎに、各音符の音高を累算した値がレジスタｍｅａｎｐｉｔに、各音符の音量を累算した値がレジスタｍｅａｎｖｅｌにそれぞれストアされる。そして、ノートポインタｎｏｔｅｐが曲データＫＤ［Ｐ］の終端ｅｎｄに達すると、上記ステップＳＢ６の判断結果が「ＹＥＳ」になり、ステップＳＢ１２に進む。
【００３３】
そして、ステップＳＢ１２〜ＳＢ１４では、カウンタｎにて計数された音符数で音長累算値、音高累算値および音量累算値をそれぞれ除して得る平均音長、平均音高および平均音量をそれぞれレジスタｍｅａｎｌｅｎ、レジスタｍｅａｎｐｉｔおよびレジスタｍｅａｎｖｅｌにストアして本処理を終える。
このように、曲分析処理では、前述のステップＳＡ３（図４参照）において選択された曲データＫＤ［Ｐ］の平均音長ｍｅａｎｌｅｎ、平均音高ｍｅａｎｐｉｔおよび平均音量ｍｅａｎｖｅｌを算出するようになっている。
【００３４】
（３）画像選択処理の動作
次に、図６を参照して画像選択処理の動作を説明する。上述したメインルーチンのステップＳＡ１０（図４参照）を介して本処理が実行されると、ＣＰＵ１１はステップＳＣ１に処理を進める。ステップＳＣ１では、次式（１）に基づき上述の曲分析処理にて求めた平均音長ｍｅａｎｌｅｎを明度Ｂｒｉに対応させた変換値Ａに変換する。同様に、ステップＳＣ２〜ＳＣ３では、次式（２）、（３）に基づき上述の曲分析処理にて求めた平均音高ｍｅａｎｐｉｔを彩度Ｓａｔに対応させた変換値Ｂに、上述の曲分析処理にて求めた平均音量ｍｅａｎｖｅｌを色相Ｈｕｅに対応させた変換値Ｃにそれぞれ変換する。
【００３５】
変換値Ａ＝６４×ｌｏｇ２（ｍｅａｎｌｅｎ／ｒｅｓ）  …（１）
変換値Ｂ＝ｍｅａｎｐｉｔ×２  …（２）
変換値Ｃ＝ｍｅａｎｖｅｌ×２  …（３）
なお、上記（１）〜（３）式は、変換値Ａ〜Ｃが各々「０〜２５５」の範囲に収まるように定数ｒｅｓや乗算係数が設定されている。
【００３６】
続いて、ステップＳＣ４〜ＳＣ５では、レジスタｍｉｎｖ、レジスタｍｉｎｐおよびポインタｐｉｃｐを初期化する。次に、ステップＳＣ６では、画像データベースＩＤＢ中のヘッダＨＤ［ｐｉｃｐ］を指定するポインタｐｉｃｐが終端ｅｎｄに達したか否かを判断する。ポインタｐｉｃｐが終端ｅｎｄに達していなければ、判断結果は「ＮＯ」になり、ステップＳＣ７に進む。ステップＳＣ７では、上記ステップＳＣ１〜ＳＣ３にて算出した（変換値Ａ、変換値Ｂ、変換値Ｃ）と、ポインタｐｉｃｐで指定されるヘッダＨＤ［ｐｉｃｐ］中の（明度Ｂｒｉ、彩度Ｓａｔ、色相Ｈｕｅ）との差分を算出してレジスタｍｉｎにストアする。なお、ここで言う差分とは、各要素毎の差分（変換値Ａ−明度Ｂｒｉ）、（変換値Ｂ−彩度Ｓａｔ）および（変換値Ｃ−色相Ｈｕｅ）の自乗和平方根（（Ａ−Ｂｒｉ）2＋（Ｂ−Ｓａｔ）2＋（Ｃ−Ｈｕｅ）2）1/2を指す。
【００３７】
次に、ステップＳＣ８では、最も小さい差分を保持するレジスタｍｉｎｖの値が、上記ステップＳＣ７にて算出される差分を保持するレジスタｍｉｎの値より大きいか否かを判断する。ｍｉｎ＞ｍｉｎｖならば、判断結果は「ＮＯ」になり、後述のステップＳＣ１１に処理を進めるが、ｍｉｎ＜ｍｉｎｖであると、判断結果が「ＹＥＳ」になり、ステップＳＣ９に進み、レジスタｍｉｎの値をレジスタｍｉｎｖに更新登録する。これにより、レジスタｍｉｎｖには最小差分が保持される。
【００３８】
続いて、ステップＳＣ１０では、最小差分に対応した（明度Ｂｒｉ、彩度Ｓａｔ、色相Ｈｕｅ）を備えたヘッダＨＤ［ｐｉｃｐ］を指定するポインタｐｉｃｐを、レジスタｍｉｎｐにストアする。次いで、ステップＳＣ１１に進み、ポインタｐｉｃｐを歩進させた後、上述のステップＳＣ６に処理を戻す。以後、ポインタｐｉｃｐが終端ｅｎｄに達するまでステップＳＣ６〜ＳＣ１１を繰り返すことによって、レジスタｍｉｎｖに最小差分がストアされ、レジスタｍｉｎｐに最小差分に対応するポインタｐｉｃｐがストアされる。そして、ポインタｐｉｃｐが終端ｅｎｄに達すると、ステップＳＣ６の判断結果が「ＹＥＳ」になり、本処理を完了させる。
【００３９】
このように、画像選択処理では、前述の曲分析処理にて求めた曲の平均音長ｍｅａｎｌｅｎ（変換値Ａ）、平均音高ｍｅａｎｐｉｔ（変換値Ｂ）および平均音量ｍｅａｎｖｅｌ（変換値Ｃ）に最も近い明度Ｂｒｉ、彩度Ｓａｔおよび色相Ｈｕｅを有するヘッダＨＤ［ｍｉｎｐ］を画像データベースＩＤＢ（図２参照）から検索することで、曲の印象に相応しい背景画像が選択されるようになっている。
【００４０】
（４）演奏評価処理の動作
次に、図７を参照して演奏評価処理の動作を説明する。演奏評価処理では、メインルーチンのステップＳＡ１２（図４参照）を介して実行された演奏処理にてＲＡＭ１３の曲データエリアに取り込んだ演奏データと、模範演奏に相当する曲データとを比較して演奏評価を行う。すなわち、上述したメインルーチンのステップＳＡ１３（図４参照）を介して本処理が実行されると、ＣＰＵ１１は、ステップＳＤ１〜ＳＤ５において、レジスタｄｅｖｏｎ、レジスタｄｅｖｏｆｆ、レジスタｄｅｖｖｅｌ、ポインタｎおよびノートポインタｎｏｔｅｐをそれぞれゼロリセットする。続いて、ステップＳＤ６では、ノートポインタｎｏｔｅｐが演奏データの終端ｅｎｄに達したか否かを判断する。
【００４１】
終端ｅｎｄに達していなければ、判断結果は「ＮＯ」になり、ステップＳＤ７に進む。ステップＳＤ７では、ノートポインタｎｏｔｅｐが指定する演奏データ中の音（以下、演奏ノートと称す）に対応する正解ノートを曲データＫＤから検索してレジスタｔｎｏｔｅにストアする。なお、レジスタｔｎｏｔｅに格納される正解ノートは、発音時刻、音長、音高および音量からなる。次いで、ステップＳＤ８では、ノートポインタｎｏｔｅｐが指定する演奏ノートの発音時刻と、レジスタｔｎｏｔｅに格納される正解ノートの発音時刻との絶対差分を「発音タイミングずれ」としてレジスタｄｅｖｏｎに加算する。
【００４２】
次に、ステップＳＤ９では、ノートポインタｎｏｔｅｐが指定する演奏ノートの発音時刻および音長から得られる消音時刻と、レジスタｔｎｏｔｅに格納される正解ノートの発音時刻および音長から得られる消音時刻との絶対差分を「消音タイミングずれ」としてレジスタｄｅｖｏｆｆに加算する。続いて、ステップＳＤ１０では、ノートポインタｎｏｔｅｐが指定する演奏ノートの音量と、レジスタｔｎｏｔｅに格納される正解ノートの音量との絶対差分を「ベロシティ差」としてレジスタｄｅｖｖｅｌに加算する。そして、ステップＳＤ１１では、カウンタｎをインクリメントして歩進させ、続くステップＳＤ１２では、ノートポインタｎｏｔｅｐを歩進させた後、上述のステップＳＤ６に処理を戻す。
【００４３】
以後、歩進されるノートポインタｎｏｔｅｐが演奏データの終端ｅｎｄに達するまで上述したステップＳＤ６〜ＳＤ１２を繰り返すことによって、演奏ノートの数がカウンタｎにて計数されると共に、演奏データの「発音タイミングずれ累算値」がレジスタｄｅｖｏｎに、「消音タイミングずれ累算値」がレジスタｄｅｖｏｆｆに、「ベロシティ差累算値」がレジスタｄｅｖｖｅｌにそれぞれストアされる。そして、ノートポインタｎｏｔｅｐが演奏データの終端ｅｎｄに達すると、上記ステップＳＤ６の判断結果が「ＹＥＳ」になり、ステップＳＤ１３に進む。
【００４４】
そして、ステップＳＤ１３〜ＳＤ１５では、カウンタｎにて計数された演奏ノートの数で「発音タイミングずれ累算値」、「消音タイミングずれ累算値」および「ベロシティ差累算値」をそれぞれ除して得る「発音タイミングずれ平均値」、「消音タイミングずれ平均値」および「ベロシティ差平均値」をそれぞれレジスタｄｅｖｏｎ、レジスタｄｅｖｏｆｆおよびレジスタｄｅｖｖｅｌにストアして本処理を終える。
【００４５】
このように、演奏評価処理では、演奏処理にてＲＡＭ１３の曲データエリアに取り込んだ演奏データと、演奏模範となる曲データとを比較する演奏評価により演奏データの発音タイミングずれ平均値ｄｅｖｏｎ、消音タイミングずれ平均値ｄｅｖｏｆｆおよびベロシティ差平均値ｄｅｖｖｅｌが算出される。
【００４６】
（５）楽譜表示処理の動作
次に、図８〜図１１を参照して楽譜表示処理の動作を説明する。前述したメインルーチンのステップＳＡ１５（図４参照）を介して実行される楽譜表示処理は、図８に図示するように、ステップＳＥ１を介して実行される画像補正処理と、ステップＳＥ２を介して実行される楽譜描画処理とから構成される。以下、画像補正処理および楽譜描画処理の各動作について述べる。
【００４７】
（６）画像補正処理の動作
画像補正処理では、上述の演奏評価処理にて得られた評価要素（発音タイミングずれ平均値ｄｅｖｏｎ、消音タイミングずれ平均値ｄｅｖｏｆｆおよびベロシティ差平均値ｄｅｖｖｅｌ）の内、いずれか１つの評価要素もしくは複数の評価要素に応じて、楽譜の背景として表示される画像の色彩３属性（明度Ｂｒｉ、彩度Ｓａｔおよび色相Ｈｕｅ）の内、いずれか１つの属性もしくは複数の属性を補正する。図９に図示する一例の画像補正処理は、発音タイミングずれ平均値ｄｅｖｏｎに応じて背景画像の明度Ｂｒｉを補正する。
【００４８】
図８のステップＳＥ１を介して画像補正処理が実行されると、ＣＰＵ１１は図９に図示するステップＳＦ１に進み、上述の演奏評価処理にて得られた発音タイミングずれ平均値ｄｅｖｏｎに所定の係数ｒｏｎを乗算して補正明度Ｒｂｒｉを算出する。次いで、ステップＳＦ２では、画素ポインタｐｉｃｐを初期化する。続いて、ステップＳＦ３〜ＳＦ７では、画素ポインタｐｉｃｐを歩進させながら、前述の画像選択処理により選択された背景画像（ヘッダＨＤ［ｍｉｎｐ］で指定される画像データＤ［ｍｉｎｐ］）を構成する各画素値（Ｒｅｄ、Ｇｒ、Ｂｌ）を読み出し、読み出した画素値（Ｒｅｄ、Ｇｒ、Ｂｌ）を補正明度Ｒｂｒｉに応じて増加させる。つまり、発音タイミングずれ平均値ｄｅｖｏｎが大きくなるほど明度を上げるように補正する。そして、背景画像を構成する各画素値全てについて明度補正し終えると、ステップＳＦ３の判断結果が「ＹＥＳ」になり、本処理を終える。
【００４９】
したがって、図９に図示する一例の画像補正処理によれば、ユーザの演奏により生じる発音タイミングずれ平均値ｄｅｖｏｎが大きくなる程、つまり演奏下手である程、背景画像の明度が上がる為、ユーザの演奏結果が一目瞭然となり、楽譜以外の情報を視覚的に表現し得るようになる。
【００５０】
なお、図９に図示した一例の画像補正処理は、説明の簡略化を図る為、発音タイミングずれ平均値ｄｅｖｏｎに応じて明度補正するという単純な補正に止めたが、上述したように、評価要素（発音タイミングずれ平均値ｄｅｖｏｎ、消音タイミングずれ平均値ｄｅｖｏｆｆおよびベロシティ差平均値ｄｅｖｖｅｌ）の内の複数の評価要素に応じて、楽譜表示の背景となる画像の３属性（明度Ｂｒｉ、彩度Ｓａｔおよび色相Ｈｕｅ）の内の複数の属性を補正すれば、様々な視覚的な表現が可能になることは言うまでもない。
【００５１】
（７）楽譜描画処理の動作
次に、図１０〜図１１を参照して楽譜描画処理の動作を説明する。図８のステップＳＥ２を介して楽譜描画処理が実行されると、ＣＰＵ１１は図１０に図示するステップＳＧ１に進み、背景描画処理を実行する。背景描画処理は、図１１に図示するステップＳＨ１〜ＳＨ９から構成される。以下、図１１を参照して背景描画処理の動作を説明する。先ずステップＳＨ１では、前述の画像選択処理により選択された背景画像（ヘッダＨＤ［ｍｉｎｐ］で指定される画像データＤ［ｍｉｎｐ］）を読み出して描画する。
【００５２】
次に、ステップＳＨ２では、段カウンタを初期化する。段カウンタとは、背景画像上に描画する譜表（五線譜）の段数を計数する。ステップＳＨ２では、段カウンタの値が最終段ｅｎｄに達したか否か、つまり全ての段を描画し終えたかどうかを判断する。全ての段を描画し終えていなければ、判断結果は「ＮＯ」になり、ステップＳＨ４に進み、譜表カウンタを初期化する。譜表カウンタとは、五線譜の線数を計数するカウンタである。
【００５３】
そして、ステップＳＨ５〜ＳＨ８では、譜表カウンタを歩進させながら、五線譜の各線を順番に描画する。その過程で背景マスクが必要な箇所では背景画像をマスクする。そして、五線譜の各線を描画し終えると、ステップＳＨ５の判断結果が「ＹＥＳ」になり、ステップＳＨ９に進み、段カウンタを歩進させる。以後、全ての段を描画し終えるまでステップＳＨ３〜ＳＨ９を繰り返す。そして、全ての段を描画し終えると、ステップＳＨ９の判断結果が「ＹＥＳ」になり、本処理を終える。
【００５４】
こうして、図１０に図示した背景描画処理が完了すると、ＣＰＵ１１は図１１に図示するステップＳＧ２に処理を進め、譜面中の小節数を計数する小節カウンタを初期化する。次いで、ステップＳＧ３では、小節カウンタの値が最終小節ｅｎｄに達したか否か、つまり全ての小節について音符を描画し終えたかどうかを判断する。全ての小節について音符を描画し終えていなければ、判断結果は「ＮＯ」になり、ステップＳＧ４に進み、小節情報に基づき小節線を描画する。そして、ステップＳＧ５に進み、小節中の音符を指定する音符ポインタｎｏｔｅｐを初期化する。
【００５５】
続いて、ステップＳＧ６〜ＳＧ９では、歩進される音符ポインタｎｏｔｅｐに応じて順次指定される各音符の小節内の表示位置を計算して描画する。そして、１小節内の全ての音符を描画し終えると、ステップＳＧ６の判断結果が「ＹＥＳ」になり、ステップＳＧ１０に進む。ステップＳＧ１０では、小節カウンタを歩進させた後、上述のステップＳＧ３に処理を戻す。以後、全ての小節について音符を描画し終えるまで上述したステップＳＧ３〜ＳＧ１０を繰り返し、全ての小節について音符を描画し終えると、ステップＳＧ３の判断結果が「ＹＥＳ」になり、本処理を終える。
【００５６】
以上のように、本実施の形態では、楽譜化する曲を選択すると、その選択された曲の印象を表すパラメータとして、当該曲の曲データから平均音長ｍｅａｎｌｅｎ、平均音高ｍｅａｎｐｉｔおよび平均音量ｍｅａｎｖｅｌを算出し、これらを色彩３属性（明度Ｂｒｉ、彩度Ｓａｔおよび彩色相Ｈｕｅ）に対応させる変換値Ａ、変換値Ｂおよび変換値Ｃに変換する。そして、これら変換値Ａ、変換値Ｂおよび変換値Ｃに最も近い明度Ｂｒｉ、彩度Ｓａｔおよび彩色相Ｈｕｅを有するヘッダＨＤ［ｍｉｎｐ］を画像データベースＩＤＢから検索し、該当するヘッダＨＤ［ｍｉｎｐ］で指定される画像データＤ［ｍｉｎｐ］を、楽譜の背景として表示する。この結果、楽譜化する曲の印象に相応しい画像が楽譜の背景として表示される為、楽譜以外の情報を視覚的に表現し得るようになる。
【００５７】
また、上述した実施の形態では、演奏模範となる曲データに対するユーザ演奏で生じる演奏データを評価する複数の評価要素として、例えば発音タイミングずれ平均値ｄｅｖｏｎ、消音タイミングずれ平均値ｄｅｖｏｆｆおよびベロシティ差平均値ｄｅｖｖｅｌを発生し、これら複数の評価要素の内、いずれか１つの評価要素もしくは複数の評価要素に応じて、楽譜の背景として表示される画像の色彩３属性（明度Ｂｒｉ、彩度Ｓａｔおよび色相Ｈｕｅ）の内、いずれか１つの属性もしくは複数の属性を補正する。具体的な一例として、発音タイミングずれ平均値ｄｅｖｏｎに応じて背景画像の明度Ｂｒｉを補正すれば、ユーザの演奏結果に応じて、楽譜表示の背景となる画像の表示態様が変化する為、楽譜以外の情報を視覚的に表現し得るようになる。
【００５８】
なお、本実施の形態では、曲の印象を表すパラメータとして、当該曲の曲データから平均音長ｍｅａｎｌｅｎ、平均音高ｍｅａｎｐｉｔおよび平均音量ｍｅａｎｖｅｌを算出し、これらを色彩３属性（明度Ｂｒｉ、彩度Ｓａｔおよび彩色相Ｈｕｅ）に対応させる変換値Ａ、変換値Ｂおよび変換値Ｃに変換するようにしたが、これに限らず、例えば曲の調やコード進行を曲の印象を表すパラメータとして抽出し、これらを色彩３属性に対応させる変換値に変換することも可能である。
【図面の簡単な説明】
【００５９】
【図１】本発明による実施の一形態の構成を示すブロック図である。
【図２】画像データベースＩＤＢの構成を示す図である。
【図３】曲ヘッダＫＨの構成を示す図である。
【図４】メインルーチンの動作を示すフローチャートである。
【図５】曲分析処理の動作を示すフローチャートである。
【図６】画像選択処理の動作を示すフローチャートである。
【図７】演奏評価処理の動作を示すフローチャートである。
【図８】楽譜表示処理の動作を示すフローチャートである。
【図９】画像補正処理の動作を示すフローチャートである。
【図１０】楽譜描画処理の動作を示すフローチャートである。
【図１１】背景描画処理の動作を示すフローチャートである。
【符号の説明】
【００６０】
１０  操作部
１１  ＣＰＵ
１２  ＲＯＭ
１３  ＲＡＭ
１４  音源
１５  サウンドシステム
１６  表示部
１７  インタフェース部
【図１】
0004742362.tif 000002
【図２】
0004742362.tif 000003
【図３】
0004742362.tif 000004
【図４】
0004742362.tif 000005
【図５】
0004742362.tif 000006
【図６】
0004742362.tif 000007
【図７】
0004742362.tif 000008
【図８】
0004742362.tif 000009
【図９】
0004742362.tif 000010
【図１０】
0004742362.tif 000011
【図１１】
0004742362.tif 000012