(57)【要約】      （修正有）【課題】ユーザによる弦楽器の演奏に対する採点精度を向上する。【解決手段】カラオケ装置は、チョーキング奏法の実行部位を含む所定の弦楽器の演奏パートを備えた、カラオケ楽曲データを記憶するＨＤＤを有し、記憶されたカラオケ楽曲データを読み出して再生し、その再生にしたがって、楽器演奏者のエレキギターの演奏により出力される演奏信号を入力し、カラオケ楽曲データの再生に応じて、チョーキング奏法におけるチョーキング開始点とチョーキング終了点とを含む目標音高データを生成し、入力される演奏信号に基づきチョーキング奏法による実音高データを生成し、音高を縦軸にとり時間を横軸にとって表したチョーキング奏法による実音高データの波形が、目標音高データのチョーキング開始点とチョーキング終了点を結ぶ右上がりの直線に対し、上に凸となっているか否か、により、演奏に対する採点を行う。【選択図】図７
2015125384.tif 000002
【特許請求の範囲】
【請求項１】
チョーキング奏法の実行部位を含む所定の弦楽器の演奏パートを備えた、カラオケ楽曲データを記憶する楽曲データ記憶手段と、
前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、
前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、
前記楽曲データ再生手段での前記カラオケ楽曲データの再生に応じて、前記チョーキング奏法におけるチョーキング開始点とチョーキング終了点とを含む目標音高データを生成する目標データ生成手段と、
前記演奏信号入力手段から入力される前記演奏信号に基づき前記チョーキング奏法による実音高データを生成する実データ生成手段と、
音高を縦軸にとり時間を横軸にとって表した前記チョーキング奏法による前記実音高データの波形が、前記目標音高データの前記チョーキング開始点と前記チョーキング終了点を結ぶ右上がりの直線に対し、上に凸となっているか否か、により、前記楽器演奏者による前記チョーキング奏法による演奏に対する採点を行うチョーキング採点手段と、
を有することを特徴とする楽音演奏装置。
【請求項２】
請求項１記載の楽音演奏装置において、
前記チョーキング採点手段は、さらに
前記チョーキング奏法による前記実音高データの波形のチョーキング終了点が、前記右上がりの直線と同じ音高か当該右上がりの直線より高い近傍の音高の音高しきい値以下であるか否か、により前記採点を行う
ことを特徴とする楽音演奏装置。
【請求項３】
チョーキング奏法の実行部位を含む所定の弦楽器の演奏パートを備えた、カラオケ楽曲データを記憶する楽曲データ記憶手段と、前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、を有する楽音演奏装置に備えられた演算手段に対し、
前記楽曲データ再生手段での前記カラオケ楽曲データの再生に応じて、前記チョーキング奏法におけるチョーキング開始点とチョーキング終了点とを含む目標音高データを生成する目標データ生成手順と、
前記演奏信号入力手段から入力される前記演奏信号に基づき前記チョーキング奏法による実音高データを生成する実データ生成手順と、
音高を縦軸にとり時間を横軸にとって表した前記チョーキング奏法による前記実音高データの波形が、前記目標音高データの前記チョーキング開始点と前記チョーキング終了点を結ぶ右上がりの直線に対し、上に凸となっているか否か、により、前記楽器演奏者による前記チョーキング奏法による演奏に対する採点を行うチョーキング採点手順と、
を実行させるための楽音演奏処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの楽器演奏に対する採点を行う楽音演奏装置及びこれに用いる楽音演奏処理プログラムに関する。
【背景技術】
【０００２】
ユーザの楽器演奏時の演奏信号を入力し、演奏に対する採点を行う技術が既に知られている（例えば、特許文献１参照）。この従来技術では、予め用意された楽曲についての評価基準と、上記ユーザの演奏により楽器から出力された演奏音とを比較し、それらの比較結果に基づいて採点が行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−６９９００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、一般に、弦楽器の演奏には楽曲のジャンルや演奏者の好み等により種々様々な奏法がある。例えばエレキギターの単音演奏時において、一方の手指で１つのフレットにおいて弦を押さえ、他方の手のピッキングにより発音を開始させた後、上記一方の手指により当該弦をフレットに接触させたまま上方へ撓ませることで、発音音高を高い側へなめらかに移行させる奏法（いわゆるチョーキング奏法）が行われる場合がある。
【０００５】
このチョーキング奏法による演奏では、演奏者は、最終的に発音させたい音高よりも低い音高（以下適宜、開始音高という）で発音開始させた後、上記の撓ませ操作によって経時的に音高を上昇させ、上記最終的に発音させたい音高（以下適宜、最終音高という）に到達させるようにする。チョーキング開始からチョーキング終了までの上記撓ませ操作は弦の張力に逆らって行う操作であり、演奏者の技量が上手であるか下手であるかによって、聞き手が聞いたときの印象は相当に異なってくる。したがって、このようなチョーキング奏法の上手・下手を判定して上記採点に反映させることができれば、さらに聞き手の印象に近い正確な採点を行うことができるはずである。
【０００６】
上記のような背景の下、採点を、一方の手指で１つのフレットにおいて弦を押さえつつ他方の手のピッキングにより発音させる通常の奏法のみに対応させて一律に行ったとすると、上記のようなチョーキング奏法の技量を反映することができず、正確な採点を行うことが困難となる。
【０００７】
本発明の目的は、ユーザによる弦楽器の演奏に対する採点精度を向上できる、楽音演奏装置及び楽音演奏処理プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、第１の発明の楽音演奏装置は、チョーキング奏法の実行部位を含む所定の弦楽器の演奏パートを備えた、カラオケ楽曲データを記憶する楽曲データ記憶手段と、前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、前記楽曲データ再生手段での前記カラオケ楽曲データの再生に応じて、前記チョーキング奏法におけるチョーキング開始点とチョーキング終了点とを含む目標音高データを生成する目標データ生成手段と、前記演奏信号入力手段から入力される前記演奏信号に基づき前記チョーキング奏法による実音高データを生成する実データ生成手段と、音高を縦軸にとり時間を横軸にとって表した前記チョーキング奏法による前記実音高データの波形が、前記目標音高データの前記チョーキング開始点と前記チョーキング終了点を結ぶ右上がりの直線に対し、上に凸となっているか否か、により、前記楽器演奏者による前記チョーキング奏法による演奏に対する採点を行うチョーキング採点手段と、を有することを特徴とする。
【０００９】
本願第１発明の楽音演奏装置では、カラオケ楽曲データの再生とともにユーザ（楽器演奏者）が楽器を演奏することができる。すなわち、楽曲データ記憶手段に記憶されたカラオケ楽曲データは、楽曲データ再生手段によって読み出されて再生される。
【００１０】
このとき、本願第１発明では、この再生に合わせてユーザが弦楽器を演奏することで、その演奏に対する採点が行われる。すなわち、上記カラオケ楽曲データの再生に応じて、目標データ生成手段により上記弦楽器の目標音高データが生成される。一方、上記ユーザの演奏により弦楽器から出力された演奏信号は演奏信号入力手段によって入力された後、実データ生成手段により（例えば当該演奏信号の周波数成分が抽出されてクロマベクトル処理が行われることで）対応する実音高データが生成される。そして、この生成された実音高データと、対応する上記目標音高データに基づき、上記採点が行われる。
【００１１】
そして、本願第１発明においては、前述の実際の演奏時の奏法事情に鑑み、チョーキング採点手段が、目標音高データと対応する実音高データとに基づく採点を、上記チョーキング奏法が上手であるか下手であるかが反映されるようにして行う。具体的には、通常、上級者の実行するチョーキング奏法においては、上記開始音高から終了音高までの音高の移行は、時間的に直線的に行われるものではない。すなわち、チョーキング開始直後の比較的早い時間に開始音高から比較的鋭く立ち上がって音高が上昇した後、時間の経過と共に徐々に音高上昇率が緩やかになって、最終音高へと至る挙動となる。初級者の実行するチョーキング奏法においては、前述のように開始音高から終了音高まで音高が時間的に直線的に行われるか、前述とは逆に、チョーキング開始直後の音高上昇率が緩いままで時間が経過した後、チョーキング終了間近になって鋭く立ち上がって音高が上昇し、最終音高へと至る挙動となる。
【００１２】
そこで、チョーキング採点手段では、上記挙動の差に基づき、音高を縦軸にとり時間を横軸にとって表したときの実音高データの波形が、目標音高データのチョーキング開始点とチョーキング終了点を結ぶ右上がりの直線に対し、上に凸となっているか否か、を識別して上記判定を行う。すなわち、上記右上がりの直線が、上述の開始音高から終了音高まで音高が時間的に直線的に行われる場合の波形（下手なチョーキングの一態様）に相当する。また上記右上がりの直線に対し下に凸となっている状態が、上述のチョーキング終了間近になって鋭く立ち上がって音高が上昇する場合の波形（下手なチョーキングの別の態様）に相当する。さらに上記右上がりの直線に対し上に凸となっている状態が、上述の開始音高から比較的鋭く立ち上がった後に徐々に音高上昇率が緩やかになる場合の波形（すなわち上手なチョーキングに対応するもの）に相当する。このようにしてチョーキングの上手・下手をチョーキング採点手段が判定することで、チョーキング奏法の技量を確実に採点結果に反映させることができる。この結果、聞き手の印象に近い正確な採点を精度よく行うことができるので、ユーザにとっての利便性及び娯楽性を高めることができる。
【００１３】
第２発明は、上記第１発明において、前記チョーキング採点手段は、さらに、前記チョーキング奏法による前記実音高データの波形のチョーキング終了点が、前記右上がりの直線と同じ音高か当該右上がりの直線より高い近傍の音高の音高しきい値以下であるか否か、により前記採点を行うことを特徴とする。
【００１４】
演奏能力が低い演奏者がチョーキングを行ったときの一例として、上記撓ませ操作が過度になりチョーキング終了時に最終音高よりも高くなってしまう場合がある。本願第２発明においては、チョーキング採点手段は、このような場合にも対応して採点を行う。すなわち、上記右上がりの直線と同じ音高若しくはその近傍で最終音高よりも高い音高に、予め音高しきい値が設定される。そして、チョーキング奏法の実行時に、前述の実音高データの波形のチョーキング終了点が、上記音高しきい値以下に収まっているか否か、がチョーキング採点手段によって判定され、採点結果に加味される。これにより、さらに正確な採点を精度よく行うことができる。
【００１５】
上記目的を達成するために、本願第３発明の楽音演奏処理プログラムは、チョーキング奏法の実行部位を含む所定の弦楽器の演奏パートを備えた、カラオケ楽曲データを記憶する楽曲データ記憶手段と、前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、を有する楽音演奏装置に備えられた演算手段に対し、前記楽曲データ再生手段での前記カラオケ楽曲データの再生に応じて、前記チョーキング奏法におけるチョーキング開始点とチョーキング終了点とを含む目標音高データを生成する目標データ生成手順と、前記演奏信号入力手段から入力される前記演奏信号に基づき前記チョーキング奏法による実音高データを生成する実データ生成手順と、音高を縦軸にとり時間を横軸にとって表した前記チョーキング奏法による前記実音高データの波形が、前記目標音高データの前記チョーキング開始点と前記チョーキング終了点を結ぶ右上がりの直線に対し、上に凸となっているか否か、により、前記楽器演奏者による前記チョーキング奏法による演奏に対する採点を行うチョーキング採点手順と、を実行させる。
【発明の効果】
【００１６】
本発明によれば、ユーザによる弦楽器の演奏に対する採点精度を向上することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態のカラオケ装置の主要構成を示す説明図である。
【図２】カラオケ装置に備えられた制御装置の制御系の主要構成を示す機能ブロック図である。
【図３】楽曲データを含むサーバからの受信データのデータ構造の一例を示す説明図である。
【図４】ＣＰＵの詳細機能を表す機能ブロック図である。
【図５】チョーキング奏法で演奏したときにおける、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図６】チョーキング奏法で演奏したときにおける、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図７】チョーキング奏法の技量を見分けるために目標音高データと実音高データとを比較する手法を説明するための説明図である。
【図８】チョーキング奏法の技量を見分けるために目標音高データと実音高データとを比較する手法を説明するための説明図である。
【図９】チョーキング部位を含む目標音高データを五線譜で表現した説明図である。
【図１０】チョーキング部位を含む実音高データを五線譜で表現した説明図である。
【図１１】採点結果の表示例を説明するための説明図である。
【図１２】カラオケ装置の楽曲再生時にＣＰＵにより実行される処理内容を示すフローチャートである。
【図１３】ステップＳ１００の詳細手順を表すフローチャートである。
【図１４】ステップＳ１４０の詳細手順を表すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施の形態について、図面を参照しつつ説明する。本実施形態では、ユーザがカラオケ楽曲の演奏と共に主として自らエレキギターを演奏する場合を説明する。
【００１９】
＜主要構成＞
図１は、本実施形態の楽音演奏装置であるカラオケ装置の主要構成を示す説明図である。図１に示すように、カラオケ装置１０には、歌詞を示す歌詞テロップ、歌詞テロップの背景に表示する背景映像、選曲番号を示す映像などをＣＲＴに表示するモニタテレビ（以下、モニタと略称する）１３と、ユーザ用のモニタ１４と、エレキギター４（所定の弦楽器に相当）やエレキベースなどの電子楽器を接続するための楽器接続ボード８と、複数の楽器演奏パートにより構成されるカラオケ用の楽曲（カラオケ楽曲。以下、適宜「曲」と略称する）の選曲及び曲の再生の予約などの選曲制御や、選曲された曲の送信要求を示すリクエスト信号のサーバへの送信、及びリクエスト信号により示される曲に対応する楽曲データ（カラオケ楽曲データに相当）の受信などの通信制御や、受信された楽曲データに含まれる楽音種類指定情報たるＭＩＤＩデータのうち楽器接続ボード８に接続された楽器と同じ種類の楽器の音源を指定する等を行う制御装置２０と、が備えられている。
【００２０】
さらに、カラオケ装置１０には、この例では、楽器接続ボード８から入力される楽器の演奏信号とマイクロフォン１７，１８から入力される音声信号と曲の再生信号とのミキシング（後述の図２に示すミキシング回路９参照）や、音声と曲との音量バランス調整や、エコー調整や、ディレィ調整や、ミキシング信号の増幅や、再生される曲の音程制御（キーコントロール）や、高音・低音の制御（トーンコントロール）等を行うアンプ１６と、このアンプ１６から出力される増幅信号を音として再生するフロアータイプの１組のスピーカ１１，１１と、天井吊下げ用の１組のスピーカ１２，１２と、制御装置２０を遠隔操作するリモコン３０と、が備えられている。リモコン３０には、各種の操作ボタン３０ａ，３０ｂが備えられている。
【００２１】
楽器接続ボード８は、図示を省略するが、電子ドラム、キーボード、エレキベース、エレキギター４の出力端子（フォンプラグ）を接続するそれぞれの入力端子（フォンジャック。演奏信号入力手段に相当）と、各入力端子に入力される演奏信号をそれぞれ出力する出力端子と、が設けられている。そして、楽器接続ボード８は、各楽器の出力端子を入力端子に接続することによって各楽器が接続されたこと及びその楽器の種類を自動検出するとともに、接続された楽器の１つの演奏信号を選択し、その選択された演奏信号を制御装置２０の入力端子４４（後述の図２参照）へ出力する役割をする。例えばエレキギター４から出力される演奏信号は、エレキギター４のフォンプラグを接続するフォンジャック４ａ（後述の図２参照）を介して楽器接続ボード８へ入力され、楽器接続ボード８の出力端子から出力される演奏信号は、制御装置２０の入力端子４４へ入力される。なお、上記のように楽器の接続及びその種類を自動検出するのに代え、ユーザが、既に接続済みの楽器に対応した設定等をリモコン３０等において手動で行うようにしてもよい。またその場合、エレキギター４のような電子弦楽器ではなく、ガットギターやフォークギターのようなアコースティック発音のギターの音を、マイクロフォンで集音してフォンジャック４ａへ入力してもよい。
【００２２】
＜制御系＞
上記制御装置２０の制御系の構成について図２を参照して説明する。図２は、制御装置２０の制御系の主要構成を示す機能ブロック図である。制御装置２０は、装置筺体に、ＬＡＮ回線１５を接続する通信端子４０と、楽器接続ボード８の出力端子と接続される入力端子４４と、アンプ１６の音声入力端子と接続される音声出力端子４１と、モニタ１３の映像入力端子と接続される映像出力端子４２と、モニタ１４の映像入力端子と接続される映像出力端子４３とを備えている。
【００２３】
また、制御装置２０には、制御プログラムにしたがって各種制御を実行するＣＰＵ４５（演算手段に相当）が設けられている。ＣＰＵ４５には、リモコン３０から送信されるデータ、選曲された曲の選曲番号を示す選曲番号データ、予約された曲の選曲番号データなどを一時保存するためのＲＡＭ４６と、ＣＰＵ４５により実行されるプログラム（後述の図１２、図１３、及び図１４に示すフローを実行する楽音演奏処理プログラムを含む）及び必要なデータテーブルなどが記憶されたＲＯＭ４７とが接続されている。
【００２４】
また、ＣＰＵ４５には、モニタ１３，１４に歌詞テロップや各種メッセージ映像を表示するための文字映像データが記憶されたビデオＲＡＭ４８と、サーバ５８から送信される楽曲データや五線譜情報（詳細は後述）、歌詞データ、及び映像データを通信端子４０を介して受信するためのＬＡＮボード５０と、このＬＡＮボード５０により受信される楽曲データ及び歌詞データ等を一時保存するためのハードディスク（以下、ＨＤＤと称す）ＨＤＤ４９（楽曲データ記憶手段に相当）とが接続されている。
【００２５】
さらに、ＣＰＵ４５には、ＨＤＤ４９から読み出された曲データに含まれるＭＩＤＩデータを入力するとともに、その入力されたＭＩＤＩデータにより指定される音源から音源信号を出力するＭＩＤＩ音源ボード５１が接続されている。また、ＣＰＵ４５には、上記出力された音源信号を入力してアンプ１６により増幅可能な信号に変換する音声制御回路５２と、が接続されている。
【００２６】
また、ＣＰＵ４５には、ＨＤＤ４９から読み出された一般的な背景映像データ、及びＨＤＤ４９から読み出された曲固有の背景データや曲データに含まれる歌詞テロップデータ等を入力し、モニタ１３の表示画面に表示される背景映像中に歌詞テロップがスーパーインポーズされた映像を作成したり、曲の進行にしたがって歌詞テロップの色を変えたりする映像制御を行う映像制御回路５４が接続されている。
【００２７】
さらに、ＣＰＵ４５には、制御装置２０の受光部３８により受光されたリモコン３０からの光信号をデジタル信号に変換する変換回路５５と、制御装置２０の筺体に設けられた各種ボタン、キー６０（テンキー、選曲ボタン等）を押したときに点灯するＬＥＤ６１へ表示信号を出力する表示回路５６と、上記各種ボタン及びキーを押したときに発生するスイッチング信号を入力する入力回路５７とが接続されている。
【００２８】
＜カラオケ装置の基本動作＞
以上の基本構成のカラオケ装置１０において、ユーザがリモコン３０により例えばエレキギター４の演奏パートを含むカラオケ楽曲を選曲し、選曲に対応してサーバ５８から送信された楽曲データを受信すると、楽曲データが演奏される。そのエレキギター４の演奏パートを含む楽曲データの演奏に合わせてユーザ（楽器演奏者に相当）がエレキギター４を演奏すると、エレキギター４から出力される演奏信号は、楽器接続ボード８を介して制御装置２０の入力端子４４へ入力される。そして、音声制御回路５２において、音源信号が音声出力端子４１へ出力される。なお、いわゆるマイナスワン再生状態の場合には、音声制御回路５２において、音源信号のエレキギターの楽曲パート一部をエレキギター４の演奏信号と置き換えたマイナスワン再生状態で、音声出力端子４１へ出力される。
【００２９】
このとき、本実施形態では、サーバ５８より歌詞データや映像データとともに受信した当該エレキギター４のギター演奏パートを含む楽曲データに対し、予め演奏支援用に五線譜情報等（詳細は後述）が対応付けられており、当該楽曲データの再生時にはモニタ１３，１４によって五線譜情報が歌詞データや映像データと共に表示される。これにより、演奏者であるユーザは、モニタ１３，１４に表示される五線譜情報を活用することで、再生されるカラオケ楽曲に合わせてエレキギター４の演奏パートを自ら容易に演奏して、当該エレキギター４の練習を行ったり、カラオケ楽曲全体のアンサンブルを楽しむことができる。
【００３０】
＜データ構造＞
図３は、本実施形態における、サーバ５８より受信した楽曲データを含む受信データのデータ構造を示す説明図である。図３に示す例では、サーバから受信されるデータの、カラオケ楽曲の４小節分を示している。受信データは、４小節分の演奏の進行に対応した複数の楽器演奏パート（この例では、エレキギター４に対応するギターパート、ベースパート、ドラムパート）の楽曲データと、各小節のコード情報（但し必ずしも必要ではなく、省略しても良い）と、上記五線譜情報と、歌詞データ（歌詞テロップデータ）と、映像データと、を備えている。
【００３１】
楽曲データは、歌詞データ及び映像データとともに、図３に示すデータ中の１番目の小節（以下、単に「第１小節」等という）から再生され、時間の経過に従って第２小節、第３小節、第４小節へと再生が進行して行く。またその再生に対応して、歌詞データ及び映像データに基づく表示も進行していく。なお、楽曲データの種類が複数ある場合には、楽曲データ毎に、曲名（例えば、上述した選曲に用いる楽曲ＩＤ）、楽曲演奏用のＭＩＤＩデータ、歌詞データ、演奏支援用の上記五線譜情報等が対応付けられたデータ構造であればよい。楽曲データ構造は周知であるので、図３には必要な部分だけを図示する。
【００３２】
＜コード情報＞
コード情報は、楽曲データに対応付けられており、この例では、図中の第１小節がコードＢ♭ｍａｊ７、第２小節がコードＡｍ７、第３小節がコードＧｍ７及びＧｍ７／Ｃ、第４小節がコードＦｍａｊ９となっている。
【００３３】
＜五線譜情報＞
五線譜情報は、上記ギターパートの内容を五線譜で表したもので、上記コード情報と同様、楽曲データに対応付けられている。なお、後述するチョーキング奏法を行うべきチョーキング部位では、チョーキング奏法に沿った内容の五線譜（後述の図９、図１０参照）となっている。この五線譜情報の詳細については後述する。なお、チョーキング奏法に沿った内容であれば（すなわち後述する開始音高と最終音高とが明示されていれば）、五線譜情報に代え、他の情報（例えばＴＡＢ譜情報等）を用いてもよい。
【００３４】
なお、この例では、上記コード情報や五線譜情報が楽曲データと同一ファイルにより構成されているが、これに限られず、コード情報や五線譜情報が楽曲データと別ファイルで構成され、同じ曲名で対応付けられていてもよい。例えば、以下の構成と処理（１）〜（４）によって、コード情報や五線譜情報が楽曲データと別ファイル（以下、コード・五線譜情報ファイル）であっても、コード情報や五線譜情報が楽曲データと同一ファイルの場合と、同じ作用が得られる。
（１）コード・五線譜情報ファイルは、楽曲データの再生の時間進行に応じて出現するコード情報・五線譜情報を、予め、楽曲の進行時間と対応付けたテーブルのファイルである。テーブルは具体的には、（演奏時間ｔ１：コードＥｍ、ｔ２：コードＢｍ、・・・最後の演奏時間ｔＸ：最後の五線譜情報（又はコード情報）Ｘ）の情報が記録されている。
（２）上記コード・五線譜情報ファイルを、楽曲データとともに、ＨＤＤ４９に記憶しておく。
（３）入力回路５７から楽曲の再生が指定された場合に、ＣＰＵ４５は、楽曲データとともに、対応するコード・五線譜情報ファイルもＨＤＤ４９から読み出す。
（４）ＣＰＵ４５は、ＲＯＭ４７の実行プログラムに従い楽曲データを再生し、再生の進行時間に応じて、コード・五線譜情報ファイルからコード情報・五線譜情報を読み出す。具体的には、楽曲データの再生の進行時間がｔ１（秒）に到達した場合には、コード・五線譜情報ファイルからｔ１に対応するコードＥｍを読み出し、ｔ２（秒）の到達で、ｔ２に対応するコードＢｍを読み出す。以下同様に、楽曲データの再生終了（ｔＸ）迄、コード・五線譜情報ファイルから進行時間に応じたコードを読み出し続ける。
【００３５】
＜本実施形態の特徴＞
ところで、カラオケ装置においてユーザの歌唱に対する採点を行う手法は既に広く行われている。ここで、上記のようにユーザが弦楽器（この例ではエレキギター４）の演奏を行うとき、その演奏に対する採点を行い採点結果を表示するようにすれば、ユーザにとっての楽しみをさらに増大させることができる。
【００３６】
そこで、本実施形態では、ユーザがエレキギター４を演奏することで出力された演奏信号の周波数成分が、公知のＦＦＴ（高速フーリエ変換）の手法により抽出された後にクロマベクトル処理が行われることで、所定の時間区分ごとに、上記演奏に対応した実音高データ（詳細は後述）が生成される。その実音高データと、上記五線譜情報に基づき生成された目標音高データ（詳細は後述）との一致度に基づき、上記採点が行われる。以下、その詳細を図４〜図１１を用いて説明する。
【００３７】
＜ＣＰＵの詳細機能＞
上記の採点を行うために、本実施形態の上記ＣＰＵ４５が備える機能的構成を、図４に示す。図示のように、ＣＰＵ４５は、ＦＦＴ処理部４５ａ、特徴パラメータ取得部４５ｂ、実データバッファ４５ｃ、目標データ生成部４５ｇ、目標データバッファ４５ｅ、マッチング処理部４５ｄ、及び、採点結果生成部４５ｆ等の各機能部を備えている。
【００３８】
前述のようにしてユーザのエレキギター４の演奏により出力され制御装置２０に入力された演奏信号は、デジタルデータに変換された後にＦＦＴ処理部４５ａ及び特徴パラメータ取得部４５ｂに入力される。ＦＦＴ処理部４５ａでは、入力されたサンプリングデータ列である演奏音声データを所定の時間区分（例えば１８６ｍｓｅｃ）毎に分割して高速フーリエ変換する。このＦＦＴによって得られた周波数スペクトルは、ＦＦＴ処理部４５ａから特徴パラメータ取得部４５ｂに入力される。
【００３９】
特徴パラメータ取得部４５ｂは、上記演奏音声データが入力されるとともに、ＦＦＴ処理部４５ａから、周波数領域の情報である周波数スペクトルが入力される。特徴パラメータ取得部４５ｂは、上記演奏音声データ及びその周波数スペクトルから、演奏音声データの様々な特徴を示す複数の特徴パラメータを取得し、公知のクロマベクトル化の手法によりその取得結果に対応した実音高データ（上記演奏信号に含まれる音を表すデータ）を生成し出力する。この特徴パラメータの取得は、上記時間区分ごとのフレームで行われる。具体的には、特徴パラメータ取得部４５ｂは、上記入力された演奏音声データから時間領域の特徴パラメータを割り出す時間領域情報取得部４５ｂａと、ＦＦＴ処理部４５ａから入力された周波数スペクトルから周波数領域の特徴パラメータを割り出す周波数領域情報取得部４５ｂｂを備えている。
【００４０】
時間領域情報取得部４５ｂａは、入力された演奏音声データをＦＦＴ処理部４５ａと同期した上記時間区分ごとのフレームに分割し、各フレームごとに時間領域の特徴パラメータを取得する。領域情報取得部４５ｂａが取得する特徴パラメータの例としては、例えば、エネルギ、エネルギ変化度、持続時間等がある。周波数領域情報取得部４５ｂｂは、上記ＦＦＴ処理部４５ａから入力された上記時間区分の長さの波形の周波数スペクトルから周波数領域の特徴パラメータを取得する。周波数領域情報取得部４５ｂｂが取得する特徴パラメータの例としては、例えば、ピッチ、倍音周波数、倍音レベル、倍音位相、等がある。これらのピッチ（ギターの音階を示す音高）、その倍音周波数、倍音レベルなどのパラメータは、後述する図５や図６等で説明するスペクトル画像の生成や表示に用いられる。
【００４１】
上記のようにして時間領域情報取得部４５ｂａ及び周波数領域情報取得部４５ｂｂで取得された特徴パラメータに基づき生成され出力された上記実音高データは、実データバッファ４５ｃに入力される。実データバッファ４５ｃは、入力された上記実音高データを時間情報（タイムスタンプ）を付して記憶する。
【００４２】
一方、目標データ生成部４５ｇには、上記カラオケ楽曲データに同期した上記五線譜情報が入力される。目標データ生成部４５ｇは、その五線譜情報に基づき、目標音高データ（本実施形態では、チョーキング奏法用目標音高データと通常奏法用目標音高データとの２種類がある。詳細は後述）を生成する。この目標音高データは、例えば、五線譜情報で表される音に対応したデータである。生成された目標音高データは、目標データバッファ４５ｅへ出力されて目標データバッファ４５ｅに記憶される。
【００４３】
マッチング処理部４５ｄは、上述のようにして実データバッファ４５ｃに記憶された実音高データと、これに対応する、目標データバッファ４５ｅに記憶された上記目標音高データと、を公知の手法で比較し、一致度を例えば演算により数値的に算出する。算出された一致度は採点結果生成部４５ｆへ出力される。なお、一致度を演算によって算出するのではなく、予め複数の区分に分けられ各区分ごとに一致度の値が対応づけられたテーブルが用意されており、上記比較結果が当該テーブルのどの区分に属するかによって一致度を決定するようにしてもよい。
【００４４】
採点結果生成部４５ｆは、マッチング処理部１８から入力された上記一致度に基づいてユーザによる演奏（この例ではエレキギター４の演奏）を評価し、一致度が高いほど演奏に高い評価をつける。採点結果生成部４５ｆは、この評価を例えば１００点を満点とした得点として採点し、採点結果をモニタ１３，１４に入力する。モニタ１３，１４は、入力された採点結果を表示する。
【００４５】
＜弦楽器の奏法＞
ところで、一般に、弦楽器（特に上記エレキギター４）の演奏には楽曲のジャンルや演奏者であるユーザの好み等により種々様々な奏法がある。例えばエレキギター４の単音演奏時において、一方の手指で１つのフレットにおいて弦を押さえ、他方の手のピッキングにより発音を開始させた後、上記一方の手指により当該弦をフレットに接触させたまま上方へ撓ませることで、発音音高を高い側へなめらかに移行させる奏法（いわゆるチョーキング奏法）が行われる場合がある。
【００４６】
このチョーキング奏法による演奏では、ユーザは、最終的に発音させたい音高よりも低い音高（以下適宜、開始音高という）で発音開始させた後、上記の撓ませ操作によって経時的に音高を上昇させ、上記最終的に発音させたい音高（以下適宜、最終音高という）に到達させるようにする。チョーキング開始からチョーキング終了までの上記撓ませ操作は弦の張力に逆らって行う操作であり、ユーザの技量が上手であるか下手であるかによって、聞き手が聞いたときの印象は相当に異なってくる。したがって、このようなチョーキング奏法の上手・下手を判定して上記採点に反映させることができれば、さらに聞き手の印象に近い正確な採点を行うことができるはずである。しかしながら、上記採点を、一方の手指で１つのフレットにおいて弦を押さえつつ他方の手のピッキングにより発音させる通常の奏法のみに対応させて一律に行ったとすると、上記のようなチョーキング奏法の技量を反映することができず、正確な採点を行うことが困難となる。
【００４７】
＜チョーキング奏法の演奏信号＞
上述したチョーキング奏法の演奏信号について、図５（ａ）、図５（ｂ）、図６（ａ）、図６（ｂ）を用いて説明する。
【００４８】
図５（ａ）、図５（ｂ）、図６（ａ）、図６（ｂ）は、一例として、チョーキング奏法での演奏信号の一例として、エレキギター４の２弦の１３フレット相当の「Ｃ」の音を最終的に発音させるために、２弦の１２フレットを押さえて「Ｂ」の音（前述の開始音高）で発音開始させた後、上記撓ませ操作によって経時的に音高を上記「Ｃ」の音（前述の最終音高）まで上昇させたときの、演奏信号をＦＦＴ処理したスペクトル画像を示している。横軸は信号のレベルを表し、「５５Ｈｚ以上１１０Ｈｚ未満」の帯域、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、「８８０Ｈｚ以上１．７６ＫＨｚ未満」の帯域、「１．７６ＫＨｚ以上３．５２ＫＨｚ未満」の帯域、「３．５２ＫＨｚ以上」の帯域、にそれぞれ、入力された音高に対する倍音周波数、倍音レベルの関係が判るようにオクターブ単位で区分して示している。また、縦軸には「Ａ」「Ａ＃」「Ｂ」「Ｂ＃」「Ｃ」「Ｃ＃」「Ｄ」「Ｄ＃」「Ｅ」「Ｆ」「Ｆ＃」「Ｇ」「Ｇ＃」の各音階（音高）を取って表している。
【００４９】
図５（ａ）に示すように、上記発音開始直後である発音開始から０．８秒後では、上記開始音高に対応して、上記「８８０Ｈｚ以上１．７６ＫＨｚ未満」の帯域、「１．７６ＫＨｚ以上３．５２ＫＨｚ未満」の帯域、の２つにおいて、「Ｂ」の音階のスペクトルが比較的大きなレベルで生じている。また「３．５２ＫＨｚ以上」の帯域でも、「Ｂ」の音階のスペクトルが比較的小さなレベルで生じている。
【００５０】
その後、発音開始から１．２秒後になると、図５（ｂ）に示すように、上記撓ませ操作に対応して、上記「８８０Ｈｚ以上１．７６ＫＨｚ未満」の帯域、「１．７６ＫＨｚ以上３．５２ＫＨｚ未満」の帯域、の２つにおいて、上記「Ｂ」の音階のスペクトルのレベルが若干小さくなるとともに、「Ｃ」の音階においてある程度のレベルのスペクトルが生じはじめる。
【００５１】
さらに、発音開始から１．６秒後になると、図６（ａ）に示すように、上記撓ませ操作の進展に対応して、上記「８８０Ｈｚ以上１．７６ＫＨｚ未満」の帯域、「１．７６ＫＨｚ以上３．５２ＫＨｚ未満」の帯域、の２つにおいて、上記「Ｂ」の音階のスペクトルのレベルがさらに小さくなるとともに、「Ｃ」の音階のスペクトルのレベルがさらに大きくなる。この結果「Ｂ」の音階のスペクトルと「Ｃ」の音階のスペクトルとが、概ね同等のレベルとなっている。
【００５２】
そして、発音開始から２．０秒後になると、図６（ｂ）に示すように、上記撓ませ操作の進展に対応して、上記「８８０Ｈｚ以上１．７６ＫＨｚ未満」の帯域、「１．７６ＫＨｚ以上３．５２ＫＨｚ未満」の帯域、の２つにおいて、上記「Ｂ」の音階のスペクトルはほぼ消失し、「Ｃ」の音階のスペクトルのみとなっている。
【００５３】
＜奏法に応じた２種類の目標音高データの生成＞
上記のような、奏法による演奏信号の違いに基づき、本実施形態においては、上記目標音高データとして、上記チョーキング奏法以外の通常奏法に対応した通常奏法用目標音高データと、上記チョーキング奏法に対応し図５及び図６を用いて上述したような開始音高から最終音高までの音高の経時変化を加味したチョーキング奏法用目標音高データと、の２つが生成される。すなわち、上記図４に示したように、ＣＰＵ４５の上記目標データ生成部４５ｇは、前述のようにして入力された五線譜情報に基づき上記チョーキング部位において上記チョーキング奏法用目標音高データを生成するチョーキング奏法用目標データ生成部４５ｇ１と、上記入力された五線譜情報に基づき上記チョーキング部位以外の部位において上記通常奏法用目標音高データを生成する通常奏法用目標データ生成部４５ｇ２と、を備えている。そして、本実施形態では、上記楽曲データに対応付けられる五線譜情報に応じた、上記チョーキング奏法用目標データ生成部４５ｇからのチョーキング奏法用目標音高データ、若しくは、通常奏法用目標データ生成部４５ｇ２からの通常奏法用目標音高データ、が選択的に切り替えられて目標データバッファ４５ｅへと入力され、記憶される。したがって、目標データバッファ４５ｅには、１つの楽曲データに対応づけられた目標音高データであって、チョーキング奏法が行われるべきチョーキング部位には上記チョーキング奏法用目標音高データが組み込まれ、それ以外の部位には上記通常奏法用目標音高データが組み込まれた、目標音高データが記憶される。そして、この目標音高データと、（ユーザが演奏した）上記実音高データとが、上記マッチング処理部４５ｄにより比較される。その手法を、図７、図８、図９、及び図１０を用いて説明する。
【００５４】
＜チョーキングの技量判定のためのデータ比較＞
本実施形態では、上述したように、上記チョーキング部位では、チョーキング奏法用目標音高データと上記実音高データとが比較される。その際、ユーザの演奏したチョーキング奏法の技量が上手であるか下手であるかを見分ける観点から、以下の観点からの比較が行われる。
【００５５】
（Ａ）実音高データの波形が上に凸であるか
チョーキング奏法の挙動を、音高を縦軸にとり時間を横軸にとって表す図７（ａ）及び図７（ｂ）を用いて説明する。通常、上級者がチョーキング奏法を行う場合、図７（ａ）中の破線ブロック矢印に示すように、上記開始音高を与えるチョーキング開始点の開始直後の比較的早い時間に当該開始音高から比較的鋭く立ち上がって音高が上昇した後、時間の経過と共に徐々に音高上昇率が緩やかになって、上記最終音高を与えるチョーキング終了点へと至る挙動となる。
【００５６】
これに対して、初級者の実行するチョーキング奏法においては、図７（ａ）中の実線矢印に示すように、上記チョーキング開始点からチョーキング中間点を経て上記チョーキング終了点まで音高が時間的に直線的に移行する。あるいは、図７（ａ）とは逆に、図７（ｂ）中の破線ブロック矢印に示すように、チョーキング開始点の直後の音高上昇率が緩いままで時間が経過した後、チョーキング終了点間近になって鋭く立ち上がって音高が上昇し、チョーキング終了点の最終音高へと至る挙動となる。
【００５７】
そこで、本実施形態では、上記挙動の差に基づき、上記のように音高を縦軸にとり時間を横軸にとって表したときの実音高データの波形が、目標音高データのチョーキング開始点とチョーキング終了点を結ぶ右上がりの直線（図７（ａ）の初級者の挙動と同等）に対し、上に凸となっているか否か、が識別される。具体的には、上記チョーキング奏法用目標音高データから上記チョーキング開始点と上記チョーキング終了点とが取得されるとともに、それらチョーキング開始点とチョーキング終了点との間の時間的中間位置に相当する、チョーキング奏法用目標音高データの上記チョーキング中間点が算出される。上記実音高データにおけるチョーキング開始点とチョーキング終了点との間の時間的中間位置に相当する、実音高データの上記チョーキング中間点が算出される。そして、当該実音高データのチョーキング中間点の音高が、上記チョーキング奏法用目標音高データのチョーキング中間点の音高よりも高ければ、図７（ａ）の破線ブロック矢印のように上記「上に凸」の挙動となっている、とみなされ、後述の一致度が高い値となる（すなわち上級者の演奏と判定される）。
【００５８】
また、当該実音高データのチョーキング中間点の音高が、上記チョーキング奏法用目標音高データのチョーキング中間点の音高よりも低ければ、図７（ｂ）の破線ブロック矢印のように「下に凸」の挙動となっている、後述の一致度が低い値又は中間の値となる（上級者の演奏には該当しないと判定される）。
【００５９】
（Ｂ）チョーキング終了点が（所定範囲内で）一致しているか
例えば、演奏能力が低い上記初級者等がチョーキング奏法を行う場合、前述の撓ませ操作が過度になりチョーキング終了時に上記最終音高よりも高くなってしまう場合（後述の図８（ａ）参照）や、逆に、上記撓ませ操作が不足してチョーキング終了時に上記最終音高よりも低くなってしまう場合（後述の図８（ｂ）参照）がある。
【００６０】
そこで、本実施形態では、まず、目標音高データの上記右上がりの直線と同じ音高（若しくはその近傍で右上がりの直線よりも高い音高）に、予め（上限側の）音高しきい値が設定される。そして、チョーキング奏法の実行時に、前述の実音高データの波形が、上記（上限側の）音高しきい値以下に収まっているか否か、が識別される。この例では、具体的には、上記チョーキング奏法用目標音高データのチョーキング開始点よりも所定値だけ高い音高に（上限側）許容開始点が設定されるとともに、上記チョーキング奏法用目標音高データのチョーキング終了点よりも所定値だけ高い音高に（上限側）許容終了点が設定される。
【００６１】
さらに、この例では、目標音高データの上記右上がりの直線と同じ音高（若しくはその近傍で右上がりの直線よりも低い音高）に、予め（下限側の）音高しきい値も設定される。そして、チョーキング奏法の実行時に、前述の実音高データの波形が、上記（下限側の）音高しきい値以上となっているか否か、が識別される。この例では、具体的には、上記チョーキング奏法用目標音高データのチョーキング開始点よりも所定値だけ低い音高に（下限側）許容開始点が設定されるとともに、上記チョーキング奏法用目標音高データのチョーキング終了点よりも所定値だけ低い音高に（下限側）許容終了点が設定される。
【００６２】
そして、上記実音高データのチョーキング開始点の音高が上記（上限側）許容開始点の音高よりも高いか、上記実音高データのチョーキング終了点の音高が上記（上限側）許容終了点の音高よりも高いか（図８（ａ）参照）、上記実音高データのチョーキング開始点の音高が上記（下限側）許容開始点の音高よりも低いか、上記実音高データのチョーキング終了点の音高が上記（下限側）許容終了点の音高よりも低いか（図８（ｂ）参照）、のいずれかの場合には、後述の一致度が低い値となる（初級者の演奏に該当すると判定される）。
【００６３】
＜目標音高データとの比較の具体例＞
上記のようなデータ比較の具体例を図９及び図１０により説明する。図９は、上記チョーキング部位を含む目標音高データの一例を示しており、図１０は、当該目標音高データに対応した実音高データの一例を示している。
【００６４】
＜チョーキング部位における目標音高データ＞
図９において、この例では、コードＢ♭Ｍａｊ７の第１小節において、１拍目の１弦の５フレット相当の「Ａ」の音を発音するために、１弦の３フレット相当の「Ｇ」の音で発音開始させた後、１音分のチョーキング奏法（図中の「ｃｈｏ．」表記を参照。以下同様）によって音高を上記「Ａ」の音まで上昇させる奏法が、指定されている。
【００６５】
また、コードＡｍ７の第２小節において、３拍目の１弦の５フレット相当の「Ａ」の音を発音するために、上記同様、１弦の３フレット相当の「Ｇ」の音で発音開始させた後、１音分のチョーキング奏法によって音高を上記「Ａ」の音まで上昇させる奏法が、指定されている。
【００６６】
また、コードＧｍ７及びＧｍ７／Ｃの第３小節において、４拍目の３弦の３フレット相当の「Ｂ♭」の音を発音するために、３弦の２フレット相当の「Ａ」の音で発音開始させた後、半音分のチョーキング奏法によって音高を上記「Ｂ♭」の音まで上昇させる奏法が、指定されている。
【００６７】
さらに、コードＤｍの第５小節において、１拍目の２弦の６フレット相当の「Ｆ」の音を発音するために、２弦の３フレット相当の「Ｄ」の音で発音開始させた後、１音＋半音分のチョーキング奏法によって音高を上記「Ｆ」の音まで上昇させる奏法が、指定されている。
【００６８】
また、コードＡｍ７の第６小節において、３拍目の１弦の３フレット相当の「Ｇ」の音を発音するために、１弦の１フレット相当の「Ｆ」の音で発音開始させた後、１音分のチョーキング奏法によって音高を上記「Ｇ」の音まで上昇させる奏法が、指定されている。
【００６９】
さらに、コードＡ７の第７小節において、４拍目の４弦の５フレット相当の「Ｇ」の音を発音するために、４弦の３フレット相当の「Ｆ」の音で発音開始させた後、１音分のチョーキング奏法によって音高を上記「Ｇ」の音まで上昇させる奏法が、指定されている。
【００７０】
＜チョーキング部位における実音高データ＞
図１０において、この例では、上記コードＢ♭Ｍａｊ７の第１小節、上記コードＧｍ７及びＧｍ７／Ｃの第３小節、上記コードＡｍ７の第６小節、上記コードＡ７の第７小節では、上記目標音高データの指定通りの演奏が実行されている。
【００７１】
これに対し、上記コードＡｍ７の第２小節では、前述の撓ませ操作が過剰となった結果、１弦の３フレット相当の「Ｇ」の音で発音開始させた後、１音半分のチョーキングとなってしまって音高が上記「Ａ」の指定よりも高い「Ｂ♭」の音まで上昇している（例えば、上記図８（ａ）の破線ブロック矢印に相当）。また、上記コードＤｍの第５小節では、撓ませ操作が不足となった結果、２弦の３フレット相当の「Ｄ」の音で発音開始させた後、１音分のチョーキングとなってしまって音高が上記「Ｆ」の指定よりも高い「Ｅ」の音までしか上昇していない（例えば、上記図８（ｂ）の破線ブロック矢印に相当）。したがって、これら２つのチョーキング部位においては、後述の一致度が低い値となる（初級者の演奏に該当すると判定される）。
【００７２】
上記のようにして決定された一致度を用いて行われた採点結果生成部４５ｆでの採点結果に応じて、上記モニタ１３，１４に表示される表示例を図１１（ａ）〜（ｃ）に示す。図１１（ａ）は採点結果が１００点であった場合の例、図１１（ｂ）は採点結果が６０点であった場合の例、図１１（ｃ）は採点結果が０点であった場合の例である。これ以外にも、楽曲データ再生の進行中の時間区分毎に、ユーザによるギター演奏の採点結果表示に加え、歌詞、コードも併せて表示するなど、各得点の値に応じて種々の表示態様が予め用意されている（図示省略）。
【００７３】
＜制御手順＞
上記のような本実施形態の手法を実現するために、カラオケ装置１０の楽曲再生時にＣＰＵ４５により実行される処理内容を、図１２、図１３、図１４のフローチャートにより説明する。
【００７４】
図１２において、このフローは、例えばカラオケ装置１０のユーザが、制御装置２０の電源ボタンを押して制御装置２０の電源を立ち上げると、開始される。制御装置２０の電源の立ち上がりに連動して、アンプ１６、楽器接続ボード８及びモニタ１３，１４の電源が立ち上がる。なお、前述したように、この例では、カラオケ装置１０のユーザが、楽器接続ボード８にエレキギター４を接続して演奏する場合を例にとって説明する。ユーザがエレキギター４のフォンプラグを楽器接続ボード８の入力端子（フォンジャック）４ａに接続すると、楽器接続ボード８はエレキギター４が接続されたことを検知する。
【００７５】
図１２において、まず、ステップＳ１０において、ＣＰＵ４５は、ユーザによる選曲が終了したか否かを判定する。選曲は、例えば、ユーザがエレキギター４を演奏したい曲の選曲番号をリモコン３０のテンキーにより入力し、選曲ボタンを押すと、選曲が終了する。選曲が終了するまではステップＳ１０の判定が満たされず（ステップＳ１０：ＮＯ）、ループ待機する。選曲が終了した場合はステップＳ１０の判定が満たされ（ステップＳ１０：ＹＥＳ）、ステップＳ１５に移る。
【００７６】
ステップＳ１５では、ＣＰＵ４５は、ステップＳ１０での選曲結果に対応し、上記選曲番号を示す選曲番号データをＲＡＭ４６に一時保存するとともに、ＬＡＮボード５０を介し、上記選曲番号に対応する曲データの送信を要求するリクエスト信号を、ＬＡＮ回線１５を介してサーバ５８へ送信する。これにより、サーバ５８は、図示しない記憶装置から、上記リクエスト信号に示される選曲番号に対応する楽曲データ及び上記五線譜情報等と当該楽曲データに対応した歌詞データ及び映像データとを検索して読み出し、その読み出された曲データ等を、ＬＡＮ回線１５を介して制御装置２０に送信する。ステップＳ１５が終了したら、ステップＳ２０に移る。
【００７７】
ステップＳ２０では、ＣＰＵ４５は、ＬＡＮボード５０を介し、サーバ５８からＬＡＮ回線１５を介して送信された（五線譜情報等を含む）楽曲データ等を受信する。その後、ステップＳ２５に移る。
【００７８】
ステップＳ２５では、ＣＰＵ４５は、上記ステップＳ２０で受信した楽曲データ等をＨＤＤ４９に一時保存する。その後、ステップＳ３０に移る。
なお、この例では、ステップＳ１５，ステップＳ２０、ステップＳ２５の処理として、選曲番号に対応付けられた、楽曲データ及び五線譜情報等は、選曲毎にサーバ５８からオンデマンドで取得する処理を行う。そのほか、カラオケ装置１０の制御装置２０に大容量の補助記憶手段（図示せず）を設けて、予め、楽曲データ等を、補助記憶手段に記憶し、選曲毎に、選曲番号に対応付けられた情報群を補助記憶手段から読み出して、目的とする情報を取得する処理としてもよい。
【００７９】
ステップＳ３０では、ＣＰＵ４５は、上記ステップＳ２５でＨＤＤ４９に記憶されているＭＩＤＩデータの読み出しを開始し、読み出されたＭＩＤＩデータをＭＩＤＩ音源ボード５１に書き込む。ステップＳ３０が終了したら、ステップＳ３５に移る。
【００８０】
ステップＳ３５では、ＣＰＵ４５は、ＭＩＤＩ音源ボード５１に制御信号を出力し、上記ステップＳ３０で書き込んだＭＩＤＩデータに対応した音源信号を、ＭＩＤＩ音源ボード５１から出力させる。ＭＩＤＩ音源ボード５１から出力される音源信号は、音声制御回路５２へ出力されるとともに、アンプ１６により増幅可能な音楽信号に変換され、この変換された音楽信号は、音声出力端子４１からアンプ１６へ出力される。また、マイクロフォン１７，１８から入力された音声信号は、アンプ１６に内蔵されたミキシング回路９において上記音楽信号とミキシングされる。このとき、エレキギター４の出力端子から出力された演奏信号は、楽器接続ボード８及び制御装置２０を介してミキシング回路９に入力され、上記音声信号及び音楽信号とミキシングされる。そして、そのミキシングされたミキシング信号は、アンプ１６に内蔵された図示しない増幅回路により増幅された後にスピーカ１１及びスピーカ１２へ出力され、両スピーカによって再生される。なお、このステップＳ３５の手順が各請求項記載の楽曲データ再生手段として機能する。ステップＳ３５が終了すると、ステップＳ４０に移る。
【００８１】
ステップＳ４０では、ＣＰＵ４５は、モニタ１３，１４に制御信号を出力し、ステップＳ２５で保存した五線譜情報及び歌詞等をモニタ１３，１４により表示させる（なお、後述のステップＳ１００による採点結果についてもこのときに併せて表示される）。これにより、エレキギター４の演奏者であるユーザは、モニタ１３，１４に表示される五線譜にしたがいエレキギター４を演奏することにより、再生されるカラオケ楽曲に合わせてエレキギター演奏パートを容易に演奏することができる。その後、ステップＳ５０に移る。
【００８２】
ステップＳ５０では、ＣＰＵ４５は、上記ユーザのエレキギター４の演奏により入力端子４４から入力された演奏信号を演奏データとして例えば上記ＨＤＤ４９に蓄積する。その後、ステップＳ５５に移る。
【００８３】
ステップＳ５５では、ＣＰＵ４５は、前述のＦＦＴ（高速フーリエ変換）の処理単位に対応した１つの上記時間区分が終了したか否かを判定する。上記時間区分が終了していなければ判定が満たされず（Ｓ５５：ＮＯ）、上記ステップＳ３０に戻って同様の手順を繰り返す。上記時間区分が終了したら判定が満たされ（Ｓ５５：ＹＥＳ）、ステップＳ１００に移る。
【００８４】
ステップＳ１００では、ＣＰＵ４５は、前述した手法による採点処理を行う。この採点処理の詳細を、図１３に示す。
【００８５】
図１３において、まずステップＳ１１０で、ＣＰＵ４５は、上記ステップＳ５０で蓄積した（上記１つの区分に対応した）演奏データを読み出し、上記ＦＦＴ処理部４５ａにより、公知のＦＦＴ（高速フーリエ変換）の手法により各周波数成分を抽出し解析する。その後、ステップＳ１２０に移る。
【００８６】
ステップＳ１２０では、ＣＰＵ４５は、上記特徴パラメータ取得部４５ｂにより、上記ステップＳ１１０での解析結果を公知の手法によりクロマベクトル化することにより、前述の実音高データを生成する。なお、このステップＳ１２０が各請求項記載の実データ生成手順に相当し、このステップＳ１２０を実行するＣＰＵ４５が各請求項記載の実データ生成手段として機能する。その後、ステップＳ１３０に移る。
【００８７】
ステップＳ１３０では、ＣＰＵ４５は、上記目標データ生成部４５ｇのチョーキング奏法用目標データ生成部４５ｇ１及び通常奏法用目標データ生成部４５ｇ２により、上記ステップＳ２０で取得された五線譜情報に基づき、各音ごとに、前述のようにして上記チョーキング奏法用目標音高データ又は通常奏法用目標音高データからなる目標音高データを生成し、上記目標データバッファ４５ｅに記憶する。このときのチョーキング奏法用目標音高データには、前述のチョーキング開始点とチョーキング終了点とが含まれている。なお、このステップＳ１３０が各請求項記載の目標データ生成手順に相当し、このステップＳ１３０を実行するＣＰＵ４５が各請求項記載の目標データ生成手段として機能する。その後、ステップＳ１４０に移る。
【００８８】
ステップＳ１４０では、ＣＰＵ４５は、上記マッチング処理部４５ｄにより、上記ステップＳ１３０で生成された目標音高データを、上記ステップＳ１２０で生成された、対応する実音高データと比較して一致度を算出する一致度算出処理（詳細は後述の図１４参照）を実行する。
【００８９】
上記ステップＳ１４０の一致度算出処理の詳細を、図１４に示す。図１４において、まずステップＳ２１０で、ＣＰＵ４５の上記マッチング処理部４５ｄは、上記ステップＳ１３０で生成した目標音高データが、上記チョーキング部位に対応するものであるか（言い換えればチョーキング奏法用目標音高データであるか）否かを判定する。チョーキング部位に対応するものである（言い換えればチョーキング奏法用目標音高データである）場合はステップＳ２１０の判定が満たされ（Ｓ２１０：ＹＥＳ）、ステップＳ２１５に移る。
【００９０】
ステップＳ２１５では、ＣＰＵ４５のマッチング処理部４５ｄは、上記目標データバッファ４５ｅに記憶された目標音高データ（詳細にはチョーキング奏法用目標音高データ）に含まれる、前述のチョーキング開始点及びチョーキング終了点（それぞれの音高を含む）を取得する。
【００９１】
その後、ステップＳ２２０で、ＣＰＵ４５のマッチング処理部４５ｄは、上記取得したチョーキング開始点及びチョーキング終了点に基づき、それらの中間に位置する上記目標音高データの上記チョーキング中間点（それぞれの音高を含む）を取得する。
【００９２】
そして、ステップＳ２２５に移り、ＣＰＵ４５のマッチング処理部４５ｄは、前述のステップＳ１２０で生成された実音高データ（ユーザによるチョーキング奏法による演奏に対応）に基づき、当該実音高データにおけるチョーキング開始点の音高が、上記ステップＳ２１５で取得された目標音高データのチョーキング開始点の音高から所定範囲内にあるかを判定する。具体的には、上記図８（ａ）及び図８（ｂ）を用いて上述したように、ＣＰＵ４５のマッチング処理部４５ｄは、上記実音高データにおけるチョーキング開始点が、上記（下限側）許容開始点と上記（上限側）許容開始点との間に位置するか否か、を判定する。上記所定範囲内になければステップＳ２２５の判定が満たされず（Ｓ２２５：ＮＯ）、ＣＰＵ４５のマッチング処理部４５ｄは、ステップＳ２５０で目標音高データと実音高データとの一致度が「低い」と設定する。一方、上記所定範囲内にあればステップＳ２２５の判定が満たされ（Ｓ２２５：ＹＥＳ）、ステップＳ２３０に移る。
【００９３】
ステップＳ２３０では、ＣＰＵ４５のマッチング処理部４５ｄは、前述のステップＳ１２０で生成された実音高データ（ユーザによるチョーキング奏法による演奏に対応）に基づき、当該実音高データにおけるチョーキング終了点の音高が、上記ステップＳ２１５で取得された目標音高データのチョーキング終了点の音高から所定範囲内にあるかを判定する。具体的には、上記図８（ａ）及び図８（ｂ）を用いて上述したように、ＣＰＵ４５のマッチング処理部４５ｄは、上記実音高データにおけるチョーキング終了点が、上記（下限側）許容終了点と上記（上限側）許容終了点との間に位置するか否か、を判定する。上記所定範囲内になければステップＳ２３０の判定が満たされず（Ｓ２３０：ＮＯ）、ＣＰＵ４５のマッチング処理部４５ｄは、上記同様、上記ステップＳ２５０で目標音高データと実音高データとの一致度が「低い」と設定する。一方、上記所定範囲内にあればステップＳ２３０の判定が満たされ（Ｓ２３０：ＹＥＳ）、ステップＳ２３５に移る。
【００９４】
ステップＳ２３５では、ＣＰＵ４５のマッチング処理部４５ｄは、前述のステップＳ１２０で生成された実音高データ（ユーザによるチョーキング奏法による演奏に対応）に基づき、当該実音高データの上記波形が、上記ステップＳ２１５で取得された目標音高データのチョーキング開始点とチョーキング終了点を結ぶ右上がりの直線に対し、上に凸となっているか否かを判定する。具体的には、既に述べたように、ＣＰＵ４５のマッチング処理部４５ｄは、上記実音高データにおける上記チョーキング開始点及びチョーキング終了点から求めた上記チョーキング中間点の音高が、上記ステップＳ２２０で算出された目標音高データのチョーキング中間点の音高よりも高いか否かを判定する。なお、この判定において、上記（チョーキング奏法用）目標音高データのチョーキング中間点に対して所定の高低範囲を設け、上記実音高データのチョーキング中間点の音高が当該高低範囲の上限よりも高かった場合に、上記上に凸とみなすようにしてもよい。上記上に凸でなければステップＳ２３５の判定が満たされず（Ｓ２３５：ＮＯ）、ＣＰＵ４５のマッチング処理部４５ｄは、ステップＳ２４５で目標音高データと実音高データとの一致度を「中程度（中間値）」であると設定する。一方、上記上に凸であればステップＳ２３５の判定が満たされ（Ｓ２３５：ＹＥＳ）、ステップＳ２４０で目標音高データと実音高データとの一致度が「高い」と設定する。
【００９５】
一方、上記ステップＳ１３０で生成した目標音高データが、上記チョーキング部位に対応するものでない（言い換えれば通常奏法用目標音高データである）場合はステップＳ２１０の判定が満たされず（Ｓ２１０：ＮＯ）、ステップＳ２５５に移る。
【００９６】
ステップＳ２５５では、ＣＰＵ４５のマッチング処理部４５ｄは、前述のステップＳ１２０で生成された実音高データ（ユーザによる通常奏法による演奏に対応）に基づき、当該実音高データが、対応する上記目標音高データ（通常奏法用目標音高データ）に対して略一致するか（近傍の所定の範囲にあるか）否かを判定する。実音高データが上記所定範囲内であればステップＳ２５５の判定が満たされ（Ｓ２５５：ＹＥＳ）、ＣＰＵ４５のマッチング処理部４５ｄは、ステップＳ２６０で目標音高データと実音高データとの一致度が「高い」と設定する。一方、実音高データが上記所定範囲内になければステップＳ２５５の判定が満たされず（Ｓ２５５：ＮＯ）、ＣＰＵ４５のマッチング処理部４５ｄは、ステップＳ２６５で目標音高データと実音高データとの一致度が「低い」と設定する。
【００９７】
上記ステップＳ２４０、ステップＳ２４５、ステップＳ２５０、ステップＳ２６０、ステップＳ２６５のいずれかが完了したらこのルーチンを終了し、図１２のステップＳ１５０に移る。
【００９８】
ステップＳ１５０では、ＣＰＵ４５は、上記採点結果生成部４５ｆにより、上記ステップＳ１４０（詳細には上記ステップＳ２４０、ステップＳ２４５、ステップＳ２５０、ステップＳ２６０、ステップＳ２６５のいずれか）で算出（設定）された上記一致度に基づき、適宜の手法により上記演奏データに対応した採点を行い、採点結果を例えば上記ＨＤＤ４９に出力して記憶させる。なお、この採点結果は、前述のステップＳ３０に戻った後に実行されるステップＳ４０においてモニタ１３，１４において表示される（上記図１１（ａ）〜（ｃ）参照）。
【００９９】
その後、ＣＰＵ４５は、ステップＳ６５において、楽曲データの再生が終了したか（言い換えれば、ステップＳ３０でのＭＩＤＩデータの読み出しが楽曲データの最後のＭＩＤＩデータまで終了したか）否かを判定する。楽曲データの再生が終了していれば判定が満たされ（ステップＳ６５：ＹＥＳ）、このフローを終了する。楽曲データの再生が終了するまでは判定が満たされず（ステップＳ６５：ＮＯ）、上記ステップＳ３０に戻り、上記ステップＳ３０〜ステップＳ６５の手順を繰り返す。
【０１００】
なお、上記ステップＳ２３０、ステップＳ２３５，ステップＳ２４０、ステップＳ２４５、ステップＳ２５０、及び前述のステップＳ１５０が、各請求項記載のチョーキング採点手順に相当し、上記ステップＳ２３０、ステップＳ２３５，ステップＳ２４０、ステップＳ２４５、ステップＳ２５０、及びステップＳ１５０を実行するＣＰＵ４５が各請求項記載のチョーキング採点手段として機能する。
【０１０１】
＜実施形態の効果＞
以上説明したように、本実施形態においては、楽曲の再生に応じてユーザがエレキギター４を演奏すると、その演奏信号の周波数成分がＦＦＴの手法により抽出された後にクロマベクトル処理が行われ、これによって所定の時間区分ごとに、上記演奏に対応した実音高データが生成される（図１３のステップＳ１２０参照）。そして、その実音高データと、楽曲データに対応づけられた五線譜情報に基づき生成された目標音高データとの一致度に基づき、上記演奏に対する採点が行われる（図１３のステップＳ１５０参照）。
【０１０２】
その際、本実施形態においては、前述のようなエレキギター４等の弦楽器をユーザが実際に演奏するときの傾向に鑑み、目標音高データと対応する実音高データとに基づく採点を、上記チョーキング奏法が上手であるか下手であるかが反映されるようにして行う。具体的には、音高を縦軸にとり時間を横軸にとって表したときの実音高データの波形が、目標音高データのチョーキング開始点とチョーキング終了点を結ぶ右上がりの直線に対し、上に凸となっているか否かによりチョーキングの上手・下手を判定する（図１４のステップＳ２３５参照）。これにより、チョーキング奏法の技量を確実に採点結果に反映させることができるので、聞き手の印象に近い正確な採点を精度よく行うことができる。この結果、ユーザにとっての利便性及び娯楽性を高めることができる。
【０１０３】
また、例えば演奏能力が低い演奏者がチョーキングを行ったときは、上記チョーキング奏法時に行う上記撓ませ操作が過度になりチョーキング終了時に最終音高よりも高くなってしまう場合がある。そこで、本実施形態では特に、このような場合にも対応し、上記右上がりの直線と同じ音高（若しくはその近傍で最終音高よりも高い音高）に、予め音高しきい値（図８（ａ）及び図８（ｂ）の（上限側）音高しきい値参照）が設定される。そして、チョーキング奏法の実行時に、前述の実音高データの波形のチョーキング終了点が、上記音高しきい値（図８（ａ）及び図８（ｂ）の（上限側）音高しきい値）以下に収まっているか否か、が判定され（図１４のステップＳ２２５、ステップＳ２３０参照）、採点結果に加味される。これにより、さらに正確な採点を精度よく行うことができる。
【０１０４】
なお、以上において、図４等の各図中に示す矢印は信号の流れの一例を示すものであり、信号の流れ方向を限定するものではない。
【０１０５】
また、図１２、図１３、図１４に示すフローチャートは本発明を上記フローに示す手順に限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。
【０１０６】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【０１０７】
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
【符号の説明】
【０１０８】
４                エレキギター（弦楽器）
１０              カラオケ装置（楽音演奏装置）
４５              ＣＰＵ（演算手段）
４９              ＨＤＤ（楽曲データ記憶手段）
【図１】
2015125384.tif 000003
【図２】
2015125384.tif 000004
【図３】
2015125384.tif 000005
【図４】
2015125384.tif 000006
【図５】
2015125384.tif 000007
【図６】
2015125384.tif 000008
【図７】
2015125384.tif 000009
【図８】
2015125384.tif 000010
【図９】
2015125384.tif 000011
【図１０】
2015125384.tif 000012
【図１１】
2015125384.tif 000013
【図１２】
2015125384.tif 000014
【図１３】
2015125384.tif 000015
【図１４】
2015125384.tif 000016