(57)【要約】      （修正有）【課題】ユーザによる弦楽器の演奏に対し適正な採点を確実に行う。【解決手段】カラオケ装置１０は、エレキギター４の演奏パートを含みコード情報が対応づけられたカラオケ楽曲データを記憶するＲＡＭを有し、カラオケ楽曲データを読み出して再生し、エレキギター４におけるコードに対応した目標音高データを生成し、ユーザのエレキギター４の演奏により出力される演奏信号を入力し、入力される演奏信号の周波数成分を抽出してクロマベクトル処理を行うことにより、実音高データを生成し、生成された前記実音高データと、対応する目標音高データとの一致度に対し、コード類型に応じ、互いに異なる複数種類の重み付けのうちいずれか１つを付与することで、倍音補正を行い、倍音補正が行われた補正後の一致度に応じた演奏の採点を行う。【選択図】図１
2015001623.tif 000002
【特許請求の範囲】
【請求項１】
所定の弦楽器の演奏パートを含み、複数のコードの進行からなるコード情報が対応づけられたカラオケ楽曲データを記憶する楽曲データ記憶手段と、
前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、
前記楽曲データ再生手段での前記カラオケ楽曲データの再生に応じて、対応する前記コード情報に含まれる各コードごとに、前記弦楽器における当該コードに対応した目標音高データを生成する目標データ生成手段と、
前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、
前記演奏信号入力手段から入力される前記演奏信号の周波数成分を抽出してクロマベクトル処理を行うことにより、実音高データを生成する実データ生成手段と、
前記実データ生成手段により生成された前記実音高データと、対応する前記目標音高データとの一致度に対し、コード類型に応じ、互いに異なる複数種類の重み付けのうちいずれか１つを付与することで、倍音補正を行う一致度補正手段と、
前記一致度補正手段により前記倍音補正が行われた補正後の前記一致度に応じた、前記楽器演奏者の前記演奏に対する採点を行う採点手段と、
を有する
ことを特徴とする楽音演奏装置。
【請求項２】
所定の弦楽器の演奏パートを含み、複数のコードの進行からなるコード情報が対応づけられたカラオケ楽曲データを記憶する楽曲データ記憶手段と、前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、を有する楽音演奏装置に備えられた演算手段に対し、
前記楽曲データ再生手段での前記カラオケ楽曲データの再生に応じて、対応する前記コード情報に含まれる各コードごとに、前記弦楽器における当該コードに対応した目標音高データを生成する目標データ生成手順と、
前記演奏信号入力手段から入力される前記演奏信号の周波数成分を抽出してクロマベクトル処理を行うことにより、実音高データを生成する実データ生成手順と、
前記実データ生成手順で生成された前記実音高データと、対応する前記目標音高データとの一致度に対し、コード類型に応じ、互いに異なる複数種類の重み付けのうちいずれか１つを付与することで、倍音補正を行う一致度補正手順と、
前記一致度補正手順で前記倍音補正が行われた補正後の前記一致度に応じた、前記楽器演奏者の前記演奏に対する採点を行う採点手順と、
を実行させる楽音演奏処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲を演奏する楽音演奏装置及び楽音演奏処理プログラムに関する。
【背景技術】
【０００２】
ユーザ（楽器演奏者）による楽器演奏に対し、採点を行う楽音演奏装置が知られている（例えば、特許文献１参照）。
【０００３】
この従来技術では、ユーザが楽器（例えば鍵盤楽器）を演奏することで、その演奏に対する採点が行われる。すなわち、演奏される楽曲（練習曲）のデータにコード情報が対応づけられており、各コードごとに上記鍵盤楽器の目標音高データ（押さえ方情報）が生成されている。そして、上記ユーザの演奏により鍵盤楽器から電気的に出力された演奏信号（演奏情報）と上記目標音高データとの一致度に基づき、採点手段（演奏評価手段）によって上記採点が行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１２３２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方、上記のような鍵盤楽器ではなく、ユーザが弦楽器を演奏する場合も考えられる。この場合、弦楽器の演奏に対する採点を行うためには、弦楽器から出力された演奏信号の周波数成分を抽出し、公知のクロマベクトル処理を行う手法が考えられる。このクロマベクトル処理により、所定の時間区分ごとに上記演奏に対応した実音高データが生成されることで、当該実音高データと、対応する上記目標音高データとの一致度に基づき、上記採点を行うことができる。
【０００６】
しかしながら、上記のように周波数成分の抽出及びクロマベクトル処理により実音高データを生成する手法の場合、生成される実音高データの高精度化を図る観点からは、弦楽器に固有の倍音の存在が問題となる。通常、倍音の多くは基音周波数の整数倍であるが、一部の倍音には整数倍ではないものも存在することが知られている。例えば弦楽器で１つのコードが演奏されて複数音の同時発音が行われる場合に、コードの類型（メジャーコード、マイナーコード、セブンスコード、サスフォーコード、オーギュメントコード、ディミニッシュコード等）がいずれの類型であるか等によって、上記の倍音が基音に重なる状況が生じ得る。仮に倍音が基音に重なった場合は、当該倍音が基音の成分として認識されてしまう。また基音と倍音が重なっていない場合であっても、クロマベクトル処理だけでは、基音と倍音の区別が付かない為に、倍音を基音と誤認して、上記目標音高データと比較してしまう場合もある。このため、上記実音高データの精度、さらにはこれに基づく上記一致度の精度が低下する。この結果、たとえユーザが正しいコードを弾いていても、誤った音が出ている（誤ったコードを弾いている）と認識されてしまい、適正な採点を確実に行うことができないおそれがある。
【０００７】
本発明の目的は、ユーザによる弦楽器の演奏に対し適正な採点を確実に行うことができる、楽音演奏装置及び楽音演奏処理プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、第１の発明は、所定の弦楽器の演奏パートを含み、複数のコードの進行からなるコード情報が対応づけられたカラオケ楽曲データを記憶する楽曲データ記憶手段と、前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、前記楽曲データ再生手段での前記カラオケ楽曲データの再生に応じて、対応する前記コード情報に含まれる各コードごとに、前記弦楽器における当該コードに対応した目標音高データを生成する目標データ生成手段と、前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、前記演奏信号入力手段から入力される前記演奏信号の周波数成分を抽出してクロマベクトル処理を行うことにより、実音高データを生成する実データ生成手段と、前記実データ生成手段により生成された前記実音高データと、対応する前記目標音高データとの一致度に対し、コード類型に応じ、互いに異なる複数種類の重み付けのうちいずれか１つを付与することで、倍音補正を行う一致度補正手段と、前記一致度補正手段により前記倍音補正が行われた補正後の前記一致度に応じた、前記楽器演奏者の前記演奏に対する採点を行う採点手段と、を有する。
【０００９】
本願発明の楽音演奏装置では、カラオケ楽曲データの再生とともにユーザ（楽器演奏者）が楽器を演奏することができる。すなわち、楽曲データ記憶手段に記憶されたカラオケ楽曲データは、楽曲データ再生手段によって読み出されて再生される。このとき、本願発明では、この再生に合わせてユーザが弦楽器を演奏することで、その演奏に対する採点が行われる。すなわち、上記再生されるカラオケ楽曲データには、コード情報が対応づけられている。そして、当該カラオケ楽曲データの再生に応じて、目標データ生成手段により、上記コード情報に含まれる各コードごとに上記弦楽器の目標音高データが生成される。一方、上記ユーザの演奏により弦楽器から出力された演奏信号は演奏信号入力手段によって入力された後、実データ生成手段により、当該演奏信号の周波数成分が抽出されてクロマベクトル処理が行われ、これによって実音高データが生成される。そして、この生成された実音高データと、対応する上記目標音高データとの一致度に基づき、採点手段によって上記採点が行われる。
【００１０】
ここで、上記のように周波数成分の抽出及びクロマベクトル処理により実音高データを生成する手法の場合、生成される実音高データの高精度化を図る観点からは、弦楽器に固有の倍音の存在が問題となる。通常、倍音の多くは基音周波数の整数倍であるが、一部の倍音には整数倍ではないものも存在することが知られている。例えば弦楽器で１つのコードが演奏されて複数音の同時発音が行われる場合に、コードの類型（メジャーコード、マイナーコード、セブンスコード、サスフォーコード、オーギュメントコード、ディミニッシュコード等）がいずれの類型であるか等によって、上記の倍音が基音に重なる状況が生じ得る。仮に倍音が基音に重なった場合や、基音と倍音が重なっていない場合であっても、クロマベクトル処理だけでは、基音と倍音の区別が付かない為に、倍音を基音と誤認して、上記目標音高データと比較してしまう場合は、当該倍音が基音の成分として認識されてしまい、上記実音高データの精度、さらにはこれに基づく上記一致度の精度が低下するおそれがある。
【００１１】
そこで本願発明においては、一致度補正手段が設けられ、上記実音高データと上記目標音高データとの一致度に対し、倍音補正が行われる。すなわち、本願発明においては、上記倍音補正のための、互いに異なる複数種類の重み付けがコードの類型ごとに予め用意されている。そして、一致度補正手段は、上記一致度に対し、コード類型に応じた上記複数種類の重み付けのうちいずれか１つを付与することで、倍音補正を行う。これにより、弦楽器からの演奏信号のうち予め倍音が基音に重なりやすいことがわかっているコード類型（例えば、サスフォーコード等）の実音高データと対応する目標音高データとの一致度に対しては、上記重み付けの値を小さくする一方、弦楽器からの演奏信号のうち予め倍音が基音に重なりにくいことがわかっているコード類型（例えば、オーギュメントコード等）の実音高データと対応する目標音高データとの一致度に対しては、上記重み付けの値を大きくすることができる。この結果、カラオケ楽曲全体としてみた場合に、上記倍音による悪影響を極力排除した形で、比較的精度のよい一致度を算出することができる。そして、このように高精度に算出された一致度を用いて、採点手段による上記採点が行われることにより、カラオケ楽曲全体として弦楽器の演奏に対する適正な採点を確実に行うことができ、ユーザの利便性を向上することができる。
【００１２】
上記目的を達成するために、第２の発明は、所定の弦楽器の演奏パートを含み、複数のコードの進行からなるコード情報が対応づけられたカラオケ楽曲データを記憶する楽曲データ記憶手段と、前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、を有する楽音演奏装置に備えられた演算手段に対し、前記楽曲データ再生手段での前記カラオケ楽曲データの再生に応じて、対応する前記コード情報に含まれる各コードごとに、前記弦楽器における当該コードに対応した目標音高データを生成する目標データ生成手順と、前記演奏信号入力手段から入力される前記演奏信号の周波数成分を抽出してクロマベクトル処理を行うことにより、実音高データを生成する実データ生成手順と、前記実データ生成手順で生成された前記実音高データと、対応する前記目標音高データとの一致度に対し、コード類型に応じ、互いに異なる複数種類の重み付けのうちいずれか１つを付与することで、倍音補正を行う一致度補正手順と、前記一致度補正手順で前記倍音補正が行われた補正後の前記一致度に応じた、前記楽器演奏者の前記演奏に対する採点を行う採点手順と、を実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、ユーザによる弦楽器の演奏に対し適正な採点を確実に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態のカラオケ装置の主要構成を示す説明図である。
【図２】カラオケ装置に備えられた制御装置の制御系の主要構成を示す機能ブロック図である。
【図３】楽曲データを含むサーバからの受信データのデータ構造の一例を示す説明図である。
【図４】歌唱パート及びギターパートを説明するための説明図である。
【図５】楽曲データの再生時にモニタに表示される表示内容の一例を示す説明図である。
【図６】ＣＰＵの詳細機能を表す機能ブロック図である。
【図７】倍音が基音に重ならない場合における、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図８】倍音が基音に重ならない場合のギター演奏時の運指の例、及び、倍音が基音に重なる場合のギター演奏時の運指の例をそれぞれ表す説明図である。
【図９】倍音が基音に重ならない場合における、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図１０】倍音が基音に重ならない場合における、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図１１】倍音が基音に重ならない場合における、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図１２】倍音が基音に重ならない場合における、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図１３】倍音が基音に重なる場合における、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図１４】倍音が基音に重なる場合における、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図１５】倍音が基音に重なる場合における、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図１６】倍音が基音に重なる場合における、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図１７】倍音が基音に重なる場合における、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図１８】倍音が基音に重なる場合における、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図１９】コード類型に応じた重み付け値の一例を表すテーブルである。
【図２０】目標音高データと実音高データとを比較して採点する実施形態の手法を説明するための説明図である。
【図２１】採点結果の表示例を説明するための説明図である。
【図２２】カラオケ装置の楽曲再生時にＣＰＵにより実行される処理内容を示すフローチャートである
【図２３】ステップＳ１００の詳細手順を表すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施の形態について、図面を参照しつつ説明する。本実施形態では、ユーザがカラオケ楽曲の演奏と共に主として自らエレキギターを演奏する場合を説明する。
【００１６】
＜主要構成＞
図１は、本実施形態の楽音演奏装置であるカラオケ装置の主要構成を示す説明図である。図１に示すように、カラオケ装置１０には、歌詞を示す歌詞テロップ、歌詞テロップの背景に表示する背景映像、選曲番号を示す映像などをＣＲＴに表示するモニタテレビ（以下、モニタと略称する）１３と、ユーザ用のモニタ１４と、エレキギター４やエレキベースなどの電子楽器を接続するための楽器接続ボード８と、複数の楽器演奏パートにより構成されるカラオケ用の楽曲（カラオケ楽曲。以下、適宜「曲」と略称する）の選曲及び曲の再生の予約などの選曲制御や、選曲された曲の送信要求を示すリクエスト信号のサーバへの送信、及びリクエスト信号により示される曲に対応する楽曲データ（カラオケ楽曲データに相当）の受信などの通信制御や、受信された楽曲データに含まれる楽音種類指定情報たるＭＩＤＩデータのうち楽器接続ボード８に接続された楽器と同じ種類の楽器の音源を指定する等を行う制御装置２０と、が備えられている。
【００１７】
さらに、カラオケ装置１０には、この例では、楽器接続ボード８から入力される楽器の演奏信号とマイクロフォン１７，１８から入力される音声信号と曲の再生信号とのミキシング（後述の図２に示すミキシング回路９参照）や、音声と曲との音量バランス調整や、エコー調整や、ディレィ調整や、ミキシング信号の増幅や、再生される曲の音程制御（キーコントロール）や、高音・低音の制御（トーンコントロール）等を行うアンプ１６と、このアンプ１６から出力される増幅信号を音として再生するフロアータイプの１組のスピーカ１１，１１と、天井吊下げ用の１組のスピーカ１２，１２と、制御装置２０を遠隔操作するリモコン３０と、が備えられている。リモコン３０には、各種の操作ボタン３０ａ，３０ｂが備えられている。
【００１８】
楽器接続ボード８は、図示を省略するが、電子ドラム、キーボード、エレキベース、エレキギター４の出力端子（フォンプラグ）を接続するそれぞれの入力端子（フォンジャック。演奏信号入力手段に相当）と、各入力端子に入力される演奏信号をそれぞれ出力する出力端子と、が設けられている。そして、楽器接続ボード８は、各楽器の出力端子を入力端子に接続することによって各楽器が接続されたこと及びその楽器の種類を自動検出するとともに、接続された楽器の１つの演奏信号を選択し、その選択された演奏信号を制御装置２０の入力端子４４（後述の図２参照）へ出力する役割をする。例えばエレキギター４から出力される演奏信号は、エレキギター４のフォンプラグを接続するフォンジャック４ａ（後述の図２参照）を介して楽器接続ボード８へ入力され、楽器接続ボード８の出力端子から出力される演奏信号は、制御装置２０の入力端子４４へ入力される。なお、上記のように楽器の接続及びその種類を自動検出するのに代え、ユーザが、既に接続済みの楽器に対応した設定等をリモコン３０等において手動で行うようにしてもよい。またその場合、エレキギター４のような電子弦楽器ではなく、ガットギターやフォークギターのようなアコースティック発音のギターの音を、マイクロフォンで集音してフォンジャック４ａへ入力してもよい。
【００１９】
＜制御系＞
上記制御装置２０の制御系の構成について図２を参照して説明する。図２は、制御装置２０の制御系の主要構成を示す機能ブロック図である。制御装置２０は、装置筺体にＬＡＮ回線１５を接続する通信端子４０と、楽器接続ボード８の出力端子と接続される入力端子４４と、アンプ１６の音声入力端子と接続される音声出力端子４１と、モニタ１３の映像入力端子と接続される映像出力端子４２と、モニタ１４の映像入力端子と接続される映像出力端子４３とを備えている。
【００２０】
また、制御装置２０には、制御プログラムにしたがって各種制御を実行するＣＰＵ４５（演算手段に相当）が設けられている。ＣＰＵ４５には、リモコン３０から送信されるデータ、選曲された曲の選曲番号を示す選曲番号データ、予約された曲の選曲番号データなどを一時保存するためのＲＡＭ４６と、ＣＰＵ４５により実行されるプログラム（後述の図２３及び図２４に示すフローを実行するための楽音演奏処理プログラムを含む）及び必要なデータテーブルなどが記憶されたＲＯＭ４７とが接続されている。
【００２１】
また、ＣＰＵ４５には、モニタ１３，１４に歌詞テロップや各種メッセージ映像を表示するための文字映像データが記憶されたビデオＲＡＭ４８と、サーバ５８から送信される楽曲データやコード譜情報（詳細は後述）、歌詞データ、及び映像データを通信端子４０を介して受信するためのＬＡＮボード５０と、このＬＡＮボード５０により受信される楽曲データ及び歌詞データ等を一時保存するためのＲＡＭ４９（楽曲データ記憶手段に相当）とが接続されている。
【００２２】
さらに、ＣＰＵ４５には、ＲＡＭ４９から読み出された曲データに含まれるＭＩＤＩデータを入力するとともに、その入力されたＭＩＤＩデータにより指定される音源から音源信号を出力するＭＩＤＩ音源ボード５１が接続されている。また、ＣＰＵ４５には、上記出力された音源信号を入力してアンプ１６により増幅可能な信号に変換する音声制御回路５２と、一般的な背景映像を示す背景映像データを読み出すＣＤ−ＲＯＭプレーヤ５３とが接続されている。
【００２３】
また、ＣＰＵ４５には、ＣＤ−ＲＯＭプレーヤ５３から読み出された一般的な背景映像データ、及びＲＡＭ４９から読み出された曲固有の背景データや曲データに含まれる歌詞テロップデータ等を入力し、モニタ１３の表示画面に表示される背景映像中に歌詞テロップがスーパーインポーズされた映像を作成したり、曲の進行にしたがって歌詞テロップの色を変えたりする映像制御を行う映像制御回路５４が接続されている。
【００２４】
さらに、ＣＰＵ４５には、制御装置２０の受光部３８により受光されたリモコン３０からの光信号をデジタル信号に変換する変換回路５５と、制御装置２０の筺体に設けられた各種ボタン及びキー（テンキー、選曲ボタン等）を押したときに点灯するＬＥＤへ表示信号を出力する表示回路５６と、上記各種ボタン及びキーを押したときに発生するスイッチング信号を入力する入力回路５７とが接続されている。
【００２５】
＜カラオケ装置の基本動作＞
以上の基本構成のカラオケ装置１０において、ユーザがリモコン３０により例えばエレキギター４の演奏パートを含むカラオケ楽曲を選曲し、選曲に対応してサーバ５８から送信された楽曲データを受信すると、楽曲データが演奏される。そのエレキギター４の演奏パートを含む楽曲データの演奏に合わせてユーザがエレキギター４を演奏すると、エレキギター４から出力される演奏信号は、楽器接続ボード８を介して制御装置２０の入力端子４４へ入力される。そして、音声制御回路５２において、音源信号が音声出力端子４１へ出力される。なお、いわゆるマイナスワン再生状態の場合には、音声制御回路５２において、音源信号のエレキギターの楽曲パート一部をエレキギター４の演奏信号と置き換えたマイナスワン再生状態で、音声出力端子４１へ出力される。
【００２６】
このとき、本実施形態では、サーバ５８より歌詞データや映像データとともに受信した当該エレキギター４のギター演奏パートを含む楽曲データに対し、予め演奏支援用にコード譜情報（詳細は後述）が対応付けられており、当該楽曲データの再生時にはモニタ１３，１４によってコード譜情報が歌詞データや映像データと共に表示される。これにより、演奏者であるユーザは、モニタ１３，１４に表示されるコード譜情報を活用することで、再生されるカラオケ楽曲に合わせてエレキギター４の演奏パートを自ら容易に演奏して、当該エレキギター４の練習を行ったり、カラオケ楽曲全体のアンサンブルを楽しむことができる。
【００２７】
＜データ構造＞
図３は、本実施形態における、サーバ５８より受信した楽曲データを含む受信データのデータ構造を示す説明図である。図３に示す例では、サーバから受信されるデータの、カラオケ楽曲の４小節分を示している。受信データは、４小節分の演奏の進行に対応した複数の楽器演奏パート（この例では、エレキギター４に対応するギターパート、ベースパート、ドラムパート）の楽曲データと、上記コード譜情報と、歌詞データ（歌詞テロップデータ）と、映像データと、を備えている。
【００２８】
楽曲データは、歌詞データ及び映像データとともに、図３に示すデータ中の１番目の小節（以下、単に「第１小節」等という）から再生され、時間の経過に従って第２小節、第３小節、第４小節へと再生が進行して行く。またその再生に対応して、歌詞データ及び映像データに基づく表示も進行していく。
【００２９】
＜コード譜情報＞
コード譜情報は、楽曲データに対応付けられており、この例では、図中の第１小節がコードＥｍ、第２小節がコードＢｓｕｓ４、第３小節がコードＣａｕｇ、第４小節がコードＢｍとなっている。この例では、図４に示すように、「あのことばさえ  いわなければ〜」の歌詞となるメロディーに対応し、コード進行は、コードＥｍ（図４中の第１小節）→コードＢｓｕｓ４（第２小節）→コードＣａｕｇ（第３小節）→コードＢｍ（第４小節）・・・の順となっている。そしてこれに対応するエレキギター４の演奏は、各小節とも当該コードのストローク奏法となっている。
【００３０】
なお、この例では、上記コード譜情報が楽曲データと同一ファイルにより構成されているが、これに限られず、コード譜情報が楽曲データと別ファイル（以下、コード譜情報ファイル）で構成され、同じ曲名で対応付けられていてもよい。例えば、以下の構成と処理（１）〜（４）によって、コード譜情報が楽曲データと別ファイルであっても、コード譜情報が楽曲データと同一ファイルの場合と、同じ作用が得られる。
（１）コード譜情報ファイルとは、楽曲データの再生の時間進行に応じて出現するコード情報を、予め、楽曲の進行時間と対応付けたテーブルのファイルである。
テーブルは具体的には、（演奏時間ｔ１：コードＥｍ、ｔ２：コードＢｍ、・・・最後の演奏時間ｔＸ：最後のコード譜Ｘ）の情報が記録されている。
（２）前記コード情報ファイルを、楽曲データとともに、ＲＡＭ４９に記憶しておく。
（３）入力回路５７から楽曲の再生が指定された場合に、ＣＰＵ４５は、楽曲データとともに、対応するコード譜情報ファイルもＲＡＭ４９から読み出す。
（４）ＣＰＵ４５は、ＲＯＭ４７の実行プログラムに従い楽曲データを再生し、再生の進行時間に応じて、コード情報ファイルからコード譜情報を読み出す。具体的には、楽曲データの再生の進行時間がｔ１（秒）に到達した場合には、コード情報ファイルからｔ１に対応するコードＥｍを読み出し、ｔ２（秒）の到達で、ｔ２に対応するコードＢｍを読み出す。以下同様に、楽曲データの再生終了（ｔＸ）迄、コード譜情報ファイルから進行時間に応じたコード譜を読み出し続ける。
【００３１】
図５は、楽曲データの再生時に上記コード譜情報に対応してモニタ１３，１４に表示される表示内容の一例を示す説明図である。この例では、上記図３に示した４小節分の楽曲データに対応した表示の例を示している。すなわち、モニタ１３，１４の表示内容は、上記４小節分の歌詞「あの言葉さえ言わなければ」と、歌詞の上側に添えられたコード譜（第１小節：Ｅｍ、第２小節：Ｂｓｕｓ４、第３小節：Ｃａｕｇ、第４小節：Ｂｍ）と、歌詞の下側に２小節分ずつ設けられた再生進行バーと、からなっている。再生進行バーは、楽曲データの再生の進行状態を帯状に延びる黒色部分によって示されている。エレキギター４のユーザは、楽曲データの再生時、モニタ１３，１４に表示される上記コード譜を見て、再生進行バーの延び状態に対応してコード進行順にエレキギター４のコードを押さえることで、カラオケ楽曲のエレキギターパートを容易に弾くことができる。
【００３２】
図５（ａ）は、第１小節（コードＥｍ）の冒頭から始まった上記楽曲データの再生が第１小節の途中（歌詞「あの言葉」の「の」部分）まで進行している状態であり、１つ目の再生進行バーの黒色部分が、上記第１小節の途中まで延びている。図５（ｂ）は、上記図５（ａ）の状態からさらに再生が進み、コードＥｍの第１小節が終了して、コードＢｓｕｓ４の第２小節の途中の部分（歌詞「言葉さえ」の「葉」の部分）が再生されている状態であり、上記黒色部分が第２小節の途中まで延びている。図５（ｃ）は、上記図５（ｂ）の状態からさらに再生が進み、上記第２小節の終わりの部分（歌詞「言葉さえ」の「え」の部分）が再生されている状態であり、上記黒色部分が第２小節の終わりまで延びている。
【００３３】
＜本実施形態の特徴＞
ところで、カラオケ装置においてユーザの歌唱に対する採点を行う手法は既に広く行われている。ここで、上記のようにコード譜情報を用いてユーザが弦楽器（この例ではエレキギター４）の演奏を行うとき、その演奏に対する採点を行い採点結果を表示するようにすれば、ユーザにとっての楽しみをさらに増大させることができる。
【００３４】
そこで、本実施形態では、ユーザがエレキギター４を演奏することで出力された演奏信号の周波数成分が公知のＦＦＴ（高速フーリエ変換）の手法により抽出された後にクロマベクトル処理が行われることで、所定の時間区分ごとに、上記演奏に対応した実音高データ（詳細は後述）が生成される。その実音高データと、上記コード譜情報に基づき生成された目標音高データ（詳細は後述）との一致度に基づき、上記採点が行われる。以下、その詳細を図６〜図２１を用いて説明する。
【００３５】
＜ＣＰＵの詳細機能＞
上記の採点を行うために、本実施形態の上記ＣＰＵ４５が備える機能的構成を、図６に示す。図示のように、ＣＰＵ４５は、ＦＦＴ処理部４５ａ、特徴パラメータ取得部４５ｂ、実データバッファ４５ｃ、目標データバッファ４５ｅ、マッチング処理部４５ｄ、及び、採点結果生成部４５ｆ等の各機能部を備えている。
【００３６】
前述のようにしてユーザのエレキギター４の演奏により出力され制御装置２０に入力された演奏信号は、デジタルデータに変換された後にＦＦＴ処理部４５ａ及び特徴パラメータ取得部４５ｂに入力される。ＦＦＴ処理部４５ａでは、入力されたサンプリングデータ列である演奏音声データを所定の時間区分（後述のように本実施形態では例えば１８６ｍｓｅｃである）毎に分割して高速フーリエ変換する。このＦＦＴによって得られた周波数スペクトルは、ＦＦＴ処理部４５ａから特徴パラメータ取得部４５ｂに入力される。
【００３７】
特徴パラメータ取得部４５ｂは、上記演奏音声データが入力されるとともに、ＦＦＴ処理部４５ａから、周波数領域の情報である周波数スペクトルが入力される。特徴パラメータ取得部４５ｂは、上記演奏音声データ及びその周波数スペクトルから、演奏音声データの様々な特徴を示す複数の特徴パラメータを取得し、公知のクロマベクトル化の手法によりその取得結果に対応した実音高データ（上記演奏信号に含まれる和音の各音を表すデータ）を生成し出力する。この特徴パラメータの取得は、上記時間区分ごとのフレームで行われる。具体的には、特徴パラメータ取得部４５ｂは、上記入力された演奏音声データから時間領域の特徴パラメータを割り出す時間領域情報取得部４５ｂａと、ＦＦＴ処理部４５ａから入力された周波数スペクトルから周波数領域の特徴パラメータを割り出す周波数領域情報取得部４５ｂｂを備えている。
【００３８】
時間領域情報取得部４５ｂａは、入力された演奏音声データをＦＦＴ処理部４５ａと同期した上記時間区分ごとのフレームに分割し、各フレームごとに時間領域の特徴パラメータを取得する。領域情報取得部４５ｂａが取得する特徴パラメータの例としては、例えば、エネルギ、エネルギ変化度、持続時間等がある。周波数領域情報取得部４５ｂｂは、上記ＦＦＴ処理部４５ａから入力された上記時間区分の長さの波形の周波数スペクトルから周波数領域の特徴パラメータを取得する。周波数領域情報取得部４５ｂｂが取得する特徴パラメータの例としては、例えば、ピッチ、倍音周波数、倍音レベル、倍音位相、等がある。
【００３９】
上記のようにして時間領域情報取得部４５ｂａ及び周波数領域情報取得部４５ｂｂで取得された特徴パラメータに基づき生成され出力された上記実音高データは、実データバッファ４５ｃに入力される。実データバッファ４５ｃは、入力された上記実音高データを時間情報（タイムスタンプ）を付して記憶する。
【００４０】
一方、目標データバッファ４５ｅには、上記カラオケ楽曲データに同期した上記コード譜情報が入力され、当該コード譜情報に基づく目標音高データが記憶される。この目標音高データは、コード譜情報に含まれる各コードの和音を構成する複数の音に対応したデータであり、上記コード譜情報が目標データバッファ４５ｅに入力されたときに、当該コード譜情報に基づいて生成され、目標データバッファ４５ｅに記憶される。
【００４１】
マッチング処理部４５ｄは、上述のようにして実データバッファ４５ｃに記憶された実音高データと、これに対応する、目標データバッファ４５ｅに記憶された上記目標音高データと、を公知の手法で比較し、一致度を算出する。算出された一致度は採点結果生成部４５ｆへ出力される。
【００４２】
採点結果生成部４５ｆは、マッチング処理部１８から入力された上記一致度に基づいてユーザによる演奏（この例ではエレキギター４の演奏）を評価し、一致度が高いほど演奏に高い評価をつける。採点結果生成部４５ｆは、この評価を例えば１００点を満点とした得点として採点し、採点結果をモニタ１３，１４に入力する。モニタ１３，１４は、入力された採点結果を表示する。
【００４３】
＜実音高データの高精度化時の問題＞
ここで、上記のようにＦＦＴ処理による周波数成分の抽出及びクロマベクトル処理により実音高データを生成する手法の場合、生成される実音高データの高精度化を図る観点からは、弦楽器に固有の倍音の存在が問題となる。通常、倍音の多くは基音周波数の整数倍であるが、一部の倍音には整数倍ではないものも存在することが知られている。例えば弦楽器で１つのコードが演奏されて複数音の同時発音が行われる場合に、コードの類型（メジャーコード、マイナーコード、セブンスコード、サスフォーコード、オーギュメントコード、ディミニッシュコード等）がいずれの類型であるか等によって、上記の倍音が基音に重なる状況が生じ得る。
【００４４】
＜倍音が基音に重ならない例  コードＣａｕｇ＞
倍音が基音に重ならない場合の一例として、オーギュメントコードの１つであるコードＣａｕｇを演奏したときの、演奏信号をＦＦＴ処理したスペクトル画像を図７に示す。横軸は信号のレベルを表し、「５５Ｈｚ以上１１０Ｈｚ未満」の帯域、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、「８８０Ｈｚ以上１．７６ＫＨｚ未満」の帯域、「１．７６ＫＨｚ以上３．５２ＫＨｚ未満」の帯域、「３．５２ＫＨｚ以上」の帯域、にそれぞれ区分して示している。また、縦軸には「Ａ」「Ａ＃」「Ｂ」「Ｂ＃」「Ｃ」「Ｃ＃」「Ｄ」「Ｄ＃」「Ｅ」「Ｆ」「Ｆ＃」「Ｇ」「Ｇ＃」の各音階（音高）を取って表している。
【００４５】
なお、図７に示すスペクトル画像は、図８（ａ）に示す運指によって上記コードＣａｕｇを演奏したものである。すなわち、１弦はミュート（発音させず）、２弦は第１フレットを押さえ、３弦は第１フレットを押さえ、４弦は第２フレットを押さえ、５弦は第３フレットを押さえ、６弦はミュート（発音させず）することによって、演奏をおこなったものである。
【００４６】
図示のように、まず、コードＣａｕｇの和音を構成する音、すなわち「Ｃ」「Ｅ」「Ｇ＃」の音階で比較的大きなレベルのスペクトルが生じていることがわかる。すなわち、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、の３つにおいて、「Ｃ」の音階のスペクトルが大きなレベルで生じている。同様に、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、の３つにおいて、「Ｅ」の音階のスペクトルが大きなレベルで生じている。さらに同様に、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、の３つにおいて、「Ｇ＃」の音階のスペクトルが大きなレベルで生じている。
【００４７】
その一方で、上記以外に、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域において「Ｂ」の音階のスペクトルと「Ｄ＃」の音階のスペクトルとが比較的大きなレベルで生じており、また、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、の２つにおいて、「Ｇ」の音階のスペクトルが大きなレベルで生じている。これは主として上記した倍音の影響が現れたものである。この倍音の影響について、以下、図９〜図１２により説明する。
【００４８】
＜２弦の発音態様＞
図９は、上記のコードＣａｕｇの運指において第１フレットが押さえられた２弦の、単独での発音状態におけるスペクトル画像である。図示のように、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、の２つにおいて、「Ｃ」の音階のスペクトルが大きなレベルで生じている。その一方で、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域において、「Ｇ」の音階のスペクトルが大きなレベルで生じており、この２弦の発音における倍音としてこの「Ｇ」の音が発生していることがわかる。
【００４９】
＜３弦の発音態様＞
図１０は、上記のコードＣａｕｇの運指において第１フレットが押さえられた３弦の、単独での発音状態におけるスペクトル画像である。図示のように、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、の３つにおいて、「Ｇ＃」の音階のスペクトルが大きなレベルで生じている。その一方で、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域において、「Ｄ＃」の音階のスペクトルが大きなレベルで生じており、この３弦の発音における倍音としてこの「Ｄ＃」の音が発生していることがわかる。
【００５０】
＜４弦の発音態様＞
図１１は、上記のコードＣａｕｇの運指において第２フレットが押さえられた４弦の、単独での発音状態におけるスペクトル画像である。図示のように、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、の３つにおいて、「Ｅ」の音階のスペクトルが大きなレベルで生じている。その一方で、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域において、「Ｂ」の音階のスペクトルが大きなレベルで生じており、この４弦の発音における倍音としてこの「Ｂ」の音が発生していることがわかる。
【００５１】
＜５弦の発音態様＞
図１２は、上記のコードＣａｕｇの運指において第３フレットが押さえられた５弦の、単独での発音状態におけるスペクトル画像である。図示のように、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、の３つにおいて、「Ｃ」の音階のスペクトルが大きなレベルで生じている。その一方で、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域の２つにおいて、「Ｇ」の音階のスペクトルが大きなレベルで生じており、この５弦の発音における倍音としてこの「Ｇ」の音が発生していることがわかる。
【００５２】
＜和音における発音の内訳＞
すなわち、上記図９に示される２弦の発音態様、図１０に示される３弦の発音態様、図１１に示される４弦の発音態様、及び、図１２に示される５弦の発音態様がすべて混合されて、上記図７に示したコードＣａｕｇの和音の発音が実現されることになる。したがって、図７における「１１０Ｈｚ以上２２０Ｈｚ未満」「２２０Ｈｚ以上４４０Ｈｚ未満」「４４０Ｈｚ以上８８０Ｈｚ未満」の３つの帯域における「Ｃ」の音階の大きなレベルのスペクトルは、上記第１フレットが押さえられた２弦と、第３フレットが押さえられた５弦からの発音によることがわかる（上記図９及び図１２参照）。同様に、図７における「１１０Ｈｚ以上２２０Ｈｚ未満」「２２０Ｈｚ以上４４０Ｈｚ未満」「４４０Ｈｚ以上８８０Ｈｚ未満」の３つの帯域における「Ｅ」の音階の大きなレベルのスペクトルは、上記第２フレットが押さえられた４弦からの発音によることがわかる（上記図１１参照）。さらに同様に、図７における「１１０Ｈｚ以上２２０Ｈｚ未満」「２２０Ｈｚ以上４４０Ｈｚ未満」「４４０Ｈｚ以上８８０Ｈｚ未満」の３つの帯域における「Ｇ＃」の音階の大きなレベルのスペクトルは、上記第１フレットが押さえられた３弦からの発音によることがわかる（上記図１０参照）。
【００５３】
そして、図７における「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域での「Ｂ」の音階の比較的大きなレベルのスペクトルは、上記第２フレットが押さえられた４弦から発せられた倍音によることがわかる（上記図１１参照）。また図７における「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域での「Ｄ＃」の音階の比較的大きなレベルのスペクトルは、上記第１フレットが押さえられた３弦から発せられた倍音によることがわかる（上記図１０参照）。さらに図７における「２２０Ｈｚ以上４４０Ｈｚ未満」「４４０Ｈｚ以上８８０Ｈｚ未満」の２つの帯域での「Ｇ」の音階の比較的大きなレベルのスペクトルは、上記第３フレットが押さえられた４弦から発せられた倍音によることがわかる（上記図１２参照）。
【００５４】
このとき、図７に示されるように、上記のようにして生じるコードＣａｕｇが発音されるときの倍音の音階は、「Ｂ」「Ｄ＃」「Ｇ」となっており、コードＣａｕｇの和音を構成する音（すなわち基音）の「Ｃ」「Ｅ」「Ｇ＃」とは異なる。したがって、オーギュメントコードであるコードＣａｕｇの演奏時には、倍音が基音に重ならないことがわかる。
【００５５】
＜倍音が基音に重なる例  コードＣｓｕｓ４＞
倍音が基音に重なる場合の一例として、サスフォーコードの１つであるコードＣｓｕｓ４を演奏したときの、演奏信号をＦＦＴ処理したスペクトル画像を図１３に示す。横軸及び縦軸は前述の図７等と同様である。この図１３に示すスペクトル画像は、図８（ｂ）に示す運指によって上記コードＣｓｕｓ４を演奏したものである。すなわち、１弦は第１フレットを押さえ、２弦は第１フレットを押さえ、３弦はどのフレットも押さえず（開放弦）、４弦は第３フレットを押さえ、５弦は第３フレットを押さえ、６弦はミュート（発音させず）することによって、演奏をおこなったものである。
【００５６】
図示のように、まず、コードＣｓｕｓ４の和音を構成する音、すなわち「Ｃ」「Ｆ」「Ｇ」の音階で比較的大きなレベルのスペクトルが生じていることがわかる。すなわち、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、「８８０Ｈｚ以上１．７６ＫＨｚ未満」の帯域、の４つにおいて、「Ｃ」の音階のスペクトルが大きなレベルで生じている。同様に、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、の３つにおいて、「Ｆ」の音階のスペクトルが大きなレベルで生じている。さらに同様に、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、の３つにおいて、「Ｇ」の音階のスペクトルが大きなレベルで生じている。
【００５７】
その一方で、上記以外に、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域において「Ｄ」の音階のスペクトルが比較的大きなレベルで生じており、また、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域において、「Ｅ」の音階のスペクトルがある程度のレベルで生じている。これは主として上記した倍音の影響が現れたものである。この倍音の影響について、以下、図１４〜図１８により説明する。
【００５８】
＜１弦の発音態様＞
図１４は、上記のコードＣｓｕｓ４の運指において第１フレットが押さえられた１弦の、単独での発音状態におけるスペクトル画像である。図示のように、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、の２つにおいて、「Ｆ」の音階のスペクトルが大きなレベルで生じている。その一方で、「８８０Ｈｚ以上１．７６ＫＨｚ未満」の帯域において、「Ｃ」の音階のスペクトルが大きなレベルで生じており、この１弦の発音における倍音としてこの「Ｃ」の音が発生していることがわかる。
【００５９】
＜２弦の発音態様＞
図１５は、上記のコードＣｓｕｓ４の運指において第１フレットが押さえられた２弦の、単独での発音状態におけるスペクトル画像である。図示のように、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、の２つにおいて、「Ｃ」の音階のスペクトルが大きなレベルで生じている。その一方で、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域において、「Ｇ」の音階のスペクトルが大きなレベルで生じており、この２弦の発音における倍音としてこの「Ｇ」の音が発生していることがわかる。
【００６０】
＜３弦の発音態様＞
図１６は、上記のコードＣｓｕｓ４の運指において開放弦とされた３弦の、単独での発音状態におけるスペクトル画像である。図示のように、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、の３つにおいて、「Ｇ」の音階のスペクトルが大きなレベルで生じている。その一方で、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域において、「Ｄ」の音階のスペクトルが大きなレベルで生じており、この３弦の発音における倍音としてこの「Ｄ」の音が発生していることがわかる。
【００６１】
＜４弦の発音態様＞
図１７は、上記のコードＣｓｕｓ４の運指において第３フレットが押さえられた４弦の、単独での発音状態におけるスペクトル画像である。図示のように、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、の３つにおいて、「Ｆ」の音階のスペクトルが大きなレベルで生じている。その一方で、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域において、「Ｃ」の音階のスペクトルが大きなレベルで生じており、この４弦の発音における倍音としてこの「Ｃ」の音が発生していることがわかる。
【００６２】
＜５弦の発音態様＞
図１８は、上記のコードＣｓｕｓ４の運指において第３フレットが押さえられた５弦の、単独での発音状態におけるスペクトル画像である。図示のように、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、の３つにおいて、「Ｃ」の音階のスペクトルが大きなレベルで生じている。その一方で、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域の２つにおいて、「Ｇ」の音階のスペクトルが大きなレベルで生じており、この５弦の発音における倍音としてこの「Ｇ」の音が発生していることがわかる。
【００６３】
＜和音における発音の内訳＞
すなわち、上記図１４に示される１弦の発音態様、上記図１５に示される２弦の発音態様、図１６に示される３弦の発音態様、図１７に示される４弦の発音態様、及び、図１８に示される５弦の発音態様がすべて混合されて、上記図１３に示したコードＣｓｕｓ４の和音の発音が実現されることになる。
【００６４】
したがって、図１３における「１１０Ｈｚ以上２２０Ｈｚ未満」「２２０Ｈｚ以上４４０Ｈｚ未満」「４４０Ｈｚ以上８８０Ｈｚ未満」の３つの帯域における「Ｃ」の音階の大きなレベルのスペクトルは、上記第１フレットが押さえられた２弦と、第３フレットが押さえられた５弦からの発音とによることがわかる（上記図１５及び図１８参照）。但し、前述したように、第３フレットが押さえられた４弦から発せられた倍音によっても「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域の「Ｃ」の音階の比較的大きなレベルのスペクトルが生じていることから、図１３における「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域には、上記第１フレットが押さえられた２弦の基音の成分と、第３フレットが押さえられた４弦から発せられた倍音の成分とが混在して含まれていることがわかる（上記図１５及び図１７参照）。そして、「８８０Ｈｚ以上１．６７ＫＨｚ未満」の帯域における「Ｃ」の音階の大きなレベルのスペクトルは、上記第１フレットが押さえられた１弦から発せられた倍音の成分であることがわかる（上記図１４参照）。以上により、コードＣｓｕｓ４の演奏時における「Ｃ」の音階には、基音と倍音とが重なっていることがわかる。
【００６５】
また、前述と同様に、図１３における「１１０Ｈｚ以上２２０Ｈｚ未満」「２２０Ｈｚ以上４４０Ｈｚ未満」「４４０Ｈｚ以上８８０Ｈｚ未満」の３つの帯域における「Ｆ」の音階の大きなレベルのスペクトルは、上記第１フレットが押さえられた１弦からの発音と、上記第３フレットが押さえられた４弦からの発音とによることがわかる（上記図１４及び図１７参照）。
【００６６】
さらに、前述と同様に、図１３における「１１０Ｈｚ以上２２０Ｈｚ未満」「２２０Ｈｚ以上４４０Ｈｚ未満」「４４０Ｈｚ以上８８０Ｈｚ未満」の３つの帯域における「Ｇ」の音階の大きなレベルのスペクトルは、上記開放弦となっている３弦からの発音によることがわかる（上記図１６参照）。但し、前述したように、第１フレットが押さえられた２弦から発せられた倍音や、第３フレットが押さえられた５弦から発せられた倍音によっても「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域の「Ｇ」の音階の比較的大きなレベルのスペクトルが生じていることから、図１３における「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域には、上記第１フレットが押さえられた１弦の基音の成分と、第１フレットが押さえられた２弦や第３フレットが押さえられた５弦から発せられた倍音の成分とが混在して含まれていることがわかる（上記図１５及び図１８参照）。また同様に、第３フレットが押さえられた５弦から発せられた倍音によっても「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域の「Ｇ」の音階の比較的大きなレベルのスペクトルが生じていることから、図１３における「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域には、上記開放弦とされた３弦の基音の成分と、第３フレットが押さえられた５弦から発せられた倍音の成分とが混在して含まれていることがわかる（図１８参照）。以上により、コードＣｓｕｓ４の演奏時における「Ｇ」の音階にも、基音と倍音とが重なっていることがわかる。
【００６７】
以上の結果、サスフォーコードであるコードＣｓｕｓ４の演奏時には、倍音が基音に重なっていることがわかる。
【００６８】
＜コード類型と倍音との関係＞
上記のように、各コードの和音及びこれを構成する各音のスペクトルを取得してそれぞれ分析した結果、本願発明者等は、コードのルート音の高さがいずれであるか（例えばＡかＢかＣか等）には関係なく、コードの類型（例えば上記のようにサスフォーコードであるかオーギュメントコードであるかメジャーコードであるかマイナーコードであるか等）に応じて（言い換えればルート音以外の構成音がルート音に対してどのような音階差にあるかどうかに応じて）、各コードの和音を構成するある音の基音に対し別の音の倍音が重なるかどうか、が決まる傾向にあることを知見した。一例としては、上述のように、サスフォーコードは上記基音と倍音との重なりが生じやすい傾向にあり、オーギュメントコードは上記基音と倍音との重なりが生じにくい傾向にあり、メジャーコードやマイナーコードはそれらの中間の傾向を示した。上記のようにして倍音と基音との重なりが生じる場合には、当該倍音が基音の成分として認識され得ることから、前述した上記実音高データの精度、さらにはこれに基づく上記一致度の精度が、低下するおそれがある。
【００６９】
＜一致度を補正して利用＞
そこで、本実施形態においては、上記のような基音と倍音との重なりの生じやすさや生じにくさに配慮して、前述のようにして算出した一致度に対し、上記コード類型に応じた重み付け値を用いた補正が行われる。この手法を図１９及び図２０を用いて説明する。
【００７０】
図１９は、上記重み付け値の一例を示したテーブルである。このテーブルは、例えば上記ＲＯＭ４７（若しくはそれ以外の適宜の箇所）に予め記憶されている。図示のように、このテーブルでは、前述したような中間の傾向を示すメジャーコードやマイナーコードは重み付け値が１．０とされ、上記基音と倍音との重なりが生じやすい傾向にあるサスフォーコードは（実音高データに基づく一致度の精度が低く、例えば他に比べバランス悪く高い点が出やすい可能性があることから）重み付け値が０．７とされ、上記基音と倍音との重なりが生じにくく、例えば他に比べバランス悪く低い点が出やすい傾向にあるオーギュメントコードは（実音高データに基づく一致度の精度が高く見込めることから）重み付け値が１．３とされている。
【００７１】
図２０には、上記図１９のテーブルの重み付け値が使用される具体的態様の一例として、上記図３、図４、図５に示した楽曲データにおける、前述した、コードＥｍ（第１小節）→コードＢｓｕｓ４（第２小節）→コードＣａｕｇ（第３小節）→・・・の順のコード進行で楽曲が再生され、ユーザが当該再生に合わせてエレキギター４を演奏し、対応する演奏信号が上記時間区分ごとにデータサンプリング（この例では１８６ｍｓｅｃごとに８１９２個のデータがサンプリング）された状態を示している。
【００７２】
上記演奏信号は、この例では、最初の１８６ｍｓｅｃの区分（図中の「第１区分」）が概ね上記第１小節におけるユーザの演奏に対応（すなわちコードＥｍに対応）したものとなっている。また、その次の１８６ｍｓｅｃの区分（図中の「第２区分」）が概ね上記第２小節におけるユーザの演奏に対応（すなわちコードＢｓｕｓ４に対応）したものとなっている。さらに、その次の１８６ｍｓｅｃの区分（図中の「第３区分」）が概ね上記第３小節におけるユーザの演奏に対応（すなわちコードＣａｕｇに対応）したものとなっている。
【００７３】
上記第１区分では、ユーザのエレキギター４の演奏による演奏信号に基づき、上述のようにしてＦＦＴ処理による周波数成分の抽出及びクロマベクトル処理が行われた結果、「Ｃ」「Ｅ」「Ｇ」の３音を含む、実音高データが生成されている。なお、棒グラフの横軸が各音の信号レベルの大きさを表している。この第１区分は上記のように第１小節に対応し、演奏すべきコードはコードＥｍであることから、目標音高データには、当該コードＥｍの和音を構成する「Ｂ」「Ｅ」「Ｇ」の３音が含まれている。この結果、上記「Ｂ」「Ｅ」「Ｇ」の３音を含む目標音高データと上記「Ｃ」「Ｅ」「Ｇ」の３音を含む実音高データとが比較され、目標音高データのうち「Ｅ」の音と「Ｇ」の音に対しては実音高データが一致しているが、「Ｃ」の音については実音高データが一致していない。したがって一致度は６６．７％となる（そのままであれば採点結果の６０点に相当）。ここで、上記コードＥｍはマイナーコードであることから、図１９のテーブルを参照し、重み付け値として１．０が取得される。この結果、重み付け値を用いた補正後の最終的な一致度は６６．７×１．０＝６６．７％となる。この最終的な一致度に対応して採点が行われことにより、この例では『６０点』という採点結果となっている。
【００７４】
上記第１区分の次の第２区分では、上記同様、エレキギター４の演奏信号に基づき、「Ｂ」「Ｅ」「Ｆ＃」の３音を含む、実音高データが生成されている。この第２区分は上記のように第２小節に対応し、演奏すべきコードはコードＢｓｕｓ４であることから、目標音高データには、当該コードＢｓｕｓ４の和音を構成する「Ｂ」「Ｅ」「Ｆ＃」の３音が含まれている。この結果、上記「Ｂ」「Ｅ」「Ｆ＃」の３音を含む目標音高データと上記「Ｂ」「Ｅ」「Ｆ＃」の３音を含む実音高データとが比較され、これらはすべて一致していることから一致度は１００．０％となる（そのままであれば採点結果の１００点に相当）。但し、上記コードＢｓｕｓ４はサスフォーコードであることから、図１９のテーブルを参照し、重み付け値として０．７が取得される。この結果、重み付け値を用いた補正後の最終的な一致度は１００×０．７＝７０％となる。この最終的な一致度に対応して採点が行われことにより、この例では『７０点』という採点結果となっている。
【００７５】
上記第２区分の次の第３区分では、上記同様、エレキギター４の演奏信号に基づき、「Ｃ」「Ｅ」「Ｇ」の３音を含む、実音高データが生成されている。この第３区分は上記のように第３小節に対応し、演奏すべきコードはコードＣａｕｇであることから、目標音高データには、当該コードＣａｕｇの和音を構成する「Ｃ」「Ｅ」「Ｇ＃」の３音が含まれている。この結果、上記「Ｃ」「Ｅ」「Ｇ＃」の３音を含む目標音高データと上記「Ｃ」「Ｅ」「Ｇ」の３音を含む実音高データとが比較され、目標音高データのうち「Ｃ」の音と「Ｅ」の音に対しては実音高データが一致しているが、「Ｇ＃」の音については実音高データが一致していない。したがって一致度は６６．７％となる（そのままであれば採点結果の６０点に相当）。ここで、上記コードＣａｕｇはオーギュメントコードであることから、図１９のテーブルを参照し、重み付け値として１．３が取得される。この結果、重み付け値を用いた補正後の最終的な一致度は６６．７×１．３＝８６．７％となる。この最終的な一致度に対応して採点が行われことにより、この例では『８５点』という採点結果となっている。
【００７６】
上記のような採点結果生成部４５ｆによる採点結果に応じて、上記モニタ１３，１４に表示される表示例を表示する。図２１（ａ）は採点結果が１００点であった場合の例、図２１（ａ）は採点結果が１００点であった場合の例、図２１（ｂ）は採点結果が６０点であった場合の例、図２１（ｃ）は採点結果が０点であった場合の例である。これ以外にも、楽曲データ再生の進行中の、ユーザによるギター演奏状態に応じた採点結果の表示に加え、進行中の歌詞、コード譜も併せて表示するなど、各得点の値に応じて種々の表示態様が予め用意されている（図示省略）。
【００７７】
＜制御手順＞
上記のような本実施形態の手法を実現するために、カラオケ装置１０の楽曲再生時にＣＰＵ４５により実行される処理内容を、図２２のフローチャートにより説明する。
【００７８】
図２２において、このフローは、例えばカラオケ装置１０のユーザが、制御装置２０の電源ボタンを押して制御装置２０の電源を立ち上げると、開始される。制御装置２０の電源の立ち上がりに連動して、アンプ１６、楽器接続ボード８及びモニタ１３，１４の電源が立ち上がる。なお、前述したように、この例では、カラオケ装置１０のユーザが、楽器接続ボード８にエレキギター４を接続して演奏する場合を例にとって説明する。ユーザがエレキギター４のフォンプラグを楽器接続ボード８の入力端子（フォンジャック）４ａに接続すると、楽器接続ボード８はエレキギター４が接続されたことを検知する。
【００７９】
図２２において、まず、ステップＳ１０において、ＣＰＵ４５は、ユーザによる選曲が終了したか否かを判定する。選曲は、例えば、ユーザがエレキギター４を演奏したい曲の選曲番号をリモコン３０のテンキーにより入力し、選曲ボタンを押すと、選曲が終了する。選曲が終了するまではステップＳ１０の判定が満たされず（ステップＳ１０：ＮＯ）、ループ待機する。選曲が終了した場合はステップＳ１０の判定が満たされ（ステップＳ１０：ＹＥＳ）、ステップＳ１５に移る。
【００８０】
ステップＳ１５では、ＣＰＵ４５は、ステップＳ１０での選曲結果に対応し、上記選曲番号を示す選曲番号データをＲＡＭ４６に一時保存するとともに、ＬＡＮボード５０を介し、上記選曲番号に対応する曲データの送信を要求するリクエスト信号を、ＬＡＮ回線１５を介してサーバ５８へ送信する。これにより、サーバ５８は、図示しない記憶装置から、上記リクエスト信号に示される選曲番号に対応する楽曲データ及び上記コード譜情報と当該楽曲データに対応した歌詞データ及び映像データとを検索して読み出し、その読み出された曲データ等を、ＬＡＮ回線１５を介して制御装置２０に送信する。ステップＳ１５が終了したら、ステップＳ２０に移る。
【００８１】
ステップＳ２０では、ＣＰＵ４５は、ＬＡＮボード５０を介し、サーバ５８からＬＡＮ回線１５を介して送信された（コード譜情報を含む）楽曲データ等を受信する。その後、ステップＳ２５に移る。
【００８２】
ステップＳ２５では、ＣＰＵ４５は、上記ステップＳ２０で受信した楽曲データ等をＲＡＭ４９に一時保存する。その後、ステップＳ３０に移る。なお、ステップＳ１５，ステップＳ２０、ステップＳ２５の処理として、選曲番号に対応付けられた、楽曲データ、及び、コード譜情報等は選曲毎にサーバ５８からオンデマンドで取得する場合の処理を行う。他に、カラオケ装置１０の制御装置２０に、大容量の補助記憶手段（図示せず）を設けて、予め、楽曲データ等を、補助記憶手段に記憶し、選曲毎に、選曲番号に対応付けられた情報群を補助記憶手段から読み出して、目的とする情報を取得する処理としてもよい。
【００８３】
ステップＳ３０では、ＣＰＵ４５は、上記ステップＳ２５でＲＡＭ４９に記憶されているＭＩＤＩデータの読み出しを開始し、読み出されたＭＩＤＩデータをＭＩＤＩ音源ボード５１に書き込む。ステップＳ３０が終了したら、ステップＳ３５に移る。
【００８４】
ステップＳ３５では、ＣＰＵ４５は、ＭＩＤＩ音源ボード５１に制御信号を出力し、上記ステップＳ３０で書き込んだＭＩＤＩデータに対応した音源信号を、ＭＩＤＩ音源ボード５１から出力させる。ＭＩＤＩ音源ボード５１から出力される音源信号は、音声制御回路５２へ出力されるとともに、アンプ１６により増幅可能な音楽信号に変換され、この変換された音楽信号は、音声出力端子４１からアンプ１６へ出力される。また、マイクロフォン１７，１８から入力された音声信号は、アンプ１６に内蔵されたミキシング回路９において上記音楽信号とミキシングされる。このとき、エレキギター４の出力端子から出力された演奏信号は、楽器接続ボード８及び制御装置２０を介してミキシング回路９に入力され、上記音声信号及び音楽信号とミキシングされる。そして、そのミキシングされたミキシング信号は、アンプ１６に内蔵された図示しない増幅回路により増幅された後にスピーカ１１及びスピーカ１２へ出力され、両スピーカによって再生される。なお、このステップＳ３５の手順が請求項記載の楽曲データ再生手段として機能する。ステップＳ３５が終了すると、ステップＳ４０に移る。
【００８５】
ステップＳ４０では、ＣＰＵ４５は、モニタ１３，１４に制御信号を出力し、ステップＳ２５で保存したコード譜情報及び歌詞等をモニタ１３，１４により表示させる（なお、後述のステップＳ１００による採点結果についてもこのときに併せて表示される）。これにより、エレキギター４の演奏者であるユーザは、モニタ１３，１４に表示されるコード譜にしたがってエレキギター４を演奏することにより、再生されるカラオケ楽曲に合わせてエレキギター演奏パートを容易に演奏することができる。その後、ステップＳ５０に移る。
【００８６】
ステップＳ５０では、ＣＰＵ４５は、上記ユーザのエレキギター４の演奏により入力端子４４から入力された演奏信号を演奏データとして例えば上記ＲＡＭ４９に蓄積する。その後、ステップＳ５５に移る。
【００８７】
ステップＳ５５では、ＣＰＵ４５は、前述のＦＦＴ（高速フーリエ変換）の処理単位に対応した１つの上記時間区分が終了したか否かを判定する。上記時間区分が終了していなければ判定が満たされず（Ｓ５５：ＮＯ）、上記ステップＳ３０に戻って同様の手順を繰り返す。上記時間区分が終了したら判定が満たされ（Ｓ５５：ＹＥＳ）、ステップＳ１００に移る。
【００８８】
ステップＳ１００では、ＣＰＵ４５は、前述した手法による採点処理を行う。この採点処理の詳細を、図２３に示す。
【００８９】
図２３において、まずステップＳ１１０で、ＣＰＵ４５は、上記ステップＳ５０で蓄積した（上記１つの区分に対応した）演奏データを読み出し、上記ＦＦＴ処理部４５ａにより、公知のＦＦＴ（高速フーリエ変換）の手法により各周波数成分を抽出し解析する。その後、ステップＳ１２０に移る。
【００９０】
ステップＳ１２０では、ＣＰＵ４５は、上記特徴パラメータ取得部４５ｂにより、上記ステップＳ１１０での解析結果を公知の手法によりクロマベクトル化することにより、前述の実音高データを生成する。なお、このステップＳ１２０の手順が請求項記載の実データ生成手順に相当すると共に、実データ生成手段として機能する。その後、ステップＳ１３０に移る。
【００９１】
ステップＳ１３０では、ＣＰＵ４５は、上記マッチング処理部４５ｄにより、上記ステップＳ２０で取得されステップＳ４０で表示されたコード譜情報に基づき、各コードごとに上記目標音高データが生成され、上記目標データバッファ４５ｅに記憶される。なお、このステップＳ１３０の手順が請求項記載の目標データ生成手順に相当すると共に、目標データ生成手段として機能する。その後、ステップＳ１５０に移る。
【００９２】
ステップＳ１５０では、ＣＰＵ４５は、上記マッチング処理部４５ｄにより、上記ステップＳ１３０で生成された目標音高データを、当該区分に対応した上記実音高データと比較し、一致度を算出する。その後、ステップＳ１７０に移る。
【００９３】
ステップＳ１７０では、上記採点結果生成部４５ｆにより、上記ステップＳ１５０で算出された一致度に対し、例えば図１９のテーブルを参照し、当該区分に対応するコードのコード類型に応じた重み付け値を用いて補正（倍音補正）を行う。その後、ステップＳ１８０に移る。このステップＳ１７０の手順が、請求項記載の一致度補正手順に相当すると共に、一致度補正手段として機能する。
【００９４】
ステップＳ１８０では、上記ステップＳ１７０で補正された一致度に基づき、適宜の手法により上記演奏データに対応した採点を行い、採点結果を例えば上記ＲＡＭ４９に出力して記憶させる。このステップＳ１８０が完了すると、このルーチンを終了する。なお、このステップＳ１８０が、請求項記載の採点手順に相当すると共に、採点手段として機能する。
【００９５】
図２２に戻り、上記ステップＳ１８０が終了すると、ＣＰＵ４５は、ステップＳ６５において、楽曲データの再生が終了したか（言い換えれば、ステップＳ３０でのＭＩＤＩデータの読み出しが楽曲データの最後のＭＩＤＩデータまで終了したか）否かを判定する。楽曲データの再生が終了していれば判定が満たされ（ステップＳ６５：ＹＥＳ）、このフローを終了する。楽曲データの再生が終了するまでは判定が満たされず（ステップＳ６５：ＮＯ）、上記ステップＳ３０に戻り、上記ステップＳ３０〜ステップＳ６５の手順を繰り返す。
【００９６】
＜実施形態の効果＞
以上説明したように、本実施形態においては、楽曲の再生に応じてユーザがエレキギター４を演奏すると、その演奏信号の周波数成分がＦＦＴの手法により抽出された後にクロマベクトル処理が行われ、これによって所定の時間区分ごとに、上記演奏に対応した実音高データが生成される。そして、その実音高データと、楽曲データに対応づけられたコード譜情報に基づき生成された目標音高データとの一致度に基づき、上記演奏に対する採点が行われる。
【００９７】
その際、上記実音高データと上記目標音高データとの一致度に対し、倍音補正が行われる。この倍音補正のための、互いに異なる複数種類の重み付けがコードの類型ごとに予め用意されている（例えば図１９のテーブル参照）。そして、上記一致度に対し、コード類型に応じた上記複数種類の重み付けのうちいずれか１つを付与することで、上記倍音補正が行われる（上記ステップＳ１７０参照）。これにより、弦楽器（上記の例ではエレキギター４。以下同様）からの演奏信号のうち予め倍音が基音に重なりやすいことがわかっているコード類型（例えば、上記の例ではサスフォーコード等）の実音高データと対応する目標音高データとの一致度に対しては、上記重み付けの値を相対的に小さくする一方、弦楽器からの演奏信号のうち予め倍音が基音に重なりにくいことがわかっているコード類型（例えば、上記の例ではオーギュメントコード等）の実音高データと対応する目標音高データとの一致度に対しては、上記重み付けの値を相対的に大きくすることができる。この結果、カラオケ楽曲全体としてみた場合に、上記倍音による悪影響を極力排除した形で、比較的精度のよい一致度を算出することができる。そして、このように高精度に算出された一致度を用いて上記採点が行われる（上記ステップＳ１８０参照）ことにより、カラオケ楽曲全体として弦楽器の演奏に対する適正な採点を確実に行うことができ、ユーザの利便性を向上することができる。
【００９８】
なお、以上において、図６等の各図中に示す矢印は信号の流れの一例を示すものであり、信号の流れ方向を限定するものではない。
【００９９】
また、図２２、図２３等に示すフローチャートは本発明を上記フローに示す手順に限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。
【０１００】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【０１０１】
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
【符号の説明】
【０１０２】
４                エレキギター（弦楽器）
１０              カラオケ装置（楽音演奏装置）
４９              ＲＡＭ（楽曲データ記憶手段）
【図１】
2015001623.tif 000003
【図２】
2015001623.tif 000004
【図３】
2015001623.tif 000005
【図４】
2015001623.tif 000006
【図５】
2015001623.tif 000007
【図６】
2015001623.tif 000008
【図７】
2015001623.tif 000009
【図８】
2015001623.tif 000010
【図９】
2015001623.tif 000011
【図１０】
2015001623.tif 000012
【図１１】
2015001623.tif 000013
【図１２】
2015001623.tif 000014
【図１３】
2015001623.tif 000015
【図１４】
2015001623.tif 000016
【図１５】
2015001623.tif 000017
【図１６】
2015001623.tif 000018
【図１７】
2015001623.tif 000019
【図１８】
2015001623.tif 000020
【図１９】
2015001623.tif 000021
【図２０】
2015001623.tif 000022
【図２１】
2015001623.tif 000023
【図２２】
2015001623.tif 000024
【図２３】
2015001623.tif 000025