(57)【要約】      （修正有）【課題】ユーザがミュート奏法を行った場合でも演奏信号を正確に検出して、ユーザの利便性や娯楽性の低下を防止する。【解決手段】カラオケ装置１０は、エレキギター４の演奏パートを含み、複数のコードの進行からなるコード情報が対応づけられたカラオケ楽曲データを記憶するＲＡＭを有し、記憶されたカラオケ楽曲データを読み出して再生し、カラオケ楽曲データの再生にしたがって、楽器演奏者のエレキギター４の演奏により当該エレキギター４から出力される演奏信号を入力し、入力される演奏信号に基づき、楽器演奏者のミュート奏法による演奏を、それ以外の奏法と区別して検出し、検出結果を出力する。【選択図】図１
2015102741.tif 000002
【特許請求の範囲】
【請求項１】
所定の弦楽器の演奏パートを含み、複数のコードの進行からなるコード情報が対応づけられたカラオケ楽曲データを記憶する楽曲データ記憶手段と、
前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、
前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、
前記演奏信号入力手段から入力される前記演奏信号に基づき、前記楽器演奏者のミュート奏法による演奏を、それ以外の奏法と区別して検出するミュート奏法検出手段と、
前記ミュート奏法検出手段による検出結果を出力するミュート奏法出力手段と、
を有する
ことを特徴とする楽音演奏装置。
【請求項２】
請求項１記載の楽音演奏装置において、
前記楽曲データ再生手段での前記カラオケ楽曲データの再生に応じて、対応する前記コード情報に含まれる各コードごとに、前記弦楽器における当該コードに対応した、前記ミュート奏法に対応した第１目標音高データを生成する第１目標データ生成手段と、
前記楽曲データ再生手段での前記カラオケ楽曲データの再生に応じて、対応する前記コード情報に含まれる各コードごとに、前記弦楽器における当該コードに対応した、前記それ以外の奏法に対応した第２目標音高データを生成する第２目標データ生成手段と、
前記演奏信号入力手段から入力される前記演奏信号に基づく実音高データを生成する実データ生成手段と、
を有し、
前記ミュート奏法検出手段は、
前記第１目標音高データ及び前記第２目標音高データ、のうち少なくとも一方と、対応する前記実音高データとの一致度を決定可能な一致度決定手段と、
前記一致度決定手段により決定された前記一致度に応じて、前記楽器演奏者による、前記ミュート奏法による演奏及び前記それ以外の奏法による演奏の少なくとも一方に対する採点を実行可能な採点手段と、
を含み、
前記ミュート奏法出力手段は、
前記採点手段による採点結果を出力する手段である
ことを特徴とする楽音演奏装置。
【請求項３】
請求項２記載の楽音演奏装置において、
前記一致度決定手段は、
前記楽曲データ再生手段での前記カラオケ楽曲データの再生に応じて、対応する前記コード情報に付加された奏法情報に基づき、前記第１目標音高データ及び前記第２目標音高データのうちいずれか一方を選択的に切り替えて用いて、対応する前記実音高データとの一致度を決定する
ことを特徴とする楽音演奏装置。
【請求項４】
所定の弦楽器の演奏パートを含み、複数のコードの進行からなるコード情報が対応づけられたカラオケ楽曲データを記憶する楽曲データ記憶手段と、前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、を有する楽音演奏装置に備えられた演算手段に対し、
前記演奏信号入力手段から入力される前記演奏信号に基づき、前記楽器演奏者のミュート奏法による演奏を、それ以外の奏法と区別して検出するミュート奏法検出手順と、
前記ミュート奏法検出手順での検出結果を出力するミュート奏法出力手順と、
を実行させるための楽音演奏処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの楽器演奏に基づく演奏信号に対し各種の処理を行う楽音演奏装置及びこれに用いる楽音演奏処理プログラムに関する。
【背景技術】
【０００２】
ユーザの楽器演奏時の演奏信号が入力されて検出され、その検出結果に対応して、ユーザの娯楽性を向上させるための各種の処理（例えば、演奏に対する採点や各種表示等）を行う技術が既に知られている。例えば、特許文献１に記載の従来技術では、予め用意された楽曲についての目標音高データ（曲データ）と、上記ユーザの演奏により楽器から出力された演奏信号に対応した実音高データ（演奏データ）とが比較される。そして、それらの比較結果に基づき、ユーザの演奏内容に対する採点が行われる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−８３５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、一般に、弦楽器（特にギター）には、各弦が略同時に発音されたり（いわゆるストローク奏法）、各弦が経時的に順を追って発音されたり（いわゆるアルペジオ奏法）等の種々の奏法がある。特に、エレキギターにより比較的テンポの速い（例えばロック調の）楽曲が演奏される場合、楽曲のドライブ感（ノリが良い雰囲気）を強調するために、各弦をミュート状態としつつ刻むように発音させて演奏する（いわゆるミュート奏法）場合がある。このミュート奏法では、各弦の発音時間が極めて短く、またピックが弦をはじいた後に弦の振動がユーザの手により強制減衰させられることから、それ以外の通常の奏法（上記ストローク奏法やアルペジオ奏法等）とは著しく異なる、独特の発音態様となる。したがって、上記ミュート奏法が行われるときに、上記通常の奏法と同様の処理を一律に行った場合には、演奏信号を正確に検出できなくなり、この結果、上記各種の処理を行うことができずにユーザにとっての利便性や娯楽性を低下させる可能性がある。
【０００５】
本発明の目的は、ユーザがミュート奏法を行った場合でも演奏信号を正確に検出して、ユーザの利便性や娯楽性の低下を防止できる、楽音演奏装置及び楽音演奏処理プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、第１の発明は、所定の弦楽器の演奏パートを含み、複数のコードの進行からなるコード情報が対応づけられたカラオケ楽曲データを記憶する楽曲データ記憶手段と、前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、前記演奏信号入力手段から入力される前記演奏信号に基づき、前記楽器演奏者のミュート奏法による演奏を、それ以外の奏法と区別して検出するミュート奏法検出手段と、前記ミュート奏法検出手段による検出結果を出力するミュート奏法出力手段と、を有することを特徴とする。
【０００７】
本願第１発明の楽音演奏装置では、楽曲データ記憶手段に記憶されたカラオケ楽曲データが、楽曲データ再生手段によって読み出されて再生される。このとき、本願第１発明では、カラオケ楽曲データの再生とともにユーザ（楽器演奏者）が楽器を演奏することができる。すなわち、上記再生に合わせてユーザが弦楽器を演奏すると、弦楽器から出力された演奏信号が演奏信号入力手段を介し入力されて検出され、その検出結果に対応して、ユーザの娯楽性を向上させるための各種の処理（例えば、演奏に対する採点や各種表示等）が実行される。
【０００８】
本願第１発明においては、先に述べた現実のユーザの演奏傾向に鑑み、ミュート奏法検出手段が、上記入力された演奏信号に基づき、楽器演奏者のミュート奏法による演奏をそれ以外の奏法と区別して検出し、ミュート奏法出力手段が、その検出結果を出力する。これにより、上記の弊害を回避し、ユーザがミュート奏法を行った場合であっても演奏信号を正確に検出することができるので、上記各種の処理を正しく行うことができ、ユーザの利便性や娯楽性の低下を防止することができる。
【０００９】
第２発明は、上記第１発明において、前記楽曲データ再生手段での前記カラオケ楽曲データの再生に応じて、対応する前記コード情報に含まれる各コードごとに、前記弦楽器における当該コードに対応した、前記ミュート奏法に対応した第１目標音高データを生成する第１目標データ生成手段と、前記楽曲データ再生手段での前記カラオケ楽曲データの再生に応じて、対応する前記コード情報に含まれる各コードごとに、前記弦楽器における当該コードに対応した、前記それ以外の奏法に対応した第２目標音高データを生成する第２目標データ生成手段と、前記演奏信号入力手段から入力される前記演奏信号に基づく実音高データを生成する実データ生成手段と、を有し、前記ミュート奏法検出手段は、前記第１目標音高データ及び前記第２目標音高データ、のうち少なくとも一方と、対応する前記実音高データとの一致度を決定可能な一致度決定手段と、前記一致度決定手段により決定された前記一致度に応じて、前記楽器演奏者による、前記ミュート奏法による演奏及び前記それ以外の奏法による演奏の少なくとも一方に対する採点を実行可能な採点手段と、を含み、前記ミュート奏法出力手段は、前記採点手段による採点結果を出力する手段であることを特徴とする。
【００１０】
本願第２発明では、カラオケ楽曲データの再生に合わせてユーザが弦楽器を演奏すると、その演奏に対する採点が行われる。すなわち、上記再生されるカラオケ楽曲データには、コード情報が対応づけられている。そして、当該カラオケ楽曲データの再生に応じて、上記コード情報に含まれる各コードごとに上記弦楽器の目標音高データが生成される。このとき、前述のような現実のユーザの演奏傾向に鑑み、本願第２発明では、第１目標データ生成手段及び第２目標データ生成手段の２つが設けられる。第１目標データ生成手段では、上記ミュート奏法に対応した第１目標音高データが生成される。第２目標データ生成手段では、ミュート奏法以外の通常の奏法に対応した第２目標データが生成される。
【００１１】
一方、上記ユーザの演奏により弦楽器から出力された演奏信号は演奏信号入力手段によって入力された後、実データ生成手段により（例えば当該演奏信号の周波数成分が抽出されてクロマベクトル処理が行われることで）対応する実音高データが生成される。
【００１２】
そして、一致度決定手段が、上記生成された実音高データと対応する目標音高データとの一致度を決定し、採点手段がその一致度に応じて採点を行う。このとき、本願第２発明では、目標音高データとして、上記第１目標音高データ及び第２目標音高データのうち少なくとも一方が用いられる。これにより、ミュート奏法とそれ以外の奏法を一切区別せずに一致度を決定し採点を行う場合に比べて、弦楽器の演奏における採点精度を向上できる。この結果、ユーザにとっての利便性及び娯楽性を確実に高めることができる。
【００１３】
第３発明は、上記第２発明において、前記一致度決定手段は、前記楽曲データ再生手段での前記カラオケ楽曲データの再生に応じて、対応する前記コード情報に付加された奏法情報に基づき、前記第１目標音高データ及び前記第２目標音高データのうちいずれか一方を選択的に切り替えて用いて、対応する前記実音高データとの一致度を決定することを特徴とする。
【００１４】
一般的に、ユーザがミュート奏法を行うかそれ以外の通常の奏法を行うかは、楽曲ごと、あるいは各楽曲の中の演奏区間ごとに、概ね一意的に決まっている。本願第３発明ではこれに対応して、カラオケ楽曲データに対応づけられたコード情報（あるいはカラオケ楽曲データそのものでもよい）に、予め奏法情報が付加されている。この奏法情報は、例えば、演奏者がミュート奏法により演奏すべき区間（あるいは楽曲）であるか、それ以外の奏法により演奏すべき区間（あるいは楽曲）であるか、等を表している。そして、一致度決定手段は、当該奏法情報に基づき、第１目標音高データ若しくは第２目標音高データを選択的に切り替えて用いて、上記一致度を決定する。
【００１５】
これにより、ミュート奏法により演奏すべき曲とそれ以外の奏法により演奏すべき曲とを混在させつつユーザが演奏を行う場合や、ユーザが演奏する１つの曲の中でミュート奏法により演奏すべき区間とそれ以外の奏法により演奏すべき区間とが混在する場合等であっても、高い精度で採点を行うことができる。この結果、ユーザにとっての利便性及び娯楽性をさらに確実に高めることができる。
【００１６】
上記目的を達成するために、本願第４発明の楽音演奏処理プログラムは、所定の弦楽器の演奏パートを含み、複数のコードの進行からなるコード情報が対応づけられたカラオケ楽曲データを記憶する楽曲データ記憶手段と、前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、を有する楽音演奏装置に備えられた演算手段に対し、前記演奏信号入力手段から入力される前記演奏信号に基づき、前記楽器演奏者のミュート奏法による演奏を、それ以外の奏法と区別して検出するミュート奏法検出手順と、前記ミュート奏法検出手順での検出結果を出力するミュート奏法出力手順と、を実行させる。
【発明の効果】
【００１７】
本発明によれば、ユーザがミュート奏法を行った場合でも演奏信号を正確に検出して、ユーザの利便性や娯楽性の低下を防止することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態のカラオケ装置の主要構成を示す説明図である。
【図２】カラオケ装置に備えられた制御装置の制御系の主要構成を示す機能ブロック図である。
【図３】楽曲データを含むサーバからの受信データのデータ構造の一例を示す説明図である。
【図４】楽曲データの再生時にモニタに表示される表示内容の一例を示す説明図である。
【図５】ＣＰＵの詳細機能を表す機能ブロック図である。
【図６】単音を通常奏法で演奏したときにおける、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図７】単音をミュート奏法で演奏したときにおける、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図８】パワーコードを通常奏法で演奏したときにおける、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図９】パワーコードをミュート奏法で演奏したときにおける、演奏信号をＦＦＴ処理したスペクトル画像の一例を表す図である。
【図１０】目標音高データを生成し、実音高データと比較する手法を説明するための説明図である。
【図１１】採点結果の表示例を説明するための説明図である。
【図１２】カラオケ装置の楽曲再生時にＣＰＵにより実行される処理内容を示すフローチャートである
【図１３】ステップＳ１００の詳細手順を表すフローチャートである。
【図１４】ミュート奏法の検出結果の表示例を説明するための説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明の一実施の形態について、図面を参照しつつ説明する。本実施形態では、ユーザがカラオケ楽曲の演奏と共に主として自らエレキギターを演奏する場合を説明する。
【００２０】
＜主要構成＞
図１は、本実施形態の楽音演奏装置であるカラオケ装置の主要構成を示す説明図である。図１に示すように、カラオケ装置１０には、歌詞を示す歌詞テロップ、歌詞テロップの背景に表示する背景映像、選曲番号を示す映像などをＣＲＴに表示するモニタテレビ（以下、モニタと略称する）１３と、ユーザ用のモニタ１４と、エレキギター４（所定の弦楽器に相当）やエレキベースなどの電子楽器を接続するための楽器接続ボード８と、複数の楽器演奏パートにより構成されるカラオケ用の楽曲（カラオケ楽曲。以下、適宜「曲」と略称する）の選曲及び曲の再生の予約などの選曲制御や、選曲された曲の送信要求を示すリクエスト信号のサーバへの送信、及びリクエスト信号により示される曲に対応する楽曲データ（カラオケ楽曲データに相当）の受信などの通信制御や、受信された楽曲データに含まれる楽音種類指定情報たるＭＩＤＩデータのうち楽器接続ボード８に接続された楽器と同じ種類の楽器の音源を指定する等を行う制御装置２０と、が備えられている。
【００２１】
さらに、カラオケ装置１０には、この例では、楽器接続ボード８から入力される楽器の演奏信号とマイクロフォン１７，１８から入力される音声信号と曲の再生信号とのミキシング（後述の図２に示すミキシング回路９参照）や、音声と曲との音量バランス調整や、エコー調整や、ディレィ調整や、ミキシング信号の増幅や、再生される曲の音程制御（キーコントロール）や、高音・低音の制御（トーンコントロール）等を行うアンプ１６と、このアンプ１６から出力される増幅信号を音として再生するフロアータイプの１組のスピーカ１１，１１と、天井吊下げ用の１組のスピーカ１２，１２と、制御装置２０を遠隔操作するリモコン３０と、が備えられている。リモコン３０には、各種の操作ボタン３０ａ，３０ｂが備えられている。
【００２２】
楽器接続ボード８は、図示を省略するが、電子ドラム、キーボード、エレキベース、エレキギター４の出力端子（フォンプラグ）を接続するそれぞれの入力端子（フォンジャック。演奏信号入力手段に相当）と、各入力端子に入力される演奏信号をそれぞれ出力する出力端子と、が設けられている。そして、楽器接続ボード８は、各楽器の出力端子を入力端子に接続することによって各楽器が接続されたこと及びその楽器の種類を自動検出するとともに、接続された楽器の１つの演奏信号を選択し、その選択された演奏信号を制御装置２０の入力端子４４（後述の図２参照）へ出力する役割をする。例えばエレキギター４から出力される演奏信号は、エレキギター４のフォンプラグを接続するフォンジャック４ａ（後述の図２参照）を介して楽器接続ボード８へ入力され、楽器接続ボード８の出力端子から出力される演奏信号は、制御装置２０の入力端子４４へ入力される。なお、上記のように楽器の接続及びその種類を自動検出するのに代え、ユーザが、既に接続済みの楽器に対応した設定等をリモコン３０等において手動で行うようにしてもよい。またその場合、エレキギター４のような電子弦楽器ではなく、ガットギターやフォークギターのようなアコースティック発音のギターの音を、マイクロフォンで集音してフォンジャック４ａへ入力してもよい。
【００２３】
＜制御系＞
上記制御装置２０の制御系の構成について図２を参照して説明する。図２は、制御装置２０の制御系の主要構成を示す機能ブロック図である。制御装置２０は、装置筺体に、ＬＡＮ回線１５を接続する通信端子４０と、楽器接続ボード８の出力端子と接続される入力端子４４と、アンプ１６の音声入力端子と接続される音声出力端子４１と、モニタ１３の映像入力端子と接続される映像出力端子４２と、モニタ１４の映像入力端子と接続される映像出力端子４３とを備えている。
【００２４】
また、制御装置２０には、制御プログラムにしたがって各種制御を実行するＣＰＵ４５（演算手段に相当）が設けられている。ＣＰＵ４５には、リモコン３０から送信されるデータ、選曲された曲の選曲番号を示す選曲番号データ、予約された曲の選曲番号データなどを一時保存するためのＲＡＭ４６と、ＣＰＵ４５により実行されるプログラム（後述の図１２、図１３、及び図１１に示すフローを実行する楽音演奏処理プログラムを含む）及び必要なデータテーブルなどが記憶されたＲＯＭ４７とが接続されている。
【００２５】
また、ＣＰＵ４５には、モニタ１３，１４に歌詞テロップや各種メッセージ映像を表示するための文字映像データが記憶されたビデオＲＡＭ４８と、サーバ５８から送信される楽曲データやコード譜情報（詳細は後述）、歌詞データ、及び映像データを通信端子４０を介して受信するためのＬＡＮボード５０と、このＬＡＮボード５０により受信される楽曲データ及び歌詞データ等を一時保存するためのＲＡＭ４９（楽曲データ記憶手段に相当）とが接続されている。
【００２６】
さらに、ＣＰＵ４５には、ＲＡＭ４９から読み出された曲データに含まれるＭＩＤＩデータを入力するとともに、その入力されたＭＩＤＩデータにより指定される音源から音源信号を出力するＭＩＤＩ音源ボード５１が接続されている。また、ＣＰＵ４５には、上記出力された音源信号を入力してアンプ１６により増幅可能な信号に変換する音声制御回路５２と、一般的な背景映像を示す背景映像データを読み出すＣＤ−ＲＯＭプレーヤ５３とが接続されている。
【００２７】
また、ＣＰＵ４５には、ＣＤ−ＲＯＭプレーヤ５３から読み出された一般的な背景映像データ、及びＲＡＭ４９から読み出された曲固有の背景データや曲データに含まれる歌詞テロップデータ等を入力し、モニタ１３の表示画面に表示される背景映像中に歌詞テロップがスーパーインポーズされた映像を作成したり、曲の進行にしたがって歌詞テロップの色を変えたりする映像制御を行う映像制御回路５４が接続されている。
【００２８】
さらに、ＣＰＵ４５には、制御装置２０の受光部３８により受光されたリモコン３０からの光信号をデジタル信号に変換する変換回路５５と、制御装置２０の筺体に設けられた各種ボタン及びキー（テンキー、選曲ボタン等）を押したときに点灯するＬＥＤへ表示信号を出力する表示回路５６と、上記各種ボタン及びキーを押したときに発生するスイッチング信号を入力する入力回路５７とが接続されている。
【００２９】
＜カラオケ装置の基本動作＞
以上の基本構成のカラオケ装置１０において、ユーザがリモコン３０により例えばエレキギター４の演奏パートを含むカラオケ楽曲を選曲し、選曲に対応してサーバ５８から送信された楽曲データを受信すると、楽曲データが演奏される。そのエレキギター４の演奏パートを含む楽曲データの演奏に合わせてユーザ（楽器演奏者に相当）がエレキギター４を演奏すると、エレキギター４から出力される演奏信号は、楽器接続ボード８を介して制御装置２０の入力端子４４へ入力される。そして、音声制御回路５２において、音源信号が音声出力端子４１へ出力される。なお、いわゆるマイナスワン再生状態の場合には、音声制御回路５２において、音源信号のエレキギターの楽曲パート一部をエレキギター４の演奏信号と置き換えたマイナスワン再生状態で、音声出力端子４１へ出力される。
【００３０】
このとき、本実施形態では、サーバ５８より歌詞データや映像データとともに受信した当該エレキギター４のギター演奏パートを含む楽曲データに対し、予め演奏支援用にコード譜情報及び奏法情報（詳細は後述）が対応付けられており、当該楽曲データの再生時にはモニタ１３，１４によってコード譜情報及び奏法情報が歌詞データや映像データと共に表示される。これにより、演奏者であるユーザは、モニタ１３，１４に表示されるコード譜情報を活用することで、再生されるカラオケ楽曲に合わせてエレキギター４の演奏パートを、奏法情報に対応した奏法により自ら容易に演奏して、当該エレキギター４の練習を行ったり、カラオケ楽曲全体のアンサンブルを楽しむことができる。
【００３１】
＜データ構造＞
図３は、本実施形態における、サーバ５８より受信した楽曲データを含む受信データのデータ構造を示す説明図である。図３に示す例では、サーバから受信されるデータの、カラオケ楽曲の４小節分を示している。受信データは、４小節分の演奏の進行に対応した複数の楽器演奏パート（この例では、エレキギター４に対応するギターパート、ベースパート、ドラムパート）の楽曲データと、上記コード譜情報と、上記奏法情報と、歌詞データ（歌詞テロップデータ）と、映像データと、を備えている。
【００３２】
楽曲データは、歌詞データ及び映像データとともに、図３に示すデータ中の１番目の小節（以下、単に「第１小節」等という）から再生され、時間の経過に従って第２小節、第３小節、第４小節へと再生が進行して行く。またその再生に対応して、歌詞データ及び映像データに基づく表示も進行していく。なお、楽曲データの種類が複数ある場合には、楽曲データ毎に、曲名（例えば、上述した選曲に用いる楽曲ＩＤ）、楽曲演奏用のＭＩＤＩデータ、歌詞データ、演奏支援用のコード譜データが対応付けられたデータ構造であればよい。楽曲データ構造は周知であるので、図３には必要な部分だけを図示する。
【００３３】
＜コード譜情報＞
コード譜情報は、楽曲データに対応付けられており、この例では、図中の第１小節が、コードＣ、コードＧ、コードＡｍ、コードＦとなっている。また第２小節、第３小節、及び第４小節も、それぞれ、同様のコード進行となっている（各小節互いに異なるコード進行であってもよい）。
【００３４】
＜奏法情報＞
奏法情報は、上記エレキギター４の奏法を指定するデータで、上記コード譜情報と同様、楽曲データに対応付けられている。この例では、図中の第１小節がミュート奏法、第２小節がミュート奏法でない通常の奏法、第３小節がミュート奏法、第４小節が上記通常の奏法、となっている。この奏法情報の詳細については後述する。
【００３５】
なお、この例では、上記コード譜情報や奏法情報が楽曲データと同一ファイルにより構成されているが、これに限られず、コード譜情報や奏法情報が楽曲データと別ファイル（以下、コード譜情報ファイル）で構成され、同じ曲名で対応付けられていてもよい。
例えば、以下の構成と処理（１）〜（４）によって、コード譜情報や奏法情報が楽曲データと別ファイル（コード譜情報ファイル）であっても、コード譜情報や奏法情報が楽曲データと同一ファイルの場合と、同じ作用が得られる。
（１）コード譜・奏法情報ファイルとは、楽曲データの再生の時間進行に応じて出現するコード譜情報・奏法情報を、予め、楽曲の進行時間と対応付けたテーブルのファイルである。テーブルは具体的には、（演奏時間ｔ１：コードＥｍ、ｔ２：コードＢｍ、・・・最後の演奏時間ｔＸ：最後のコード譜情報（又は奏法情報）Ｘ）の情報が記録されている。
（２）上記コード譜・奏法情報ファイルを、楽曲データとともに、ＲＡＭ４９に記憶しておく。
（３）入力回路５７から楽曲の再生が指定された場合に、ＣＰＵ４５は、楽曲データとともに、対応するコード譜・奏法情報ファイルもＲＡＭ４９から読み出す。
（４）ＣＰＵ４５は、ＲＯＭ４７の実行プログラムに従い楽曲データを再生し、再生の進行時間に応じて、コード譜・奏法情報ファイルからコード譜情報・奏法情報を読み出す。具体的には、楽曲データの再生の進行時間がｔ１（秒）に到達した場合には、コード譜・奏法情報ファイルからｔ１に対応するコードＥｍを読み出し、ｔ２（秒）の到達で、ｔ２に対応するコードＢｍを読み出す。以下同様に、楽曲データの再生終了（ｔＸ）迄、コード譜・奏法情報ファイルから進行時間に応じたコード譜を読み出し続ける。
【００３６】
図４は、楽曲データの再生時に上記コード譜情報及び奏法情報に対応してモニタ１３，１４に表示される表示内容の一例を示す説明図である。この例では、上記図３に示した４小節分の楽曲データに対応した表示の例を示している。すなわち、モニタ１３，１４の表示内容は、上記４小節分の歌詞「からだでなく涙でなく  君の言葉で愛をきかせて」と、歌詞の上側に添えられたコード譜（第１小節：Ｃ，Ｇ，Ａｍ，Ｆ、第２小節：Ｃ，Ｇ，Ａｍ，Ｆ、第３小節：Ｃ，Ｇ，Ａｍ，Ｆ、第４小節：Ｃ，Ｇ，Ａｍ，Ｆ）と、上記同様に歌詞の上側に添えられたエレキギター４の奏法指定（第１小節：ミュート奏法、第２小節：通常奏法、第３小節：ミュート奏法、第４小節：通常奏法）、歌詞の下側に２小節分ずつ設けられた再生進行バーと、からなっている。再生進行バーは、楽曲データの再生の進行状態を帯状に延びる黒色部分によって示されている。エレキギター４のユーザは、楽曲データの再生時、モニタ１３，１４に表示される上記コード譜及び奏法指定を見て、再生進行バーの延び状態に対応してコード進行順にエレキギター４のコードを押さえることで、カラオケ楽曲のエレキギターパートを上記指定された奏法により容易に弾くことができる。
【００３７】
図４（ａ）は、第１小節（コードＣ）の冒頭から始まった上記楽曲データの再生が第１小節の途中（歌詞「からだでなく」の「な」の部分の直前）まで進行している状態であり、１つ目の再生進行バーの黒色部分が、上記第１小節の途中まで延びている。図４（ｂ）は、上記図４（ａ）の状態からさらに再生が進み、第１小節が終了して、第２小節の途中の部分（歌詞「涙でなく」の「で」の部分）が再生されている状態であり、上記黒色部分が第２小節の途中まで延びている。図４（ｃ）は、上記図４（ｂ）の状態からさらに再生が進み、第２小節の終わりのコードＦの部分（歌詞「涙でなく」の「く」の後の部分）が再生されている状態であり、上記黒色部分が第２小節の終わりまで延びている。
【００３８】
＜本実施形態の特徴＞
ところで、カラオケ装置においてユーザの歌唱に対する採点を行う手法は既に広く行われている。ここで、上記のようにコード譜情報を用いてユーザが弦楽器（この例ではエレキギター４）の演奏を行うとき、その演奏に対する採点を行い採点結果を表示するようにすれば、ユーザにとっての楽しみをさらに増大させることができる。
【００３９】
そこで、本実施形態では、ユーザがエレキギター４を演奏することで出力された演奏信号の周波数成分が、公知のＦＦＴ（高速フーリエ変換）の手法により抽出された後にクロマベクトル処理が行われることで、所定の時間区分ごとに、上記演奏に対応した実音高データ（詳細は後述）が生成される。その実音高データと、上記コード譜情報及び奏法情報に基づき生成された目標音高データ（詳細は後述）との一致度に基づき、上記採点が行われる。以下、その詳細を図５〜図１０を用いて説明する。
【００４０】
＜ＣＰＵの詳細機能＞
上記の採点を行うために、本実施形態の上記ＣＰＵ４５が備える機能的構成を、図５に示す。図示のように、ＣＰＵ４５は、ＦＦＴ処理部４５ａ、特徴パラメータ取得部４５ｂ、実データバッファ４５ｃ、目標データ生成部４５ｇ、目標データバッファ４５ｅ、マッチング処理部４５ｄ、及び、採点結果生成部４５ｆ等の各機能部を備えている。
【００４１】
前述のようにしてユーザのエレキギター４の演奏により出力され制御装置２０に入力された演奏信号は、デジタルデータに変換された後にＦＦＴ処理部４５ａ及び特徴パラメータ取得部４５ｂに入力される。ＦＦＴ処理部４５ａでは、入力されたサンプリングデータ列である演奏音声データを所定の時間区分（例えば１８６ｍｓｅｃ）毎に分割して高速フーリエ変換する。このＦＦＴによって得られた周波数スペクトルは、ＦＦＴ処理部４５ａから特徴パラメータ取得部４５ｂに入力される。
【００４２】
特徴パラメータ取得部４５ｂは、上記演奏音声データが入力されるとともに、ＦＦＴ処理部４５ａから、周波数領域の情報である周波数スペクトルが入力される。特徴パラメータ取得部４５ｂは、上記演奏音声データ及びその周波数スペクトルから、演奏音声データの様々な特徴を示す複数の特徴パラメータを取得し、公知のクロマベクトル化の手法によりその取得結果に対応した実音高データ（上記演奏信号に含まれる和音の各音を表すデータ）を生成し出力する。この特徴パラメータの取得は、上記時間区分ごとのフレームで行われる。具体的には、特徴パラメータ取得部４５ｂは、上記入力された演奏音声データから時間領域の特徴パラメータを割り出す時間領域情報取得部４５ｂａと、ＦＦＴ処理部４５ａから入力された周波数スペクトルから周波数領域の特徴パラメータを割り出す周波数領域情報取得部４５ｂｂを備えている。
【００４３】
時間領域情報取得部４５ｂａは、入力された演奏音声データをＦＦＴ処理部４５ａと同期した上記時間区分ごとのフレームに分割し、各フレームごとに時間領域の特徴パラメータを取得する。領域情報取得部４５ｂａが取得する特徴パラメータの例としては、例えば、エネルギ、エネルギ変化度、持続時間等がある。周波数領域情報取得部４５ｂｂは、上記ＦＦＴ処理部４５ａから入力された上記時間区分の長さの波形の周波数スペクトルから周波数領域の特徴パラメータを取得する。周波数領域情報取得部４５ｂｂが取得する特徴パラメータの例としては、例えば、ピッチ、倍音周波数、倍音レベル、倍音位相、等がある。これらのピッチ（ギターの音階を示す音高）、その倍音周波数、倍音レベルなどのパラメータは、後述する図６の表示に用いられる。
【００４４】
上記のようにして時間領域情報取得部４５ｂａ及び周波数領域情報取得部４５ｂｂで取得された特徴パラメータに基づき生成され出力された上記実音高データは、実データバッファ４５ｃに入力される。実データバッファ４５ｃは、入力された上記実音高データを時間情報（タイムスタンプ）を付して記憶する。
【００４５】
一方、目標データ生成部４５ｇには、上記カラオケ楽曲データに同期した上記コード譜情報及び奏法情報が入力される。目標データ生成部４５ｇは、それらコード譜情報及び奏法情報に基づき、目標音高データ（本実施形態では、ミュート奏法用目標音高データと通常奏法用目標音高データとの２種類がある。詳細は後述）を生成する。この目標音高データは、例えば、コード譜情報に含まれる各コードの和音を構成する複数の音に対応したデータ（各コードのルート音と当該ルート音に対して５度上の音程となる音とからなるパワーコードのデータであってもよい）である。生成された目標音高データは、目標データバッファ４５ｅへ出力されて目標データバッファ４５ｅに記憶される。
【００４６】
マッチング処理部４５ｄは、上述のようにして実データバッファ４５ｃに記憶された実音高データと、これに対応する、目標データバッファ４５ｅに記憶された上記目標音高データと、を公知の手法で比較し、一致度を例えば演算により数値的に算出する。算出された一致度は採点結果生成部４５ｆへ出力される。なお、一致度を演算によって算出するのではなく、予め複数の区分に分けられ各区分ごとに一致度の値が対応づけられたテーブルが用意されており、上記比較結果が当該テーブルのどの区分に属するかによって一致度を決定するようにしてもよい。
【００４７】
採点結果生成部４５ｆは、マッチング処理部１８から入力された上記一致度に基づいてユーザによる演奏（この例ではエレキギター４の演奏）を評価し、一致度が高いほど演奏に高い評価をつける。採点結果生成部４５ｆは、この評価を例えば１００点を満点とした得点として採点し、採点結果をモニタ１３，１４に入力する。モニタ１３，１４は、入力された採点結果を表示する。
【００４８】
＜弦楽器の奏法＞
ところで、一般に、弦楽器（特に上記エレキギター４）には、各弦が略同時に発音されたり（いわゆるストローク奏法）、各弦が経時的に順を追って発音されたり（いわゆるアルペジオ奏法）等の種々の奏法がある。特に、エレキギター４により比較的テンポの速い（例えばロック調の）楽曲が演奏される場合、楽曲のドライブ感（ノリが良い雰囲気）を強調するために、各弦をミュート状態としつつ刻むように発音させて演奏する（いわゆるミュート奏法）場合がある。このミュート奏法では、各弦の発音時間が極めて短く、またピックが弦をはじいた後に弦の振動がユーザの手により強制減衰させられることから、それ以外の通常の奏法（上記ストローク奏法やアルペジオ奏法等）とは著しく異なる、独特の発音態様となる。したがって、上記ミュート奏法が行われるときに、上記通常の奏法と同様の処理、例えば、奏法に関係なく一律の上記目標音高データを用いて上記一致度の算出又は決定（以下適宜、これらをまとめて単に「決定」と称する）を行った場合、正確な処理（この例では採点）を行うことが困難となる。
【００４９】
＜ミュート奏法及び通常奏法における演奏信号の違い＞
上述したミュート奏法及び通常奏法における演奏信号の違いについて、図６〜図９を用いて説明する。
【００５０】
＜通常奏法  単音の演奏信号＞
例えば、通常奏法での演奏信号の一例として、エレキギター４の６弦の３フレットを押さえて「Ｇ」の音を演奏したときの、演奏信号をＦＦＴ処理したスペクトル画像を図６に示す。横軸は信号のレベルを表し、「５５Ｈｚ以上１１０Ｈｚ未満」の帯域、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域、「８８０Ｈｚ以上１．７６ＫＨｚ未満」の帯域、「１．７６ＫＨｚ以上３．５２ＫＨｚ未満」の帯域、「３．５２ＫＨｚ以上」の帯域、にそれぞれ、入力された音高に対する倍音周波数、倍音レベルの関係が判るようにオクターブ単位で区分して示している。また、縦軸には「Ａ」「Ａ＃」「Ｂ」「Ｂ＃」「Ｃ」「Ｃ＃」「Ｄ」「Ｄ＃」「Ｅ」「Ｆ」「Ｆ＃」「Ｇ」「Ｇ＃」の各音階（音高）を取って表している。
【００５１】
図示のように、「５５Ｈｚ以上１１０Ｈｚ未満」の帯域、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域、の３つにおいて、「Ｇ」の音階のスペクトルが比較的大きなレベルで生じている。また「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域でも、「Ｇ」の音階のスペクトルが比較的小さなレベルで生じている。
【００５２】
その一方で、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域において「Ｄ」の音階のスペクトルがかなり大きなレベルで生じている（枠線ア参照）。これは、弦楽器に固有の倍音の影響が現れたものである。また、同様に倍音の影響で、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域でも、「Ｄ」の音階のスペクトルが比較的小さなレベルで生じている。
【００５３】
なお、上記以外のノイズとして、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域において「Ｂ」の音階のスペクトルと「Ｆ」の音階のスペクトルがある程度のレベルで生じている。
【００５４】
＜ミュート奏法  単音の演奏信号＞
上記同様、６弦の３フレットを押さえて、ミュート奏法で「Ｇ」の音を演奏したときの、演奏信号をＦＦＴ処理したスペクトル画像を図７に示す。
【００５５】
図７に示すように、このスペクトル画像は、（同一音高の発音であるにもかかわらず）図６に示したスペクトル画像とは異なる点が含まれる。例えば、図７に示すミュート奏法では、「５５Ｈｚ以上１１０Ｈｚ未満」の帯域及び「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域の２つにおける、「Ｇ」の音階のスペクトルが、上記通常奏法のときよりも大きなレベルとなっている。また、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域の「Ｇ」の音階のスペクトルは、上記通常奏法のときよりも小さなレベルとなり、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域の「Ｇ」の音階のスペクトルは、ほとんどなくなっている。
【００５６】
一方、図７に示すミュート奏法では、上記倍音の影響を表す、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域における「Ｄ」の音階のスペクトルのレベルが上記通常奏法のときよりも小さくなり（枠線イ参照）、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域では、「Ｄ」の音階のスペクトルはほとんどなくなっている。また、上記ノイズとしての、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域における、「Ｂ」の音階のスペクトルと「Ｆ」の音階のスペクトルも、上記通常奏法のときよりもかなり小さくなっている。
【００５７】
＜通常奏法  和音の演奏信号＞
例えば、通常奏法での演奏信号の一例として、エレキギター４の６弦の３フレットと５弦５フレットとを押さえて「コードＧ」をパワーコードで演奏したときの、演奏信号をＦＦＴ処理したスペクトル画像を図８に示す。
【００５８】
図示のように、まず、「５５Ｈｚ以上１１０Ｈｚ未満」の帯域、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域（枠線ウ参照）、の３つにおいて、「Ｇ」の音階のスペクトルが比較的大きなレベルで生じている。また「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域でも、「Ｇ」の音階のスペクトルが比較的小さなレベルで生じている。
【００５９】
また、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域（枠線エ参照）、の２つにおいて、「Ｄ」の音階のスペクトルが比較的大きなレベルで生じている。また「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域でも、「Ｄ」の音階のスペクトルが比較的小さなレベルで生じている。
【００６０】
なお、上記以外のノイズとして、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域において、「Ｆ＃」の音階のスペクトル、「Ｆ」の音階のスペクトル、「Ｂ」の音階のスペクトル、「Ａ」の音階のスペクトル、がある程度のレベルで生じている。また、「８８０Ｈｚ以上１．７６ＫＨｚ未満」の帯域において、「Ａ」の音階のスペクトルがある程度のレベルで生じている。
【００６１】
＜ミュート奏法  和音の演奏信号＞
上記同様、６弦の３フレットと５弦５フレットとを押さえて、ミュート奏法で「コードＧ」をパワーコードで演奏したときの、演奏信号をＦＦＴ処理したスペクトル画像を図９に示す。
【００６２】
図９に示すように、このスペクトル画像は、（同一運指によるパワーコードの発音であるにもかかわらず）図８に示したスペクトル画像とは異なる点が含まれる。例えば、図９に示すミュート奏法では、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域における、「Ｇ」の音階のスペクトルが、上記通常奏法のときよりもかなり大きなレベルとなっている。これに対して、「５５Ｈｚ以上１１０Ｈｚ未満」の帯域及び２２０Ｈｚ以上４４０Ｈｚ未満」の帯域の「Ｇ」の音階のスペクトルは、上記通常奏法のときよりも小さなレベルとなり（枠線オ参照）、４４０Ｈｚ以上８８０Ｈｚ未満」の帯域の「Ｇ」の音階のスペクトルは、ほとんどなくなっている。
【００６３】
また、図９に示すミュート奏法では、「２２０Ｈｚ以上４４０Ｈｚ未満」の帯域における「Ｄ」の音階のスペクトルのレベルが上記通常奏法のときよりもかなり小さくなり（枠線カ参照）、「１１０Ｈｚ以上２２０Ｈｚ未満」の帯域における「Ｄ」の音階のスペクトルのレベルも上記通常奏法のときより小さくなっている。そして、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域では、「Ｄ」の音階のスペクトルはほとんどなくなっている。また、上記ノイズとしての、「４４０Ｈｚ以上８８０Ｈｚ未満」の帯域における、「Ｆ＃」の音階のスペクトル、「Ｆ」の音階のスペクトル、「Ｂ」の音階のスペクトル、及び「Ａ」の音階のスペクトルも、上記通常奏法のときより小さくなっている。
【００６４】
＜奏法に応じた２種類の目標音高データの生成＞
上記のような、奏法による演奏信号の違いに基づき、本実施形態においては、上記目標音高データとして、上記通常奏法に対応し図６及び図８を用いて上述したようなスペクトル特性（例えば特定帯域における倍音成分のレベルが大きい）を加味した通常奏法用目標音高データと、上記ミュート奏法に対応し図７及び図９を用いて上述したようなスペクトル特性（例えば特定帯域における倍音成分のレベルが小さい。かつノイズが少ない）を加味したミュート奏法用目標音高データと、の２つが生成される。すなわち、上記図５に示したように、ＣＰＵ４５の上記目標データ生成部４５ｇは、前述のようにして入力されたコード譜情報に基づき上記ミュート奏法用目標音高データを生成するミュート奏法用目標データ生成部４５ｇ１と、上記入力されたコード譜情報に基づき上記通常奏法用目標音高データを生成する通常奏法用目標データ生成部４５ｇ２と、を備えている。そして、本実施形態では、上記楽曲データに対応付けられる奏法情報に応じた、上記ミュート奏法用目標データ生成部４５ｇからのミュート奏法用目標音高データ、若しくは、通常奏法用目標データ生成部４５ｇ２からの通常奏法用目標音高データ、が選択的に切り替えられて目標データバッファ４５ｅへと入力され、記憶される。したがって、目標データバッファ４５ｅには、１つの楽曲データに対応づけられた目標音高データであって、奏法指定がミュート奏法である楽曲部位には上記ミュート奏法用目標音高データが組み込まれ、奏法指定が通常奏法である楽曲部位には上記通常奏法用目標音高データが組み込まれた、目標音高データが記憶される。そして、この目標音高データと、（ユーザがパワーコードを用いて演奏した）上記実音高データとが、上記マッチング処理部４５ｄにより比較される。この手法を図１０を用いて説明する。
【００６５】
＜２種類の目標音高データを用いた比較＞
図１０において、この例では、上記図３、図４に示した楽曲データにおける、前述した、コードＣ→コードＧ→コードＡｍ→コードＦかつミュート奏法指定の第１小節、コードＣ→コードＧ→コードＡｍ→コードＦかつ通常奏法指定の第２小節、コードＣ→コードＧ→コードＡｍ→コードＦかつミュート奏法指定の第３小節、コードＣ→コードＧ→コードＡｍ→コードＦかつ通常奏法指定の第４小節、・・・の順のコード進行で楽曲が再生され、ユーザが当該再生に合わせてエレキギター４を演奏した状態を示している。
【００６６】
上記のようなコード進行に対応する上記目標音高データは、前述したように、ミュート奏法指定の区間にはミュート奏法用目標音高データであり、通常奏法指定の区間には通常奏法用目標音高データとなっている。そして、それらミュート奏法用目標音高データ及び通常奏法用目標音高データのいずれもが、この例では、（ユーザがパワーコードにより演奏することを前提として）各コードのルート音と当該ルート音に対して５度上の音程となる音とからなる上記パワーコードのデータとなっている。
【００６７】
すなわち、第１小節において、コードＣに対しては、４弦の５フレットと５弦の３フレットとの２箇所を押さえる運指態様により発音される音高が、指定されている（すなわち図１０中では便宜的にＴＡＢ譜で表記しているが、実際の目標音高データはこのＴＡＢ譜により表現される特定の音高データとして設定されている。以下同様）。同様に、コードＧに対しては５弦の５フレットと６弦の３フレットとが指定され、コードＡｍに対しては５弦の７フレットと６弦の５フレットとが指定され、コードＦに対しては５弦の３フレットと６弦の１フレットとが指定されている。なお、この例では上述したように第２小節〜第４小節も第１小節と全く同一のコード進行であることから、同一の運指態様が指定されている。
【００６８】
そして、上記第１小節〜第４小節において、ユーザによるエレキギター４の演奏による演奏信号に基づき、上述のようにしてＦＦＴ処理による周波数成分の抽出及びクロマベクトル処理が行われた結果、対応する実音高データが生成されている。
【００６９】
この例では、ユーザのエレキギター４の演奏により、第１小節において、コードＣに対しては、４弦の６フレットと５弦の３フレットとの２箇所を押さえる運指態様により発音される音高のデータが、入力された演奏信号から生成されている（すなわち、上記目標音高データと同様、実際の実音高データは特定の音高データとして生成される。図１０中ではそのデータを便宜的にＴＡＢ譜で表記しているのみである。以下同様）。その後、コードＧに対しては５弦の５フレットと６弦の３フレットとが押さえられ、コードＡｍに対しては５弦の７フレットと６弦の５フレットとが押さえられ、コードＦに対しては５弦の３フレットと６弦の１フレットとが押さえられている。
【００７０】
上記の結果、第１小節において、上記目標音高データ（詳細にはこの例では上記ミュート奏法用目標音高データ）と上記実音高データとが比較されることで、最初のコードＣにおいて、目標音高データにおける４弦の５フレットの指定に対し実音高データでは４弦の６フレットが押さえられ、これのみが不一致データとなっていることがわかる。このような一致度に対応して採点が行われことにより、この例では『８０点』という採点結果となっている。
【００７１】
同様に、第２小節においては、ユーザのエレキギター４の演奏により、コードＣに対しては、４弦の５フレットと５弦の３フレットとが押さえられ、コードＧに対しては５弦の５フレットと６弦の３フレットとが押さえられ、コードＡｍに対しては５弦の７フレットと６弦の５フレットとが押さえられ、コードＦに対しては５弦の３フレットと６弦の１フレットとが押さえられている。この結果、第２小節において、上記目標音高データ（詳細にはこの例では上記通常奏法用目標音高データ）と上記実音高データとが比較されることで、上記のような不一致データがないことがわかる。このような一致度（＝１００％）に対応して採点が行われことにより、この例では『１００点』という採点結果となっている。
【００７２】
また、第３小節においては、ユーザのエレキギター４の演奏により、コードＣに対しては、４弦の５フレットと５弦の３フレットとが押さえられ、コードＧに対しては５弦の５フレットと６弦の３フレットとが押さえられ、コードＡｍに対しては５弦の６フレットと６弦の４フレットとが押さえられ、コードＦに対しては５弦の２フレットと６弦の１フレットとが押さえられている。この結果、第３小節において、上記目標音高データ（詳細にはこの例では上記ミュート奏法用目標音高データ）と上記実音高データとが比較されることで、３番目のコードＡｍにおいて、目標音高データにおける５弦の７フレットの指定に対し実音高データでは５弦の６フレットが押さえられ、目標音高データにおける６弦の５フレットの指定に対し実音高データでは６弦の４フレットが押さえられ、不一致データとなっていることがわかる。また、４番目のコードＦにおいて、目標音高データにおける５弦の３フレットの指定に対し実音高データでは５弦の２フレットが押さえられ、不一致データとなっていることがわかる。このような一致度に対応して採点が行われことにより、この例では『６０点』という採点結果となっている。
【００７３】
さらに、第４小節においては、ユーザのエレキギター４の演奏により、コードＣに対しては、４弦の５フレットと５弦の３フレットとが押さえられ、コードＧに対しては５弦の５フレットと６弦の３フレットとが押さえられ、コードＡｍに対しては５弦の７フレットと６弦の５フレットとが押さえられ、コードＦに対しては５弦の３フレットと６弦の１フレットとが押さえられている。この結果、第４小節において、上記目標音高データ（詳細にはこの例では上記通常奏法用目標音高データ）と上記実音高データとが比較されることで、上記のような不一致データがないことがわかる。このような一致度（＝１００％）に対応して採点が行われことにより、上記第２小節と同様、『１００点』という採点結果となっている。
【００７４】
なお、上記の例では、上記奏法情報に基づき、目標データ生成部４５ｇが、通常奏法用目標音高データ若しくはミュート奏法用目標音高データを選択的に目標バッファデータ４５ｅへ出力され記憶されていた。すなわち比較に用いる目標音高データが、予め、通常奏法指定区間では通常奏法用目標音高データで構成されると共にミュート奏法指定区間ではミュート奏法用目標音高データで構成されており、マッチング処理部４５ｄでは、その１つの目標音高データを用いて上記比較を行い、一致度が算出された。しかしながら、これに限られない。すなわち、目標データ生成部４５ｇからは、通常奏法用目標音高データとミュート奏法用目標音高データとの両方が、例えば目標バッファデータ４５ｅの別領域に個別に出力され記憶されてもよい。この場合は、マッチング処理部４５ｄでは、それら２つの目標音高データを用いてそれぞれ上記比較を行い、それぞれについて一致度を算出し、それら算出された２つの一致度（通常奏法用目標音高データに基づく一致度とミュート奏法用目標音高データに基づく一致度）のうち、より高い値となったほうを最終的な一致度としてもよい。この場合は、通常奏法用目標音高データとミュート奏法用目標音高データとの両方が予め用意されていれば足り、上記奏法情報は必要ではない。
【００７５】
また、上記の例では、ミュート奏法による演奏区間（上記の例では第１小節、第３小節）、通常奏法による演奏区間（上記の例では第２小節、第４小節）、のいずれにおいても、和音（上記の例では２音によるパワーコード）全体で一致度の算出を行い、いずれの区間においても一部でも一致しない音があれば減点対象となったが、これに限られない。すなわち、ミュート奏法による演奏区間についてのみ、上記不一致による減点対象から除外するようにしてもよい。
【００７６】
上記のような採点結果生成部４５ｆによる採点結果に応じて、上記モニタ１３，１４に表示される表示例を図１１（ａ）〜（ｃ）に示す。図１１（ａ）は採点結果が１００点であった場合（通常奏法であることを併せて表示）の例、図１１（ａ）は採点結果が１００点であった場合（ミュート奏法であることを併せて表示）の例、図１１（ｂ）は採点結果が６０点であった場合（ミュート奏法であることを併せて表示）の例、図１１（ｃ）は採点結果が０点であった場合の例である。これ以外にも、楽曲データ再生の進行中の時間区分毎に、ユーザによるギター演奏の採点結果表示に加え、歌詞、コード譜も併せて表示するなど、各得点の値に応じて種々の表示態様が予め用意されている（図示省略）。
【００７７】
＜制御手順＞
上記のような本実施形態の手法を実現するために、カラオケ装置１０の楽曲再生時にＣＰＵ４５により実行される処理内容を、図１２のフローチャートにより説明する。
【００７８】
図１２において、このフローは、例えばカラオケ装置１０のユーザが、制御装置２０の電源ボタンを押して制御装置２０の電源を立ち上げると、開始される。制御装置２０の電源の立ち上がりに連動して、アンプ１６、楽器接続ボード８及びモニタ１３，１４の電源が立ち上がる。なお、前述したように、この例では、カラオケ装置１０のユーザが、楽器接続ボード８にエレキギター４を接続して演奏する場合を例にとって説明する。ユーザがエレキギター４のフォンプラグを楽器接続ボード８の入力端子（フォンジャック）４ａに接続すると、楽器接続ボード８はエレキギター４が接続されたことを検知する。
【００７９】
図１２において、まず、ステップＳ１０において、ＣＰＵ４５は、ユーザによる選曲が終了したか否かを判定する。選曲は、例えば、ユーザがエレキギター４を演奏したい曲の選曲番号をリモコン３０のテンキーにより入力し、選曲ボタンを押すと、選曲が終了する。選曲が終了するまではステップＳ１０の判定が満たされず（ステップＳ１０：ＮＯ）、ループ待機する。選曲が終了した場合はステップＳ１０の判定が満たされ（ステップＳ１０：ＹＥＳ）、ステップＳ１５に移る。
【００８０】
ステップＳ１５では、ＣＰＵ４５は、ステップＳ１０での選曲結果に対応し、上記選曲番号を示す選曲番号データをＲＡＭ４６に一時保存するとともに、ＬＡＮボード５０を介し、上記選曲番号に対応する曲データの送信を要求するリクエスト信号を、ＬＡＮ回線１５を介してサーバ５８へ送信する。これにより、サーバ５８は、図示しない記憶装置から、上記リクエスト信号に示される選曲番号に対応する楽曲データ及び上記コード譜情報並びに上記奏法情報と当該楽曲データに対応した歌詞データ及び映像データとを検索して読み出し、その読み出された曲データ等を、ＬＡＮ回線１５を介して制御装置２０に送信する。ステップＳ１５が終了したら、ステップＳ２０に移る。
【００８１】
ステップＳ２０では、ＣＰＵ４５は、ＬＡＮボード５０を介し、サーバ５８からＬＡＮ回線１５を介して送信された（コード譜情報・奏法情報を含む）楽曲データ等を受信する。その後、ステップＳ２５に移る。
【００８２】
ステップＳ２５では、ＣＰＵ４５は、上記ステップＳ２０で受信した楽曲データ等をＲＡＭ４９に一時保存する。その後、ステップＳ３０に移る。
なお、ステップＳ１５，ステップＳ２０、ステップＳ２５の処理として、選曲番号に対応付けられた、楽曲データ、及び、コード譜情報・奏法情報等は、選曲毎にサーバ５８からオンデマンドで取得する処理を行う。そのほか、カラオケ装置１０の制御装置２０に大容量の補助記憶手段（図示せず）を設けて、予め、楽曲データ等を、補助記憶手段に記憶し、選曲毎に、選曲番号に対応付けられた情報群を補助記憶手段から読み出して、目的とする情報を取得する処理としてもよい。
【００８３】
ステップＳ３０では、ＣＰＵ４５は、上記ステップＳ２５でＲＡＭ４９に記憶されているＭＩＤＩデータの読み出しを開始し、読み出されたＭＩＤＩデータをＭＩＤＩ音源ボード５１に書き込む。ステップＳ３０が終了したら、ステップＳ３５に移る。
【００８４】
ステップＳ３５では、ＣＰＵ４５は、ＭＩＤＩ音源ボード５１に制御信号を出力し、上記ステップＳ３０で書き込んだＭＩＤＩデータに対応した音源信号を、ＭＩＤＩ音源ボード５１から出力させる。ＭＩＤＩ音源ボード５１から出力される音源信号は、音声制御回路５２へ出力されるとともに、アンプ１６により増幅可能な音楽信号に変換され、この変換された音楽信号は、音声出力端子４１からアンプ１６へ出力される。また、マイクロフォン１７，１８から入力された音声信号は、アンプ１６に内蔵されたミキシング回路９において上記音楽信号とミキシングされる。このとき、エレキギター４の出力端子から出力された演奏信号は、楽器接続ボード８及び制御装置２０を介してミキシング回路９に入力され、上記音声信号及び音楽信号とミキシングされる。そして、そのミキシングされたミキシング信号は、アンプ１６に内蔵された図示しない増幅回路により増幅された後にスピーカ１１及びスピーカ１２へ出力され、両スピーカによって再生される。なお、このステップＳ３５の手順が各請求項記載の楽曲データ再生手段として機能する。ステップＳ３５が終了すると、ステップＳ４０に移る。
【００８５】
ステップＳ４０では、ＣＰＵ４５は、モニタ１３，１４に制御信号を出力し、ステップＳ２５で保存したコード譜情報及び歌詞等をモニタ１３，１４により表示させる（なお、後述のステップＳ１００による採点結果についてもこのときに併せて表示される）。これにより、エレキギター４の演奏者であるユーザは、モニタ１３，１４に表示されるコード譜にしたがいつつ指定された奏法でエレキギター４を演奏することにより、再生されるカラオケ楽曲に合わせてエレキギター演奏パートを容易に演奏することができる。その後、ステップＳ５０に移る。
【００８６】
ステップＳ５０では、ＣＰＵ４５は、上記ユーザのエレキギター４の演奏により入力端子４４から入力された演奏信号を演奏データとして例えば上記ＲＡＭ４９に蓄積する。その後、ステップＳ５５に移る。
【００８７】
ステップＳ５５では、ＣＰＵ４５は、前述のＦＦＴ（高速フーリエ変換）の処理単位に対応した１つの上記時間区分が終了したか否かを判定する。上記時間区分が終了していなければ判定が満たされず（Ｓ５５：ＮＯ）、上記ステップＳ３０に戻って同様の手順を繰り返す。上記時間区分が終了したら判定が満たされ（Ｓ５５：ＹＥＳ）、ステップＳ１００に移る。
【００８８】
ステップＳ１００では、ＣＰＵ４５は、前述した手法による採点処理を行う。この採点処理の詳細を、図１３に示す。
【００８９】
図１３において、まずステップＳ１１０で、ＣＰＵ４５は、上記ステップＳ５０で蓄積した（上記１つの区分に対応した）演奏データを読み出し、上記ＦＦＴ処理部４５ａにより、公知のＦＦＴ（高速フーリエ変換）の手法により各周波数成分を抽出し解析する。その後、ステップＳ１２０に移る。
【００９０】
ステップＳ１２０では、ＣＰＵ４５は、上記特徴パラメータ取得部４５ｂにより、上記ステップＳ１１０での解析結果を公知の手法によりクロマベクトル化することにより、前述の実音高データを生成する。なお、このステップＳ１２０を実行するＣＰＵ４５が実データ生成手段として機能する。その後、ステップＳ１３０に移る。
【００９１】
ステップＳ１３０では、ＣＰＵ４５は、上記目標データ生成部４５ｇのミュート奏法用目標データ生成部４５ｇ１及び通常奏法用目標データ生成部４５ｇ２により、上記ステップＳ２０で取得されステップＳ４０で表示されたコード譜情報及び奏法情報に基づき、各コードごとに、前述のようにして上記ミュート奏法用目標音高データ（第１目標音高データに相当）又は通常奏法用目標音高データを用いて目標音高データ（第２目標音高データに相当）を生成し、上記目標データバッファ４５ｅに記憶する。なお、このステップＳ１３０を実行するＣＰＵ４５が第１目標データ生成手段及び第２目標生成手段として機能する。その後、ステップＳ１４０に移る。
【００９２】
ステップＳ１４０では、ＣＰＵ４５は、上記マッチング処理部４５ｄにより、上記ステップＳ１３０で生成された目標音高データを、上記ステップＳ１２０で生成された、対応する実音高データと比較し、一致度を算出する。その後、ステップＳ１５０に移る。なお、このステップＳ１４０を実行するＣＰＵ４５が一致度決定手段として機能する。
【００９３】
ステップＳ１５０では、ＣＰＵ４５は、上記ステップＳ１４０で算出された上記一致度に基づき、適宜の手法により上記演奏データに対応した採点を行い、採点結果を例えば上記ＲＡＭ４９に出力して記憶させる。なお、この採点結果は、前述のステップＳ３０に戻った後に実行されるステップＳ４０においてモニタ１３，１４において表示される（上記図１１（ａ）〜（ｃ）参照）。このステップＳ１５０が完了すると、このルーチンを終了する。なお、このステップＳ１５０を実行するＣＰＵ４５が採点手段として機能する。
【００９４】
また、上記ステップＳ１４０において一致度の算出対象となる演奏区間が上記ミュート奏法を行うべき区間（言い換えれば前述の例では奏法情報が「ｍｕｔｅ」となっている区間）であって、その後のステップＳ１５０で一致度に基づく採点結果がある程度の値（例えば６０点）以上となった場合（あるいは一致度自体の値がある程度の値以上となった場合でもよい）には、そのことをもって、ユーザがエレキギター４を上記通常奏法ではなくミュート奏法で演奏したことを検出したとも言える。したがって、その意味で、上記ステップＳ１４０及びステップＳ１５０を実行するＣＰＵ４５は、ミュート奏法による演奏を検出する、各請求項記載のミュート奏法検出手順に相当しかつミュート奏法検出手段としても機能している。またこの場合のステップＳ１５０を実行して採点結果を出力するＣＰＵ４５は、上記ミュート奏法の検出結果を出力する、各請求項記載のミュート奏法出力手順に相当しかつミュート奏法出力手段としても機能している。
【００９５】
また、前述したように、目標音高データと実音高データとの一致度の値がある程度の値以上となったことで、（採点とは無関係に、あるいは採点を行わずに）ユーザによるエレキギター４のミュート奏法の演奏を検出する場合には、モニタ１３，１４における上記図１１（ａ）〜（ｃ）のような表示に代え、例えば図１４（ａ）及び（ｂ）に示すように、その時点でのユーザの演奏が、ミュート奏法によるものであるか（図１４（ａ）参照）、通常奏法によるものであるか（図１４（ｂ）参照）、のみを表示するようにしてもよい。
【００９６】
図１２に戻り、上記ステップＳ１５０が終了すると、ＣＰＵ４５は、ステップＳ６５において、楽曲データの再生が終了したか（言い換えれば、ステップＳ３０でのＭＩＤＩデータの読み出しが楽曲データの最後のＭＩＤＩデータまで終了したか）否かを判定する。楽曲データの再生が終了していれば判定が満たされ（ステップＳ６５：ＹＥＳ）、このフローを終了する。楽曲データの再生が終了するまでは判定が満たされず（ステップＳ６５：ＮＯ）、上記ステップＳ３０に戻り、上記ステップＳ３０〜ステップＳ６５の手順を繰り返す。
【００９７】
＜実施形態の効果＞
以上説明したように、本実施形態においては、楽曲の再生に応じてユーザがエレキギター４を演奏すると、その演奏信号の周波数成分がＦＦＴの手法により抽出された後にクロマベクトル処理が行われ、これによって所定の時間区分ごとに、上記演奏に対応した実音高データが生成される。そして、その実音高データと、楽曲データに対応づけられたコード譜情報に基づき生成された目標音高データとの一致度に基づき、上記演奏に対する採点が行われる。
【００９８】
その際、本実施形態においては、前述のようなエレキギター４等の弦楽器をユーザが実際に演奏するときの傾向に鑑み、上記ユーザによるミュート奏法を、それ以外の通常奏法と区別して検出する。具体的には、上記ミュート奏法に対応したミュート奏法用目標音高データ及び通常奏法用目標音高データを含む目標音高データが生成され、その目標音高データと対応する実音高データとの一致度が算出される。この結果、エレキギター４等の弦楽器の演奏に対する、ユーザの娯楽性を向上させるための所定の処理（上記の例では、採点）を精度よく実行することができる。上記採点の例では、ミュート奏法と通常奏法とを一切区別せずに一致度を決定し採点を行う場合に比べ、採点精度を向上することができる。この結果、ユーザにとっての利便性及び娯楽性を高めることができる。
【００９９】
また、一般的に、ユーザがミュート奏法を行うかそれ以外の通常の奏法を行うかは、楽曲ごと、あるいは各楽曲の中の演奏区間ごとに、概ね一意的に決まっている。本実施形態ではこれに対応して、上記カラオケ楽曲データに対応づけられた上記コード情報（あるいはカラオケ楽曲データそのものでもよい）に、予め奏法情報が付加されている（図３参照）。そして、目標データ生成部４５ｇでは、上記奏法情報に基づき、ミュート奏法用目標データ生成部４５ｇ１からのミュート奏法用目標データ、若しくは、通常奏法用目標データ生成部４５ｇ２からの通常奏法用目標音高データを選択的に目標データバッファ４５へ出力し、それらの合成データである目標音高データを記憶する。そして、マッチング処理部４５ｄでは、上記目標データバッファ４５に記憶された上記目標音高データを用いて前述の一致度を決定することから、結果的に、上記奏法情報に基づき、ミュート奏法用目標データ生成部４５ｇ１からのミュート奏法用目標データ、若しくは、通常奏法用目標データ生成部４５ｇ２からの通常奏法用目標音高データを選択的に切り替えて用いて、上記一致度を決定することとなる。
【０１００】
これにより、マッチング処理部４５ｄ及び採点結果生成部４５ｆでは、ミュート奏法により演奏すべき曲と通常奏法により演奏すべき曲とを混在させつつユーザが複数の曲の演奏を行う場合や、ユーザが演奏する１つの曲の中でミュート奏法により演奏すべき区間と通常奏法により演奏すべき区間とが混在する場合等であっても、高い精度で採点を行うことができる。この結果、ユーザにとっての利便性及び娯楽性をさらに確実に高めることができる。
【０１０１】
なお、以上において、図５等の各図中に示す矢印は信号の流れの一例を示すものであり、信号の流れ方向を限定するものではない。
【０１０２】
また、図１２、図１３等に示すフローチャートは本発明を上記フローに示す手順に限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。
【０１０３】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【０１０４】
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
【符号の説明】
【０１０５】
４                エレキギター（弦楽器）
１０              カラオケ装置（楽音演奏装置）
４５              ＣＰＵ（演算手段）
４９              ＲＡＭ（楽曲データ記憶手段）
【図１】
2015102741.tif 000003
【図２】
2015102741.tif 000004
【図３】
2015102741.tif 000005
【図４】
2015102741.tif 000006
【図５】
2015102741.tif 000007
【図６】
2015102741.tif 000008
【図７】
2015102741.tif 000009
【図８】
2015102741.tif 000010
【図９】
2015102741.tif 000011
【図１０】
2015102741.tif 000012
【図１１】
2015102741.tif 000013
【図１２】
2015102741.tif 000014
【図１３】
2015102741.tif 000015
【図１４】
2015102741.tif 000016