(57)【要約】      （修正有）【課題】ユーザの手動操作を不要としつつ、奏法に応じた最適なエフェクト効果を得るカラオケ装置を提供する。【解決手段】カラオケ装置は、カラオケ楽曲データを記憶するＨＤＤ４９を有し、カラオケ楽曲データを読み出して再生しかつその再生にしたがって楽器演奏者のエレキギター４の演奏による演奏信号を入力する。またカラオケ装置は、上記演奏信号に所望のエフェクトをそれぞれ施すディストーション６１、コーラス６２、リバーブ６３を有し、それぞれにおけるエフェクト効果の強弱を表すパラメータ値を初期値に設定し、上記演奏信号に基づき上記演奏の奏法を検出し、その検出結果に応じて、ディストーション６１、コーラス６２、リバーブ６３それぞれのパラメータ値を上記初期値から増減させる。【選択図】図２
2017049428.tif 000002
【特許請求の範囲】
【請求項１】
所定の弦楽器の演奏パートを含み、複数のコードの進行からなるコード情報が少なくとも対応づけられたカラオケ楽曲データを記憶する楽曲データ記憶手段と、
前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、
前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、
前記演奏信号入力手段から入力される前記演奏信号に所望のエフェクトをそれぞれ施す複数の内部エフェクタと、
前記複数の内部エフェクタそれぞれにおけるエフェクト効果の強弱を表すパラメータ値を、予め定められた、若しくは、前記楽器演奏者の所望の、初期値に設定するパラメータ設定手段と、
前記演奏信号入力手段から入力される前記演奏信号に基づき、前記楽器演奏者の演奏の奏法を検出する奏法検出手段と、
前記奏法検出手段による検出結果に応じて、前記複数の内部エフェクタそれぞれの前記パラメータ値を前記初期値から増減させるパラメータ増減手段と、
を有することを特徴とする楽音演奏装置。
【請求項２】
請求項１記載の楽音演奏装置において、
前記奏法検出手段は、
前記楽器演奏者の演奏が、
（ｉ）各コードを、ルート音と当該ルート音に対して５度上の音程となる音とからなるパワーコードで発音させるパワーコード奏法；
（ｉｉ）各コードの和音を構成する複数音を分散して発音させるアルペジオ奏法；
（ｉｉｉ）弦へのピッキングによる発音開始後、当該弦をフレットに接触させたまま上方へ撓ませ、発音音高を高い側へなめらかに移行させるチョーキング奏法；
のいずれかの奏法であることを検出する
ことを特徴とする楽音演奏装置。
【請求項３】
請求項２記載の楽音演奏装置において、
前記複数の内部エフェクタは、
歪んだ音を発音させるための、ディストーション又はオーバードライブを含む第１エフェクタと、
音に揺らぎの効果を与えるための、コーラス又はフェイザーを含む第２エフェクタと、
音に残響効果やエコー効果を与えるための、リバーブ又はディレイを含む第３エフェクタと、
を少なくとも備えることを特徴とする楽音演奏装置。
【請求項４】
請求項３記載の楽音演奏装置において、
前記奏法検出手段が前記パワーコード奏法を検出した場合には、前記パラメータ増減手段は、少なくとも、前記第１エフェクタの前記パラメータ値を前記初期値から増大させるとともに前記第２エフェクタの前記パラメータ値を前記初期値から減少させる
ことを特徴とする楽音演奏装置。
【請求項５】
請求項３記載の楽音演奏装置において、
前記奏法検出手段が前記アルペジオ奏法を検出した場合には、前記パラメータ増減手段は、少なくとも、前記第２エフェクタの前記パラメータ値を前記初期値から増大させるとともに前記第３エフェクタの前記パラメータ値を前記初期値から増大させる
ことを特徴とする楽音演奏装置。
【請求項６】
請求項３記載の楽音演奏装置において、
前記奏法検出手段が前記アルペジオ奏法を検出した場合には、前記パラメータ増減手段は、少なくとも、前記第１エフェクタの前記パラメータ値を前記初期値から増大させるとともに前記第３エフェクタの前記パラメータ値を前記初期値から増大させる
ことを特徴とする楽音演奏装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの楽器演奏に基づく演奏信号に対し各種の処理を行う楽音演奏装置に関する。
【背景技術】
【０００２】
ユーザの楽器演奏時の演奏信号が入力され、その演奏信号に対し、ユーザの娯楽性を向上させるための各種の処理を行う技術が既に知られている。例えば、特許文献１に記載の従来技術では、カラオケ楽曲の再生に合わせてユーザが弦楽器を演奏すると、その演奏信号に対し、楽音演奏装置に備えられた複数の内部エフェクタによって適宜のエフェクト効果（リミッター、ワウ等）を施すことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１５８８５号公報（段落［００３４］等）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、一般に、弦楽器（特にギター）には、多種多様な奏法が存在する。例えば、各コードの和音を構成する複数音を略同時に発音させるストローク奏法、各コードの和音を構成する複数音を分散して発音させるアルペジオ奏法、各弦がミュートあるいは短い時間で刻むように発音されるカッティング奏法、楽曲のドライブ感を強調するために、各コードをルート音と当該ルート音に対して５度上の音程となる音で発音させるパワーコード奏法、弦へのピッキングによる発音開始後、当該弦をフレットに接触させたまま上方へ撓ませ、発音音高を高い側へなめらかに移行させるチョーキング奏法、等がある。
【０００５】
これらの奏法は、それぞれに最適な上記エフェクタの種類及びそのエフェクト効果の程度が互いに大きく異なる。しかしながら、ユーザが奏法を変えるたびに手動操作で上記内部エフェクタの選択や上記エフェクト効果の大小の設定を変えるのは非常に面倒であり、不便である。特に楽曲の演奏中に奏法を変えた場合や、ユーザがエフェクタの設定を変更している最中は、ユーザは演奏ができないことになる。
【０００６】
本発明の目的は、ユーザの手動操作を不要としつつ、奏法に応じた最適なエフェクト効果を得ることができる楽音演奏装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、第１の発明は、所定の弦楽器の演奏パートを含み、複数のコードの進行からなるコード情報が少なくとも対応づけられたカラオケ楽曲データを記憶する楽曲データ記憶手段と、前記楽曲データ記憶手段に記憶された前記カラオケ楽曲データを読み出して再生する楽曲データ再生手段と、前記楽曲データ再生手段による前記カラオケ楽曲データの再生にしたがって、楽器演奏者の前記弦楽器の演奏により当該弦楽器から出力される演奏信号を入力する演奏信号入力手段と、前記演奏信号入力手段から入力される前記演奏信号に所望のエフェクトをそれぞれ施す複数の内部エフェクタと、前記複数の内部エフェクタそれぞれにおけるエフェクト効果の強弱を表すパラメータ値を、予め定められた、若しくは、前記楽器演奏者の所望の、初期値に設定するパラメータ設定手段と、前記演奏信号入力手段から入力される前記演奏信号に基づき、前記楽器演奏者の演奏の奏法を検出する奏法検出手段と、前記奏法検出手段による検出結果に応じて、前記複数の内部エフェクタそれぞれの前記パラメータ値を前記初期値から増減させるパラメータ増減手段と、を有することを特徴とする。
【０００８】
本願発明の楽音演奏装置では、楽曲データ記憶手段に記憶されたカラオケ楽曲データが、楽曲データ再生手段によって読み出されて再生される。このとき、本願発明では、カラオケ楽曲データの再生とともにユーザ（楽器演奏者）が楽器を演奏することができ、さらにその演奏音に対し所望のエフェクト効果を付与することができる。すなわち、上記再生に合わせてユーザが弦楽器を演奏すると、弦楽器から出力された演奏信号が演奏信号入力手段を介し入力され、その演奏信号に対し、複数の内部エフェクタによって適宜のエフェクト効果を施すことができる。
【０００９】
そして、本願発明においては、パラメータ設定手段と、奏法検出手段と、パラメータ増減手段と、が設けられる。まず、パラメータ設定手段が、各内部エフェクタにおけるエフェクト効果の強弱を表すパラメータ値を、初期値（予め固定的に定められた値、若しくは、ユーザにより所望に操作入力された値）に設定する。この状態で、奏法検出手段が、上記演奏信号入力手段から入力される演奏信号に基づき、ユーザの弦楽器の演奏における奏法を検出する。そして、パラメータ増減手段が、上記奏法検出手段の検出結果に応じて、各内部エフェクタの上記パラメータ値を（上記初期値から）増減させる。
【００１０】
これにより、例えば、ユーザがアルペジオ奏法を行った場合には、コーラスやフェイザー等のパラメータ値が増大して演奏音に大きな揺らぎの効果が与えられるとともに、リバーブ又はディレイ等のパラメータ値も増大して演奏音に大きな残響効果やエコー効果が与えられる。また例えば、ユーザがパワーコード奏法を行った場合には、ディストーション又はオーバードライブ等のパラメータ値が増大して大きく歪んだ音を発音させるとともに、コーラスやフェイザー等のパラメータ値が減少して演奏音に対する揺らぎの効果を最小限に抑制し、ドライブ感を増大させることができる。また例えば、ユーザがチョーキング奏法を行った場合には、ディストーション又はオーバードライブ等のパラメータ値が増大して大きく歪んだ音を発音させるとともに、リバーブ又はディレイ等のパラメータ値も増大して演奏音に大きな残響効果やエコー効果が与えられる。
【００１１】
以上のようにして、本願発明においては、ユーザによる煩雑な手動操作を行うことなく、奏法に応じた最適なエフェクト効果を自動的に得ることができる。これにより、ユーザにとっての利便性や娯楽性を大きく向上することができる。
【００１２】
第２発明は、上記第１発明において、前記奏法検出手段は、前記楽器演奏者の演奏が、（ｉ）各コードを、ルート音と当該ルート音に対して５度上の音程となる音とからなるパワーコードで発音させるパワーコード奏法；（ｉｉ）各コードの和音を構成する複数音を分散して発音させるアルペジオ奏法；（ｉｉｉ）弦へのピッキングによる発音開始後、当該弦をフレットに接触させたまま上方へ撓ませ、発音音高を高い側へなめらかに移行させるチョーキング奏法；のいずれかの奏法であることを検出することを特徴とする。
【００１３】
第３発明は、上記第２発明において、前記複数の内部エフェクタは、歪んだ音を発音させるための、ディストーション又はオーバードライブを含む第１エフェクタと、音に揺らぎの効果を与えるための、コーラス又はフェイザーを含む第２エフェクタと、音に残響効果やエコー効果を与えるための、リバーブ又はディレイを含む第３エフェクタと、を少なくとも備えることを特徴とする。
【００１４】
第４発明は、上記第３発明において、前記奏法検出手段が前記パワーコード奏法を検出した場合には、前記パラメータ増減手段は、少なくとも、前記第１エフェクタの前記パラメータ値を前記初期値から増大させるとともに前記第２エフェクタの前記パラメータ値を前記初期値から減少させることを特徴とする。
【００１５】
第５発明は、上記第３発明において、前記奏法検出手段が前記アルペジオ奏法を検出した場合には、前記パラメータ増減手段は、少なくとも、前記第２エフェクタの前記パラメータ値を前記初期値から増大させるとともに前記第３エフェクタの前記パラメータ値を前記初期値から増大させることを特徴とする。
【００１６】
第６発明は、上記第３発明において、前記奏法検出手段が前記アルペジオ奏法を検出した場合には、前記パラメータ増減手段は、少なくとも、前記第１エフェクタの前記パラメータ値を前記初期値から増大させるとともに前記第３エフェクタの前記パラメータ値を前記初期値から増大させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、ユーザの手動操作を不要としつつ、奏法に応じた最適なエフェクト効果を得ることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態のカラオケ装置の主要構成を示す説明図である。
【図２】カラオケ装置に備えられた制御装置の制御系の主要構成を示す機能ブロック図である。
【図３】楽曲データを含むサーバからの受信データのデータ構造の一例を示す説明図である。
【図４】楽曲データの再生時にモニタに表示される表示内容の一例を示す説明図である。
【図５】ＣＰＵの詳細機能を表す機能ブロック図である。
【図６】内部エフェクタに備えられる各エフェクタ（ディストーション、コーラス、リバーブ）におけるパラメータ値の増減制御の一例を表すテーブルである。
【図７】ユーザがアルペジオ奏法で演奏したときにおける、目標音高データと実音高データとの比較によるパラメータ値の増減手法を説明するための説明図である。
【図８】ユーザがパワーコード奏法で演奏したときにおける、目標音高データと実音高データとの比較によるパラメータ値の増減手法を説明するための説明図である。
【図９】ユーザがチョーキング奏法で演奏したときにおける、目標音高データと実音高データとの比較によるパラメータ値の増減手法を説明するための説明図である。
【図１０】カラオケ装置の楽曲再生時にＣＰＵにより実行される処理内容を示すフローチャートである
【図１１】ステップＳ１００の詳細手順を表すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明の一実施の形態について、図面を参照しつつ説明する。本実施形態では、ユーザがカラオケ楽曲の演奏と共に主として自らエレキギターを演奏する場合を説明する。
【００２０】
＜主要構成＞
図１は、本実施形態の楽音演奏装置であるカラオケ装置の主要構成を示す説明図である。図１に示すように、カラオケ装置１０には、歌詞を示す歌詞テロップ、歌詞テロップの背景に表示する背景映像、選曲番号を示す映像などをＣＲＴに表示するモニタテレビ（以下、モニタと略称する）１３と、ユーザ用のモニタ１４と、エレキギター４（所定の弦楽器に相当）やエレキベースなどの電子楽器を接続するための楽器接続ボード８と、複数の楽器演奏パートにより構成されるカラオケ用の楽曲（カラオケ楽曲。以下、適宜「曲」と略称する）の選曲及び曲の再生の予約などの選曲制御や、選曲された曲の送信要求を示すリクエスト信号のサーバへの送信、及びリクエスト信号により示される曲に対応する楽曲データ（カラオケ楽曲データに相当）の受信などの通信制御や、受信された楽曲データに含まれる楽音種類指定情報たるＭＩＤＩデータのうち楽器接続ボード８に接続された楽器と同じ種類の楽器の音源を指定する等を行う制御装置２０と、が備えられている。
【００２１】
さらに、カラオケ装置１０には、この例では、楽器接続ボード８から入力される楽器の演奏信号とマイクロフォン１７，１８から入力される音声信号と曲の再生信号とのミキシング（後述の図２に示すミキシング回路９参照）や、音声と曲との音量バランス調整や、エコー調整や、ディレイ調整や、ミキシング信号の増幅や、再生される曲の音程制御（キーコントロール）や、高音・低音の制御（トーンコントロール）等を行うアンプ１６と、このアンプ１６から出力される増幅信号を音として再生するフロアータイプの１組のスピーカ１１，１１と、天井吊下げ用の１組のスピーカ１２，１２と、制御装置２０を遠隔操作するリモコン３０と、が備えられている。リモコン３０には、各種の操作ボタン３０ａ，３０ｂが備えられている。
【００２２】
楽器接続ボード８は、図示を省略するが、電子ドラム、キーボード、エレキベース、エレキギター４の出力端子（フォンプラグ）を接続するそれぞれの入力端子（フォンジャック。演奏信号入力手段に相当）と、各入力端子に入力される演奏信号をそれぞれ出力する出力端子と、が設けられている。そして、楽器接続ボード８は、各楽器の出力端子を入力端子に接続することによって各楽器が接続されたこと及びその楽器の種類を自動検出するとともに、接続された楽器の１つの演奏信号を選択し、その選択された演奏信号を制御装置２０の入力端子４４（後述の図２参照）へ出力する役割をする。例えばエレキギター４から出力される演奏信号は、エレキギター４のフォンプラグ４ａ（後述の図２参照）を接続するフォンジャックを介して楽器接続ボード８へ入力され、楽器接続ボード８の出力端子から出力される演奏信号は、制御装置２０の入力端子４４へ入力される。なお、上記のように楽器の接続及びその種類を自動検出するのに代え、ユーザが、既に接続済みの楽器に対応した設定等をリモコン３０等において手動で行うようにしてもよい。またその場合、エレキギター４のような電子弦楽器ではなく、ガットギターやフォークギターのようなアコースティック発音のギターの音を、マイクロフォンで集音してフォンジャックへ入力してもよい。
【００２３】
＜制御系＞
上記制御装置２０の制御系の構成について図２を参照して説明する。図２は、制御装置２０の制御系の主要構成を示す機能ブロック図である。制御装置２０は、装置筺体にＬＡＮ回線１５を接続する通信端子４０と、楽器接続ボード８の出力端子と接続される入力端子４４と、アンプ１６の音声入力端子と接続される音声出力端子４１と、モニタ１３の映像入力端子と接続される映像出力端子４２と、モニタ１４の映像入力端子と接続される映像出力端子４３とを備えている。
【００２４】
また、制御装置２０には、制御プログラムにしたがって各種制御を実行するＣＰＵ４５が設けられている。ＣＰＵ４５には、リモコン３０から送信されるデータ、選曲された曲の選曲番号を示す選曲番号データ、予約された曲の選曲番号データなどを一時保存するためのＲＡＭ４６と、ＣＰＵ４５により実行されるプログラム（後述の図１０及び図１１に示すフローを実行する楽音演奏処理プログラムを含む）及び必要なデータテーブルなどが記憶されたＲＯＭ４７とが接続されている。
【００２５】
また、ＣＰＵ４５には、モニタ１３，１４に歌詞テロップや各種メッセージ映像を表示するための文字映像データが記憶されたビデオＲＡＭ４８と、サーバ７０から送信される楽曲データやコード譜情報・五線譜情報（詳細は後述）、歌詞データ、及び映像データを通信端子４０を介して受信するためのＬＡＮボード５０と、このＬＡＮボード５０により受信される楽曲データ及び歌詞データ等を一時保存するためのハードディスク（以下、単に「ＨＤＤ」と称す。楽曲データ記憶手段に相当）とが接続されている。
【００２６】
さらに、ＣＰＵ４５には、ＨＤＤ４９から読み出された曲データに含まれるＭＩＤＩデータを入力するとともに、その入力されたＭＩＤＩデータにより指定される音源から音源信号を出力するＭＩＤＩ音源ボード５１が接続されている。また、ＣＰＵ４５には、上記出力された音源信号を入力してアンプ１６により増幅可能な信号に変換する音声制御回路５２が接続されている。
【００２７】
また、ＣＰＵ４５には、ＨＤＤ４９から読み出された一般的な背景映像データ、及びＨＤＤ４９から読み出された曲固有の背景データや曲データに含まれる歌詞テロップデータ等を入力し、モニタ１３の表示画面に表示される背景映像中に歌詞テロップがスーパーインポーズされた映像を作成したり、曲の進行にしたがって歌詞テロップの色を変えたりする映像制御を行う映像制御回路５４が接続されている。
【００２８】
さらに、ＣＰＵ４５には、制御装置２０の受光部３８により受光されたリモコン３０からの光信号をデジタル信号に変換する変換回路５５と、制御装置２０の筺体に設けられた各種ボタン及びキー（テンキー、選曲ボタン等）５９を押したときに点灯するＬＥＤ５８へ表示信号を出力する表示回路５６と、上記各種ボタン及びキーを押したときに発生するスイッチング信号を入力する入力回路５７とが接続されている。
【００２９】
また、本実施形態の特徴の１つとして、ＣＰＵ４５には、エフェクタ部６０が接続されている。すなわち、一般に、エレキギター４のように、演奏音を電気信号の形で出力する電子楽器においては、単独で出力できるサウンドは表現力に限界がある。そこで、通常、これを補うためにエフェクタが使用される場合が多い。これに対応し、本実施形態のカラオケ装置１０においては、上記エフェクタ部６０が設けられている。エフェクタ部６０は、ユーザが演奏する電子楽器（上記の例ではエレキギター４）から出力される演奏音に、所望のエフェクトを施すことができる。この例では、歪んだ音を発音させるディストーション又はオーバードライブ等（第１エフェクタ、内部エフェクタに相当。明細書中の以下の部分、及び図２等においては、単に「ディストーション」と称する）６１と、音に揺らぎの効果を与えるためのコーラス又はフェイザー等（第２エフェクタ、内部エフェクタに相当。明細書中の以下の部分、及び図２等においては、単に「コーラス」と称する）６２と、音に残響効果やエコー効果を与えるための、リバーブ又はディレイ等（第３エフェクタ、内部エフェクタに相当。明細書中の以下の部分、及び図２等においては、単に「リバーブ」と称する）６３と、が少なくとも備えられている。このエフェクタ部６０によって、ユーザが意図するような多種多様な表現の電子楽器のサウンドを、実現することが可能である。
【００３０】
＜カラオケ装置の基本動作＞
以上の基本構成のカラオケ装置１０において、ユーザがリモコン３０により例えばエレキギター４の演奏パートを含むカラオケ楽曲を選曲し、選曲に対応してサーバ７０から送信された楽曲データを受信すると、楽曲データが演奏される。そのエレキギター４の演奏パートを含む楽曲データの演奏に合わせてユーザ（楽器演奏者に相当）がエレキギター４を演奏すると、エレキギター４から出力される演奏信号は、楽器接続ボード８を介して制御装置２０の入力端子４４へ入力され、適宜にエフェクタ部６０によりエフェクトを施される。そして、音声制御回路５２において、音源信号が音声出力端子４１へ出力される。なお、いわゆるマイナスワン再生状態の場合には、音声制御回路５２において、音源信号のエレキギターの楽曲パート一部をエレキギター４の演奏信号（上記エフェクタ部６０によりエフェクトを施されたもの）と置き換えたマイナスワン再生状態で、音声出力端子４１へ出力される。
【００３１】
このとき、本実施形態では、サーバ７０より歌詞データや映像データとともに受信した当該エレキギター４のギター演奏パートを含む楽曲データに対し、予め演奏支援用にコード譜情報及び五線譜情報（詳細は後述）が対応付けられており、当該楽曲データの再生時にはモニタ１３，１４によってコード譜情報又は五線譜情報が歌詞データや映像データと共に表示される。これにより、演奏者であるユーザは、モニタ１３，１４に表示されるコード譜情報又は五線譜情報を活用することで、再生されるカラオケ楽曲に合わせてエレキギター４の演奏パートを自ら容易に演奏して、当該エレキギター４の練習を行ったり、カラオケ楽曲全体のアンサンブルを楽しむことができる。
【００３２】
＜データ構造＞
図３は、本実施形態における、サーバ７０より受信した楽曲データを含む受信データのデータ構造を示す説明図である。図３に示す例では、サーバから受信されるデータの、カラオケ楽曲の４小節分を示している。受信データは、４小節分の演奏の進行に対応した複数の楽器演奏パート（この例では、エレキギター４に対応するギターパート、ベースパート、ドラムパート）の楽曲データと、上記コード譜情報と、上記五線譜情報と、歌詞データ（歌詞テロップデータ）と、映像データと、を備えている。
【００３３】
楽曲データは、歌詞データ及び映像データとともに、図３に示すデータ中の１番目の小節（以下、単に「第１小節」等という）から再生され、時間の経過に従って第２小節、第３小節、第４小節へと再生が進行して行く。またその再生に対応して、歌詞データ及び映像データに基づく表示も進行していく。
【００３４】
＜コード譜情報＞
コード譜情報は、楽曲データに対応付けられており、この例では、図中の第１小節が、コードＥｍ、第２小節が、コードＢｍ７、第３小節が、コードＣ、第４小節が、コードＢｍ７、第５小節が、コードＣｍａｊ７、第６小節が、コードＢｍ７、第７小節が、コードＡｍ７及びＡｍ７／Ｄ、第８小節が、コードＧｍａｊ９となっている。
【００３５】
＜五線譜情報＞
五線譜情報は、上記ギターパートの内容を五線譜で表したもので、上記コード譜情報と同様、楽曲データに対応付けられている。なお、後述するチョーキング奏法を行うべきチョーキング部位では、チョーキング奏法に沿った内容の五線譜（後述の図９参照）となっている。この五線譜情報の詳細については後述する。なお、チョーキング奏法に沿った内容であれば（すなわち開始音高と最終音高とが明示されていれば）、五線譜情報に代え、他の情報（例えばＴＡＢ譜情報等）を用いてもよい。
【００３６】
なお、楽曲データの種類が複数ある場合には、楽曲データ毎に、曲名（例えば、上述した選曲に用いる楽曲ＩＤ）、楽曲演奏用のＭＩＤＩデータ、歌詞データ、演奏支援用のコード譜データが対応付けられたデータ構造であればよい。楽曲データ構造は周知であるので、図３には必要な部分だけを図示している。
【００３７】
また、この例では、上記コード譜情報及び五線譜情報が楽曲データと同一ファイルにより構成されているが、これに限られず、コード譜情報や五線譜情報が楽曲データと別ファイル（以下、コード譜情報ファイル又は五線譜情報ファイル）で構成され、同じ曲名で対応付けられていてもよい。
【００３８】
例えば、以下の構成と処理（１）〜（４）によって、コード譜情報や五線譜情報が楽曲データと別ファイル（コード譜情報ファイル又は五線譜情報ファイル）であっても、コード譜情報や五線譜情報が楽曲データと同一ファイルの場合と、同じ作用が得られる。
（１）コード譜情報ファイル又は五線譜情報ファイルとは、楽曲データの再生の時間進行に応じて出現するコード情報又は五線譜情報を、予め、楽曲の進行時間と対応付けたテーブルのファイルである。テーブルは具体的には、（演奏時間ｔ１：コードＥｍ、ｔ２：コードＢｍ、・・・最後の演奏時間ｔＸ：最後のコード譜Ｘ）の情報が記録されている。
（２）上記コード情報ファイル又は五線譜情報ファイルを、楽曲データとともに、ＨＤＤ４９に記憶しておく。
（３）入力回路５７から楽曲の再生が指定された場合に、ＣＰＵ４５は、楽曲データとともに、対応するコード譜情報ファイル又は五線譜情報ファイルもＨＤＤ４９から読み出す。
（４）ＣＰＵ４５は、ＲＯＭ４７の実行プログラムに従い楽曲データを再生し、再生の進行時間に応じて、コード情報ファイル又は五線譜情報ファイルからコード譜情報又は五線譜情報を読み出す。
具体的には、楽曲データの再生の進行時間がｔ１（秒）に到達した場合には、コード情報ファイル又は五線譜情報ファイルからｔ１に対応するコードＥｍ又は五線譜の内容を読み出し、ｔ２（秒）の到達で、ｔ２に対応するコードＢｍ又は五線譜の内容を読み出す。以下同様に、楽曲データの再生終了（ｔＸ）迄、コード譜情報ファイル又は五線譜情報ファイルから進行時間に応じたコード譜又は五線譜を読み出し続ける。
【００３９】
図４は、楽曲データの再生時に上記コード譜情報に対応してモニタ１３，１４に表示される表示内容の一例を示す説明図である。この例では、上記図３に示したもののうち最初の４小節分の楽曲データに対応した表示の例を示している。すなわち、モニタ１３，１４の表示内容は、上記４小節分の歌詞「あの言葉さえ  言わなければ」と、歌詞の上側に添えられたコード譜（第１小節：Ｅｍ、第２小節：Ｂｍ７、第３小節：Ｃ、第４小節：Ｂｍ７）と、歌詞の下側に２小節分ずつ設けられた再生進行バーと、からなっている。再生進行バーは、楽曲データの再生の進行状態を帯状に延びる黒色部分によって示されている。エレキギター４のユーザは、楽曲データの再生時、モニタ１３，１４に表示される上記コード譜を見て、再生進行バーの延び状態に対応してコード進行順にエレキギター４のコードを押さえることで、カラオケ楽曲のエレキギターパートを容易に弾くことができる。
【００４０】
図４（ａ）は、第１小節（コードＥｍ）の冒頭から始まった上記楽曲データの再生が第１小節の途中（歌詞「あの」の「の」の部分の直後）まで進行している状態であり、１つ目の再生進行バーの黒色部分が、上記第１小節の途中まで延びている。図４（ｂ）は、上記図４（ａ）の状態からさらに再生が進み、第１小節が終了して、第２小節（コードＢｍ７）の途中の部分（歌詞「言葉さえ」の「さ」の部分の直前）が再生されている状態であり、上記黒色部分が第２小節の途中まで延びている。図４（ｃ）は、上記図４（ｂ）の状態からさらに再生が進み、第２小節の終わり（歌詞「言葉さえ」の「え」の後の部分）が再生されている状態であり、上記黒色部分が第２小節の終わりまで延びている。
【００４１】
＜本実施形態の特徴＞
ところで、一般に、弦楽器（特にエレキギター４）には、多種多様な奏法が存在する。例えば、各コードの和音を構成する複数音を略同時に発音させるストローク奏法、各コードの和音を構成する複数音を分散して発音させるアルペジオ奏法、各弦がミュートあるいは短い時間で刻むように発音されるカッティング奏法、楽曲のドライブ感を強調するために、各コードをルート音と当該ルート音に対して５度上の音程となる音で発音させるパワーコード奏法、弦へのピッキングによる発音開始後、当該弦をフレットに接触させたまま上方へ撓ませ、発音音高を高い側へなめらかに移行させるチョーキング奏法、等がある。これらの奏法は、上記エフェクタ部６０における、それぞれに最適なエフェクタ種類（上記の例では、ディストーション６１、コーラス６２、リバーブ６３）及びそのエフェクト効果の程度が互いに大きく異なる。
【００４２】
そこで、本実施形態では、ユーザの演奏中に、その演奏内容が上記のうちどの奏法に該当するかを自動的に判定し、その判定結果に応じて、上記エフェクタ部６０のディストーション６１、コーラス６２、リバーブ６３のエフェクト効果の強弱を表すパラメータ値を増減させる。以下、その詳細を順を追って説明する。
【００４３】
＜奏法の検出＞
本実施形態では、ユーザがエレキギター４を演奏することで出力された演奏信号の周波数成分が公知のＦＦＴ（高速フーリエ変換）の手法により抽出された後にクロマベクトル処理が行われることで、所定の時間区分ごとに、上記演奏に対応した実音高データ（詳細は後述）が生成される。その実音高データと、上記コード譜情報及び五線譜情報に基づき生成された目標音高データ（詳細は後述）との一致度に基づき、上記奏法の検出が行われる。以下、その詳細を図５〜図９を用いて説明する。
【００４４】
＜ＣＰＵの詳細機能＞
上記の奏法検出を行うために、本実施形態の上記ＣＰＵ４５が備える機能的構成を、図５に示す。図示のように、ＣＰＵ４５は、ＦＦＴ処理部４５ａ、特徴パラメータ取得部４５ｂ、実データバッファ４５ｃ、目標データ生成部４５ｇ、目標データバッファ４５ｅ、マッチング処理部４５ｄ、及び、エフェクタ制御信号生成部４５ｆ等の各機能部を備えている。
【００４５】
前述のようにしてユーザのエレキギター４の演奏により出力され制御装置２０に入力された演奏信号は、デジタルデータに変換された後にＦＦＴ処理部４５ａ及び特徴パラメータ取得部４５ｂに入力される。ＦＦＴ処理部４５ａでは、入力されたサンプリングデータ列である演奏音声データを所定の時間区分（例えば１８６ｍｓｅｃ）毎に分割して高速フーリエ変換する。このＦＦＴによって得られた周波数スペクトルは、ＦＦＴ処理部４５ａから特徴パラメータ取得部４５ｂに入力される。
【００４６】
特徴パラメータ取得部４５ｂは、上記演奏音声データが入力されるとともに、ＦＦＴ処理部４５ａから、周波数領域の情報である周波数スペクトルが入力される。特徴パラメータ取得部４５ｂは、上記演奏音声データ及びその周波数スペクトルから、演奏音声データの様々な特徴を示す複数の特徴パラメータを取得し、公知のクロマベクトル化の手法によりその取得結果に対応した実音高データ（上記演奏信号に含まれる各音を表すデータ）を生成し出力する。この特徴パラメータの取得は、上記時間区分ごとのフレームで行われる。具体的には、特徴パラメータ取得部４５ｂは、上記入力された演奏音声データから時間領域の特徴パラメータを割り出す時間領域情報取得部４５ｂａと、ＦＦＴ処理部４５ａから入力された周波数スペクトルから周波数領域の特徴パラメータを割り出す周波数領域情報取得部４５ｂｂとを備えている。
【００４７】
時間領域情報取得部４５ｂａは、入力された演奏音声データをＦＦＴ処理部４５ａと同期した上記時間区分ごとのフレームに分割し、各フレームごとに時間領域の特徴パラメータを取得する。時間領域情報取得部４５ｂａが取得する特徴パラメータの例としては、例えば、エネルギ、エネルギ変化度、持続時間等がある。周波数領域情報取得部４５ｂｂは、上記ＦＦＴ処理部４５ａから入力された上記時間区分の長さの波形の周波数スペクトルから周波数領域の特徴パラメータを取得する。周波数領域情報取得部４５ｂｂが取得する特徴パラメータの例としては、例えば、ピッチ、倍音周波数、倍音レベル、倍音位相、等がある。
【００４８】
上記のようにして時間領域情報取得部４５ｂａ及び周波数領域情報取得部４５ｂｂで取得された特徴パラメータに基づき生成され出力された上記実音高データは、実データバッファ４５ｃに入力される。実データバッファ４５ｃは、入力された上記実音高データを時間情報（タイムスタンプ）を付して記憶する。
【００４９】
一方、目標データ生成部４５ｇには、上記カラオケ楽曲データに同期した上記コード譜情報及び五線譜情報が入力される。目標データ生成部４５ｇは、そのコード譜情報及び五線譜情報に基づき、目標音高データ（本実施形態では、アルペジオ奏法用目標音高データ、パワーコード奏法用目標音高データ、チョーキング奏法用目標音高データ、及び、通常奏法用目標音高データの４種類がある。詳細は後述）を生成する。この目標音高データは、例えば、五線譜情報で表される音やコード譜情報で表されるコードを構成する和音に対応したデータである。生成された目標音高データは、目標データバッファ４５ｅへ出力されて目標データバッファ４５ｅに記憶される。
【００５０】
マッチング処理部４５ｄは、上述のようにして実データバッファ４５ｃに記憶された実音高データと、これに対応する、目標データバッファ４５ｅに記憶された上記目標音高データと、を公知の手法で比較し、一致度を例えば演算により数値的に算出する。そして、算出された一致度が所定のしきい値（例えば７０％）以上であるか否かに基づき、上記エレキギター４の奏法を決定する（言い替えれば奏法の検出が行われる）。決定結果は、エフェクタ制御信号生成部４５ｆへ出力される。なお、上記のように上記一致度を演算によって算出するのではなく、予め複数の区分に分けられ各区分ごとに一致度の値が対応づけられたテーブルが用意されており、上記比較結果が当該テーブルのどの区分に属するかによって一致度を決定するようにしてもよい。
【００５１】
エフェクタ制御信号生成部４５ｆは、マッチング処理部４５ｄから入力された上記奏法検出結果に基づいて、エフェクタ部６０に備えられた各エフェクタ（前述の例ではディストーション６１、コーラス６２、リバーブ６３）それぞれにおける、上記検出された奏法に適するように各エフェクタのパラメータ値の増加処理又は減少処理を決定し、対応するエフェクタ制御信号を生成する。エフェクタ制御信号生成部４５ｆは、上記生成したエフェクタ制御信号をエフェクタ部６０へと出力する。
【００５２】
＜エフェクタパラメータ値増減＞
上記エフェクタ制御信号生成部４５ｆからの上記エフェクタ制御信号によりエフェクタ部６０において実現される、各エフェクタ（ディストーション６１、コーラス６２、リバーブ６３）におけるパラメータ値の増減の一例を図６に示す。なお、テーブル中の各数値［％］は、演奏開始前にユーザの手動により設定されていた（若しくは固定的にデフォルトとして設定されていた）上記ディストーション６１、コーラス６２、リバーブ６３の上記パラメータ値（以下適宜、「パラメータ初期値」という）に対する増減の度合いを、百分率により表したものである。
【００５３】
図示のように、マッチング処理部４５ｄにより決定された奏法がアルペジオ奏法であった場合には、上記エフェクタ制御信号生成部４５ｆからの上記エフェクタ制御信号に応じて、上記コーラス６２のパラメータ値は上記パラメータ初期値より７０％増大され、上記リバーブ２０のパラメータ値は上記パラメータ初期値より２０％増大される。なお、上記ディストーション６１のパラメータ値は上記パラメータ初期値から増減なく（±０）そのまま維持される。これにより、例えば分散和音によるバッキング演奏において音の広がりが増大し、他の演奏パートとの美しいアンサンブルを実現することができる。
【００５４】
また、マッチング処理部４５ｄにより決定された奏法がパワーコード奏法であった場合には、上記エフェクタ制御信号生成部４５ｆからの上記エフェクタ制御信号に応じて、上記ディストーション６１のパラメータ値は上記パラメータ初期値より５０％増大され、上記コーラス６２のパラメータ値は上記パラメータ初期値より３０％減少される。なお、上記リバーブ６３のパラメータ値は上記パラメータ初期値から増減なく（±０）そのまま維持される。これにより、例えばロック系のカラオケ楽曲によるバッキング演奏において、シャープにひずませた音により切れ味の鋭い演奏を実現し、ドライブ感を増大させることができる。
【００５５】
また、マッチング処理部４５ｄにより決定された奏法がチョーキング奏法であった場合には、上記エフェクタ制御信号生成部４５ｆからの上記エフェクタ制御信号に応じて、上記ディストーション６１のパラメータ値は上記パラメータ初期値より３０％増大され、上記リバーブ６３のパラメータ値は上記パラメータ初期値より８０％増大される。なお、上記コーラス６２のパラメータ値は上記パラメータ初期値から増減なく（±０）そのまま維持される。これにより、例えばカラオケ楽曲の間奏でのギターソロパートの演奏において、適度に歪みつつ残響感の効いた音により華麗に響きわたるギターソロを実現することができる。
【００５６】
なお、上記図６に示したパラメータ値の増減制御は、パラメータ初期値に対する増減度合いを相対的に設定する手法により行ったが、これに限られない。例えば、パラメータ初期値がいくらであるかにかかわらず、予め固定的に設定された各パラメータの絶対値に強制的に設定するようにしてもよい。例えば、上記アルペジオ奏法の場合、上記コーラス６２のパラメータ値がたとえば数値「０」〜「２０」で表される場合には、パラメータ初期値が「０」の場合であっても「５」の場合であっても一律に比較的大きな「１４」に制御され、上記リバーブ２０のパラメータ値がたとえば数値「０」〜「２０」で表される場合には、パラメータ初期値が「０」の場合であっても「５」の場合であっても一律に「４」に制御されるようにしてもよい。
【００５７】
＜目標データ生成部の詳細＞
本実施形態においては、ユーザによる演奏がどのような奏法によるものであるかを検出するために、上記目標データ生成部４５ｇは、アルペジオ奏法用目標音高データ４５ｇ１、パワーコード奏法用目標音高データ生成部４５ｇ２、チョーキング奏法用目標音高データ４５ｇ３、及び、通常奏法用目標音高データ４５ｇ４、を備えている。入力される、上記コード譜情報及び五線譜情報には、予め、当該カラオケ楽曲データの適宜の演奏区間ごとに、上記各種奏法のうちどの奏法で演奏すべきかの奏法情報が対応づけられている。そして、当該カラオケ楽曲の再生による曲に進行に応じて、上記演奏区間ごとに、上記アルペジオ奏法用目標音高データ４５ｇ１、パワーコード奏法用目標音高データ生成部４５ｇ２、チョーキング奏法用目標音高データ４５ｇ３、及び、通常奏法用目標音高データ４５ｇ４、のうちいずれかが選択的に用いられて、対応する各奏法による目標音高データが生成され、目標データバッファ４５ｅに記憶される。
【００５８】
＜アルペジオ奏法用目標データ＞
アルペジオ奏法用目標データ生成部４５ｇ１では、コード譜情報に含まれる各コードの和音を構成する複数音を、経時的に分散して発音させた目標音高データが、当該コード譜情報に基づいて生成される。なお、和音構成する各音の分散のさせ方（どの音をどの順序でどのタイミングで発音するか）は、典型的な１種類を固定的に使用してもよいし、複数種類を用意していずれか１つに当てはまるか否かを上記マッチング処理部４５ｄで判定するようにしてもよいし、順序を問わず和音を構成する音であるか否かを上記マッチング処理部４５ｄで判定するようにしてもよい。
【００５９】
＜パワーコード奏法用目標データ＞
パワーコード奏法用目標データ生成部４５ｇ２では、コード譜情報に含まれる各コードのルート音と当該ルート音に対して５度上の音程となる音とによって構成される、パワーコードからなる目標音高データが、当該コード譜情報に基づいて生成される。
【００６０】
＜チョーキング奏法用目標データ＞
チョーキング奏法用目標データ生成部４５ｇ３では、エレキギター４の単音演奏時において、弦へのピッキングによる発音開始後、当該弦をフレットに接触させたまま上方へ撓ませ、発音音高を高い側へなめらかに移行させる奏法（チョーキング奏法）からなる目標音高データが、上記五線譜情報に基づいて生成される。
【００６１】
＜奏法検出とパラメータ増減の具体例＞
次に、上記の手法によるユーザのエレキギター４の奏法の検出と、その検出結果に対応した各エフェクタのパラメータ増減の具体例を、図７〜図９により説明する。
【００６２】
＜アルペジオ奏法の検出＞
前述したように、カラオケ楽曲のうち、上記奏法情報によりアルペジオ奏法による演奏が指定されている区間については、上記マッチング処理部４５において、上記アルペジオ奏法用目標データ生成部４５ｇ１で生成されたアルペジオ奏法用目標音高データと、（ユーザがアルペジオ奏法で演奏した）上記実音高データとの比較により、当該アルペジオ奏法の検出が行われる。
【００６３】
図７において、この例では、上記図３、図４に示した楽曲データにおける、前述した、コードＥｍの第１小節、コードＢｍ７の第２小節、・・・の順のコード進行で楽曲が再生され、ユーザが当該再生に合わせてエレキギター４を演奏した状態を示している。
【００６４】
上記のようなコード進行に対応する上記目標音高データは、前述したように、各コードを構成する和音を経時的に分散して発音させたデータとなっている。すなわち、前述の奏法情報に対応して、第３小節において、コードＥｍを構成する各和音を発音するように、６弦０フレット→４弦２フレット→３弦０フレット→１弦０フレット→２弦０フレット→３弦０フレットの順序の運指態様により発音される音高が、指定されている。同様に、第４小節において、コードＢｍ７を構成する各和音を発音するように、５弦２フレット→４弦４フレット→３弦２フレット→１弦２フレット→２弦３フレット→３弦２フレットの順序の運指態様により発音される音高が、指定されている。
【００６５】
そして、上記第１小節〜第２小節において、ユーザによるエレキギター４の演奏による演奏信号に基づき、上述のようにしてＦＦＴ処理による周波数成分の抽出及びクロマベクトル処理が行われた結果、対応する実音高データが生成されている。この例では、ユーザのエレキギター４の演奏により、第１小節のコードＥｍに対しては、６弦０フレット→４弦２フレット→３弦０フレット→１弦０フレット→２弦０フレット→２弦０フレットの順序の運指態様により発音される音高のデータが、入力された演奏信号から生成されている。第２小節のコードＢｍ７に対しては、５弦２フレット→４弦４フレット→２弦３フレット→１弦２フレット→２弦３フレット→３弦２フレットの順序の運指態様により発音される音高のデータが、入力された演奏信号から生成されている。
【００６６】
ここで、本実施形態では、例えば、１小節の１／２程度における目標音高データと実音高データとの比較による一致度が、所定のしきい値（例えば７０％）以上であれば、上記奏法情報で指定された奏法によって上記エレキギター４が演奏されたと決定される。なお、上記１小節の１／２程度の発音に基づく奏法決定手法に限られず、さらに限定された発音数（たとえば１小節における最初の１つの発音のみ）で算出した一致度に基づき奏法決定をさらに迅速に行ってもよい。
【００６７】
図示の例では、上記第１小節のうちの前半１／２部分において、目標音高データと実音高データとが完全に一致している。これにより、この時点でのユーザによるエレキギター４の奏法はアルペジオ奏法である、と決定される。この結果、これ以降（この例では、第１小節のうち後半１／２分と、第２小節）においては、図示のように、コーラス６２のパラメータ値は上記パラメータ初期値に対して７０％増大した値（以下適宜、単に「パラメータ初期値比１７０％」等という）となり、上記コーラスリバーブ６３のパラメータ値はパラメータ初期値比１２０％の値となる（前述の図６も参照）。なお、上記ディストーション６１のパラメータ値は上記パラメータ初期値比１００％のまま維持される。
【００６８】
なお、この例では、上述したように、第１小節の第４拍めにおいて、目標音高データにおける３弦０フレットの指定に対し実音高データでは２弦０フレットが押さえられ、不一致データとなっている。しかしながら、上記第１小節の途中において既にエフェクタパラメータ値は切り替え済みであり、この不一致データの存在は、上記切り替え済みのパラメータ値に対して影響を与えない（第２小節第２拍目の不一致データについても同様）。
【００６９】
＜パワーコード奏法の検出＞
前述したように、カラオケ楽曲のうち、上記奏法情報によりパワーコードによる演奏が指定されている区間については、上記マッチング処理部４５において、上記パワーコード奏法用目標データ生成部４５ｇ２で生成されたパワーコード奏法用目標音高データと、（ユーザがパワーコードを用いて演奏した）上記実音高データとの比較により、当該パワーコード奏法の検出が行われる。
【００７０】
図８において、この例では、上記図３、図４に示した楽曲データにおける、前述した、コードＣの第３小節、コードＢｍ７の第４小節、・・・の順のコード進行で楽曲が再生され、ユーザが当該再生に合わせてエレキギター４を演奏した状態を示している。
【００７１】
上記のようなコード進行に対応する上記目標音高データは、前述したように、各コードのルート音と当該ルート音に対して５度上の音程となる音とからなるパワーコードのデータとなっている。すなわち、前述の奏法情報に対応して、第３小節において、コードＣに対し、４弦の５フレットと５弦の３フレットとの２箇所を押さえる運指態様により発音される音高が、指定されている。同様に、第４小節において、コードＢｍ７に対し、４弦の４フレットと５弦の２フレットとが指定されている。
【００７２】
そして、上記第３小節〜第４小節において、ユーザによるエレキギター４の演奏による演奏信号に基づき、上述のようにしてＦＦＴ処理による周波数成分の抽出及びクロマベクトル処理が行われた結果、対応する実音高データが生成されている。この例では、ユーザのエレキギター４の演奏により、第３小節のコードＣに対しては、４弦の５フレットと５弦の３フレットとの２箇所を押さえる運指態様により発音される音高のデータが、入力された演奏信号から生成されている。第４小節のコードＣに対しては、４弦の５フレットと５弦の３フレットとの２箇所を押さえる運指態様の後、４弦の４フレットと５弦の２フレットとの２箇所を押さえる運指態様により発音される音高のデータが、入力された演奏信号から生成されている。
【００７３】
そして、図示の例では、上記第３小節のうちの前半１／２部分において、目標音高データと実音高データとが完全に一致している。これにより、前述と同様、この時点でのユーザによるエレキギター４の奏法はパワーコード奏法である、と決定される。この結果、これ以降（この例では、第３小節のうち後半１／２分と、第４小節）においては、図示のように、ディストーション６１のパラメータ値は、これまでの（上記アルペジオ奏法に対応した）上記パラメータ初期値比１００％から、パラメータ初期値比１５０％に増大される（前述の図６も参照）。また、コーラス６２のパラメータ値は、これまでの（上記アルペジオ奏法に対応した）上記パラメータ初期値比１７０％から、パラメータ初期値比７０％に減少される。なお、上記リバーブ６３のパラメータ値は、これまでの（上記アルペジオ奏法に対応した）上記パラメータ初期値比１２０％から、パラメータ初期値比１００％に減少される（パラメータ初期値に戻る）。
【００７４】
なお、この例では、上述したように、第４小節の第１拍めにおいて、目標音高データにおける４弦の４フレット及び５弦の２フレットの指定に対し実音高データでは４弦の５フレット及び５弦の３フレットが押さえられ、これのみが不一致データとなっている。しかしながら、上記第３小節の途中において既にエフェクタパラメータ値は切り替え済みであり、この不一致データの存在は、上記切り替え済みのパラメータ値に対して影響を与えない。
【００７５】
＜チョーキング奏法の検出＞
前述したように、カラオケ楽曲のうち、上記奏法情報によりチョーキング奏法による演奏が指定されている区間については、上記マッチング処理部４５において、上記チョーキング奏法用目標データ生成部４５ｇ３で生成されたチョーキング奏法用目標音高データと、（ユーザがチョーキング奏法で演奏した）上記実音高データとの比較により、当該チョーキング奏法の検出が行われる。
【００７６】
図９において、この例では、上記図３、図４に示した楽曲データにおける、前述した、コードＣｍａｊ７の第５小節、コードＢｍ７の第６小節、コードＡｍ７及びＡｍ７／Ｄの第７小節、コードＧｍａｊ９の第８小節・・・の順のコード進行で楽曲が再生され、ユーザが当該再生に合わせてエレキギター４を演奏した状態を示している。
【００７７】
上記第５小節〜第８小節の上記目標音高データは、前述の奏法情報に対応して、第５小節において、１拍目の１弦の７フレット相当の「Ｂ」の音を発音するために、１弦の６フレット相当の「Ａ」の音で発音開始させた後、１音分のチョーキング奏法（図中の「ｃｈｏ．」表記を参照。以下同様）によって音高を上記「Ｂ」の音まで上昇させる奏法が、指定されている。また４拍目の２弦の５フレット相当の「Ｅ」の音を発音するために、２弦の３フレット相当の「Ｄ」の音で発音開始させた後に上記同様に音高を上記「Ｅ」の音まで上昇させるよう指定されている。
【００７８】
同様に、第６小節において、１拍目の３弦の７フレット相当の「Ｄ」の音を発音するために、３弦の５フレット相当の「Ｃ」の音で発音開始させた後に上記同様に音高を上記「Ｄ」の音まで上昇させるよう指定されている。また３拍目の１弦の７フレット相当の「Ｂ」の音を発音するために、１弦の５フレット相当の「Ａ」の音で発音開始させた後に上記同様に音高を上記「Ｂ」の音まで上昇させるよう指定されている。
【００７９】
同様に、第７小節において、１拍目の１弦の５フレット相当の「Ａ」の音を発音するために、１弦の３フレット相当の「Ｇ」の音で発音開始させた後に上記同様に音高を上記「Ａ」の音まで上昇させるよう指定されている。また４拍目の３弦の５フレット相当の「Ｃ」の音を発音するために、３弦の４フレット相当の「Ｂ」の音で発音開始させた後に上記同様に音高を上記「Ｃ」の音まで上昇させるよう指定されている。
【００８０】
同様に、第８小節においては、３弦の４フレット相当の「Ｂ」の音を発音するために、３弦の２フレット相当の「Ａ」の音で発音開始させた後に上記同様に音高を上記「Ｂ」の音まで上昇させるよう指定されている。
【００８１】
そして、上記第５小節〜第８小節において、ユーザによるエレキギター４の演奏による演奏信号に基づき、上述のようにしてＦＦＴ処理による周波数成分の抽出及びクロマベクトル処理が行われた結果、対応する実音高データが生成されている。この例では、ユーザのエレキギター４の演奏により、第５小節においては、１弦６フレット相当「Ａ」→７フレット相当「Ｂ」、２弦３フレット相当「Ｄ」→５フレット相当「Ｅ」の音高のデータが、入力された演奏信号から生成されている。第６小節においては、３弦５フレット相当「Ｃ」→７フレット相当「Ｄ」、１弦５フレット相当「Ａ」→７フレット相当「Ｂ」の音高のデータが、入力された演奏信号から生成されている。第７小節においては、１弦２フレット相当「Ｆ＃」→３フレット相当「Ｇ」、３弦４フレット相当「Ｂ」→５フレット相当「Ｃ」の音高のデータが、入力された演奏信号から生成されている。第８小節においては、３弦２フレット相当「Ａ」→４フレット相当「Ｂ」の音高のデータが、入力された演奏信号から生成されている。
【００８２】
そして、図示の例では、上記第５小節のうちの前半部分において、目標音高データと実音高データとが完全に一致している。これにより、前述と同様、この時点でのユーザによるエレキギター４の奏法はチョーキング奏法である、と決定される。この結果、これ以降（この例では、第５小節の後半と、第６小節〜第８小節）においては、図示のように、ディストーション６１のパラメータ値は、これまでの（上記パワーコード奏法に対応した）上記パラメータ初期値比１５０％から、パラメータ初期値比１３０％に減少される（前述の図６も参照）。また、コーラス６２のパラメータ値は、これまでの（上記パワーコード奏法に対応した）上記パラメータ初期値比７０％から、パラメータ初期値比１００％に増大される。また、上記リバーブ６３のパラメータ値は、これまでの（上記パワーコード奏法に対応した）上記パラメータ初期値比１００％から、パラメータ初期値比１８０％に増大される。
【００８３】
なお、この例では、上述したように、第７小節の第１拍めにおいて、目標音高データにおける１弦３フレット相当「Ｇ」→１弦５フレット相当「Ａ」の指定に対し、実音高データでは１弦２フレット相当「Ｆ＃」→３フレット相当「Ｇ」となり、これのみが不一致データとなっている。しかしながら、上記第５小節の途中において既にエフェクタパラメータ値は切り替え済みであり、この不一致データの存在は、上記切り替え済みのパラメータ値に対して影響を与えない。
【００８４】
＜制御手順＞
上記のような本実施形態の手法を実現するために、カラオケ装置１０の楽曲再生時にＣＰＵ４５により実行される処理内容を、図１０のフローチャートにより説明する。
【００８５】
図１０において、このフローは、例えばカラオケ装置１０のユーザが、制御装置２０の電源ボタンを押して制御装置２０の電源を立ち上げると、開始される。制御装置２０の電源の立ち上がりに連動して、アンプ１６、楽器接続ボード８及びモニタ１３，１４の電源が立ち上がる。なお、前述したように、この例では、カラオケ装置１０のユーザが、楽器接続ボード８にエレキギター４を接続して演奏する場合を例にとって説明する。ユーザがエレキギター４のフォンプラグを楽器接続ボード８の入力端子（上記フォンジャック）に接続すると、楽器接続ボード８はエレキギター４が接続されたことを検知する。
【００８６】
図１０において、まず、ステップＳ５において、ＣＰＵ４５は、ユーザによる選曲が終了したか否かを判定する。選曲は、例えば、ユーザがエレキギター４を演奏したい曲の選曲番号をリモコン３０のテンキーにより入力し、選曲ボタンを押すと、選曲が終了する。選曲が終了するまではステップＳ５の判定が満たされず（ステップＳ５：ＮＯ）、ループ待機する。選曲が終了した場合はステップＳ５の判定が満たされ（ステップＳ５：ＹＥＳ）、ステップＳ１０に移る。
【００８７】
ステップＳ１０では、ＣＰＵ４５は、例えば上記ボタン及びキー５９を介した、ユーザによる、上記エフェクタ部６０の各エフェクタ（ディストーション６１、コーラス６２、リバーブ６３）のパラメータ値の大小設定（パラメータ初期値）を受け付けるとともに、各エフェクタのパラメータ値を受け付けた内容のとおりに設定する。なお、このステップＳ１０の手順を実行するＣＰＵ４５が、各請求項記載のパラメータ設定手段として機能する。その後、ステップＳ１５に移る。
【００８８】
ステップＳ１５では、ＣＰＵ４５は、ステップＳ５での選曲結果に対応し、上記選曲番号を示す選曲番号データをＲＡＭ４６に一時保存するとともに、ＬＡＮボード５０を介し、上記選曲番号に対応する曲データの送信を要求するリクエスト信号を、ＬＡＮ回線１５を介してサーバ７０へ送信する。これにより、サーバ７０は、図示しない記憶装置から、上記リクエスト信号に示される選曲番号に対応する楽曲データ、上記コード譜情報、及び上記五線譜情報と、当該楽曲データに対応した歌詞データ及び映像データとを検索して読み出し、その読み出された曲データ等を、ＬＡＮ回線１５を介して制御装置２０に送信する。ステップＳ１５が終了したら、ステップＳ２０に移る。
【００８９】
ステップＳ２０では、ＣＰＵ４５は、ＬＡＮボード５０を介し、サーバ７０からＬＡＮ回線１５を介して送信された（コード譜情報・五線譜情報を含む）楽曲データ等を受信する。その後、ステップＳ２５に移る。
【００９０】
ステップＳ２５では、ＣＰＵ４５は、上記ステップＳ２０で受信した楽曲データ等をＨＤＤ４９に一時保存する。その後、ステップＳ３０に移る。
【００９１】
なお、ステップＳ１５，ステップＳ２０、ステップＳ２５の処理として、選曲番号に対応付けられた、楽曲データ、及び、コード譜・五線譜情報等は、選曲毎にサーバ７０からオンデマンドで取得する処理を行う。そのほか、カラオケ装置１０の制御装置２０に大容量の補助記憶手段（ＨＤＤ４９など）に、予め、楽曲データ等を記憶し、選曲毎に、選曲番号に対応付けられた楽曲データ（ＭＩＤＩデータ）、及び、楽曲データに対応したコード譜・五線譜情報等の情報群を補助記憶手段から読み出して、目的とする情報を取得するステップＳ１５，ステップＳ２０、ステップＳ２５に相当する処理としてもよい。
【００９２】
ステップＳ３０では、ＣＰＵ４５は、上記ステップＳ２５でＨＤＤ４９に記憶されている楽曲データであるＭＩＤＩデータの読み出しを開始し、読み出されたＭＩＤＩデータをＭＩＤＩ音源ボード５１に書き込む。ステップＳ３０が終了したら、ステップＳ３５に移る。
【００９３】
ステップＳ３５では、ＣＰＵ４５は、ＭＩＤＩ音源ボード５１に制御信号を出力し、上記ステップＳ３０で書き込んだＭＩＤＩデータに対応した音源信号を、ＭＩＤＩ音源ボード５１から出力させる。ＭＩＤＩ音源ボード５１から出力される音源信号は、音声制御回路５２へ出力されるとともに、アンプ１６により増幅可能な音楽信号に変換され、この変換された音楽信号は、音声出力端子４１からアンプ１６へ出力される。また、マイクロフォン１７，１８から入力された音声信号は、アンプ１６に内蔵されたミキシング回路９において上記音楽信号とミキシングされる。このとき、エレキギター４のフォンプラグ４ａから出力された演奏信号は、楽器接続ボード８及び制御装置２０を介してミキシング回路９に入力され、上記音声信号及び音楽信号とミキシングされる。そして、そのミキシングされたミキシング信号は、アンプ１６に内蔵された図示しない増幅回路により増幅された後にスピーカ１１及びスピーカ１２へ出力され、両スピーカによって再生される。なお、このステップＳ３５の手順を実行するＣＰＵ４５が各請求項記載の楽曲データ再生手段として機能する。ステップＳ３５が終了すると、ステップＳ４０に移る。
【００９４】
ステップＳ４０では、ＣＰＵ４５は、モニタ１３，１４に制御信号を出力し、ステップＳ２５で保存したコード譜情報（又は五線譜情報）及び歌詞等をモニタ１３，１４により表示させる。これにより、エレキギター４の演奏者であるユーザは、モニタ１３，１４に表示されるコード譜（又は五線譜）にしたがってエレキギター４を演奏することにより、再生されるカラオケ楽曲に合わせてエレキギター演奏パートを容易に演奏することができる。その後、ステップＳ５０に移る。
【００９５】
ステップＳ５０では、ＣＰＵ４５は、上記ユーザのエレキギター４の演奏により入力端子４４から入力された演奏信号を演奏データとして例えば上記ＨＤＤ４９に蓄積する。その後、ステップＳ５５に移る。
【００９６】
ステップＳ５５では、ＣＰＵ４５は、前述のＦＦＴ（高速フーリエ変換）の処理単位に対応した１つの上記時間区分が終了したか否かを判定する。上記時間区分が終了していなければ判定が満たされず（Ｓ５５：ＮＯ）、上記ステップＳ３０に戻って同様の手順を繰り返す。上記時間区分が終了したら判定が満たされ（Ｓ５５：ＹＥＳ）、ステップＳ１００に移る。
【００９７】
ステップＳ１００では、ＣＰＵ４５は、前述した手法によるエフェクタ制御処理を行う。このエフェクタ制御処理の詳細を、図１１に示す。
【００９８】
図１１において、まずステップＳ１１０で、ＣＰＵ４５は、上記ステップＳ５０で蓄積した（上記１つの区分に対応した）演奏データを読み出し、上記ＦＦＴ処理部４５ａにより、公知のＦＦＴ（高速フーリエ変換）の手法により各周波数成分を抽出し解析する。その後、ステップＳ１２０に移る。
【００９９】
ステップＳ１２０では、ＣＰＵ４５は、上記特徴パラメータ取得部４５ｂにより、上記ステップＳ１１０での解析結果を公知の手法によりクロマベクトル化することにより、前述の実音高データを生成する。その後、ステップＳ１３０に移る。
【０１００】
ステップＳ１３０では、ＣＰＵ４５は、前述の奏法情報に基づき、上記目標データ生成部４５ｇ（詳細には上記アルペジオ奏法用目標音高データ４５ｇ１、パワーコード奏法用目標音高データ生成部４５ｇ２、チョーキング奏法用目標音高データ４５ｇ３、及び、通常奏法用目標音高データ４５ｇ４のいずれか）により、上記ステップＳ２０で取得されステップＳ４０で表示されたコード譜情報・五線譜情報に基づき、前述のようにして各奏法に対応した目標音高データを選択的に生成し、上記目標データバッファ４５ｅに記憶する。その後、ステップＳ１４０に移る。
【０１０１】
ステップＳ１４０では、ＣＰＵ４５は、上記マッチング処理部４５ｄにより、上記ステップＳ１３０で生成された目標音高データを、上記ステップＳ１２０で生成された、対応する実音高データと比較し、一致度を算出する。そして、その一致度が上記しきい値（例えば７０％）以上であるか否かに基づき、実際に上記エレキギター４が演奏されたときの奏法を決定（すなわち奏法の検出）する。その後、ステップＳ１５０に移る。なお、このステップＳ１４０を実行するＣＰＵ４５が奏法検出手段として機能する。
【０１０２】
ステップＳ１５０では、ＣＰＵ４５は、上記ステップＳ１４０で検出された上記エレキギター４の奏法に対応した、各エフェクタ（ディストーション６１、コーラス６２、リバーブ６３）のパラメータ値の増減（図６参照）を実現するための上記エフェクタ制御信号を生成し、エフェクタ部６０に出力する。なお、このステップＳ１５０を実行するＣＰＵ４５がパラメータ制御手段として機能する。
【０１０３】
図１０に戻り、上記ステップＳ１５０が終了すると、ＣＰＵ４５は、ステップＳ６５において、楽曲データの再生が終了したか（言い換えれば、ステップＳ３０でのＭＩＤＩデータの読み出しが楽曲データの最後のＭＩＤＩデータまで終了したか）否かを判定する。楽曲データの再生が終了していれば判定が満たされ（ステップＳ６５：ＹＥＳ）、このフローを終了する。楽曲データの再生が終了するまでは判定が満たされず（ステップＳ６５：ＮＯ）、上記ステップＳ３０に戻り、上記ステップＳ３０〜ステップＳ６５の手順を繰り返す。
【０１０４】
＜実施形態の効果＞
以上説明したように、本実施形態においては、まず、ユーザの各種ボタン及びキー５９の手動操作に応じて、エフェクタ部６０の各エフェクタ（ディストーション６１、コーラス６２、リバーブ６３）におけるパラメータ値が上記パラメータ初期値に設定される。その後、エレキギター４から入力される演奏信号に基づき、ユーザのエレキギター４の演奏における奏法が検出される。そして、その奏法の検出結果に応じて、各エフェクタ（ディストーション６１、コーラス６２、リバーブ６３）のパラメータ値を（上記初期値から）増減させる。
【０１０５】
具体的には、図６及び図７に示したように、ユーザがアルペジオ奏法を行った場合には、コーラスやフェイザー等のパラメータ値が増大して演奏音に大きな揺らぎの効果が与えられるとともに、リバーブ又はディレイ等のパラメータ値も増大して演奏音に大きな残響効果やエコー効果が与えられる。また、図６及び図８に示したように、ユーザがパワーコード奏法を行った場合には、ディストーション又はオーバードライブ等のパラメータ値が増大して大きく歪んだ音を発音させるとともに、コーラスやフェイザー等のパラメータ値が減少して演奏音に対する揺らぎの効果を最小限に抑制し、ドライブ感を増大させることができる。また、図６及び図９に示したように、ユーザがチョーキング奏法を行った場合には、ディストーション又はオーバードライブ等のパラメータ値が増大して大きく歪んだ音を発音させるとともに、リバーブ又はディレイ等のパラメータ値も増大して演奏音に大きな残響効果やエコー効果が与えられる。
【０１０６】
以上のようにして、本実施形態においては、ユーザによる煩雑な手動操作を行うことなく、奏法に応じた最適なエフェクト効果を自動的に得ることができる。これにより、ユーザにとっての利便性や娯楽性を大きく向上することができる。
【０１０７】
なお、以上においては、ユーザによる実際のエレキギター４の奏法の検出を、目標音高データと実音高データとの一致度に基づき行ったが、これに限られない。すなわち、目標音高データを用いず、実音高データのみを用いて、奏法検出を行ってもよい。この場合、実音高データに対して、公知のＦＦＴ（高速フーリエ変換）等の手法により各周波数成分を抽出して解析し、解析後の内容が、上記アルペジオ奏法による発音、上記パワーコード奏法による発音、上記チョーキング奏法による発音のいずれに該当するか否かを判定すればよい。
【０１０８】
なお、以上において、図５等の各図中に示す矢印は信号の流れの一例を示すものであり、信号の流れ方向を限定するものではない。
【０１０９】
また、図１０、図１１等に示すフローチャートは本発明を上記フローに示す手順に限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。
具体的には、発明を実施するには、エレキギター４の奏法を検出するための楽曲データに対応したコード譜・五線譜情報等があればよいので、楽曲データはＭＩＤＩデータでなくとも生音（ＰＣＭ）データであっても問題ない。
【０１１０】
また、以上既に述べた以外にも、上記実施形態や上記変形例の手法を適宜組み合わせて利用しても良い。
【０１１１】
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
【符号の説明】
【０１１２】
４                エレキギター（弦楽器）
１０              カラオケ装置（楽音演奏装置）
４９              ＨＤＤ（楽曲データ記憶手段）
６１              ディストーション（第１エフェクタ、内部エフェクタ）
６２              コーラス（第２エフェクタ、内部エフェクタ）
６３              リバーブ（第３エフェクタ、内部エフェクタ）
【図１】
2017049428.tif 000003
【図２】
2017049428.tif 000004
【図３】
2017049428.tif 000005
【図４】
2017049428.tif 000006
【図５】
2017049428.tif 000007
【図６】
2017049428.tif 000008
【図７】
2017049428.tif 000009
【図８】
2017049428.tif 000010
【図９】
2017049428.tif 000011
【図１０】
2017049428.tif 000012
【図１１】
2017049428.tif 000013