(57)【要約】      （修正有）【課題】楽器を演奏する運指の検出に基づく正確なコード譜を生成する。【解決手段】カラオケ装置１０には、複数のコードの進行からなるコード情報が対応づけられた楽曲データを記憶するＲＡＭと、記憶された楽曲データを読み出して、対応するコード情報の複数のコードの進行を表示するモニタ１３，１４とを有し、表示される各コードごとに、エレキギター４における当該コードに対応した複数の運指位置候補データを生成し、コードの表示に対応した、楽器操作者によるエレキギター４への運指をカメラ２５で撮影し、対応する画像データを生成し、生成された画像データに基づいて、各コードごとに、複数の運指位置候補データのうち、楽器操作者による実際の運指位置に対応した実運指位置データを特定し、複数のコードそれぞれについて、特定した実運指位置データを関連づけることにより、楽曲データのコード譜データを生成する。【選択図】図１
2014153523.tif 000002
【特許請求の範囲】
【請求項１】
複数のコードの進行からなるコード情報が対応づけられた楽曲データを記憶する記憶手段と、
前記記憶手段に記憶された前記楽曲データを読み出して、対応する前記コード情報の前記複数のコードの進行を表示するコード表示手段と、
前記コード表示手段で表示される各コードごとに、所定の弦楽器における当該コードに対応した複数の運指位置候補データを生成する運指候補データ生成手段と、
前記コード表示手段での前記コードの表示に対応した、楽器操作者による前記弦楽器への運指を撮影し、対応する画像データを生成する撮影手段と、
前記撮影手段により生成された前記画像データに基づいて、各コードごとに、前記運指候補データ生成手段が生成した前記複数の運指位置候補データのうち、前記楽器操作者による実際の運指位置に対応した実運指位置データを特定する運指位置特定手段と、
前記コード情報の前記複数のコードそれぞれについて、前記運指位置特定手段が特定した前記実運指位置データを関連づけることにより、前記楽曲データの前記弦楽器に係わるコード譜データを生成するコード譜データ生成手段と、
を有することを特徴とする楽曲コード譜生成装置。
【請求項２】
請求項１記載の楽曲コード譜生成装置において、
前記運指位置特定手段は、
前記画像データ中に現れている前記楽器操作者の指先位置、又は、前記画像データより推測される前記楽器操作者の指先位置、を用いて、前記実運指位置データを特定する
ことを特徴とする楽曲コード譜生成装置。
【請求項３】
請求項１又は請求項２記載の楽曲コード譜生成装置において、
前記運指候補データ生成手段は、
各コードの和音を構成する複数の音をそれぞれ発音するための、前記複数の運指位置候補データを生成する
ことを特徴とする楽曲コード譜生成装置。
【請求項４】
請求項１乃至請求項３のいずれか１項記載の楽曲コード譜生成装置において、
前記楽曲データとして、前記弦楽器の演奏パートを含むカラオケ楽曲データを前記記憶手段から読み出して再生する、カラオケ楽曲再生手段を有し、
前記コード表示手段は、
前記カラオケ楽曲再生手段での前記カラオケ楽曲データの再生に応じて、対応する前記コード情報の前記複数のコードの進行を表示し、
前記コード譜データ生成手段は、
前記カラオケ楽曲データに対応づけられた前記コード情報の前記複数のコードそれぞれについて、前記運指位置特定手段が特定した前記実運指位置データを関連づけることにより、当該カラオケ楽曲データの前記弦楽器演奏パートの前記コード譜データを生成し、前記カラオケ曲再生手段が、当該カラオケ楽曲データを次回再生するときに、前記カラオケ楽曲データの再生に応じて、前記生成したコード譜を、前記コード表示手段に表示する
ことを特徴とする楽曲コード譜生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽器を演奏するためのコード譜を生成する楽曲コード譜生成装置に関する。
【背景技術】
【０００２】
例えば、ギターやベースギター等の楽器用の楽譜として、各弦における運指位置を表すコード譜が広く普及している。このコード譜を作成するための技術として、例えば特許文献１に記載の技術が既に知られている。この従来技術では、ギターの演奏者が楽曲を演奏するとき、当該楽曲の複数のコードそれぞれに対する演奏者の運指が接触検出方式のセンサによって検出され、その検出結果に基づき当該楽曲のコード譜データが生成される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２６６７２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術では、演奏者の運指位置が接触検出方式によって検出されるが、例えば検出効率や検出精度の向上を目的として、カメラにより演奏者の運指位置を撮影することで非接触により検出することが考えられる。
【０００５】
しかしながら、上記の場合、弦楽器では、一般に、演奏者は手のひらを内側にして抱え込むようにして運指を行うことから、撮影は手の甲側から行うこととなる。この場合、互いに異なるコードであっても運指の違いがわずかな場合には、その違いが撮影画像ではわかりにくい。この結果、そのままでは、演奏者が運指を行った実際のコードと、撮影された上記画像データに基づき算出されたコードとが、異なる可能性があり、不正確なコード譜が生成されるおそれがある。
【０００６】
本発明の目的は、楽器を演奏する運指の検出に基づく正確なコード譜を生成できる、楽曲コード譜生成装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、第１の発明は、複数のコードの進行からなるコード情報が対応づけられた楽曲データを記憶する記憶手段と、前記記憶手段に記憶された前記楽曲データを読み出して、対応する前記コード情報の前記複数のコードの進行を表示するコード表示手段と、前記コード表示手段で表示される各コードごとに、所定の弦楽器における当該コードに対応した複数の運指位置候補データを生成する運指候補データ生成手段と、前記コード表示手段での前記コードの表示に対応した、楽器操作者による前記弦楽器への運指を撮影し、対応する画像データを生成する撮影手段と、前記撮影手段により生成された前記画像データに基づいて、各コードごとに、前記運指候補データ生成手段が生成した前記複数の運指位置候補データのうち、前記楽器操作者による実際の運指位置に対応した実運指位置データを特定する運指位置特定手段と、前記コード情報の前記複数のコードそれぞれについて、前記運指位置特定手段が特定した前記実運指位置データを関連づけることにより、前記楽曲データの前記弦楽器に係わるコード譜データを生成するコード譜データ生成手段と、を有することを特徴とする。
【０００８】
本願発明においては、撮影画像を用いて楽曲のコード譜データが生成される。すなわち、弦楽器の運指の位置は各コードごとに異なり、各コードごとに楽器操作者の手の姿勢や形状が異なる。これを利用して、本願発明では、楽曲の複数のコードそれぞれに対する楽器操作者の運指が、撮影手段によって撮影され、対応する画像データが生成される。
【０００９】
そして、本願発明では、上記画像データと、楽曲のコード進行を表すコード情報との両方が用いられる。すなわち、楽曲データに、あらかじめコード情報が対応づけられて、記憶手段に記憶されている。記憶手段から楽曲データが読み出されると、対応するコード情報の複数のコードの進行がコード表示手段によって表示される。操作者は、上記表示されるコードに対応して運指を行うことで、対応する上記画像データが上記撮影手段によって生成される。
【００１０】
一方このとき、運指候補データ生成手段が、各コードごとに、当該コードに対応した複数の運指位置候補データを生成する。そして、運指位置特定手段が、上記画像データを用いて、上記複数の運指位置候補データのうち実際の運指位置に対応したデータ（実運指位置データ）がどれであるかを、各コードごとに特定する。特定された実運指位置データはコード譜データ生成手段によってコード情報の各コードに対応づけられ、これによってコード譜データが生成される。
【００１１】
以上のようにして、本願発明では、各コードについて生成した複数の運指位置候補データを、画像データを用いて絞り込むことによって、コード譜データを生成する。これにより、単に画像データのみからコード譜データを生成する場合に比べ、精度よく正確なコード譜を作成することができる。
【００１２】
第２の発明は、上記第１発明において、前記運指位置特定手段は、前記画像データ中に現れている前記楽器操作者の指先位置、又は、前記画像データより推測される前記楽器操作者の指先位置、を用いて、前記実運指位置データを特定することを特徴とする。
【００１３】
前述したように、弦楽器の運指の位置は各コードごとに異なる。特に、楽器操作者の指先の位置は各コードごとに必ず異なる。そこで、本願発明では、運指位置特定手段が、画像データ中に現れている楽器操作者の指先位置（あるいは、画像データより推測される楽器操作者の指先位置）を用いて、実運指位置データを特定する。これにより、確実に実際の運指位置を特定することができる。
【００１４】
第３発明は、上記第１又は第２発明において、前記運指候補データ生成手段は、各コードの和音を構成する複数の音をそれぞれ発音するための、前記複数の運指位置候補データを生成することを特徴とする。
【００１５】
本願発明では、実運指位置データを特定するのに用いる運指候補データが、各コードの和音を構成する複数の音を考慮して作成される。例えば、複数の音それぞれごとに作成してもよいし、各音階ごとに作成してもよい。これにより、運指位置特定手段において、高精度に実際の運指位置を特定することができる。
【００１６】
第４発明は、上記第１乃至第３発明のいずれかにおいて、前記楽曲データとして、前記弦楽器の演奏パートを含むカラオケ楽曲データを前記記憶手段から読み出して再生する、カラオケ楽曲再生手段を有し、前記コード表示手段は、前記カラオケ楽曲再生手段での前記カラオケ楽曲データの再生に応じて、対応する前記コード情報の前記複数のコードの進行を表示し、前記コード譜データ生成手段は、前記カラオケ楽曲データに対応づけられた前記コード情報の前記複数のコードそれぞれについて、前記運指位置特定手段が特定した前記実運指位置データを関連づけることにより、当該カラオケ楽曲データの前記弦楽器演奏パートの前記コード譜データを生成し、前記カラオケ曲再生手段が、当該カラオケ楽曲データを次回再生するときに、前記カラオケ楽曲データの再生に応じて、前記生成したコード譜を、前記コード表示手段に表示することを特徴とする。
【００１７】
本願発明では、カラオケ楽曲データが記憶手段から読み出され、カラオケ楽曲再生手段によって再生される。そのカラオケ楽曲データの再生とともに、コード表示手段が、当該カラオケ楽曲に係わる複数のコードの進行を表示する。この表示に対応した操作者の運指により、対応する画像データが撮影手段によって生成される。生成された画像データを用いて、運指位置特定手段により複数の運指位置候補データが絞り込まれて、実運指位置データが特定される。特定された実運指位置データはコード譜データ生成手段によってカラオケ楽曲データのコード情報の各コードに対応づけられ、コード譜データが生成される。
【００１８】
これにより、カラオケ楽曲データの再生に合わせて、楽器操作者が各コードの運指を行うことで、当該カラオケ楽曲のコード譜を容易に作成することができる。また、次回当該カラオケ楽曲が再生される際、その作成されたコード譜を見ながら演奏することで、例えば一般ユーザが容易にギター演奏を行うことができる。
【発明の効果】
【００１９】
本発明によれば、楽器を演奏する運指の検出に基づく正確なコード譜を生成することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係わるカラオケ装置の主要構成を示す説明図である。
【図２】カラオケ装置に備えられた制御装置の制御系の主要構成を示す機能ブロック図である。
【図３】楽曲データを含むサーバからの受信データのデータ構造の一例を示す説明図である。
【図４】楽曲データの再生時にモニタに表示される表示内容の一例を示す説明図である。
【図５】楽曲データの再生時にＣＰＵにより実行される処理内容を示すフローチャートである。
【図６】楽器操作者がコードの運指を実演している状態を表す説明図、及び、当該運指の実演の撮影結果から生成された運指状態の画像データを表す説明図である。
【図７】画像データを用いて運指位置候補データを絞り込み、実運指位置データを特定してコード譜データを生成する手法を説明する説明図である。
【図８】コード譜情報の作成時にＣＰＵにより実行される処理内容を示すフローチャートである。
【図９】画像認識の準備のためにＣＰＵにより実行される処理内容を示すフローチャートである。
【図１０】画像認識の準備の際に、モニタに指示ライン用映像が表示される様子を表す説明図、モニタに映し出されるギターのネック部分を表す説明図、指示ライン用映像とギターのネック部分とが重なり合って表示されている様子を表す説明図である。
【発明を実施するための形態】
【００２１】
以下、本発明をカラオケ装置に適用した一実施の形態について、図面を参照しつつ説明する。本実施形態では、利用者がカラオケ装置の演奏と共に主として自らエレキギターを演奏する場合を説明する。
【００２２】
＜主要構成＞
図１は、本実施形態に係わるカラオケ装置の主要構成を示す説明図である。図１に示すように、カラオケ装置１０には、歌詞を示す歌詞テロップ、歌詞テロップの背景に表示する背景映像、選曲番号を示す映像などをＣＲＴに表示するモニタテレビ（以下、モニタと略称する）１３（コード表示手段に相当）と、小型のモニタ１４（コード表示手段に相当）と、エレキギター４やエレキベースなどの弦楽器を含む各種電子楽器を接続するための楽器接続ボード８と、複数の楽器演奏パートにより構成されるカラオケ用の楽曲（カラオケ楽曲。以下、適宜「曲」と略称する）の選曲、及び曲の再生の予約などの選曲制御、選曲された曲の送信要求を示すリクエスト信号のサーバへの送信、及びリクエスト信号により示される曲に対応する楽曲データ（カラオケ楽曲データに相当）の受信などの通信制御、受信された楽曲データに含まれる楽音種類指定情報たるＭＩＤＩデータのうち楽器接続ボード８に接続された楽器と同じ種類の楽器の音源を指定する等の制御装置２０と、が備えられている。
【００２３】
さらに、カラオケ装置１０には、この例では、楽器接続ボード８から入力される楽器の演奏信号、マイクロフォン１７，１８から入力される音声信号及び曲の再生信号のミキシングを行うミキシング回路９を備え、音声と曲との音量バランス、エコー調整、デレィ調整、ミキシング信号の増幅、再生される曲の音程制御（キーコントロール）、高音、低音の制御（トーンコントロール）などを行うアンプ１６と、このアンプ１６から出力される増幅信号を音として再生するフロアータイプの１組のスピーカ１１，１１と、天井吊下げ用の１組のスピーカ１２，１２と、制御装置２０を遠隔操作するリモコン３０と、カメラ２５（詳細は後述）と、が備えられている。
【００２４】
楽器接続ボード８は、図示を省略するが、上記エレキギター４や図示しない電子ドラム、キーボード、エレキベース等の出力端子（フォンプラグ）を接続するそれぞれの入力端子（フォンジャック）と、各入力端子に入力される演奏信号をそれぞれ出力する出力端子と、が設けられている。そして、楽器接続ボード８は、各楽器の出力端子を入力端子に接続することによって各楽器が接続されたこと及びその楽器の種類を自動検出するとともに、接続された楽器の１つの演奏信号を選択し、その選択された演奏信号を制御装置２０の入力端子４４（後述の図２参照）へ出力可能である。例えばエレキギター４から出力される演奏信号は、エレキギター４のフォンプラグを接続するフォンジャック４ａ（後述の図２参照）を介して楽器接続ボード８へ入力され、楽器接続ボード８の出力端子から出力される演奏信号は、制御装置２０の入力端子４４へ入力される。
【００２５】
＜制御系＞
上記制御装置２０の制御系の構成について図２を参照して説明する。図２は、制御装置２０の制御系の主要構成を示す機能ブロック図である。制御装置２０は、装置筺体にＬＡＮ回線１５を接続する通信端子４０と、楽器接続ボード８の出力端子と接続される入力端子４４と、アンプ１６の音声入力端子と接続される音声出力端子４１と、モニタ１３の映像入力端子と接続される映像出力端子４２と、モニタ１４の映像入力端子と接続される映像出力端子４３とを備えている。この制御装置２０には、制御プログラムにしたがって各種制御を実行するＣＰＵ４５が設けられている。ＣＰＵ４５には、リモコン３０から送信されるデータ、選曲された曲の選曲番号を示す選曲番号データ、予約された曲の選曲番号データなどを一時保存するためのＲＡＭ４６と、ＣＰＵ４５により実行されるプログラム及び必要なデータテーブルなどが記憶されたＲＯＭ４７とが接続されている。
【００２６】
また、ＣＰＵ４５には、モニタ１３，１４に歌詞テロップや各種メッセージ映像を表示するための文字映像データが記憶されたビデオＲＡＭ４８と、サーバ５８から送信される楽曲データやコード譜情報（詳細は後述）、歌詞データ、及び映像データを通信端子４０を介して受信するためのＬＡＮボード５０と、このＬＡＮボード５０により受信される楽曲データ及び歌詞データ等を一時保存するためのＲＡＭ４９（記憶手段に相当）とが接続されている。
【００２７】
さらに、ＣＰＵ４５には、ＲＡＭ４９から読み出された曲データに含まれるＭＩＤＩデータを入力するとともに、その入力されたＭＩＤＩデータにより指定される音源から音源信号を出力するＭＩＤＩ音源ボード５１が接続されている。また、ＣＰＵ４５には、上記出力された音源信号を入力してアンプ１６により増幅可能な信号に変換する音声制御回路５２と、一般的な背景映像を示す背景映像データを読み出すＣＤ−ＲＯＭプレーヤ５３とが接続されている。
【００２８】
また、ＣＰＵ４５には、ＣＤ−ＲＯＭプレーヤ５３から読み出された一般的な背景映像データ、及びＲＡＭ４９から読み出された曲固有の背景データや曲データに含まれる歌詞テロップデータ等を入力し、モニタ１３，１４の表示画面に表示される背景映像中に歌詞テロップがスーパーインポーズされた映像を作成したり、曲の進行にしたがって歌詞テロップの色を変えたりする映像制御を行う映像制御回路５４が接続されている。
【００２９】
さらに、ＣＰＵ４５には、制御装置２０の受光部３８により受光されたリモコン３０からの光信号をデジタル信号に変換する変換回路５５と、制御装置２０の筺体に設けられた各種ボタン、キー３９（テンキー、選曲ボタン等）を押したときに点灯するＬＥＤ３７へ表示信号を出力する表示回路５６と、上記各種ボタン、キー３９を押したときに発生するスイッチング信号を入力する入力回路５７とが接続されている。
【００３０】
以上の基本構成のカラオケ装置１０において、利用者がリモコン３０により例えばエレキギター４の演奏パートを含むカラオケ楽曲を選曲し、選曲に対応してサーバ５８から送信された楽曲データを受信すると、楽曲データが演奏される。そのエレキギター４の演奏パートを含む楽曲データの演奏に合わせて利用者がエレキギター４を演奏すると、エレキギター４から出力される演奏信号は、楽器接続ボード８を介して制御装置２０の入力端子４４へ入力される。そして、音声制御回路５２において、音源信号が音声出力端子４１へ出力される。なお、いわゆるマイナスワン再生状態の場合には、音源信号のエレキギター４の楽曲パート一部をエレキギター４の演奏信号と置き置き換えて出力される。
【００３１】
このとき、このカラオケ装置１０では、サーバ５８より歌詞データや映像データとともに受信した当該エレキギター４のギター演奏パートを含む楽曲データに対し、予め演奏支援用にコード譜情報が作成（詳細は後述）されて対応付けられており、当該楽曲データの再生時にはモニタ１３，１４によってコード譜情報が歌詞データや映像データと共に表示される。これにより、演奏者である利用者は、モニタ１３，１４に表示されるコード譜情報を活用することで、再生されるカラオケ楽曲に合わせてエレキギター４の演奏パートを自ら容易に演奏して、当該エレキギター４の練習を行ったり、カラオケ楽曲全体のアンサンブルを楽しむことができる。
【００３２】
＜コード譜情報を含むデータ構造＞
図３は、本実施形態における、サーバ５８より受信した楽曲データを含む受信データのデータ構造を示す説明図である。図３に示す例では、サーバから受信されるデータの、カラオケ楽曲の４小節分を示している。受信データは、４小節分の演奏の進行に対応した複数の楽器演奏パート（この例では、ギターパート（エレキギター４に対応）、ベースパート、ドラムパート）の楽曲データと、コード名を表すコード情報と、そのコードを演奏するための例えばギター用の運指を示すコード譜情報と、歌詞データ（歌詞テロップデータ）と、映像データと、を備えている。
【００３３】
楽曲データは、歌詞データ及び映像データとともに、図３に示すデータ中の１番目の小節（以下、単に「第１小節」等という）から再生され、時間の経過に従って第２小節、第３小節、第４小節へと再生が進行して行く。またその再生に対応して、歌詞データ及び映像データに基づく表示も進行していく。
【００３４】
コード情報及びコード譜情報は、楽曲データに対応付けられており、この例では、図中の第１小節がコードＥｍ、第２小節がコードＢｍ、第３小節がコードＣ、第４小節がコードＢｍとなっている。
【００３５】
＜コード情報及びコード譜情報の表示例＞
図４は、楽曲データの再生時にモニタ１３，１４に表示される表示内容の一例を示す説明図である。この例では、上記図３に示した４小節分の楽曲データに対応した表示の例を示している。すなわち、この例では、モニタ１３，１４において、上記４小節分の歌詞「あの言葉さえ言わなければ」と、歌詞の下側に添えられた上記４小節分のコード情報（第１小節：Ｅｍ、第２小節：Ｂｍ、第３小節：Ｃ、第４小節：Ｂｍ）と、が表示されている。
【００３６】
また、上記コード情報の下側には、当該コード情報の表すコードをギターにより演奏する場合の運指の一例を表す、コード譜情報が表示されている。この例では、第１小節のコードＥｍに対する運指としては、１弦では０フレット（開放弦としてフレットを押さえないこと。以下同様）、２弦では０フレット、３弦では０フレット、４弦では２フレット、５弦では２フレット、６弦では０フレット、が指定されている。
【００３７】
また、第２小節のコードＢｍに対する運指としては、１弦では２フレット、２弦では３フレット、３弦では４フレット、４弦では４フレット、５弦では２フレット、６弦では２フレット、が指定されている。
【００３８】
また、第３小節のコードＣに対する運指としては、１弦では０フレット、２弦では１フレット、３弦では０フレット、４弦では２フレット、５弦では３フレット、６弦では０フレット、が指定されている。
【００３９】
また、第４小節のコードＢｍに対する運指としては、上記第２小節と同様、１弦では２フレット、２弦では３フレット、３弦では４フレット、４弦では４フレット、５弦では２フレット、６弦では２フレット、が指定されている。
【００４０】
エレキギター４の利用者は、楽曲データの再生時、上記のようにしてモニタ１３，１４に表示される上記コード譜を見て、コード進行順にエレキギター４のコードを押さえることで、カラオケ楽曲のエレキギターパートを容易に弾くことができる。
【００４１】
＜カラオケ楽曲再生時の基本処理＞
上記のようにして利用者がカラオケ楽曲を再生しつつエレキギターを演奏するときに、カラオケ装置１０のＣＰＵ４５により実行される処理内容を、図５のフローチャートにより説明する。
【００４２】
図５において、このフローは、例えば上記利用者が、カラオケ装置１０の制御装置２０の電源ボタンを押して制御装置２０の電源を立ち上げると、開始される。制御装置２０の電源の立ち上がりに連動して、アンプ１６、楽器接続ボード８及びモニタ１３，１４の電源が立ち上がる。なお、前述したように、この例では、利用者が、楽器接続ボード８にエレキギター４を接続して演奏する場合を例にとって説明する。利用者がエレキギター４のフォンプラグを楽器接続ボード８の入力端子（フォンジャック）４ａに接続すると、楽器接続ボード８はエレキギター４が接続されたことを検知する。
【００４３】
図５において、まず、ステップＳ１０において、ＣＰＵ４５は、利用者による選曲が終了したか否かを判定する。選曲は、例えば、利用者がエレキギター４を演奏したい曲の選曲番号をリモコン３０のテンキーにより入力し、選曲ボタンを押すと、選曲が終了する。選曲が終了するまではステップＳ１０の判定が満たされず（ステップＳ１０：ＮＯ）、ループ待機する。選曲が終了した場合はステップＳ１０の判定が満たされ（ステップＳ１０：ＹＥＳ）、ステップＳ１５に移る。
【００４４】
ステップＳ１５では、ＣＰＵ４５は、ステップＳ１０での選曲結果に対応し、上記選曲番号を示す選曲番号データをＲＡＭ４６に一時保存するとともに、ＬＡＮボード５０を介し、上記選曲番号に対応する曲データの送信を要求するリクエスト信号を、ＬＡＮ回線１５を介してサーバ５８へ送信する。これにより、サーバ５８は、図示しない記憶装置から、上記リクエスト信号に示される選曲番号に対応する楽曲データと、当該楽曲データに対応した、上記コード情報、上記コード譜情報、上記歌詞データ、及び上記映像データと、を検索して読み出し、その読み出された曲データ等を、ＬＡＮ回線１５を介して制御装置２０に送信する。ステップＳ１５が終了したら、ステップＳ２０に移る。
【００４５】
ステップＳ２０では、ＣＰＵ４５は、ＬＡＮボード５０を介し、サーバ５８からＬＡＮ回線１５を介して送信された（上記コード情報及び上記コード譜情報を含む）楽曲データ等を受信する。その後、ステップＳ２５に移る。
【００４６】
ステップＳ２５では、ＣＰＵ４５は、上記ステップＳ２０で受信した楽曲データ等をＲＡＭ４９に一時保存する。その後、ステップＳ３０に移る。
【００４７】
ステップＳ１５，ステップＳ２０、ステップＳ２５の処理として、選曲番号に対応付けられた、楽曲データ、及び、コード譜情報等は選曲毎にサーバ５８からオンデマンドで取得する場合の処理を行う。他に、カラオケ装置１０の制御装置２０に、大容量の補助記憶手段（図示せず）を設けて、予め、楽曲データ等を、補助記憶手段に記憶し、選曲毎に、選曲番号に対応付けられた情報群を補助記憶手段から読み出して、目的とする情報を取得する処理としてもよい。
【００４８】
ステップＳ３０では、ＣＰＵ４５は、上記ステップＳ２５でＲＡＭ４９に記憶されているＭＩＤＩデータの読み出しを開始し、読み出されたＭＩＤＩデータをＭＩＤＩ音源ボード５１に書き込む。ステップＳ３０が終了したら、ステップＳ３５に移る。
【００４９】
ステップＳ３５では、ＣＰＵ４５は、ＭＩＤＩ音源ボード５１に制御信号を出力し、上記ステップＳ３０で書き込んだＭＩＤＩデータに対応した音源信号を、ＭＩＤＩ音源ボード５１から出力させる。ＭＩＤＩ音源ボード５１から出力される音源信号は、音声制御回路５２へ出力されるとともに、アンプ１６により増幅可能な音楽信号に変換され、この変換された音楽信号は、音声出力端子４１からアンプ１６へ出力される。また、マイクロフォン１７，１８から入力された音声信号は、アンプ１６に内蔵されたミキシング回路９において上記音楽信号とミキシングされる。このとき、エレキギター４の出力端子から出力された演奏信号は、楽器接続ボード８及び制御装置２０を介してミキシング回路９に入力され、上記音声信号及び音楽信号とミキシングされる。そして、そのミキシングされたミキシング信号は、アンプ１６に内蔵された図示しない増幅回路により増幅された後にスピーカ１１及びスピーカ１２へ出力され、両スピーカによって再生される。なお、このステップＳ３５の手順が各請求項記載のカラオケ楽曲再生手段として機能する。ステップＳ３５が終了すると、ステップＳ４０に移る。
【００５０】
ステップＳ４０では、ＣＰＵ４５は、モニタ１３，１４に制御信号を出力し、ステップＳ２５で保存したコード情報、コード譜情報、及び歌詞等をモニタ１３，１４により表示させる。これにより、エレキギター４の演奏者である利用者は、モニタ１３，１４に表示されるコード情報及びコード譜にしたがってエレキギター４を演奏することにより、再生されるカラオケ楽曲のコード進行に合わせてエレキギター演奏パートを容易に演奏することができる。その後、ステップＳ８０に移る。
【００５１】
ステップＳ８０では、ＣＰＵ４５は、楽曲データの再生が終了したか（言い換えれば、ステップＳ３０でのＭＩＤＩデータの読み出しが楽曲データの最後のＭＩＤＩデータまで終了したか）否かを判定する。楽曲データの再生が終了していれば判定が満たされ（ステップＳ８０：ＹＥＳ）、このフローを終了する。楽曲データの再生が終了するまでは判定が満たされず（ステップＳ８０：ＮＯ）、上記ステップＳ３０に戻り、上記ステップＳ３０〜ステップＳ８０の手順を繰り返す。
【００５２】
＜本実施形態の特徴＞
以上において、本実施形態の特徴は、上記のようにして利用者によって利用されるコード譜情報を、（利用者の利用に供する前に事前に）新規に作成するための手法にある。以下、その詳細を順を追って説明する。
【００５３】
＜カメラ撮影画像の活用＞
すなわち、本実施形態においては、前述したカメラ２５（撮影手段に相当）による撮影画像を用いて上記カラオケ楽曲のコード譜データが生成される。すなわち、上記エレキギター４等の弦楽器の運指の位置は各コードごとに異なり、各コードごとに楽器操作者の手の姿勢や形状が異なる。これを利用して、本実施形態では、カラオケ楽曲の複数のコードそれぞれに対する楽器操作者（上記利用者とは異なる、カラオケサービス提供の従事者又は当該従事者に委託され者。以下同様）の運指が、カメラ２５によって撮影され、対応する画像データ（動画データでも静止画データでもよい）が生成される。
【００５４】
すなわち、このコード譜データの生成時には、当該楽曲データについては、上記図３に示したデータ構造のうち、少なくともコード譜情報が未作成の状態である。例えば、この状態で、楽曲データ、コード情報、歌詞データ、映像データが再生されて上記モニタ１３，１４にコード情報が表示される。上記楽器操作者が表示されたコード情報を見て、エレキギター４のネックのフレット上で当該コードを実際に押さえることで、その運指がカメラ２５によって撮影される。なお、この際、楽器演奏者が必ずしも実際に演奏して発音する必要はなく、少なくとも外観上コードを押さえていれば足りる。また、楽曲データにおける楽器演奏パート（この例ではギターパート、ベースパート、ドラムパート）や上記歌詞データや映像データは（少なくともこの時点では）必ずしも必要なく、例えばモニタ１３，１４上に上記コード情報のみが表示されるようにしてもよい。また、カラオケ楽曲である必要もなく、歌唱用の楽曲ではない楽器演奏のみの楽曲であっても良い。
【００５５】
＜画像データ生成＞
図６（ａ）に示す例では、図４に示したカラオケ楽曲について、上記モニタ１３，１４にその第２小節のコード情報（コードＢｍ）が表示され、これを見た楽器操作者が当該コードＢｍの運指を実演している状態を表している。この例では、図示のように、当該楽器操作者の運指により、２フレットの１弦から６弦にかけて人差し指が存在し（指先位置は６弦付近）、３フレットの１弦から２弦にかけて中指が存在し（指先位置は２弦付近）、４フレットの１弦から４弦にかけて薬指が存在し（指先位置は４弦付近）、４フレットの１弦から３弦にかけて小指が存在（指先位置は３弦付近）している。
【００５６】
そして、上記図６（ａ）に示した運指の姿がカメラ２５で撮影されることで、図６（ｂ）に示すように、対応する画像データが生成される。この例では、上記各指の姿を包含する指領域（図中の網掛け領域参照）データとして上記画像データが生成される。
【００５７】
＜誤検出の可能性＞
しかしながら、上記エレキギター４等の弦楽器では、一般に、楽器操作者は手のひらを内側にして抱え込むようにして運指を行うことから、撮影は手の甲側から行うこととなる（図６（ａ）参照）。この場合、互いに異なるコードであっても運指の違いがわずかな場合には、その違いが撮影画像ではわかりにくい。この結果、上記画像データのみからコード譜を作成しようとすると、楽器操作者が運指を行った実際のコードと、撮影された上記画像データに基づき算出されたコードとが、異なる可能性があり、不正確なコード譜が生成されるおそれがある。
【００５８】
＜コード情報に基づく運指位置候補データの併用＞
そこで本実施形態では、上記画像データとともに、前述したカラオケ楽曲のコード情報が活用される。すなわち、コード情報の表すコード進行に含まれる複数のコードそれぞれごとに、当該コードに対応した複数の運指位置候補データが生成される。そして、上記画像データを用いて、上記複数の運指位置候補データのうち実際の運指位置に対応したデータ（実運指位置データ）がどれであるかが、各コードごとに特定される。
【００５９】
上記手法の具体例として、上記の例に沿い、コードＢｍの第２小節に係わる処理を図７により説明する。前述のようにして楽器操作者の実演により、図７（ａ）に示すような網掛け領域で表される画像データが生成される。このとき、この第２小節のコード情報（コードＢｍ）に基づき、当該コードＢｍを構成する和音が「シ」「レ」「ファ＃」の３つであることから、それぞれについての運指位置候補データが生成される。
【００６０】
図７（ｂ）には、上記「シ」を発音可能な運指位置候補データを表している。この例では、１弦の７フレット、２弦の０フレット、２弦の１２フレット、３弦の４フレット、４弦の９フレット、５弦の２フレット、６弦の７フレット、の合計７つの運指位置候補データが生成される。そして、これら７つの運指位置候補データのうち、図７（ａ）に示される画像データの網掛け領域と重複する、３弦の４フレットと、５弦の２フレットとが、（上記画像データに対する）実運指位置データとして抽出され特定される。
【００６１】
図７（ｃ）には、上記「レ」を発音可能な運指位置候補データを表している。この例では、１弦の１０フレット、２弦の３フレット、３弦の７フレット、４弦の０フレット、４弦の１２フレット、５弦の５フレット、６弦の１０フレット、の合計７つの運指位置候補データが生成される。そして、これら７つの運指位置候補データのうち、図７（ａ）に示される画像データの網掛け領域と重複する、２弦の３フレットが、（上記画像データに対する）実運指位置データとして抽出され特定される。
【００６２】
図７（ｄ）には、上記「ファ＃」を発音可能な運指位置候補データを表している。この例では、１弦の２フレット、２弦の７フレット、３弦の１１フレット、４弦の４フレット、５弦の９フレット、６弦の２フレット、の合計６つの運指位置候補データが生成される。そして、これら６つの運指位置候補データのうち、図７（ａ）に示される画像データの網掛け領域と重複する、１弦の２フレット、４弦の４フレット、及び、６弦の２フレットが、（上記画像データに対する）実運指位置データとして抽出され特定される。
【００６３】
そして、上記図７（ｂ）において実運指位置データとして抽出された３弦の４フレット及び５弦の２フレットと、上記図７（ｃ）において実運指位置データとして抽出された２弦の３フレットと、上記図７（ｄ）において実運指位置データとして抽出された１弦の２フレット、４弦の４フレット、及び、６弦の２フレットとが、すべて合成され（図７（ｅ）参照）、最終的な実運指位置データとして第２小節のコードＢｍに対応付けられる。これにより、当該コードＢｍに対するコード譜データが生成される。
【００６４】
＜コード譜データ作成時の制御手順（１）＞
楽器操作者が前述のカラオケ装置１０を用いて上記の手法によりコード譜データを作成する場合に、当該カラオケ装置１０のＣＰＵ４５により実行される処理内容を、図８のフローチャートにより説明する。前述した図５と同等の手順には同一の符号を付し、適宜説明を省略又は簡略化する。
【００６５】
図８において、このフローは、上記同様、例えば上記楽器操作者が、カラオケ装置１０の制御装置２０の電源ボタンを押して制御装置２０の電源を立ち上げると、開始される。
【００６６】
図８において、まず、上記図５と同様のステップＳ１０、ステップＳ１５を経て、上記ステップＳ２０に対応したステップＳ２０Ａに移行する。ステップＳ２０Ａでは、上記ステップＳ２０と同様、ＣＰＵ４５は、ＬＡＮボード５０を介し、サーバ５８からＬＡＮ回線１５を介して送信された上記楽曲データ等を受信する。但し、この際、前述したように、この受信データには、楽曲データと、当該楽曲データに対応した上記コード情報は含まれているが、コード譜情報は含まれていない。
【００６７】
楽曲データ、及びコード情報等は、図５の説明と同様に、サーバ５８から取得してもよいし、制御装置２０に組み込まれた補助記憶手段から取得してもよい。
【００６８】
このステップＳ２０Ａが終了したら、上記図５と同様のステップＳ２５、ステップＳ３０、ステップＳ３５を経て、新たに設けたステップＳ４０に移る。
【００６９】
ステップＳ４０では、ＣＰＵ４５は、上記ステップＳ３０で読み出され上記ステップＳ３５で再生されている楽曲データに基づき、新たなコードへ移行したか（それまでのコードから異なるコードへ切り替わった場合と、曲が新規に開始されて１番目のコードが開始された場合と、を含む）、を判定する。新たなコードへの移行していなかった場合（同一コードの演奏が継続している場合）はステップＳ４０の判定が満たされず（Ｓ４０：ＮＯ）、後述のステップＳ８０へ移行する。新たなコードへ移行された場合はステップＳ４０の判定が満たされ（Ｓ：ＹＥＳ）、ステップＳ５５に移る。
【００７０】
ステップＳ５５では、ＣＰＵ４５は、モニタ１３，１４に制御信号を出力し、上記ステップＳ２５で保存され、ステップＳ３０及びステップＳ３５での楽曲データの再生に対応したコード情報を、モニタ１３，１４により表示させる。これにより、上記楽器操作者は、当該モニタ１３，１４に表示されたコード情報（図６（ａ）の例ではコードＢｍ）に対応した、実際の運指状態を（後述のようにカメラ２５で撮影可能なように）エレキギター４を用いて実演する。このようにして行われる運指の実演が、後述するステップＳ６５，ステップＳ７０において、上記カメラ２５によって撮影され、公知の画像認識の手法により対応する上記画像データが生成される。生成された画像データは、ＣＰＵ４５に入力される。なお画像認識処理は、カメラ２５で行っても良いし、ＣＰＵ４５側で行っても良い。
【００７１】
＜画像認識の手順の詳細＞
上記画像認識の手法を実行するにあたり、その準備のために行われる処理である、画像認識準備処理を、図９に示すＣＰＵ４５が実行するフロー、及び、図１０の説明図により説明する。すなわち、画像認識を精度良く行うために、予め、カメラ２５が撮影する撮影視野におけるエレキギター４の各フレットの位置決め設定が、楽器操作者により行われる。画像認識準備処理は、ステップＳ６５よりも上流側で行われる。たとえば、楽曲データ再生（ステップＳ３５）よりも以前に実行すれば、エレキギターの楽器操作者は、自分の運指位置を、ＣＰＵ４５に対して、運指位置データとして特定させられる位置で、楽曲の演奏開始とともに、エレキギター操作を開始できる。
【００７２】
すなわち、図９において、ＣＰＵ４５は、まずステップＳ４１０において、モニタ１３，１４に制御信号を出力し、上記位置決めを行うための指示ライン用映像を表示させる。この指示ライン用映像は、図１０（ａ）に示すように、例えばエレキギター４のネックの一部分（この例では１フレットから１２フレットまで）の外観を模擬した略長方形の図形である。
【００７３】
その後、ＣＰＵ４５は、ステップＳ４２０において、カメラ２５から出力される撮影映像の取得を開始する。このときの映像は、例えば図１０（ｂ）に示すように、エレキギター４のネックの一部分（又は全部）の外観そのものを含んでいる。なお、この外観の映像は、楽器操作者がカメラ２５の目の前でエレキギター４の姿勢を変えたり位置を変えることによって、大きさや位置を調整することができる。
【００７４】
その後、ＣＰＵ４５は、ステップＳ４３０において、モニタ１３，１４に制御信号を出力し、上記ステップＳ４１０における略長方形の指示ライン用映像と、上記ステップＳ４２０におけるカメラ２５からの映像とを、重ねて表示させる。このとき、上述したように、固定映像である上記指示ライン用映像に対し、楽器操作者が適宜に上記カメラ２５からの映像の大きさや位置を調整することで、図１０（ｃ）に示すように、エレキギター４のフレットの外周線と、上記略長方形の指示ライン用映像とを合わせるようにする（言い替えればぴったり合わせることができるように、予め上記指示ライン用映像が設定されている）。その後、ステップＳ４４０に移る。
【００７５】
ステップＳ４４０では、ＣＰＵ４５は、上記エレキギター４のフレットの外周線と、上記略長方形の指示ライン用映像とが、所定の範囲内で略一致したか否かを判定する。この判定は、エッジ検出等の公知の手法によりＣＰＵ４５が自動的に行っても良いし、操作者により、目視により略一致を確認した旨の操作入力がなされたか否かにより行っても良い。判定が満たされない（Ｓ４４０：ＮＯ）間はループ待機し、判定が満たされると（Ｓ４４０：ＹＥＳ）、ステップＳ４５０に移る。
【００７６】
ステップＳ４５０では、ＣＰＵ４５は、上記楽器操作者の実演を画像認識するための準備処理が完了したとみなし、例えば適宜の報知（モニタ１３，１４における完了表示やカラオケ装置１０の適宜の箇所のランプ点灯など）を行って、このフローを終了する。
【００７７】
＜コード譜データ作成時の制御手順（２）＞
図８に戻り、なお、上記ステップＳ５５において、前述したように必ずしもエレキギター４を実際に演奏して発音する必要はないことから、エレキギター４と楽器接続ボード８とは接続されていなくても良い。また、その意味では、エレキギター４ではなく、非電子楽器であるアコースティックギターであってもよい。上記ステップＳ５５の後は、ステップＳ６０に移行する。
【００７８】
ステップＳ６０では、ＣＰＵ４５は、上記ステップＳ５５で表示したコード情報の表すコードに対応した、運指位置候補データを生成する。この例では、前述したように当該コードを構成する和音それぞれについての運指位置候補データが生成される。このステップＳ６０が、各請求項記載の運指候補データ生成手段として機能する。その後、ステップＳ６５に移る。
【００７９】
ステップＳ６５では、ＣＰＵ４５は、上記実演された運指に対するカメラ２５による撮影結果に基づく、上記画像データ（前述の例の図６（ｂ）参照）を取得する。その後、ステップＳ７０に移行する。
【００８０】
ステップＳ７０では、ＣＰＵ４５は、上記ステップＳ６０で生成された複数の運指位置候補データの中から、上記ステップＳ６５で取得された画像データに対応するものを抽出し、上記実運指位置データとして特定する（前述の例の図７（ａ）〜（ｄ）参照）。このステップＳ７０が、各請求項記載の運指位置特定手段として機能する。その後、ステップＳ７５に移る。
【００８１】
ステップＳ７５では、上記ステップＳ７０で特定された実運指位置データ（前述の例では、１弦の２フレット、２弦の３フレット、３弦の４フレット、４弦の４フレット、５弦の２フレット、及び、６弦の２フレット、の６つのデータ）を、対応するコード情報（前述の例ではコードＢｍ）に対応づけて、当該コードＢｍに対するコード譜データを生成する（前述の例の図７（ｅ）参照）。このステップＳ７５が、各請求項記載のコード譜データ生成手段として機能する。その後、ステップＳ８０に移る。
【００８２】
ステップＳ８０では、上記図５と同様、ＣＰＵ４５は、（コード譜作成対象の）楽曲データの再生が終了したか（言い換えれば、ステップＳ３０でのＭＩＤＩデータの読み出しが楽曲データの最後のＭＩＤＩデータまで終了したか）否かを判定する。楽曲データの再生が終了していれば判定が満たされ（ステップＳ８０：ＹＥＳ）、このフローを終了する。楽曲データの再生が終了するまでは判定が満たされず（ステップＳ８０：ＮＯ）、上記ステップＳ３０に戻り、上記ステップＳ３０〜ステップＳ８０の手順を繰り返す。
【００８３】
以上のようにして、コード譜作成対象の楽曲データのコード進行に含まれるすべてのコードについて、楽器操作者による運指の実演に基づくコード譜データが生成される。これによって、当該楽曲データに対するコード譜情報が完成するので、次回以降、当該カラオケ楽曲が再生される際、既に述べたように、一般ユーザの演奏者が、上記作成されモニタ１３，１４に表示されるコード譜を見ながら演奏することで、容易にエレキギター４等の演奏を行うことができる。
【００８４】
以上説明したように、本実施形態では、楽曲データの各コードについて生成した複数の運指位置候補データを、楽器操作者の実演を撮影した画像データを用いて絞り込むことによって、コード譜データを生成する。これにより、単に画像データのみからコード譜データを生成する場合に比べ、精度よく正確なコード譜を作成することができる。
【００８５】
また、本実施形態では特に、運指候補データを生成する際、各コードの和音を構成する複数の音をそれぞれ発音するための、複数の運指位置候補データが生成される（図７（ｂ）〜（ｄ）参照）。これにより、高精度に実際の運指位置を特定することができる。なお、前述のコードＢｍの例のように複数の音（「シ」「レ」「ファ＃」）それぞれごとに作成してもよいし、各音階ごとに作成してもよい。
【００８６】
なお、上記実施形態では、画像データを用いて運指位置候補データを絞り込んで実運指位置データを生成する際、図６や図１０１（ａ）に示したように、運指を行う各指の姿を包含する指領域データに含まれる、運指位置候補データをすげて抽出したが、これに限られない。すなわち、前述したように、弦楽器の運指の位置は各コードごとに異なるが、特に、楽器操作者の指先の位置は各コードごとに必ず異なる。したがって、上記画像データ中に明らかに楽器操作者の指先位置が現れている場合（例えば図６（ｂ）に示すコードＢｍの例における、２フレットの６弦に位置する人差し指の指先、３フレットの２弦に位置する中指の指先、４フレットの４弦に位置する薬指の指先、４フレットの３弦に位置する小指の指先、等）、あるいは、画像データにより楽器操作者の指先位置が推測される場合には、当該指先位置を用いて、実運指位置データを特定するようにしてもよい。この場合、さらに確実に、高精度に実際の運指位置を特定することができる。
【００８７】
なお、以上において、図５、図８、図９等に示すフローチャートは本発明を上記フローに示す手順に限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。
【００８８】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【００８９】
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
【符号の説明】
【００９０】
４                エレキギター（弦楽器）
１０              カラオケ装置（楽曲コード譜生成装置）
１３              モニタ（コード表示手段）
１４              モニタ（コード表示手段）
２５              カメラ（撮影手段）
４９              ＲＡＭ（記憶手段）
【図１】
2014153523.tif 000003
【図２】
2014153523.tif 000004
【図３】
2014153523.tif 000005
【図４】
2014153523.tif 000006
【図５】
2014153523.tif 000007
【図６】
2014153523.tif 000008
【図７】
2014153523.tif 000009
【図８】
2014153523.tif 000010
【図９】
2014153523.tif 000011
【図１０】
2014153523.tif 000012