(57)【特許請求の範囲】
【請求項１】
弦楽器の演奏音を取得する演奏音取得処理と、
前記演奏音取得処理で取得された演奏音に基づき評価値を算出する演奏評価処理と、
前記弦楽器をユーザーに固定するストラップの状態に基づいて、前記弦楽器を演奏するユーザーの演奏形態を判定する演奏形態判定処理と、
前記演奏形態判定処理で判定された前記ユーザーの演奏形態に基づいて、前記演奏評価処理で算出された評価値を補正する補正処理と、を実行し、
前記ユーザーの演奏形態は、前記弦楽器を持つ前記ユーザーの姿勢、もしくは、前記ユーザーの前記弦楽器の持ち方、の少なくとも一方を含むことを特徴とする
弦楽器演奏評価装置。
【請求項２】
前記演奏形態判定処理は、撮像手段で撮像された撮像情報に基づいて演奏形態を判定することを特徴とする
請求項１に記載の弦楽器演奏評価装置。
【請求項３】
前記ユーザーの演奏態様における前記弦楽器を持つ前記ユーザーの姿勢は、前記ユーザーが立って演奏しているか、座って演奏しているかであることを特徴とする
請求項１または請求項２に記載の弦楽器演奏評価装置。
【請求項４】
前記ユーザーの演奏態様における前記ユーザーの前記弦楽器の持ち方は、前記ユーザーに対する前記弦楽器の位置、もしくは、前記弦楽器の傾き、の少なくとも一方を含むことを特徴とする
請求項１または請求項２の何れか１項に記載の弦楽器演奏評価装置。
【請求項５】
弦楽器の演奏音を取得する演奏音取得処理と、
前記演奏音取得処理で取得された演奏音に基づき評価値を算出する演奏評価処理と、
前記弦楽器をユーザーに固定するストラップの状態に基づいて、前記弦楽器を演奏するユーザーの演奏形態を判定する演奏形態判定処理と、
前記演奏形態判定処理で判定された前記ユーザーの演奏形態に基づいて、前記演奏評価処理で算出された評価値を補正する補正処理と、を実行し、
前記ユーザーの演奏形態は、前記弦楽器を持つ前記ユーザーの姿勢、もしくは、前記ユーザーの前記弦楽器の持ち方、の少なくとも一方を含むことを特徴とする
楽曲演奏装置。
【請求項６】
弦楽器の演奏音を取得する演奏音取得処理と、
前記演奏音取得処理で取得された演奏音に基づき評価値を算出する演奏評価処理と、
前記弦楽器をユーザーに固定するストラップの状態に基づいて、前記弦楽器を演奏するユーザーの演奏形態を判定する演奏形態判定処理と、
前記演奏形態判定処理で判定された前記ユーザーの演奏形態に基づいて、前記演奏評価処理で算出された評価値を補正する補正処理と、をコンピュータに実行させ、
前記ユーザーの演奏形態は、前記弦楽器を持つ前記ユーザーの姿勢、もしくは、前記ユーザーの前記弦楽器の持ち方、の少なくとも一方を含むことを特徴とする
弦楽器演奏評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ギター、ベース等の弦楽器について、その演奏評価を行う弦楽器演奏評価装置、弦楽器演奏評価プログラム、並びに、弦楽器の演奏評価を実行可能な楽曲演奏装置に関する。特に、弦楽器の持ち方、演奏を行うユーザーの姿勢といった演奏形態を演奏評価に反映することのできる弦楽器演奏評価装置、弦楽器演奏評価プログラム、並びに、楽曲演奏装置に関する。
【背景技術】
【０００２】
従来、カラオケボックスやスナックなどのナイト店に設置されているカラオケ装置では、楽曲の演奏に合わせて歌唱を楽しむことが行われている。特許文献１には、歌唱のみならず楽器演奏を楽しむことのできるカラオケ装置が提案されている。この特許文献１に開示されるカラオケ装置は、カラオケ演奏されるパートの内、ミュート（消音）できるパートを表示し、利用者から指示されたパートをミュートし、当該パートのマイナスワン演奏を楽しむことができる。さらに、特許文献１に開示されるカラオケ装置では、画面にコード名を表示させて、演奏者に対してどのコードを演奏するべきかを指示し、紙の楽譜を用いずとも演奏を楽しむことが可能となっている。
【０００３】
また、特許文献２には、楽曲の再生に合わせてギターのコード譜を表示することでギターの演奏支援を行う演奏情報表示装置が開示されている。この演奏情報表示装置は、ギターのコード演奏を支援するための複数種類の情報を、ユーザーにとって分かりやすい態様で表示することで演奏支援を行うこととしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１００７７１号公報
【特許文献２】特開２０１５−４７９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１、特許文献２に開示されるように自動演奏に合わせて楽器の演奏を行うことが行われている。楽器演奏についてもカラオケの歌唱採点と同様、演奏採点（演奏評価）を行うことが考えられる。従来、楽器の演奏評価は、自動演奏で演奏される演奏情報と、ギター等の楽器で演奏された演奏音を比較することで行われていた。このように、従来の演奏評価では、適切なタイミングで適切な音高を演奏しているか否かが評価の対象とされていた。ところで、ギター等の弦楽器では、立って弾く場合と座って弾く場合とでは、演奏の困難性が異なることが考えられる。座って弾く場合、ギターのネックは比較的安定した状態で固定できるため、弦を押さえる運指は行いやすい状態となる。一方、立って弾く場合、ギターのネックは不安定な状態であるため、適切に運指を行うことは難しい。本発明は、このような弦楽器の演奏状況を鑑みたものであり、弦楽器の演奏形態を演奏評価に考慮することで、評価精度の向上を図ることを目的とする。
【課題を解決するための手段】
【０００６】
そのため、本発明に係る弦楽器演奏評価装置は、以下の構成を採用する。
弦楽器の演奏音を取得する演奏音取得処理と、
前記演奏音取得処理で取得された演奏音に基づき評価値を算出する演奏評価処理と、
前記弦楽器をユーザーに固定するストラップの状態に基づいて、前記弦楽器を演奏するユーザーの演奏形態を判定する演奏形態判定処理と、
前記演奏形態判定処理で判定された前記ユーザーの演奏形態に基づいて、前記演奏評価処理で算出された評価値を補正する補正処理と、を実行し、
前記ユーザーの演奏形態は、前記弦楽器を持つ前記ユーザーの姿勢、もしくは、前記ユーザーの前記弦楽器の持ち方、の少なくとも一方を含むことを特徴とする。
【０００７】
さらに本発明に係る弦楽器演奏評価装置において、
前記演奏形態判定処理は、撮像手段で撮像された前記撮像情報に基づいて演奏形態を判定することを特徴とする。
【０００９】
さらに本発明に係る弦楽器演奏評価装置において、
前記ユーザーの演奏態様における前記弦楽器を持つ前記ユーザーの姿勢は、前記ユーザーが立って演奏しているか、座って演奏しているかであることを特徴とする。
【００１０】
さらに本発明に係る弦楽器演奏評価装置において、
前記ユーザーの演奏態様における前記ユーザーの前記弦楽器の持ち方は、前記ユーザーに対する前記弦楽器の位置、もしくは、前記弦楽器の傾き、の少なくとも一方を含むことを特徴とする。
【００１１】
また本発明に係る楽曲演奏装置は、
弦楽器の演奏音を取得する演奏音取得処理と、
前記演奏音取得処理で取得された演奏音に基づき評価値を算出する演奏評価処理と、
前記弦楽器をユーザーに固定するストラップの状態に基づいて、前記弦楽器を演奏するユーザーの演奏形態を判定する演奏形態判定処理と、
前記演奏形態判定処理で判定された前記ユーザーの演奏形態に基づいて、前記演奏評価処理で算出された評価値を補正する補正処理と、を実行し、
前記ユーザーの演奏形態は、前記弦楽器を持つ前記ユーザーの姿勢、もしくは、前記ユーザーの前記弦楽器の持ち方、の少なくとも一方を含むことを特徴とする。
【００１２】
また本発明に係る弦楽器演奏評価プログラムは、
弦楽器の演奏音を取得する演奏音取得処理と、
前記演奏音取得処理で取得された演奏音に基づき評価値を算出する演奏評価処理と、
前記弦楽器をユーザーに固定するストラップの状態に基づいて、前記弦楽器を演奏するユーザーの演奏形態を判定する演奏形態判定処理と、
前記演奏形態判定処理で判定された前記ユーザーの演奏形態に基づいて、前記演奏評価処理で算出された評価値を補正する補正処理と、をコンピュータに実行させ、
前記ユーザーの演奏形態は、前記弦楽器を持つ前記ユーザーの姿勢、もしくは、前記ユーザーの前記弦楽器の持ち方、の少なくとも一方を含むことを特徴とする。
【発明の効果】
【００１３】
本発明の弦楽器演奏評価装置、楽曲再生装置、弦楽器演奏評価プログラムによれば、弦楽器を立って弾く、あるいは、座って弾くといった演奏形態によって演奏評価を補正することで、演奏形態によって楽譜に沿って演奏する場合の難易度の違いを演奏評価に反映することが可能となる。演奏形態としては、このように立って弾く、座って弾くといった弦楽器を持つユーザーの姿勢以外に、ネックの傾斜の違い等によるユーザーの弦楽器の持ち方を演奏評価に反映する、あるいは、ユーザーの背面で（例えば、背中ギター、などと呼ばれる、ユーザーの首の後ろ側にギターを移動させた状態で）演奏するといった特殊演奏技法を演奏評価に反映することも可能となる。
【００１４】
さらに本発明によれば、演奏するユーザーを撮影した撮像情報に基づいて演奏形態を判定することで、演奏形態を判定するため、ユーザーあるいは弦楽器に演奏形態を検出するためのセンサーを取り付ける必要が無い。
【００１５】
さらに本発明によれば、弦楽器をユーザーに固定するストラップの状態を使用して、容易にユーザーの演奏形態を判定することを可能としている。ストラップの状態の検出には、撮像手段で撮像した撮像情報を使用する形態、あるいは、ストラップの状態を検出するセンサーをストラップ、あるいは、弦楽器に設けておくこと等、各種形態を採用することが可能である。
【００１６】
さらに本発明によれば、ユーザーの演奏態様における弦楽器を持つユーザーの姿勢は、ユーザーが立って演奏している姿勢、座って演奏している姿勢としている。通常、立って弦楽器を演奏することは、座って演奏する場合と比較して難易度が高い。したがって、立って弦楽器を演奏している場合には、演奏評価が高評価となるように補正することで、演奏形態による難易度の違いを演奏評価に反映させることが可能となる。
【００１７】
さらに本発明によれば、ユーザーの演奏態様におけるユーザーの前記弦楽器の持ち方は、ユーザーに対する弦楽器の位置、もしくは、弦楽器の傾き、の少なくとも一方を含むこととしている。例えば、弦楽器を立って弾く場合、ユーザーの体躯に対する弦楽器の位置で演奏の難易度が変化することが考えられる。したがって、弦楽器の位置に応じて演奏評価を補正することで、演奏形態による難易度の違いを演奏評価に反映させることが可能となる。また、弦楽器を演奏するアーティスト（歌手）は、独自の演奏形態（弦楽器を演奏する位置、弦楽器の傾き等）を取ることがある。演奏する楽曲に対応した演奏形態が検出された場合、当該楽曲のアーティストに似ているとして、高い演奏評価となるように補正することも可能である。
【図面の簡単な説明】
【００１８】
【図１】カラオケシステムの構成を示す図
【図２】楽曲の予約確認画面を示す図
【図３】（Ａ）予約情報、（Ｂ）楽曲情報のデータ構成を示す図
【図４】カラオケ装置のメイン処理を示すフロー図
【図５】楽器演奏処理を示すフロー図
【図６】補正処理を示すフロー図
【図７】楽器演奏処理時のモニターの様子を示す図
【図８】演奏形態判定処理を説明するための模式図（座る又は立って演奏の判定）
【図９】演奏形態判定処理を説明するための模式図（ギター位置の判定）
【図１０】演奏形態判定処理を説明するための模式図（特殊奏法の判定）
【図１１】補正処理の加点倍率を示す表
【図１２】演奏評価結果画面を示す図
【発明を実施するための形態】
【００１９】
では、本発明の実施形態に係る楽曲演奏装置について、カラオケシステムに適用した場合を例にとって説明を行う。図１は、本発明の実施形態に係るカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、カラオケ装置２と、リモコン装置１にて構成されおり、これらは、ＬＡＮ１００にて、無線、有線で通信可能なように互いに接続されている。
【００２０】
店舗に設置されるカラオケ装置２は、リモコン装置１によりユーザーからの各種指示を受け付けることが可能となっている。また、リモコン装置１は表示部１１と操作部１７が共有されたタッチパネル表示画面を備え、ユーザーに対して各種情報を提供することも可能である。リモコン装置１は、ＬＡＮ１００上に設置されたアクセスポイント１１０を介してカラオケ装置２と無線接続される。図中に示されるように、例えばカラオケ装置２にはリモコン装置１が対応付けられ、ＬＡＮ１００を介して情報を送受信することが可能となっている。また、リモコン装置１とカラオケ装置２とは赤外線などを利用した近距離通信を行うことも可能である。
【００２１】
さらに、本実施形態のカラオケシステムでは、ユーザーに各種サービスを提供するためインターネットを介してカラオケ用ホスト５（サーバー装置）が設けられ、その記憶部５１には、楽曲情報やユーザー情報など、各種サービスに必要な情報を記憶している。そして、ルータ１２０を通じて、カラオケ装置２、又はリモコン装置１と、各種情報の送受信が行えるように構成されている。
【００２２】
本発明の実施形態に係る楽曲演奏装置としてのカラオケ装置２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、楽曲演奏を実行する楽曲演奏処理を行う。記憶手段としてのハードディスク（ＨＤＤ）３２には、楽曲演奏処理で使用する楽曲情報が記憶されている。
【００２３】
本実施形態では、カラオケ装置２に対して外部楽器４４ｃを接続可能としている。外部楽器４４ｃとしては、ギター、ベース、バイオリン等、弦を弾くことで演奏音を奏でる各種撥弦楽器を使用することが可能である。外部楽器４４ｃはケーブルを介してカラオケ装置２に接続され、演奏に基づく演奏音情報をカラオケ装置２に送信する。外部楽器４４ｃから入力された演奏音情報は、音響制御部５２にて演奏される演奏情報とミキシングされてスピーカー４２から放音される。なお、外部楽器４４ｃには、電気的な音響出力を有さないアコースティックな楽器を採用してもよい。その場合には、マイクロホンで拾った楽器音を音響制御部５２に入力する、あるいは、スピーカー４２を介すことなく楽器自身から放音される音を利用することが考えられる。
【００２４】
さらに、カラオケ装置２は、カメラ４３が接続されており、カメラ４３が撮像した撮像情報を取り込み可能としている。本実施形態では、このカメラ４３にて撮像された撮像情報に基づいて、外部楽器４４ｃを持つユーザーの姿勢、もしくは、ユーザーの弦楽器の持ち方等のユーザーの演奏形態が判定される。
【００２５】
図２には、本実施形態の楽曲確認画面が示されている。本実施形態のカラオケシステムは、複数のユーザーが同時にログインして使用することが可能である。図２に示す楽曲確認画面の上方には、カラオケシステムにログインしているユーザーに関する情報が表示されている。ログインユーザー欄１０３には、カラオケシステムにログインしているユーザーの分身像１０３ａ〜１０３ｅ（本実施形態では顔部分）が表示される。またログインユーザー欄１０３中、右端に背景がハイライト（白色）で示されるユーザーは、アクティブユーザー１０３ｅ（この例ではＡさん）であって、アクティブユーザー１０３ｅに対するサービス、すなわち、アクティブユーザー１０３ｅのユーザー情報を利用したサービスが実行されている状態となっている。アクティブユーザーの切り替えは、ユーザー切り替えボタン１０１を操作することで行うことが可能である。また、ユーザー登録していないユーザーは、ゲストボタン１０２を操作することで、ゲストユーザーとしてカラオケシステムを使用することが可能である。
【００２６】
アクティブユーザーとして楽曲を選択した場合、この楽曲確認画面にて、予約を行う楽曲に間違いがないか、楽曲名、歌手名、歌い出し等の詳細を表示してユーザーに確認させる。本実施形態の楽曲確認画面には、オプション設定欄１０５が設けられている。オプション設定欄１０５を選択することで、ユーザーは外部楽器４４ｃの利用を選択することが可能である。外部楽器４４ｃの利用を選択した場合、楽曲再生時には通常の歌唱支援のための歌詞表示に加え、外部楽器４４ｃの演奏支援するためのコード表示等が行われる。オプション設定欄１０５の右下に表示された変更ボタンを操作することで、楽器演奏の有無を設定するための子画面（図示せず）が表示され、予約する楽曲に対して楽器演奏の設定を行うことが可能である。
【００２７】
楽曲確認画面において、歌唱する楽曲であることを確認したユーザーは、予約ボタン１０６を操作することで、楽曲の予約を確定させる。リモコン装置１を使用して楽曲を予約した場合、リモコン装置１からカラオケ装置２に予約情報が送信される。図３（Ａ）は、予約情報のデータ構成を示した図である。予約情報は、予約した楽曲を識別するための楽曲ＩＤ、予約を行ったユーザー（アクティブユーザー）を識別するためのユーザーＩＤの他、オプション設定欄１０５の設定に基づく楽器演奏設定情報が含まれている。カラオケ装置２は、カラオケ装置２のメモリ２７で管理する予約テーブルに、受信した予約情報を順次記憶して、楽曲再生処理を実行する。
【００２８】
図３（Ｂ）は、楽曲情報のデータ構成を示した図である。楽曲情報は、楽曲情報に関連する各種情報であるメタ情報と、演奏や歌詞の表示といった各種処理を実行するための実情報を有している。メタ情報には、楽曲情報を識別するための楽曲ＩＤ、曲名、歌手名、楽器演奏時の難易度等、楽曲関連情報を有している。楽曲関連情報は、ユーザーが楽曲を検索する際の検索対象項目として使用することが可能である。
【００２９】
楽曲情報の実情報には、演奏情報、歌詞情報、演奏評価情報が含まれている。演奏情報は、ＭＩＤＩ規格に基づいて電子楽器用の制御情報、あるいは、実際の演奏を録音した圧縮音声情報等を含んで構成された、カラオケの伴奏音を演奏するための情報である。歌詞情報は、歌唱補助のため、演奏情報に同期して表示される情報であり、演奏に同期して表示された歌詞の色替えを行うように構成してもよい。演奏評価情報は、楽曲再生時において、ユーザーが外部楽器４４ｃの演奏を支援するための情報である。例えば、外部楽器４４ｃがギターの場合、楽曲の演奏進行に対応付けたギターコードで構成される。楽曲再生時、演奏評価情報に基づく情報（ギターの場合、演奏すべきコード等）をモニター４１に表示することで、ユーザーの演奏支援を行うことが可能である。
【００３０】
また、演奏評価情報は、ユーザーの外部楽器４４ｃの演奏に対する評価（演奏評価処理）にも使用される。演奏評価処理では、楽曲の再生時、外部楽器４４ｃから出力された演奏音情報と、演奏評価情報を対比することで、外部楽器４４ｃによる適切な演奏が行われたか否かを判定し、評価結果としての評価値（採点値）が算出される。なお、カラオケ装置２では、歌唱しやすいように楽曲の音程（キー）を変更する機能が設けられている。音程変更が行われた場合、演奏評価情報も同様に音程変更されて、演奏支援の表示、演奏評価処理に使用される。
【００３１】
図４は、カラオケ装置２で実行されるメイン処理を示すフロー図である。カラオケ装置２は、予約テーブルのチェックを行い（Ｓ１０１）、次に再生すべき再生の楽曲があると判定した場合（Ｓ１０２：Ｙｅｓ）、予約情報中の楽器演奏設定情報を参照し、外部楽器４４ｃによる演奏指定の有無を確認する（Ｓ１０３）。外部楽器４４ｃによる演奏指定がある場合（Ｓ１０３：Ｙｅｓ）には、楽器演奏処理（Ｓ２００）を実行する。一方、外部楽器４４ｃによる演奏指定が無い場合（Ｓ１０３：Ｎｏ）には、通常演奏処理（Ｓ１０４）を実行する。通常演奏処理（Ｓ１０４）では、予約情報中の楽曲ＩＤに対応する楽曲情報を読み出して楽曲の演奏、歌詞表示を開始する。一方、楽器演奏処理（Ｓ２００）では、楽曲の演奏、歌詞表示に加え、外部楽器４４ｃの演奏支援のための各種表示、そして、外部楽器４４ｃの演奏評価を実行する。
【００３２】
図５は、楽器演奏処理（Ｓ２００）の詳細を示すフロー図である。楽器演奏処理が開始されると、まず、楽曲情報中の実情報（演奏情報、歌詞情報、演奏評価情報）を使用した楽曲再生が開始される。具体的には、音響制御部５２にて演奏情報を再生し、映像再生部２８にて、歌詞情報、演奏評価情報を使用した各種支援情報の表示が行われる。
【００３３】
図７は、楽器演奏処理時のモニター４１の様子を示す図である。本実施形態では、外部楽器４４ｃにギターを使用した場合であって、ギターコードの表示による演奏支援が行われる形態となっている。楽曲の再生時、モニター４１には、歌唱を支援するための歌詞表示欄６５が表示される。歌詞表示欄６５には、楽曲の再生進行に同期して歌詞情報が表示される。表示された歌詞情報は、再生進行に同期した色変えが施されている。モニター４１の右上には予定コード表示欄６２が設けられている。これは、今後、演奏が予定されるギターコードが時系列順に左から右に表示されている。予定コード表示欄６２の下には、コードタイミング表示欄６３が設けられている。コードタイミング表示欄６３の左には、現在演奏すべき現在コード６３ａが位置している。タイミングバー６３ｂは、コードタイミング表示欄６３中を右から左にスクロールする。タイミングバー６３ｂが現在コード６３ａを通過するときが、現在コード６３ａに表示されるギターコードの演奏タイミングである。
【００３４】
タイミングバー６３ｂが現在コード６３ａを通過し終え、現在コード６３ａの演奏タイミングが終了すると、予定コード表示欄６２の一番左に位置する予定コードが、現在コード６３ａの位置にスクロールして、次の現在コード７３ａとなる。予定コード表示欄６２内では、一番左に位置する予定コードが無くなったことで、全体が左方向にスライドし、一番右には新たな予定コードが加えられる。さらに、モニター左側には、外部楽器４４ｃ（ギター）の指板上の運指が表示されている。一番上には、現在運指６４ａが表示され、現在、演奏すべきコードの運指が示されている。現在運指６４ａの下方には、次運指６４ｂ、次々運指６４ｃが表示されている。現在コード６３ａの演奏タイミングが終了する毎に、現在運指６４ａ〜次々運指６４ｃは上にスクロールしていく。ユーザーは、予定コード表示欄６２、コードタイミング表示欄６３、現在運指６４ａ〜次々運指６４ｃを参照して、外部楽器４４ｃを演奏することができる。
【００３５】
さらに、モニター４１の左上には現在採点値（評価値）が表示されている。現在採点値は、外部楽器４４ｃの演奏に対する評価値であって、外部楽器４４ｃから出力された演奏音情報と、演奏評価情報中の現在演奏すべきコード（コードタイミング表示欄６３中、タイミングバー６３ｂが重畳している現在コード６３ａ）とを対比して、適切な演奏に対して加算された評価値である。
【００３６】
楽器演奏処理の期間中、ユーザーはモニター４１に表示された各種情報を参照しつつ、外部楽器４４ｃの演奏、歌唱を行うことが可能である。また、楽器演奏処理中には、外部楽器４４ｃの演奏に対する採点値（評価値）の算出が行われる。本実施形態では、外部楽器４４ｃの演奏音情報と演奏評価情報を対比することで適切な演奏が行われたか否かを判定する演奏評価処理（Ｓ２０２）が実行される。例えば、図７の例では、タイミングバー６３ｂが重畳している現在コード６３ａ（Ａ７）が適切なタイミングで演奏されたか否かが判定される。演奏評価処理（Ｓ２０２）では、現在コード６３ａが演奏されたか否か、また、その演奏タイミングに応じて評価値が算出される。
【００３７】
ところで、ギター、ベース等の外部楽器４４ｃの演奏においては、ユーザーの演奏形態（外部楽器４４ｃを演奏するユーザーの姿勢、もしくは、ユーザーの外部楽器４４ｃの持ち方）によって演奏の難易度が異なることが考えられる。例えば、ユーザーの姿勢について、ギターやベースの演奏では、ネック４５の位置が安定しないこと（例えば、ふらつく）等を理由として、座って演奏することに比較して、立って演奏することの方が難易度は高い。また、ユーザーの外部楽器４４ｃの持ち方について、立って演奏する場合、ストラップの長さによって難易度が変化することが考えられる。例えば、ストラップの長さが長い場合には、ストラップの長さが短い場合よりもネック４５が大きく傾く恐れが生じるため、演奏の難易度が高くなることが考えられる。さらに、ユーザーの外部楽器４４ｃの持ち方について、ギター、ベース等の外部楽器４４では、ユーザーの背面で演奏するといった特殊奏法（具体的な演奏状態は後述）も行われることが考えられる。このような特殊奏法は、ユーザーの前面で弾く通常の奏法に比較して難易度は更に高くなる。本実施形態では、このようなユーザーの演奏形態を演奏評価に反映することとしている。
【００３８】
そのため、本実施形態では、カメラ４３で外部楽器４４ｃを使用するユーザーを撮像して撮像情報を取得し（Ｓ２０３）、ユーザーの演奏形態を判定する演奏形態判定処理（Ｓ２０４）を実行する。図８〜図１０は、演奏形態判定処理を説明するための模式図である。図８〜図１０中、ユーザーの様子は、頭部７１ａ、体躯７１ｂ、脚部７１ｃで示されている。また、外部楽器４４ｃにはストラップ４４ｄが設けられており、特に、立って演奏する際、ユーザーと外部楽器４４ｃを固定する。
【００３９】
図８は、立って演奏しているか、座って演奏しているかを判定するための模式図である。図８（Ａ）は座って外部楽器４４ｃ（ギター）を演奏している様子であり、図８（Ｂ）は立って外部楽器４４ｃ（ギター）を演奏している様子である。座って演奏しているか、立って演奏しているかの判定は、撮像情報中のユーザーの脚部７１ｃの状態に基づいて判定することが可能である。例えば、頭部７１ａの縦方向の長さと、脚部７１ｃの縦方向の長さを比較し、脚部７１ｃの長さが頭部７１ａの長さの所定倍以上と判定された場合、ユーザーは立って演奏していると判定することが可能である。
【００４０】
このような脚部７１ｃの状態による判定以外に、ストラップ４４ｄの状態に基づいて判定することも可能である。立って演奏する場合、図８（Ｂ）に示されるように、ストラップ４４ｄはユーザーの体躯７１ｂに固定される。一方、座って演奏する場合、図８（Ａ）に示されるように、ストラップ４４ｄは体躯７１ｂに固定されない状態、あるいは、ストラップ４４ｄを使用しないことが考えられる。特に、立って演奏する場合には、ストラップ４４ｄは体躯７１ｂに固定されるため、ぴんと張った状態となる。このようにストラップ４４ｄの状態を検出することで、立って演奏しているか、座って演奏しているかを判定することも可能である。カメラ４３では、演奏しているユーザー全体を撮像できない状況も考えられる。ストラップ４４ｄの状態を検出する方法では、少なくともユーザーの体躯７１ｂを撮像するだけで、立って演奏しているか、座って演奏しているかを判定できるため、撮像範囲が限定された中で判定する際に有利である。
【００４１】
図９は、立って演奏している場合において、外部楽器４４ｃ（ギター）の位置を示した模式図である。外部楽器４４ｃの位置は、例えば、頭部７１ａの高さを基準とした、頭部７１ａから外部楽器４４ｃのボディ位置までの距離で判定することが可能である。頭部７１ａの高さを基準とする理由は、ユーザーの立ち位置によって、撮像情報中のユーザーの大きさが変化することが考えられるためである。なお、長さの基準は、ユーザーの頭部７１ａを使用する以外に、手などユーザーの他のパーツの長さを使用する、あるいは、外部楽器４４ｃの長さを使用することも考えられる。頭部７１ａから外部楽器４４ｃのボディ位置までの距離が小の場合（図９（Ａ））には、外部楽器４４ｃの位置は高めと判定する。また、頭部７１ａから外部楽器４４ｃのボディ位置までの距離が中の場合（図９（Ｂ））には、外部楽器４４ｃの位置は普通と判定する。また、頭部７１ａから外部楽器４４ｃのボディ位置までの距離が大の場合（図９（Ｃ））には、外部楽器４４ｃの位置は低めと判定する。なお、本実施形態では、外部楽器４４ｃの位置について、
【００４２】
外部楽器４４ｃの位置判定については、ストラップ４４ｄの長さを検出することでも判定することが可能である。図９から分かるように、外部楽器４４ｃ（ギター）の位置が低くなるに従って、ストラップ４４ｄの長さが長くなることが分かる。撮像情報中、ストラップ４４ｄの長さを検出することで、外部楽器４４ｃ（ギター）の位置を判定することが可能である。この場合も頭部７１ａから外部楽器４４ｃのボディ位置までの距離で判定する場合と同様、頭部７１ａの高さ等の基準を使用してストラップ４４ｄの長さを判定することが好ましい。なお、本実施形態では、頭部７１ａから外部楽器４４ｃのボディ位置までの距離、もしくは、ストラップ４４ｄの長さを使用して直接、外部楽器４４ｃの位置を判定しているが、外部楽器４４ｃの位置とネックの傾きは関連性を有するため、ネックの傾きを使用して間接的に外部楽器４４ｃの位置を判定してもよい。例えば、図９から分かるように、頭部７１ａが同じ位置であるならば、外部楽器４４ｃのネック４５の傾き度合いが水平に近い程、外部楽器４４ｃの演奏位置（指で弦を弾く領域）は、ネック４５が立ち気味である場合と比較して、高めの位置（ユーザーから演奏位置が見やすい位置：難易度が低い位置）と判断することが可能である。
【００４３】
図１０は、外部楽器４４ｃ（ギター）の特殊奏法（背面奏法）を行っている場合の模式図である。図８、図９では、ユーザーの前面で外部楽器４４ｃを演奏している演奏形態を説明したが、図１０の背面演奏は、外部楽器４４ｃ（ギター）をユーザーの首の後ろ側に回すことで、外部楽器４４ｃ（ギター）をユーザーの背面に位置させ、ユーザーはその状態で外部楽器４４ｃ（ギター）を保持しながら演奏する、つまり、ネック４５に配置された指板や弦がユーザーの目からは見えない状態で演奏を行う演奏形態である。このような特殊奏法は、図８、図９の通常奏法と異なり更に難易度が高くなる。特殊奏法は、外部楽器４４ｃの位置について、ユーザーの体躯７１ｂと外部楽器４４ｃの前後関係等を使用して判定することが可能である。図１０に示すように外部楽器４４ｃに対してユーザーの体躯７１ｂが前に位置している場合、特殊奏法（背面奏法）を行っていると判定される。特殊奏法についてもストラップ４４ｄの長さを使用して判定してもよい。図８、図９に示す通常奏法の場合、ストラップ４４ｄはユーザーの体躯７１ｂで２分されて視認される。一方、特殊奏法（背面奏法）では、ストラップ４４ｄがユーザーの体躯７１ｂに１本にわたって視認される。撮像情報中のストラップ４４ｄの見え方の違いを使用して判定することとしてもよい。あるいは、先に説明した外部楽器４４ｃと体躯７１ｂの前後関係と、ストラップ４４ｄの状態を併用することで判定精度を向上させてもよい。
【００４４】
以上、図８〜図１０を使用して演奏形態判定処理（Ｓ２０４）で判定する演奏形態について説明を行ったが、各種演奏形態の判定は、撮像状態による判定とストラップ４４ｄを組み合わせて行うこととしてもよい。あるいは、撮像情報を使用する以外に各種センサーを使用して行うこととしてもよい。例えば、ストラップ４４ｄの状態を検出するセンサーを外部楽器４４ｃに設けることが考えられる。センサーを使用してストラップ４４ｄにかかる張力を判定することで、立って演奏しているか（張力大）、座って演奏しているか（張力小）を判定することが可能である。また、ストラップ４４ｄの長さをセンサーで判定することで、外部楽器４４ｃの位置を判定することも可能となる。
【００４５】
演奏形態判定処理（Ｓ２０４）で判定されたユーザーの演奏形態は、演奏評価処理（Ｓ２０２）で算出された評価値を補正する補正処理（Ｓ２５０）に使用される。図６は、本実施形態の補正処理を示すフロー図である。また、図１１は、補正処理の加点倍率を示す表である。補正処理では、まず、演奏形態判定処理（Ｓ２０４）の判定結果が、立って演奏しているか、座って演奏しているかが判断される（Ｓ２５１）。座って演奏していると判断された場合（Ｓ２５１：Ｎｏ）、演奏評価処理（Ｓ２０２）で判定された評価値に対する補正は行われない（Ｓ２５２）。一方、立って演奏していると判断された場合（Ｓ２５１：Ｙｅｓ）、演奏評価処理（Ｓ２０２）で判定された評価値に対して加点倍率１．２を積算する補正が行われる（Ｓ２５３）。即ち、座って演奏する場合と比較して、立って演奏する場合の方が、補正後の評価値は高くなる。
【００４６】
さらに立って演奏している場合、背面で演奏する特殊奏法で演奏しているか否かが判断される（Ｓ２５４）。背面で演奏する特殊奏法で演奏している（Ｓ２５４：Ｙｅｓ）と判断された場合、Ｓ２５３で補正された評価値に対して、さらに加点倍率１．５を積算する補正が行われる（Ｓ２５５）。
【００４７】
また、特殊奏法で演奏していない（Ｓ２５４：Ｎｏ）と判断された場合、図９で説明した外部楽器４４ｃの位置が判断される。外部楽器４４ｃの位置が高め（図９（Ａ））の場合（Ｓ２５６：高め）、補正は行われず（加点倍率１．０）、Ｓ２５３で補正された評価値が最終的な評価値となる（Ｓ２５７）。一方、外部楽器４４ｃの位置が普通（図９（Ｂ））の場合（Ｓ２５６：普通）、Ｓ２５３で補正された評価値に対して、さらに加点倍率１．１を積算する補正が行われる（Ｓ２５８）。一方、外部楽器４４ｃの位置が低め（図９（Ｃ））の場合（Ｓ２５６：低め）、Ｓ２５３で補正された評価値に対して、さらに加点倍率１．２を積算する補正が行われる（Ｓ２５９）。このように本実施形態では、外部楽器４４ｃを演奏する位置（高め、普通、低め）に応じて加点倍率を変化させた補正を行うことで、演奏形態による難易度に応じた評価値の算出を可能としている。図１１は、以上の補正処理について、各演奏形態の加点倍率をまとめた表である。補正処理（Ｓ２５０）では、難易度が高いから低い順に、加点倍率が、特殊奏法（１．５）、立って弾く（ギター位置低め：１．２＊１．２、ギター位置普通：１．２＊１．１、ギター位置高め：１．２＊１．０）、座って弾く（１．０）となるよう処理して、入力された評価値を補正して出力している。なお、補正処理では、評価値に加点倍率を積算する形態以外に、評価値に加点する等、各種形態を採用することができる。
【００４８】
補正処理（Ｓ２５０）で補正された評価値は、それまでに算出された累積評価値に累積され（Ｓ２０５）、新たな累積評価値となる。図５のフロー図において、楽曲の再生が終了するまで（Ｓ２０６：Ｙｅｓ）、Ｓ２０２〜Ｓ２０５の処理を継続して行うことで、ユーザーの演奏形態を考慮した演奏の評価（累積評価値の算出）が行われる。楽曲の再生終了後（Ｓ２０６：Ｙｅｓ）、モニター４１に演奏評価結果が表示される（Ｓ２０７）。
【００４９】
図１２は、本実施形態の演奏評価結果画面を示す図である。楽曲の再生終了後、モニター４１に表示される演奏評価結果画面には、再生した楽曲に関する楽曲関連情報として、曲名６６ａ、歌手名６６ｂ、演奏の難易度６６ｃが表示される。また演奏の評価結果として、コード評価結果６７、コード一致数６８、累積評価値６９、ミスコード一覧７０が表示される。本実施形態では、図７で説明したように外部楽器４４ｃ（ギター）のコード毎に判定を行っているため、コード単位でのコード評価結果６７が表示される。コード評価結果６７には、楽曲再生中、適切なコードが適切なタイミングで演奏された数（Ｅｘｃｅｌｌｅｎｔ）、適切なコードが適度なタイミングで演奏された数（Ｇｏｏｄ）、コードが不適切であった数（Ｂａｄ）、コードが演奏されなかった数（Ｂｌａｎｋ）、連続してＥｘｃｅｌｌｅｎｔもしくはＧｏｏｄが継続した数（Ｃｏｍｂｏ）が表示される。コード一致数６８は、コード評価結果６７中のＥｘｃｅｌｌｅｎｔとＧｏｏｄの和である。ミスコード一覧７０は、演奏できなかったコードの一覧である。
【００５０】
累積評価値６９（スキルレベル）は、図５のＳ２０５で楽曲の再生期間中に累積された累積評価値であって、楽曲を通じてのユーザーの演奏に基づく評価指標である。本実施形態では、補正処理（Ｓ２５０）が適用されており、弦楽器を持つユーザーの姿勢、もしくは、ユーザーの弦楽器の持ち方といった、ユーザーの演奏形態が反映された値となっている。このように本実施形態では、外部楽器４４ｃの演奏評価について、従来の適切な演奏音できたか否かといった評価のみならず、演奏形態による難易度を考慮した新たな観点による評価を行うことを可能としている。
【００５１】
なお、本実施形態では、各コードに対する演奏評価処理（Ｓ２０２）毎に、演奏形態判定処理（Ｓ２０４）を行うこととしているが、外部楽器４４ｃを演奏するユーザーの演奏形態は、楽曲再生中を通じて変化しないことを考慮し、楽曲再生中の何れかのタイミングで判断することとしてもよい。例えば、楽曲再生中、適宜タイミングで１〜数回、演奏形態判定処理（Ｓ２０４）を行うことが考えられる。また、本実施形態では、図１１で示すような加点倍率で補正処理を行っているが、補正処理はこのような形態に限定されるものではなく、各種形態を採用することが可能である。例えば、楽曲毎に補正処理の形態を異ならせておくこととしてもよい。例えば、楽曲情報中に補正処理に使用する演奏形態毎の加点倍率を規定しておき、当該加点倍率を使用して補正処理を行うことで、楽曲に応じた補正処理とすることが可能である。このような場合、例えば、楽曲のアーティストに似た演奏形態に高い加点倍率を設定しておくことで、アーティストに似せた演奏を行うことで高い評価値を獲得することが可能となる。
【００５２】
また、加点倍率は、楽曲の進行に対応させることとしてもよい。例えば、ある楽曲の進行上、ギターソロの部分において、背面で弾く特殊奏法を行った場合、高い評価値となるように補正することとしてもよい。前述の実施形態では、背面で弾く特殊奏法を常に行うことで高い評価値を獲得することが可能であるが、このように楽曲の進行を考慮した補正処理を行うことで、演奏形態を考慮した評価をより適切に行うことが可能となる。
【００５３】
また、本実施形態では、ユーザーの演奏形態として、ユーザーの姿勢（立っているか、座っているか）、ユーザーの外部楽器４４ｃの持ち方（外部楽器４４ｃの位置、背面で弾く特殊奏法）を判定しているが、演奏形態の対象となるユーザーの姿勢、ユーザーの外部楽器４４ｃの持ち方、及び、その判定方法は各種形態を採用することが可能である。
【００５４】
以上、本実施形態の楽曲演奏装置について、カラオケ装置２を例にとって説明したが、楽曲演奏装置としては、カラオケ装置２に限られるものではなく、電子楽器、ゲーム機などを使用した形態であってもよい。あるいは、楽曲を演奏する機能を有さない装置（撥弦楽器演奏評価装置）として実現することも可能である。あるいは、パーソナルコンピュータやゲーム機などの各種コンピュータにインストールすることで、撥弦楽器演奏評価装置と同じ機能を有する撥弦楽器演奏評価プログラムについても、本発明の範疇に属する。
【符号の説明】
【００５５】
１：リモコン装置                         ６５：歌詞表示欄
２：カラオケ装置                         ６６ａ：曲名
５：カラオケ用ホスト                     ６６ｂ：歌手名
１１：表示部                             ６６ｃ：難易度
１７：操作部                             ６７：コード評価結果
２７：メモリ                             ６８：コード一致数
２８：映像再生部                         ６９：累積評価値
３０：制御部                             ７０：ミスコード一覧
４１：モニター                           ７１：体躯
４２：スピーカー                         ７１ａ：頭部
４３：カメラ                             ７１ｂ：体躯
４４：外部楽器                           ７１ｃ：脚部
４４ｃ：外部楽器                         ７３ａ：現在コード
４４ｄ：ストラップ                       １０１：ユーザー切り替えボタン
５１：記憶部                             １０２：ゲストボタン
５２：音響制御部                         １０３：ログインユーザー欄
６２：予定コード表示欄                   １０３ａ〜１０３ｅ：分身像
６３：コードタイミング表示欄             １０３ｅ：アクティブユーザー
６３ａ：現在コード                       １０５：オプション設定欄
６３ｂ：タイミングバー                   １０６：予約ボタン
６４ａ：現在運指                         １１０：アクセスポイント
６４ｂ：次運指                           １２０：ルータ
６４ｃ：次々運指
【図１】
0006705167.tif 000002
【図２】
0006705167.tif 000003
【図３】
0006705167.tif 000004
【図４】
0006705167.tif 000005
【図５】
0006705167.tif 000006
【図６】
0006705167.tif 000007
【図７】
0006705167.tif 000008
【図８】
0006705167.tif 000009
【図９】
0006705167.tif 000010
【図１０】
0006705167.tif 000011
【図１１】
0006705167.tif 000012
【図１２】
0006705167.tif 000013