(57)【特許請求の範囲】
【請求項１】
演奏者の演奏動作に応じて楽器から発せられる演奏音を表す第１の信号と前記演奏者の身体状態を表す第２の信号とを取得する信号取得手段と、
前記第１の信号から演奏動作の為されたタイミングを特定する特定手段と、
前記特定手段により特定されたタイミングを含む時間区間における前記第１の信号の波形の特徴量と前記第２の信号の波形の特徴量とを比較し、比較結果に応じた信号を生成する比較手段と、
を有することを特徴とする信号処理装置。
【請求項２】
前記比較手段により生成された信号に応じた報知を行う報知手段を有することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記比較手段により生成された比較結果に応じた信号に基づいて、演奏音の音量を調整する調整手段を有することを特徴とする請求項１または請求項２に記載の信号処理装置。
【請求項４】
演奏者の演奏動作に応じて楽器から発せられる演奏音を検出し当該演奏音を表す第１の信号を出力する第１のセンサと、
演奏動作を検出し前記演奏者の身体状態を表す第２の信号を出力する第２のセンサと、
前記第１および第２のセンサの各々の出力信号を取得する信号取得手段を有する信号処理装置と、を有し、
前記信号処理装置は、
前記第１の信号から演奏動作の為されたタイミングを特定する特定手段と、
前記特定手段により特定されたタイミングを含む時間区間における前記第１の信号の波形の特徴量と前記第２の信号の波形の特徴量とを比較し、比較結果に応じた信号を生成する比較手段と、を有する
ことを特徴とする楽器演奏の評価のための信号処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、楽器演奏を評価する技術に関する。
【背景技術】
【０００２】
楽器演奏の上達には、客観的な評価の元に苦手とする演奏パートや演奏法の練習を繰り返すことが重要であり、特許文献１には、このような演奏練習を可能にする演奏評価装置の発明が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１５７０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
楽器演奏の評価では、演奏音の良否で評価が下されることが一般的であり、この点は特許文献１に開示の技術も同様である。しかし、演奏音による評価のみでは不十分な場合がある。その理由は、以下の通りである。一般に演奏の良否は演奏者の身体の姿勢や身体の動き、力の入り具合（以下、姿勢、動きおよび力の入り具合をまとめて「身体状態」と呼ぶ）にも依存することが知られており、脱力した状態で演奏することが理想とされている。演奏音の良否のみで評価を下したのでは、不適切な身体状態での演奏であったとしても、演奏音が一定の水準を超えていれば良好な演奏であるとの評価が下され、姿勢等を矯正すればより高いレベルへの向上が見込めるような場合であっても、その向上の芽を摘んでしまう虞があるからである。このような不具合を回避するには、楽器を演奏中の演奏者の身体状態を評価できることが望ましいが、従来このような技術はなかった。
【０００５】
本発明は上記課題に鑑みて為されたものであり、楽器を演奏中の演奏者の身体状態の評価を可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明は、演奏者の演奏動作に応じて楽器から発せられる演奏音を表す第１の信号と前記演奏者の身体状態を表す第２の信号とを取得する信号取得手段と、前記第１の信号から演奏動作の為されたタイミングを特定する特定手段と、前記特定手段により特定されたタイミングを含む時間区間における前記第１の信号の波形の特徴量と前記第２の信号の波形の特徴量とを比較し、比較結果に応じた信号を生成する比較手段と、を有することを特徴とする信号処理装置を提供する。
【０００７】
本発明によれば、上記第１および第２の信号の波形の特徴量（ピークの高さ、ピークとなるタイミング、ピークとなるまでの傾斜、半値幅など）の比較により楽器を演奏中の演奏者の身体状態が客観的に評価される。前記比較手段により生成した信号に応じた報知を行う報知手段を設けるようにすれば、当該報知手段による報知内容を通じて身体状態の良否を演奏者に把握させつつ演奏練習を行わせることが可能になる。また、別の好ましい態様においては、上記比較手段により生成された信号を第１の信号と対応付けて記憶する記憶手段を設けても良い。このような態様によれば、記憶手段の記憶内容を通じて、楽曲を演奏し終えた後に、演奏中の身体状態の時間変化を演奏者に把握させることが可能になる。
【０００８】
上記信号取得手段の具体例としては、演奏者の演奏動作に応じて楽器から発せられる演奏音を検出し当該演奏音を表す第１の信号を出力する第１のセンサと演奏動作を検出し当該演奏者の身体状態を表す第２の信号を出力する第２のセンサとが接続される外部機器インタフェース（以下、Ｉ／Ｆ）部が挙げられる。したがって、当該外部機器Ｉ／Ｆ部と上記特定手段と上記比較手段とを有する信号処理装置の上記外部機器Ｉ／Ｆ部に上記第１および第２のセンサを接続して楽器演奏の評価のための信号処理システムを構築しても良い。また、上記外部機器Ｉ／Ｆ部と当該外部機器Ｉ／Ｆ部に接続された第１および第２のセンサとにより上記信号取得手段を構成しても良い。
【０００９】
より好ましい態様においては、上記信号処理装置は、前記比較手段により生成された比較結果に応じた信号に基づいて、演奏音の音量を調整する調整手段を有することを特徴とする。調整手段による音量の調整態様の具体例としては、演奏動作の大きさに比較して音量が低い場合には音量を補填する（増加させる）一方、演奏動作の大きさに比較して音量が高い場合には音量を抑制する（低減させる）態様が考えられる。このような態様によれば、演奏者の疲労や演奏技術の未熟さにより十分に大きな動作で演奏を行っているにも拘らず演奏音の音量が不足するような場合に演奏音の音量を補填するなどの演奏補助を行うことができる。
【００１０】
また、上記課題を解決するために本発明は、ＣＰＵ（Central Processing Unit）などのコンピュータを、演奏者の演奏動作に応じて楽器から発せられる演奏音を検出し当該演奏音を表す第１の信号を出力する第１のセンサの出力信号から演奏動作の為されたタイミングを特定する特定手段と、前記特定手段により特定されたタイミングを含む時間区間における前記第１の信号の波形の特徴量と前記演奏者の身体状態を検出しその身体状態を表す第２の信号を出力する第２のセンサの出力信号の前記時間区間における波形の特徴量とを比較し、比較結果に応じた信号を生成する比較手段として機能させることを特徴とするプログラム、を提供する。このようなプログラムにしたがって一般的なコンピュータを作動させることで、当該コンピュータを本発明の信号処理装置として機能させることができる。なお、このようなプログラムの具体的な配布態様としては、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）やＤＶＤ（Digital Versatile Disc）などのコンピュータ読み取り可能な記録媒体に書き込んで配布する態様や、インターネットなどの電気通信回線経由のダウンロードにより配布しても良い。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態の信号処理システムの構成例を示すブロック図である。
【図２】同システムに含まれる信号処理装置１０の制御部１００が信号処理プログラム１３４ａにしたがって実行する処理の流れを示すフローチャートである。
【図３】同実施形態の動作を説明するための図である。
【図４】本発明の第２実施形態の信号処理システムの構成例を示すブロック図である。
【図５】同実施形態の動作を説明するための図である。
【図６】本発明の第３実施形態の信号処理システムの構成例を示すブロック図である。
【図７】同実施形態の動作を説明するための図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しつつ、本発明の実施形態について説明する。
（Ａ：第１実施形態）
図１は、本発明の第１実施形態の信号処理システムの構成例を示す図である。
この信号処理システムは、楽器演奏の評価のためのシステムであり、より正確には、楽器を演奏中の演奏者の身体状態の評価を可能にするシステムである。図１に示すように、この信号処理システムは、２つのセンサ（本実施形態では、センサ２０およびセンサ３０Ａ）と、これら２つのセンサに接続された信号処理装置１０とを含んでいる。
【００１３】
本実施形態では、演奏対象の楽器はアコースティックドラム（図１では図示略）である。センサ２０は、演奏者の演奏動作に応じて上記演奏対象の楽器から発せられる演奏音を検出し、当該演奏音を表す第１の信号（本実施形態では、当該演奏音の時間波形を示すデジタル信号）を出力するセンサである。なお、センサ２０の出力信号がアナログ信号である場合にはＡ／Ｄ変換器を介してセンサ２０を信号処理装置１０に接続すれば良い。本実施形態では、センサ２０として、演奏対象の楽器の近傍に配置されたマイクロフォンが採用されている。これに対して、センサ３０Ａは、演奏者の演奏動作に応じて当該演奏者の身体状態を表すデジタル信号（以下、第２の信号）を出力するセンサである。本実施形態では、センサ３０Ａとして、演奏者の腕（スティック等を持つ腕）に巻きつけられ、当該腕の筋肉の径の変化（すなわち、筋肉の張）に応じた信号を出力する歪みセンサが採用されている。センサ３０Ａについても、その出力がアナログ信号である場合にはＡ／Ｄ変換器を介して信号処理装置１０に接続するようにすれば良い。
【００１４】
信号処理装置１０は、例えばパーソナルコンピュータであり、演奏対象の楽器を演奏中の演奏者（信号処理装置１０のユーザ）の身体状態の評価を行い、その評価結果を報知する処理を行う。信号処理装置１０は、図１に示すように、制御部１００、ユーザＩ／Ｆ部１１０、外部機器Ｉ／Ｆ部１２０、記憶部１３０、およびこれら構成要素間のデータ授受を仲介するバス１４０を有している。
【００１５】
制御部１００は例えばＣＰＵである。制御部１００は、記憶部１３０（より正確には不揮発性記憶部１３４）に記憶されている信号処理プログラム１３４ａを実行することにより信号処理装置１０の制御中枢として機能する。制御部１００が信号処理プログラム１３４ａにしたがって実行する処理の詳細については後に明らかにする。
【００１６】
ユーザＩ／Ｆ部１１０は、操作部と表示部とを含んでいる（図１では、何れも図示略）。操作部は、テンキーやカーソルキーを備えたキーボードである。操作部は、各種キーの押下などの入力操作がユーザによって為されるとその操作内容を表すデータを制御部１００に与える。これによりユーザの操作内容が制御部１００に伝達される。表示部は例えば液晶ディスプレイ装置である。表示部には、制御部１００による制御の下、各種画面が表示される。表示部に表示される画面の一例としては、信号処理装置１０の使用を促すメニュー画面や演奏動作についての評価結果をユーザに報知するための画面が挙げられる。
【００１７】
外部機器Ｉ／Ｆ部１２０は、ＵＳＢ（Universal Serial Bus）インタフェースやパラレルインタフェースなど、各種外部機器を接続するためのインタフェースの集合体である。本実施形態では、センサ２０およびセンサ３０Ａの各々は信号線を介して外部機器Ｉ／Ｆ部１２０に接続される。センサ２０および３０Ａの各々の出力信号は外部機器Ｉ／Ｆ部１２０を介して信号処理装置１０に入力される。つまり、外部機器Ｉ／Ｆ部１２０は、センサ２０およびセンサ３０Ａの各々の出力信号を取得する信号取得手段の役割を果たす。
【００１８】
記憶部１３０は、図１に示すように揮発性記憶部１３２と不揮発性記憶部１３４とを含んでいる。揮発性記憶部１３２は例えばＲＡＭ（Random Access Memory）である。揮発性記憶部１３２は、信号処理プログラム１３４ａを実行する際のワークエリアとして制御部１００によって利用される。不揮発性記憶部１３４は、例えばフラッシュＲＯＭ（Read Only Memory）やハードディスクである。不揮発性記憶部１３４には、信号処理プログラム１３４ａが格納されている。
【００１９】
制御部１００は、信号処理装置１０の電源（図示略）の投入またはリセットを契機として信号処理プログラム１３４ａを不揮発性記憶部１３４から揮発性記憶部１３２に読み出し、当該信号処理プログラム１３４ａの実行を開始する。信号処理プログラム１３４ａは、図２に示すフローチャートにおける特定処理ＳＡ１００と比較処理ＳＡ１１０とを制御部１００に実行させるプログラムである。つまり、信号処理プログラム１３４ａにしたがって作動している制御部１００は、特定処理ＳＡ１００を実行する特定手段１００ａ（図１参照）および比較処理ＳＡ１１０を実行する比較手段１００ｂ（図１参照）として機能する。これら各手段の役割（換言すれば、特定処理ＳＡ１００および比較処理ＳＡ１１０の処理内容）は以下の通りである。
【００２０】
特定手段１００ａは、信号取得手段（外部機器Ｉ／Ｆ部１２０）により取得された第１の信号（すなわち、センサ２０の出力信号）を解析して演奏動作の為されたタイミング（以下、演奏タイミング）を特定する。特定手段１００ａにおける演奏タイミングの特定態様については種々の態様が考えられる。例えば、第１の信号のエンベロープ（包絡線）の振幅が第１の閾値未満である場合を無音状態とし、当該振幅が当該第１の閾値以上となった時刻を演奏タイミングとする態様や、上記エンベロープがピークとなった時刻（すなわち、上記エンベロープの振幅が増加から減少に転じた時刻）を演奏タイミングとする態様が考えられる。なお、第１の信号のエンベロープの算出アルゴリズムについては、ローパスフィルタ処理などの既存のアルゴリズムを用いれば良く、上記第１の閾値やローパスフィルタ処理におけるカットオフ周波数については、演奏対象の楽器の音域等に応じて定めるようにすれば良い。
【００２１】
比較手段１００ｂは、特定手段１００ａにより特定された演奏タイミングを含む所定時間長の時間区間（当該演奏タイミングを始点または終点とする区間、或いは当該演奏タイミングを中点とするなど当該演奏タイミングを内包する時間区間）における第１の信号の波形の特徴量と第２の信号の波形の特徴量とを比較し、その比較結果を示す信号（以下、比較結果信号）を生成する。ここで比較対象の特徴量としてどのようなものを用いるかなど、比較手段１００ｂにおける比較態様については種々の態様が考えられる。具体的には、以下の（ａ）〜（ｄ）の各態様が挙げられる。
【００２２】
（ａ）第１に、上記時間区間内の各時刻における第１の信号の振幅と第２の信号の振幅を上記特徴量とし、両者の比（第１の信号の振幅を第２の信号の振幅で除した値）を算出して所定の閾値と比較する態様が考えられる。本実施形態では、この態様（ａ）が採用されている。本実施形態の比較手段１００ｂは、第１の信号の振幅と第２の信号の振幅の比が上記閾値を上回っている場合には値が１の比較結果信号を生成し、上記閾値以下である場合には値が０の比較結果信号を生成する。そして、制御部１００は、値が０の比較結果信号が上記比較手段により生成された場合には、力んでいる（或いは疲れている）旨を演奏者に報知するメッセージ（或いはリラックスを促すメッセージ）を表示部に表示させる一方、値が１の比較結果信号が生成された場合にはメッセージの表示を行わない。つまり、制御部１００は比較手段１００ｂにより生成された比較結果信号に応じた報知を行う報知手段としても機能する。
【００２３】
第１の信号の振幅と第２の信号の振幅の比が上記閾値以下となる要因としては演奏音の音量が小さい割に演奏者の筋肉が張っていることが挙げられる。そして、筋肉の張の原因としては力みや疲労が考えられる。このため本実施形態では、第１の信号の振幅と第２の信号の振幅の比が上記閾値以下となっている場合に、リラックスを促すメッセージ等の出力が行われるのである。なお、上記閾値の具体的な値については適宜実験を行って定めるようにすれば良い。また、値が０の比較結果信号が生成された場合にメッセージ出力を行うのではなく、値が１の比較結果信号が生成された場合にメッセージ出力（例えば、演奏音が必要以上に大きいことを報知するメッセージの出力）を行うようにしても良い。
【００２４】
（ｂ）比較手段１００ｂにおける比較態様の第２の具体例としては、第１の信号がピークとなった時刻と第２の信号がピークとなった時刻を比較対象の特徴量とし、両者の時間差（後者に対する前者の遅れ）を所定の閾値と比較してその比較結果に応じた比較結果信号を生成する態様が挙げられる。具体的には比較手段１００ｂは、上記時間差が所定の閾値を上回っている場合には値が１の比較結果信号を生成し、上記時間差が所定の閾値以下であれば値が０の比較結果信号を生成する。この態様において値が１の比較結果信号が生成された場合には、制御部１００は、筋肉の動きに対して発音が遅れていること（すなわち、演奏の効率が悪いこと）を報知するメッセージを表示部に表示させる。本態様における閾値の具体的な値についても適宜実験を行って定めるようにすれば良い。
【００２５】
（ｃ）比較手段１００ｂにおける比較態様の第３の具体例としては、第１の信号の傾斜（第１の信号の振幅がピークに達するまでの当該第１の信号の振幅についての時間勾配）と第２の信号の傾斜を比較対象の特徴量とし、両者の比（すなわち、前者を後者で除した値）を所定の閾値と比較してその比較結果に応じた比較結果信号を生成する態様が挙げられる。この態様においても、比較手段１００ｂは、上記比が所定の閾値を上回っている場合には値が１の比較結果信号を生成し、上記比が所定の閾値以下であれば値が０の比較結果信号を生成する。本態様における閾値の具体的な値についても適宜実験を行って定めるようにすれば良い。
【００２６】
上記比が大きくなる要因としては、演奏音のメリハリに比較して演奏動作のメリハリが欠けること（すなわち、演奏動作がシャープさに欠け、鈍っていること）が挙げられる。また、上記比が小さくなる要因としては、楽器そのものの調整ができていないなど楽器に不具合があることが想定される。そこで、本態様において値が１の比較結果信号が生成された場合に演奏動作が鈍っていることを報知するメッセージを表示部に表示させる処理を制御部１００に実行させるようにしても良く、逆に、値が０の比較結果信号が生成された場合に楽器の不具合を報知するメッセージを表示部に表示させる処理を制御部１００に実行させても良い。なお、演奏音のメリハリと演奏動作のメリハリの比較評価の他の態様としては、信号の傾斜に代えて信号の半値幅（信号の振幅値がピーク値の半分となった時から、ピークとなって、再び振幅値がピーク値の半分へ戻るまでの時間間隔）を用いる態様や、波形の面積（ピーク値付近の面積、具体的には、ピークを挟む所定時間の面積、或いはピーク直前の所定時間の面積）を用いる態様が考えられる。
【００２７】
（ｄ）上記（ａ）〜（ｃ）の各態様では、第１の信号の波形と第２の信号の波形を時間軸上で比較したが、両信号の波形の比較を周波数軸で行っても勿論良い。例えば、周波数帯域を区切って（例えば低域だけに区切って)、ピーク値、傾斜、面積等を比較するといった具合である。演奏対象の楽器がバスドラムとスネアドラムとを含むドラムセットである場合、演奏音の音高を特定できれば演奏動作を推測できるので、演奏動作についての推測結果から閾値、分析帯域等を変化させるようにしても良い。バスドラムとスネアドラムとでは演奏動作が大きく異なるので、各々に適した比較評価態様（或いは閾値）を採用することが好ましいからである。また、演奏者の身体の複数の箇所にセンサ３０Ａを装着し、演奏動作に関連する部位（スネアドラムに対する演奏動作であると推測された場合には腕、バスドラムに対する演奏動作であると推測された場合には脚など）に装着されたセンサ３０Ａの出力信号の波形と演奏音の波形との比較を行うようにしても良い。また、演奏動作とは無関係な部位に装着されたセンサ３０Ａの出力波形を評価対象とし、演奏動作とは無関係な部位に余分な力が入っていないかを評価するようにしても良い。
以上が信号処理装置１０の構成である。
【００２８】
図３（Ａ）は、本実施形態の動作例を示す図である。前述したように、本実施形態における演奏対象の楽器はアコースティックドラムであり、当該アコースティックドラムに対する演奏動作（すなわち、スティック等によるヘッドの打撃）が為されると、その演奏音がセンサ２０によって検出される。特定手段１００ａは、信号取得手段により取得した第１の信号（センサ２０の出力信号）から演奏タイミングを特定し、比較手段１００ｂは、演奏タイミングを含む所定時間長の時間区間における第１の信号の波形の特徴量と第２の信号の波形の特徴量とを比較し、比較結果信号を生成する。
【００２９】
前述したように本実施形態では、比較手段１００ｂにおける比較態様として（ａ）の態様が採用されており、制御部１００は、値が０の比較結果信号が比較手段１００ｂにより生成された場合に、力んでいる旨等を報知するメッセージ（或いはリラックスを促すメッセージ）を表示部に表示させる。演奏者は、このメッセージを視認することで、無意識のうちに力んでいること（或いは疲労していること）を把握し、リラックスを心がけるなど身体状態をより好ましい状態にすることができる。なお、上記メッセージの出力に加えて（或いは、メッセージの出力に代えて）、第１の信号と第２の信号の波形を時間軸を揃えて表示部に表示させても良く、この場合、図３（Ｂ）に示すように、各波形を各々のピーク値で正規化して（すなわち、ピーク値が１などの所定値となるように各波形の振幅を調整して）表示部に表示させても良い。演奏タイミングの前後において、どのように筋肉の張り具合が変化しているかを表示することでインパクトの瞬間にだけ力がはいっているか、緊張して力がはいっていないか、疲れていないかを視覚を通じて演奏者に把握させることが可能になるからである。
【００３０】
本実施形態では、演奏者の演奏動作に応じて演奏対象の楽器から発せられる演奏音を検出し、その演奏音の時間波形を示す信号を出力する第１のセンサとして、マイクロフォンを用いたがその楽器の発音機構（打楽器であればヘッド、弦楽器であれば弦）の振動を検出する振動センサを用いても良い。また、演奏対象の楽器が電子楽器であれば、その電子楽器に搭載されたキースイッチ（感圧センサなど）を用いた速度センサを上記演奏音検出用のセンサとして用い、当該センサに割り当てられたノート番号および当該センサの出力するベロシティ値を、演奏音を表す信号として用いても良い。また、演奏対象の楽器がアコースティックピアノであれば、光学式センサによる速度センサ（グレースケール板にレーザを透過させる）等を演奏音検出用のセンサとして用いることが考えられる。演奏動作に応じて演奏者の身体状態を示す第２の信号を出力する第２のセンサについても同様に、演奏者の腕の筋肉の張を検出する歪みセンサに代えて、演奏者の腕の加速度を検出する加速度センサや、スティック等に内蔵された加速度センサ、又は衝撃センサを用いても良く、演奏者の姿勢やその変化を検出するために演奏者の身体の１または複数の部位に装着されるジャイロセンサであっても良い。
【００３１】
このように本実施形態によれば、楽器を演奏中の演奏者の身体状態（筋肉の張として現れる疲労や緊張）の評価を行い、適切な身体状態で演奏できているかを評価することが可能になる。
【００３２】
（Ｂ：第２実施形態）
図４は、本発明の第２実施形態の信号処理システムの構成例を示す図である。
本実施形態における演奏対象の楽器は第１実施形態と同様にアコースティックドラムである。図４と図１とを対比すれば明らかなように、本実施形態では、センサ３０Ａに代えてセンサ３０Ｂが信号処理装置１０の外部機器Ｉ／Ｆ部１２０に接続されており、この点が第１実施形態と異なる。センサ３０Ｂは、第１実施形態におけるセンサ３０Ａと同様に、上記アコースティックドラムに対する演奏動作に応じて演奏者の身体状態を表す第２の信号を出力するセンサである。センサ３０Ｂは、上記アコースティックドラムのヘッドを打撃するためのスティックに内蔵された加速度センサである。
【００３３】
演奏対象の楽器（アコースティックドラム）に対して演奏動作（すなわち、スティックによるヘッドの打撃）が為されると、その演奏音がセンサ２０によって検出される。特定手段１００ａは、第１の信号（センサ２０の出力信号）から演奏タイミングを特定し、比較手段１００ｂは、演奏タイミングを含む所定時間長の時間区間における第１の信号の波形の特徴量と第２の信号の波形の特徴量とを比較して比較結果信号を生成する。制御部１００は、比較結果信号に応じた報知（例えば、メッセージ出力）を行うとともに、第１の信号および第２の信号の波形を表示部に表示させる。
【００３４】
図５は、表示部に表示される第１の信号および第２の信号の波形の一例を示す図である。なお、図５では鉛直下向きの加速度を正の加速度としている。図５に示すように、スティックの加速度は打撃直後に反転する。ドラム演奏の良し悪しを評価する１つの観点として、打撃前後のスティックの動きが挙げられる。例えば、スティックのリバウンドを最大限に利用する演奏（すなわち、打撃前後の加速度の山の高さと谷の深さがほぼ等しくなるような演奏）は、脱力の観点から良いとされている。本実施形態によれば、演奏タイミング前後のスティックの加速度の大きさを視覚化することで上記評価を行い易くなる。また、演奏者は演奏タイミング前後のスティックの加速度の大きさを視覚を通じて把握することで、自身の身体状態を把握することができる。
【００３５】
このように本実施形態によっても、前述した第１実施形態と同様に、楽器を演奏中の演奏者の身体状態の評価を行うことが可能になる。なお、スティックの加速度の大きさ（絶対値）は、打撃後のほうが大きい場合もあるので、打撃前後の加速度の絶対値を比較することで打撃の仕方を解析するようにしても良い。また、本実施形態では、演奏者の身体状態を検出するためのセンサ（演奏動作に伴ってスティックに生じる加速度を検出するためのセンサ）としてスティックに内蔵された加速度センサを用いたが、演奏者の手首や手の甲等に装着される加速度センサを用いても勿論良い。
【００３６】
（Ｃ：第３実施形態）
図６は、本発明の第３実施形態の信号処理システムの構成例を示す図である。
図６と図１とを対比すれば明らかなように、本実施形態では、センサ２０およびセンサ３０Ａの他に調整手段４０が信号処理装置１０の外部機器Ｉ／Ｆ部１２０に接続されており、この点が第１実施形態と異なる。調整手段４０は、演奏動作の大きさと演奏音の音量が釣り合ってないこと（具体的には演奏動作の大きさの割に演奏音の音量が低いこと、或いはその逆）を示す比較結果信号を比較手段１００ｂから受け取ったことを契機として、以降の演奏音の音量を調整する。例えば、演奏動作の大きさに比較して音量が低い場合には調整手段４０は演奏音の音量を増加させ、逆に、演奏動作の大きさに比較して音量が高い場合には調整手段４０は演奏音の音量を低減させる、といった具合である。なお、演奏音を増加（或いは低減）させる際の調整量については、適宜実験等を行って定めるようにすれば良い。
【００３７】
調整手段４０としてどのようなものを用いるかについては、演奏対象の楽器に応じて定めれば良い。例えば演奏対象の楽器がアコースティックピアノである場合には、ハンマーの動きを補填或いは抑制するアクチュエータや、響板の振動を補填或いは抑圧するアクチュエータを調整手段４０として用いるようにすれば良い。また、演奏対象の楽器がＭＩＤＩ音源などの電子音源を利用した電子楽器である場合には、当該電子音源から出力されるオーディオ信号の振幅を増幅或いは抑制するアンプを調整手段４０として用いるようにすれば良い。以下、演奏対象の楽器がアコースティックピアノであり、調整手段４０が響板の振動を補填或いは抑制するアクチュエータであるとともに、比較手段１００ｂにおける比較態様として（ａ）の態様が採用されている場合を例にとって、本実施形態の動作を説明する。
【００３８】
演奏対象の楽器に対して演奏動作（すなわち、鍵の押下）が為されると、その演奏操作に応じて放射された音がセンサ２０によって検出される。特定手段１００ａは、第１の信号（センサ２０の出力信号）を解析して演奏タイミングを特定し、比較手段１００ｂは、演奏タイミングを含む所定時間長の時間区間における第１の信号の波形の特徴量と第２の信号の波形の特徴量とを比較して比較結果信号を生成する。本実施形態では比較手段１００ｂにおける比較態様として、第１実施形態と同様に（ａ）の態様が採用されている。一般に、「演奏音の音量」と「歪みセンサによる検出出力」の比（前者を後者で除した値）は、演奏者が疲労することで徐々に小さい方へシフトする等、長い演奏の間で徐々に変化すると考えられる。したがって、上記比較結果信号の値は演奏開始当初は１で、演奏の継続に伴って何れかのタイミングで０に変化すると考えられる。
【００３９】
比較結果信号の値が１から０に変化すると、制御部１００は、演奏者の身体に加わった力の大きさの割に演奏音の音量が小さいと判定し、以降の演奏音の音量を補填するように調整手段４０の作動制御を行う。このような音量の補填と並列に、制御部１００は、疲労が見受けられることを報知するメッセージを表示部に表示させても良い。演奏者の疲労により充分な音量が得られていないと考えられるからである。なお、演奏技術の未熟さや演奏者の非力さ等に起因して演奏者が指先の関節を充分に固めることができない場合も同様の現象が発生するので、演奏技術の未熟さや演奏者の非力さを指摘するメッセージを出力するようにしても良く、また、図７に示すように打鍵強度を示すグラフを表示部に表示させても良い。なお、演奏の音量が高くなってきた場合（演奏者の演奏が復帰してきた場合）には、演奏音の補填を停止するように調整手段４０の作動制御を行えば良いことは言うまでもない。また、ユーザＩ／Ｆ部１１０に対する操作（以下、停止指示操作）に応じて、調整手段４０による調整を停止しても良い。このような停止指示操作を行う前後の音量を比較することで、演奏者は自身の疲労（或いは未熟さ）を把握することができるからである。
【００４０】
このように本実施形態によれば、楽器を演奏中の演奏者の身体状態を評価することが可能になるとともに、その評価結果に応じた演奏補助を行うことが可能になる。本実施形態では、楽器を演奏中の演奏者の身体状態の評価結果に応じて演奏音の音量を補填する場合について説明した。しかし、演奏対象の楽器が電子楽器である場合には、アタック感が少ない場合にアタック感を高める（或いはアタック感が過剰である場合にアタック感を弱める）調整を調整手段４０に行わせても良い。具体的には、調整手段４０として、演奏操作に応じて生成されたベロシティ値を比較手段１００ｂの出力信号に応じてより大きな値（或いは小さな値）に補正する手段を用いるようにすれば良い。
【００４１】
（Ｃ：変形）
以上本発明の各実施形態について説明したが、これら実施形態に以下の変形を加えても勿論良い。
（１）上記各実施形態の信号処理装置１０はユーザＩ／Ｆ部１１０を有していたが、ユーザＩ／Ｆ部１１０の役割を果たす入力装置や表示装置を外部機器Ｉ／Ｆ部１２０に接続し、ユーザＩ／Ｆ部１１０を省略しても良い。また、上記各実施形態では、演奏者の演奏動作に応じて楽器から発せられる演奏音を検出し当該演奏音を表す第１の信号を出力する第１のセンサ（センサ２０）と、演奏者の演奏動作に応じて当該演奏者の身体状態を表す第２の信号を出力する第２のセンサ（センサ３０Ａ或いはセンサ３０Ｂ）とが各々信号線を介して信号処理装置１０に接続されていた。しかし、外部機器Ｉ／Ｆ部１２０に代えてＮＩＣ（Network Interface Card）などの通信Ｉ／Ｆ部を信号取得手段として用い、この信号取得手段をインターネットなどの電気通信回線に接続しておくとともに、第１および第２のセンサを当該電気通信回線に接続しておいても良い。つまり、電気通信回線経由で第１および第２のセンサの出力信号を信号処理装置１０に入力するようにしても良い。この場合、比較手段１００ｂにより生成された比較結果信号を上記電気通信回線を介して他の表示装置へ送信し、その表示装置に評価画面を表示させても良い。このような態様によれば、楽器の演奏者の身体状態の評価を電気通信回線経由で行うＡＳＰ（Application Service Provider）方式のサービスを提供することが可能になる。なお、上記電気通信回線は有線の通信回線に限られず、無線通信回線であっても勿論良い。
【００４２】
（２）上記各実施形態では、本発明の信号処理装置の具体例としてパーソナルコンピュータを挙げたが、第１および第２のセンサを直接（或いは電気通信回線経由）で接続可能で、かつプログラム実行機能を有するハードウェアであれば良く、具体的には家庭用ゲーム機でも良く、携帯型ゲーム機やプログラム実行機能を備えた携帯電話機（例えばスマートフォンなど）などの携帯端末であっても良い。また、上記各実施形態では、上記第１および第２のセンサと信号処理装置１０とが夫々別個のハードウェアであったが、上記第１および第２のセンサの何れか一方或いは両方と信号処理装置１０とが一体のハードウェアであっても良い。この場合、当該ハードウェアの内部Ｉ／Ｆ部（制御部と他の構成要素のデータ授受を仲介するＩ／Ｆ部）と当該内部Ｉ／Ｆ部に接続された第１および第２のセンサとが信号取得手段の役割を果たす。このようなハードウェアの具体例としては、加速度センサを備え、信号処理プログラム１３４ａがインストールされたスマートフォンが挙げられる。このようなスマートフォンを信号処理装置１０として利用する場合には、当該スマートフォンのマイクロフォンを上記第１のセンサとして用い、上記加速度センサを上記第２のセンサとして用いるようにすれば良い。
【００４３】
（３）上記第１および第２実施形態では、楽器を演奏中の演奏者の身体状態の評価を演奏者の演奏動作に応じて楽器から発せられる演奏音を表す第１の信号及び当該演奏者の身体状態を表す第２の信号の両方をリアルタイムで取得して行う場合について説明したが、第１の信号と第２の信号のどちらか一方をハードディスク等の記憶装置に記憶させておき、記憶装置に記憶されていない方の信号を演奏中にリアルタイムで取得して評価してもよい。演奏によって発せられる音や演奏時の体の使い方はユーザの癖のようになっているケースもあり、どちらか一方を予め取得しておいても本願の効果を得ることができる。具体的には、予めドラムの打音のデータを取得しておき、その打音に合わせながら演奏をし、その際の演奏者の身体状態をリアルタイムに取得して、評価は予め取得したドラムの打音のデータとリアルタイムの身体状態のデータで行うものである。予め取得していたデータを用いるので、リアルタイムでの処理の負担を軽減できる。その逆に身体状態のデータを予め取得しておいてもよい。その際には演奏のどの段階であるかをユーザへ示す指標があることが好ましい。また、第１の信号と第２の信号の両方を記憶装置に記憶させておき、演奏終了後に当該記憶装置を外部機器Ｉ／Ｆ部１２０に接続し、外部機器Ｉ／Ｆ部１２０を介して当該記憶装置から第１および第２の信号を読み出して上記身体状態の評価を行うようにしても良い。この場合、第１の信号と第２の信号を同時に取得してもよいし、別々に取得してもよい。上述のように、ユーザの演奏には癖があることもあり、別々に取得しても評価をすることも可能である。このような態様では、外部機器Ｉ／Ｆ部１２０は、第１および第２の信号を記憶装置から取得する信号取得手段の役割を果たす。また、上記の要領で記憶装置に記憶された第１の信号を音として再生する際の音量調整に上記第３実施形態を利用することも勿論可能である。この場合、第１の信号を音として再生する際に当該第１の信号を増幅するアンプが調整手段４０の役割を果たす。
【００４４】
（４）上記各実施形態では、制御部１００を特定手段１００ａおよび比較手段１００ｂとして機能させる信号処理プログラム１３４ａ（すなわち、図２に示すフローチャートにしたがって特定処理ＳＡ１００と比較処理ＳＡ１１０をＣＰＵなどのコンピュータに実行させるプログラム）が信号処理装置１０の不揮発性記憶部１３４に予め記憶されていた。しかし、ＣＤ−ＲＯＭやＤＶＤなどのコンピュータ読み取り可能な記録媒体に上記信号処理プログラムを書き込んで配布しても良く、インターネットなどの電気通信回線経由のダウンロードにより上記信号処理プログラムを配布しても良い。このようにして配布されるプログラムにしたがって一般的なコンピュータを作動させることで当該コンピュータを上記各実施形態の信号処理装置１０として機能させることが可能になるからである。例えば、マイクロフォンと加速度センサとを有するスマートフォン向けのアプリケーションプログラムとして上記信号処理プログラム１３４ａを配布すれば、マイクロフォンを上記第１のセンサ、加速度センサを上記第２のセンサとして用いるとともに、当該スマートフォンの制御部を上記アプリケーションプログラムにしたがって作動させることで当該スマートフォンを本発明の信号処理装置として機能させることができる。
【００４５】
（５）上記各実施形態では本発明の信号処理装置に特有な各手段（特定手段および比較手段）をソフトウェアモジュールで実現したが、これら各手段を電子回路などのハードウェアモジュールで実現しても勿論良い。
【符号の説明】
【００４６】
１０…信号処理装置、１００…制御部、１１０…ユーザＩ／Ｆ部、１２０…外部機器Ｉ／Ｆ部、１３０…記憶部、１３２…揮発性記憶部、１３４…不揮発性記憶部、１４０…バス、２０、３０Ａ、３０Ｂ…センサ、４０…調整手段。
【図１】
0006443093.tif 000002
【図２】
0006443093.tif 000003
【図３】
0006443093.tif 000004
【図４】
0006443093.tif 000005
【図５】
0006443093.tif 000006
【図６】
0006443093.tif 000007
【図７】
0006443093.tif 000008