(57)【要約】【課題】間違った演奏をしてしまうときの演奏パターンを演奏者に伝える。【解決手段】あらゆる演奏パターンごとに間違い回数をカウントした場合において、予め決められた閾値以上の間違い回数が発生した演奏パターンは、演奏者にとって間違いやすい演奏パターンであると言える。例えば閾値を３として図５（Ａ）の例で考えた場合、図５（Ａ）上段の演奏番号ｘ〜ｘ+２における演奏パターンは間違い回数が閾値以上なので間違いやすいと言えるが、図５（Ａ）下段の演奏番号ｙ〜ｙ+２における演奏パターンの間違い回数は閾値未満なので間違いやすいとは言えない。そして、上段と下段を比較すると、演奏パターンとしての違いはＤ→Ａの移弦か、Ｄ→Ｇの移弦かという違いしかないので、Ｄ→Ａの移弦という演奏が間違いの原因であると推定することができる。【選択図】  図５（Ａ）
2017078829.tif 000002
【特許請求の範囲】
【請求項１】
演奏者による演奏に基づいて生成された演奏データを取得する演奏データ取得手段と、
前記演奏データ取得手段により取得された前記演奏データと、前記演奏の模範となるリファレンスデータとを比較して、前記演奏者による演奏の間違い箇所を特定する比較手段と、
前記比較手段により特定された間違い箇所における演奏の演奏パターンを統計処理により算出する統計処理手段と
を備えることを特徴とする演奏解析装置。
【請求項２】
前記統計処理手段は、間違い箇所と特定された演奏に用いる指の組み合わせを前記演奏パターンとして特定する
ことを特徴とする請求項１記載の演奏解析装置。
【請求項３】
前記統計処理手段は、間違い箇所と特定された演奏に用いる弦の組み合わせを前記演奏パターンとして特定する
ことを特徴とする請求項１又は２記載の演奏解析装置。
【請求項４】
前記統計処理手段は、間違い箇所と特定された演奏におけるポジションの組み合わせを前記演奏パターンとして特定する
ことを特徴とする請求項１又は２記載の演奏解析装置。
【請求項５】
前記統計処理手段は、間違い箇所と特定された演奏から、当該演奏よりも時間的に前の演奏にわたって、前記演奏パターンを特定する
ことを特徴とする請求項１〜４のいずれか１項に記載の演奏解析装置。
【請求項６】
前記統計処理手段は、間違い箇所と特定された演奏から、当該演奏よりも時間的に後の演奏にわたって、前記演奏パターンを特定する
ことを特徴とする請求項１〜５のいずれか１項に記載の演奏解析装置。
【請求項７】
前記統計処理手段は、演奏期間又は演奏による発音数に基づいて前記演奏パターンの時間的範囲を決める
ことを特徴とする請求項５又は６に記載の演奏解析装置。
【請求項８】
前記統計処理手段は、前記演奏パターンの時間的範囲を決めるための前記演奏期間又は前記演奏による発音数を、所定の条件に応じて変更する
ことを特徴とする請求項７記載の演奏解析装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏者の演奏を解析する技術に関する。
【背景技術】
【０００２】
例えば特許文献１には、楽器の演奏を教習するための仕組みが提案されている。演奏者が自身の演奏を上達させるためには、自らが苦手とする演奏の内容を知り、その点を改善するよう努めることが重要である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２８４６３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の仕組みによれば、演奏者が演奏した楽曲において間違って演奏した演奏箇所を特定することはできるが、何故その演奏者がその演奏箇所を苦手としているのかという観点での示唆を与えることはできない。
そこで、本発明の目的は、間違った演奏をしてしまうときの演奏パターンを演奏者に伝えることにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、演奏者による演奏に基づいて生成された演奏データを取得する演奏データ取得手段と、前記演奏データ取得手段により取得された前記演奏データと、前記演奏の模範となるリファレンスデータとを比較して、前記演奏者による演奏の間違い箇所を特定する比較手段と、前記比較手段により特定された間違い箇所における演奏の演奏パターンを統計処理により算出する統計処理手段とを備えることを特徴とする演奏解析装置を提供する。
【０００６】
前記統計処理手段は、間違い箇所と特定された演奏に用いる指の組み合わせを前記演奏パターンとして特定するようにしてもよい。
【０００７】
前記統計処理手段は、間違い箇所と特定された演奏に用いる弦の組み合わせを前記演奏パターンとして特定するようにしてもよい。
【０００８】
前記統計処理手段は、間違い箇所と特定された演奏におけるポジションの組み合わせを前記演奏パターンとして特定するようにしてもよい。
【０００９】
前記統計処理手段は、間違い箇所と特定された演奏から、当該演奏よりも時間的に前の演奏にわたって、前記演奏パターンを特定するようにしてもよい。
【００１０】
前記統計処理手段は、間違い箇所と特定された演奏から、当該演奏よりも時間的に後の演奏にわたって、前記演奏パターンを特定するようにしてもよい。
【００１１】
前記統計処理手段は、演奏期間又は演奏による発音数に基づいて前記演奏パターンの時間的範囲を決めるようにしてもよい。
【００１２】
前記統計処理手段は、前記演奏パターンの時間的範囲を決めるための前記演奏期間又は前記演奏による発音数を、所定の条件に応じて変更するようにしてもよい。
【００１３】
また、本発明は、コンピュータを、演奏者による演奏に基づいて生成された演奏データを取得する演奏データ取得手段と、前記演奏データ取得手段により取得された前記演奏データと、前記演奏の模範となるリファレンスデータとを比較して、前記演奏者による演奏の間違い箇所を特定する比較手段と、前記比較手段により特定された間違い箇所における演奏の演奏パターンを統計処理により算出する統計処理手段として機能させるためのプログラムを提供する。
【発明の効果】
【００１４】
本発明によれば、間違った演奏をしてしまうときの演奏パターンを演奏者に伝えることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る解析システム全体の構成を示すブロック図である。
【図２】解析装置のハードウェア構成を示すブロック図である。
【図３】解析装置の機能構成を示すブロック図である。
【図４】解析装置の動作を示すフローチャートである。
【図５（Ａ）】解析内容の一例を示す図である。
【図５（Ｂ）】解析内容の一例を示す図である。
【図５（Ｃ）】解析内容の一例を示す図である。
【図６】統計処理を説明するための概念図である。
【発明を実施するための最良の形態】
【００１６】
本発明の実施の形態を説明する。
［１．構成］
図１は、本実施形態に係る解析システム１の全体構成を示すブロック図である。この解析システム１は、複数の楽器２ａ，２ｂ，２ｃと、解析装置３と、これらを通信可能に接続するネットワーク４とを備えている。ネットワーク４は、例えばＩＳＤＮ（Integrated Services Digital Network）やインターネットであり、有線区間又は無線区間を含んでいる。
【００１７】
楽器２ａ，２ｂ，２ｃは、例えば電子鍵盤楽器や電子弦楽器或いは電子管楽器などの電子楽器であってもよいし、電子楽器ではない通常のピアノやバイオリン或いは各種管楽器などのアコースティック楽器であってもよい。楽器２ａ，２ｂ，２ｃが電子楽器の場合は、演奏者による演奏に基づいて生成された演奏データ（例えばＭＩＤＩ形式）を生成してネットワーク４経由で解析装置３に送信する。また、楽器２ａ，２ｂ，２ｃが通常の楽器の場合は、その楽器自体又はその楽器の近傍に配置された図示せぬマイクロフォンから音声処理を経てＡ／Ｄ変換された例えばＷＡＶＥ形式やＭＰ３（MPEG Audio Layer-3）形式の音声データが、ネットワーク４経由で解析装置３に送信される。なお、図１には３つの楽器が例示されているが、この解析システム１に含まれる楽器の数は３に限定されるものではなく、これより多くても少なくてもよい。また、楽器２ａ，２ｂ，２ｃはいずれも同じ構成及び動作であるから、これらを各々区別する必要がない場合には単に「楽器２」と呼ぶことにする。
【００１８】
解析装置３は、楽器２から取得した演奏データを解析する演奏解析装置として機能するコンピュータである。より具体的には、解析装置３は、楽器２ｃから取得した演奏データに基づいて、間違った演奏がされている間違い箇所を特定し、特定された間違い箇所における演奏の演奏パターンを統計処理により算出し、その演奏パターンに関する情報を出力する。
【００１９】
図２は、解析装置３のハードウェア構成を示したブロック図である。制御部３１は、例えばＣＰＵであり、記憶部３２に記憶されているコンピュータプログラムを読み出して実行することにより、解析装置３の各部を制御する。記憶部３２は、例えばハードディスクなどの大容量の記憶手段である。記憶部３２には、上記のコンピュータプログラムが記憶されるほか、楽器２ｃから取得した複数の演奏データが演奏データベースとして記憶されている。記憶部３２に記憶されているコンピュータプログラムには、演奏者に対する模範となる演奏内容を示す曲ごとのリファレンスデータが含まれている。通信部３３は、制御部３１による制御の下で、ネットワーク４を介して楽器２とデータ通信を行う。
【００２０】
図３は、解析装置３の機能構成を示したブロック図である。演奏データ取得部３０１は、制御部３１及び通信部３３によって実現される機能であり、演奏者による演奏に基づいて生成された演奏データをネットワーク４経由で取得する。リファレンスデータ記憶部３０２は、記憶部３２によって実現される機能であり、前述したリファレンスデータを記憶している。比較部３０３は、制御部３１によって実現される機能であり、演奏データ取得部３０１により取得された演奏データと、リファレンスデータ記憶部３０２に記憶されているリファレンスデータとを比較して、演奏者による演奏の間違い箇所を特定する。統計処理部３０４は、比較部３０３によりそれぞれ特定された間違い箇所における演奏の演奏パターンを統計処理により算出する。出力部３０５は、統計処理部３０４によって算出された演奏パターンに関する情報を、例えば演奏者が操作する通信端末（図示略）や楽器２（電子楽器の場合）に出力する。なお、本発明に係る演奏解析装置は、図３において実線で示された構成である演奏データ取得部３０１、リファレンスデータ記憶部３０２、比較部３０３及び統計処理部３０４を備えているが、点線で示された構成である出力部３０５については必ずしも必須の構成ではなく、これを備えていても備えていなくてもよい。
【００２１】
［２．動作］
次に、図４に示すフローチャートを参照しつつ、本実施形態の動作説明を行う。以下は楽器２が電子楽器の場合の例である。演奏者は、楽器２の操作部（図示略）を操作して演奏したい曲を選定してから、楽器２を用いて演奏を行う。この演奏に基づいて生成された演奏データと、選定された曲を識別する曲識別情報とが、楽器２から解析装置３に送信される。解析装置３の制御部３１は通信部３３（演奏データ取得部３０１）によって演奏データ及び曲識別情報を取得する（ステップＳ１）。
【００２２】
解析装置３の制御部３１（比較部３０３）は、曲識別情報に対応する曲のリファレンスデータを記憶部３２（リファレンスデータ記憶部３０２）から読み出し、読み出したリファレンスデータと取得した演奏データとを比較して、演奏者による演奏の間違い箇所を特定する（ステップＳ２）。具体的には、制御部３１は、まず、演奏データとリファレンスデータとが時間的に前後にずれている場合であっても、両者を対応付けられるようにするため、演奏データとリファレンスデータのいずれか一方の時間軸を伸縮させる時間正規化（ＤＴＷ；Dynamic Time Warping）を行い、両者の時間軸を合わせる。このＤＴＷを行うための手法としては、ＤＰ（Dynamic Programming：動的計画法）マッチングがあるので、これを用いればよい。そして、制御部３１は、リファレンスデータが表すピッチと、演奏データが表す演奏音のピッチとを比較して両者の相違内容を特定する。例えば、一方の音声のピッチが他方の音声のピッチよりもどの程度高いか低いかなど、両者の差分を特定する。また、楽器２が管楽器の場合には、リファレンスデータが表すピッチと演奏データが表す演奏音のピッチとの差分が特定の値であれば、倍音の違い（予期せずに高い倍音が出てしまう、いわゆるリードミス）と判断することができるので、制御部３１は、このような差分も特定する。また、制御部３１は、リファレンスデータが表す発音タイミングと、演奏データのピッチが切り替わったタイミング（つまり演奏音の発音タイミング）とを比較して両者の相違内容を特定する。例えば、一方の音声の発音タイミングが他方の音声の発音タイミングよりもどの程度早いか遅いかなど、両者の差分を特定する。さらに、制御部３１は、例えば演奏音の音色や長さ或いはピッチが時系列に変動していく様子を表すピッチ変動曲線などについて、リファレンスデータ及び演奏データの差分を特定するようにしてもよい。制御部３１は、このような相違内容を、リファレンスデータ及び演奏データの対応箇所の全てについて特定し、その差分が予め定められた閾値を超える箇所を、演奏者による演奏が間違っている間違い箇所として特定する。また、管楽器を用いた演奏についてピエゾ素子を用いたマイクで録音した場合、キーによるノイズが発生するが、このノイズの発生期間は短いほど望ましいので、制御部３１は、リファレンスデータと演奏データとを比較して、両者の相違内容としてノイズが発生している期間を特定し、その期間が閾値を超える箇所を、演奏者による演奏が間違っている間違い箇所として特定する。即ち、管楽器の演奏においては、指を同時に素早く何本も動かす必要があるが、このとき指の動きにバラつきがあると、リファレンスデータとは異なる音が混じったり、演奏のリズムが撚れたりするので、このような間違いを検出する。
【００２３】
そして、制御部３１は、ステップＳ１，Ｓ２の処理を所要数の演奏データについて行ったか否かを判断する（ステップＳ３）。この所要数とは、例えば、同じ演奏者が同一の曲について演奏した回数として予め決めておいた回数でよく、例えば１回でもよいし、もっと多くてもよい。ステップＳ１，Ｓ２の処理は、所要数の演奏データに達するまで（ステップＳ３；ＮＯ）、繰り返される。
【００２４】
ステップＳ１，Ｓ２の処理が所要数の演奏データについて行われると（ステップＳ３；ＹＥＳ）、制御部３１（統計処理部３０４）は、特定された間違い箇所における演奏の演奏パターンを統計処理により算出する（ステップＳ４）。この統計処理について、図５，６を用いて説明する。
【００２５】
図５（Ａ）は、或る曲の或る演奏箇所をバイオリンで演奏したときの演奏パターンを例示している。演奏番号は、曲の開始から終了に至る各演奏音に対して割り当てられた番号である。線は、演奏音を演奏するときに用いた弦に割り当てられた番号である。ポジションは、演奏音を演奏するときの手の位置に相当する番号である。指は、演奏音を演奏するときに用いた指に割り当てられた番号である。図５（Ａ）上段の例のように、時間的に連続する３つの演奏音を含む演奏を行ったときの線、ポジション及び指の組み合わせが、演奏番号ｘ〜ｘ+２における演奏パターンに相当する。このとき、演奏番号ｘ+２の演奏が間違い箇所であるとすると、時間的にそれ以前の演奏番号ｘ〜ｘ+２における演奏パターンが、間違い箇所の演奏パターンとして特定される。一方、図５（Ａ）下段の例において、演奏番号ｙ+２が間違い箇所であるとすると、時間的にそれ以前の演奏番号ｙ〜ｙ+２における演奏パターンが間違い箇所の演奏パターンとして特定される。
【００２６】
図６は、統計処理を説明する概念図である。図６のグラフの横軸は、或る楽曲に現れる全ての演奏パターンであり、縦軸は、各演奏パターンの演奏において間違い箇所と判定された回数である。例えば演奏パターン１は、図５（Ａ）における演奏番号ｘ〜ｘ+２における演奏パターンであり、演奏パターン２は、図５（Ａ）における演奏番号ｙ〜ｙ+２における演奏パターンであるといった具合であり、これらの演奏パターンにおいて演奏間違いがあると、図６の縦軸である間違い回数がインクリメントされる。このように、あらゆる演奏パターンごとに間違い回数がカウントされた場合に、予め決められた閾値以上の間違い回数が発生した演奏パターンは、演奏者にとって間違いやすい演奏パターンであると言える。
【００２７】
例えば図６における閾値を３として図５（Ａ）の例で考えた場合、図５（Ａ）上段の演奏番号ｘ〜ｘ+２における演奏パターンは間違い回数が閾値以上なので、演奏者にとって間違いやすいと言えるが、図５（Ａ）下段の演奏番号ｙ〜ｙ+２における演奏パターンの間違い回数は閾値未満なので、間違いやすいとは言えない。そして、上段と下段を比較すると、演奏パターンとしての違いは、Ｄ→Ａの移弦か又はＤ→Ｇの移弦かという違いしかないので、Ｄ→Ａの移弦という演奏が間違いの原因であると推定することができる（ステップＳ５）。
【００２８】
また、図５（Ｂ）は、管楽器で同時に押さえる指の組み合わせを例示したものであるが、この例では、間違い箇所において、５→４という指の移動及び８→７という指の移動という、２本の指の移動が同時に発生している。このような場合に間違い回数が閾値以上となっているので、２本の指の移動という演奏が間違いの原因であると推定することができる（ステップＳ５）。
【００２９】
また、図５（Ｃ）は、管楽器で同時に押さえる指の組み合わせの別の例を示したものである。この例で上段と下段を比較すると、指の移動に関する演奏パターンとして共通している点は、８→７という指の移動を伴う演奏において間違い回数が閾値以上となっていることである。このため、８→７という指の移動を伴う演奏が間違いの原因であると推定することができる（ステップＳ５）。
【００３０】
制御部３１（統計処理部３０４）は、以上のようにして間違い箇所における演奏の演奏パターンを統計処理により算出すると、その演奏パターンに関する情報を出力する（ステップＳ６）。具体的には、制御部３１は、間違い箇所に相当する演奏パターン（つまり、線、ポジション、指の少なくともいずれか１の組み合わせ）を出力したり、上記のようにして推定した演奏間違いの原因を出力したり、或いは、そのような原因と同等の演奏が頻出する曲を提示して練習を促したり、といった出力処理を行う。
【００３１】
以上説明したように、本実施形態によれば、間違った演奏をしてしまうときの演奏パターンを演奏者に伝えることが可能となる。
【００３２】
［３．変形例］
上述した実施形態を次のように変形してもよい。
［３−１］  実施形態では、間違い箇所と特定された演奏から、その演奏よりも時間的に前の演奏（当該演奏箇所を含め演奏音３つ分だけ遡った期間における演奏）にわたって、演奏パターンを特定していたが、演奏パターンを特定するためのルールは、実施形態の例に限らない。
例えば制御部３１（統計処理部３０４）は、間違い箇所と特定された演奏から、当該演奏よりも時間的に後の演奏にわたって演奏パターンを特定してもよい。例えば演奏番号ｘにおいて間違いが発生した場合、演奏番号ｘ〜ｘ+２における演奏パターンを間違い箇所の演奏パターンとして特定してもよいし、また、演奏番号ｘ-１〜ｘ+１における演奏パターンを間違い箇所の演奏パターンとして特定してもよい。
【００３３】
制御部３１（統計処理部３０４）は、演奏期間又は演奏による発音数（演奏音の数）に基づいて演奏パターンの時間的範囲を決めてもよい。例えば実施形態では、演奏音の数を３つとしていたがこの数は２以上であれば任意である。また、演奏音の数に代えて、演奏期間を用いてもよい。例えば演奏番号ｘにおいて間違いが発生した場合、演奏番号ｘの前の５秒間における演奏パターンを間違い箇所の演奏パターンとして特定してもよい。
【００３４】
さらに、制御部３１（統計処理部３０４）は、演奏パターンの時間的範囲を決めるための演奏期間又は演奏による発音数を、所定の条件に応じて変更するようにしてもよい。このときの所定の条件としては、例えば、演奏者の演奏レベルや練習量などの、演奏者の属性を用いてもよいし、曲の難易度やテンポなどの、演奏対象となる曲の属性を用いてもよい。また、演奏者自身が、演奏パターンの時間的範囲を決めるための演奏期間又は演奏による発音数を指定してもよい。
【００３５】
［３−２］
上述した実施形態では、１人の演奏者に対応する演奏データに基づいて上記のような解析を行っていたが、複数の演奏者全体に対して上記のような解析を行ってもよい。この場合、解析装置３による解析の結果として、演奏者群全体において演奏間違いが起こりやすい演奏パターンやその原因を提示することが可能となる。
【００３６】
［３−３］
図６は、あらゆる間違いの回数を演奏パターンごとに統計処理した例であったが、間違いの種類ごとにその間違い回数を演奏パターンごとに統計処理してもよい。例えば、管楽器による演奏の場合、制御部３１は、既に説明したような単なるピッチ（運指）の間違いや、いわゆるリードミスによるピッチの間違いや、ピエゾマイクを用いて録音したときのノイズによって判断される間違いというような、それぞれの間違いの種類ごとに演奏の間違い回数をインクリメントして統計処理を行ってもよい。
【００３７】
［３−４］
上述した実施形態では、楽器２と解析装置３とが通信ネットワークで接続された解析システム１が、本実施形態に係る機能の全てを実現するようになっている。これに対し、通信ネットワークで接続された３以上の装置が上記機能を分担するようにし、それら複数の装置を備えるシステムが本実施形態と同等のシステムを実現するようにしてもよい。例えば、図３に例示した演奏データ取得部３０１、リファレンスデータ記憶部３０２、比較部３０３及び統計処理部３０４をネットワーク４に接続された複数の装置が分散して備え、これらの複数の装置が協働して実施形態に係る解析装置３と同等の機能を実現してもよい。この場合、これら複数の装置によって、本発明に係る演奏解析装置が実現される。
又は、ひとつの装置が本実施形態に係る機能の全てを実現するようにしてもよい。
【００３８】
［３−５］
本発明は、例えば解析装置３のような演奏解析装置のほか、解析装置３が行う演奏解析方法や、解析装置３によって実行されるプログラムとして実施されてもよい。
本発明に係る演奏解析方法は、演奏者による演奏に基づいて生成された演奏データを取得する演奏データ取得ステップと、前記演奏データ取得ステップにおいて取得された前記演奏データと、前記演奏の模範となるリファレンスデータとを比較して、前記演奏者による演奏の間違い箇所を特定する比較ステップと、前記比較ステップにおいて特定された間違い箇所における演奏の演奏パターンを統計処理により算出する統計処理ステップとを備えることを特徴とする。
なお、解析装置３の制御部３１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、ＲＡＭなどの記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由で解析装置３にダウンロードさせることも可能である。
【符号の説明】
【００３９】
１…解析システム、２ａ，２ｂ，２ｃ…楽器、３…解析装置、４…ネットワーク、３１…制御部、３２…記憶部、３３…通信部、３０１…演奏データ取得部、３０２…リファレンスデータ記憶部、３０３…比較部、３０４…統計処理部、３０５…出力部
【図１】
2017078829.tif 000003
【図２】
2017078829.tif 000004
【図３】
2017078829.tif 000005
【図４】
2017078829.tif 000006
【図５（Ａ）】
2017078829.tif 000007
【図５（Ｂ）】
2017078829.tif 000008
【図５（Ｃ）】
2017078829.tif 000009
【図６】
2017078829.tif 000010