(57)【要約】【課題】演奏音情報を演奏後に解析する場合に、演奏音情報を検出する構成部分と演奏音を解析する構成部分とを常時接続せずに済むようにする。【解決手段】演奏音情報検出装置１００は、楽器が発する演奏音に応じた演奏音情報を検出する検出部１１１と、検出部１１１を楽器に取り付ける取付部１０１と、検出部１１１によって検出された演奏音情報を記憶する記憶部１１６と、記憶部１１６によって記憶されている演奏音情報を表示装置２００に送信する通信部１１４とを備える。演奏音情報が記憶部１１６にいったん記憶されるので、演奏後にその記憶部１１６から演奏音情報を読み出して送信することが可能となる。【選択図】図２
2016018148.tif 000002
【特許請求の範囲】
【請求項１】
楽器が発する演奏音に応じた演奏音情報を検出する検出部と、
前記検出部を前記楽器に取り付ける取付部と、
前記検出部によって検出された演奏音情報を記憶する記憶部と、
前記記憶部によって記憶されている演奏音情報を送信する通信部と
を備える演奏音情報検出装置。
【請求項２】
前記記憶部は、前記検出部によって検出された演奏音情報に時間情報を付加して記憶し、
前記通信部は、前記記憶部によって記憶された演奏音情報及び時間情報を送信する
請求項１記載の演奏音情報検出装置。
【請求項３】
前記通信部は、前記演奏音情報の送信先と情報の同期を行うときに、前記記憶部によって記憶されている内容を送信する
請求項１又は２に記載の演奏音情報検出装置。
【請求項４】
前記検出部によって検出された演奏音情報の情報量を削減する処理を行う情報処理部を備える
請求項１〜３のいずれか１項に記載の演奏音情報検出装置。
【請求項５】
前記通信部は、前記演奏音情報の送信先と情報の同期を行うときに送信した内容を前記記憶部から削除する
請求項３記載の演奏音情報検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は楽器の演奏音情報を検出して解析するための技術に関する。
【背景技術】
【０００２】
楽器を調律する場合、チューナが振動センサなどで検出した演奏音情報をリアルタイムで表示し、演奏者はこの表示内容を参考にして楽器の調律を行う（例えば特許文献１参照）。また、演奏音情報を記録してこれを解析する技術が知られている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第4739227号公報
【特許文献２】特開2008-233574号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の仕組みでは、演奏音情報をリアルタイムに検出して表示するだけであるから、例えば演奏後にその演奏音情報を解析して演奏の支援を行うというようなことができない。また、特許文献２には演奏音情報を記録して解析することが開示されているが、開示されているシステムでは演奏音情報を検出する構成部分と演奏音を解析する構成部分とを常時接続していなければならないという制約がある。通信ケーブルなどを介して有線通信で常時接続した場合、演奏者は通信ケーブルが煩わしいと感じてしまう。また無線通信で常時接続した場合、電池の消耗により長時間使用できないという課題がある。
【０００５】
本発明は、演奏音情報をその演奏後に解析する場合に、演奏音情報を検出する構成部分と演奏音を解析する構成部分とを常時接続せずに済むための仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するため、本発明は、楽器が発する演奏音に応じた演奏音情報を検出する検出部と、前記検出部を前記楽器に取り付ける取付部と、前記検出部によって検出された演奏音情報を記憶する記憶部と、前記記憶部によって記憶されている演奏音情報を送信する通信部とを備える演奏音情報検出装置を提供する。
【０００７】
前記記憶部は、前記検出部によって検出された演奏音情報に時間情報を付加して記憶し、前記通信部は、前記記憶部によって記憶された演奏音情報及び時間情報を送信するようにしてもよい。
【０００８】
前記通信部は、前記演奏音情報の送信先と情報の同期を行うときに、前記記憶部によって記憶されている内容を送信するようにしてもよい。
【０００９】
前記検出部によって検出された演奏音情報の情報量を削減する処理を行う情報処理部を備えるようにしてもよい。
【００１０】
前記通信部は、前記演奏音情報の送信先情報の同期を行うときに送信した内容を前記記憶部から削除するようにしてもよい。
【発明の効果】
【００１１】
本発明によれば、演奏音情報をその演奏後に解析する場合に、演奏音情報を検出する構成部分と演奏音を解析する構成部分とを常時接続する必要がない。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施例に係る演奏音情報解析システムの構成を示すブロック図。
【図２】演奏音情報検出装置の構成を示すブロック図。
【図３】演奏音情報検出装置が楽器に取り付けられている時の様子を示す図。
【図４】演奏音情報の内容を示す図。
【図５】表示装置に表示される画面の一例を示す図。
【図６】表示装置に表示される画面の一例を示す図。
【図７】表示装置に表示される画面の一例を示す図。
【図８】表示装置に表示される画面の一例を示す図。
【図９】表示装置に表示される画面の一例を示す図。
【発明を実施するための形態】
【００１３】
[実施形態]
[構成]
図１は、本発明の一実施例に係る演奏音情報解析システムの構成を示すブロック図である。演奏音情報解析システムは、演奏音情報検出装置１００と、表示装置２００と、サーバ装置３００とを備えている。演奏音情報検出装置１００は、図示せぬ楽器に取り付けられ、その楽器が演奏されたときに生じる振動を演奏音に応じた演奏音情報として検出し、これを不揮発性の記憶手段に永続的に記憶する。そして、演奏音情報検出装置１００は、演奏後の所定のタイミングで、記憶している演奏音情報を表示装置２００に送信する。演奏音情報検出装置１００と表示装置２００（通信部２１１）との間の通信は、例えばブルートゥース（登録商標）やＮＦＣ（Near field communication）などの近距離無線通信であってもよいし、通信ケーブルなどを介した有線通信であってもよい。また、演奏音情報検出装置１００と表示装置２００は、一体化していてもよい。
【００１４】
表示装置２００は、例えばタブレットやスマートホン、パーソナルコンピュータなどの通信装置であり、通信部２１１、表示部２１２、操作部２１３、及び制御部２１４を備えたコンピュータとして構成されている。表示装置２００において、制御部２１４が内蔵メモリ等に記憶されたプログラムを実行することで、演奏音情報検出装置１００から送信されてくる演奏音情報を通信部２１１によって受信し、この演奏音情報に対して処理負荷が比較的低い解析処理を行って演奏音のピッチなどを表示部２１２に表示したり、また、この演奏音情報を演奏後の所定のタイミングで通信部２１１からサーバ装置３００に送信したりする。表示装置２００（通信部２１１）とサーバ装置３００（通信部３１１）との間の通信は、例えば専用線を介した通信でもよいし、ＬＡＮ（Local Area Network）やインターネットなどのネットワーク経由の比較的遠距離の通信であってもよい。
【００１５】
サーバ装置３００は、通信部３１１、記憶部３１２及び制御部３１３を備えたコンピュータとして構成されている。サーバ装置３００において、制御部３１３が記憶部３１２に記憶されたプログラムを実行することで、表示装置２００から送信されてくる演奏音情報を通信部３１１によって受信し、この演奏音情報に対して処理負荷が比較的高い解析処理を行うほか、演奏音情報の長期保存や演奏者同士のコミュニティ機能の実現などを行う。記憶部３１２には、各楽曲のピッチの時系列の遷移を含む楽曲データベースが記憶されている。
【００１６】
図２は、演奏音情報検出装置１００の構成を示すブロック図である。検出部１１１は、楽器に取り付けられ、その楽器が演奏されたときに生じる振動の波形を示す電気信号を演奏音情報として検出する。検出部１１１は、例えばピエゾ素子やマイクロホンであるが、その他の検出手段であってもよい。検出部１１１から出力される電気信号はＡ／Ｄコンバータ１１２によってアナログデジタル変換される。制御部１１７ は、例えばＣＰＵ（Central Processing Unit）及びメモリを備えており、アナログデジタル変換された信号を所定期間でサンプリングしたサンプリング値（演奏音情報）を、計時部１１８によって付与されたタイムスタンプ（時間情報）とともに記憶部１１６に書き込む。記憶部１１６は、例えばハードディスクやフラッシュメモリのような不揮発性の記憶手段であり、情報を永続的に記憶する。この記憶部１１６の記憶容量は、例えば１０時間分の演奏に係る演奏音情報を記憶可能な量である。通信部１１４は、例えばアンテナや通信回路を備えており、例えばブルートゥース（登録商標）やＮＦＣに従う通信を行う。通信部１１４は、制御部１１７による制御の下、表示装置２００と情報の同期を行うときに、記憶部１１６によって記憶された内容を表示装置２００（通信部２１１）に送信する。表示部１１５は、例えば液晶ディスプレイや液晶駆動装置を備えており、制御部１１７による制御の下、演奏音情報検出装置１００の状態（電源のオンオフ状態や記憶部１１６に記憶されている情報の量など）を表示する。操作部１１３は、例えばキーやタッチパネルであり、演奏者の操作を受け付けてその操作に応じた信号を制御部１１７に供給する。
【００１７】
図３は、演奏音情報検出装置１００が楽器（ここでは管楽器１０）に取り付けられている状態を示す図である。検出部１１１は例えば管楽器１０のベル（図３）や弦楽器のヘッドなどに、クリップ式、粘着材式、アタッチメント式、ネジ止め式などの機構を有する取付部１０１によって取り付けられる。ただし検出部１１１の取り付け位置は図３の例に限らない。図３に示すように、演奏音情報検出装置１００においては、取付部１０１及び検出部１１１とその他の構成１１２〜１１８が一体に構成されていてもよいし、取付部１０１及び検出部１１１とその他の構成１１２〜１１８とが分離しており、両者が有線または無線によって通信可能に接続されていてもよい。
【００１８】
図４は、演奏音情報検出装置１００の記憶部１１６に記憶されている演奏音情報の内容を示す図である。演奏音情報は例えばファイル形式であり、ヘッダと実データによって構成されている。実データには、上述したサンプリング値及びそのサンプリング値に対して付与されたタイムスタンプが含まれている。ここでのサンプリング周期は、ピアノの音域 (20Hz〜4,200Hz程度）をもカバーするために例えば10KHzであるが、記憶部１１６の記憶容量や制御部１１７の処理能力などに応じてそれより高くても低くてもよい。また、サンプリング値の情報量は例えば8bit であるが、その表現形式は符号付２進数など、どのようなものでもよいし、また bit 数も8bitより大きくても小さくてもよい。なお、サンプリング周期をあらかじめ決めた固定値にするか又はファイルのヘッダに格納することにより、実データ内のタイムスタンプを省略してもよい。サンプリング周期10KHzでサンプリング値を8bitとしてタイムスタンプを省略した場合、記憶部１１６に演奏１０時間分の演奏音情報を記録するには、1byte x 10KHz x 3,600sec x 10 hours = 360MB  の記憶容量が少なくとも必要となる。
【００１９】
[動作]
次に、本実施形態の動作を説明する。
[動作の概要]
演奏音情報検出装置１００の制御部１１７は、検出部１１１によって検出されて記憶部１１６に記憶されている演奏音情報及び時間情報（以下、単に演奏音情報という）を、自装置の通信部１１４と表示装置２００の通信部２１１とが通信可能になったとき（例えば通信部１１４と通信部２１１とが無線接続されたタイミングで両者の情報の同期がなされるときや、無線接続されたのちに演奏者の操作に基づいて両者の情報の同期がなされるとき）に送信する。表示装置２００の制御部２１４は、通信部２１１によって演奏音情報を受信し、内蔵メモリに記憶する。そして、制御部２１４は、記憶された演奏音情報に対して解析処理を行い、この解析結果に応じた画面を表示部２１２に表示させる。また、制御部２１４は、演奏音情報や上記の解析結果をサーバ装置３００に送信する。サーバ装置３００の制御部３１３は、演奏音情報や上記の解析結果を受信すると、記憶部３１２に記憶する。そして、制御部３１３は、演奏音情報や上記解析結果に対して、表示装置２００が行った解析よりも処理負荷の高い解析処理を行い、さらにその解析結果を記憶部３１２に記憶する。表示装置２００の制御部２１４は、通信部２１１を用いてサーバ装置３００に記憶されている演奏音情報や解析結果にアクセスし、これを取得して表示部２１２に表示することができる。制御部２１４は、自装置の内蔵メモリや、サーバ装置３００の記憶部３１２に記憶されている演奏音情報や解析結果を表示することで、後述する各動作モードに応じた情報を演奏者に提示することができる。演奏者はこれらの情報を見て、自身の演奏や練習の振り返りなどの各種管理を行うことができる。
【００２０】
以下、本実施形態の動作を動作モード単位で説明する。
[リアルタイムモード]
リアルタイムモードは、楽器のチューニングをする場合などに用いられ、表示装置２００は通常のチューナとして動作する。図５は、リアルタイムモードにおいて表示装置２００の表示部２１２に表示される画面の一例を示す図である。表示装置２００においては、操作部２１３によって指定された音名の周波数が制御部２１４に設定される（図５の例では 音名Aの周波数442 Hz）。表示装置２００の制御部２１４は、演奏音情報検出装置１００から送信されてくる演奏音情報に基づいて演奏音の周波数を計算し、計算した周波数にもっとも近い音名を推定して、その音名の周波数（目標周波数という）を特定する。そして、制御部２１４は、図５に示すように、例えば表示部２１２の例えば左下部分に推定した音名を表示し（ここではA)、さらに、その音名の目標周波数と、演奏音情報に基づいて計算した周波数（計算周波数という）とに基づいて、演奏音の音高のずれ方向を例えば三角形の図形の色で表示する。また、制御部２１４は、表示部２１２の例えば左上部分に、目標周波数と計算周波数とに基づいて、チューニングメーターを模した画像にて両者の差を表示する。また、制御部２１４は、表示部２１の例えば右上部分に、目標周波数のレベルを表示するとともに、入力周波数の経時変化（ピッチグラフ）を表示する。なお、チューニングメーターとピッチグラフは並列提示ではなく、一方だけを切り替えて表示する方式であってもよい。
なお、上記のリアルタイムモードは、演奏中においてリアルタイムに演奏音情報を解析するのに好適な動作モードであるが、以下に説明する４種類のノンリアルタイムモードは、演奏後において演奏音情報を解析するのに好適な動作モードである。
【００２１】
[ピッチグラフモード（ノンリアルタイムモード）]
ピッチグラフモードは、記録されたファイル単位でピッチ遷移を時系列に表示するノンリアルタイムモードであり、例えば演奏終了後に演奏者が演奏内容を振り返る場合などに用いられる。図６は、ピッチグラフモードにおいて表示装置２００の表示部２１２に表示される画面の一例を示す図である。演奏者は、表示部２１２の例えば左上部分に列挙された演奏音情報のファイル一覧のうち、ピッチグラフの表示対象とするファイルを操作部２１３によって選択する。ファイルが選択されると、制御部２１４は、そのファイルの属性情報（ファイル名、記録日時、タグなど）を表示部２１２の例えば左下部分に表示し、また、そのファイルに含まれる演奏音情報の時系列のピッチを表示部２１２の例えば右部分に実線で表示する。ピッチの表示においては、制御部２１４は、リアルタイムモードと同じく、推定した音名（図中 C,D,E,G）の目標周波数を破線などで表示する。また、制御部２１４は、目標周波数とのずれの大きさによりピッチグラフの色を変える等してもよい。
【００２２】
[周波数分布モード（ノンリアルタイムモード）]
周波数分布モードは、記録されたファイル単位で演奏音の周波数分布を表示するノンリアルタイムモードであり、例えば演奏終了後に演奏者がどのような周波数の音を演奏したかを振り返る場合などに用いられる。図７は、周波数分布モードにおいて表示装置２００の表示部２１２に表示される画面の一例を示す図である。演奏者は、ピッチグラフモードと同様の方法にて、解析対象となるファイルを選択する。制御部２１４は、例えば横軸を周波数とし縦軸を演奏頻度（ファイル中の累積演奏時間）とした周波数分布グラフを表示部２１２の右部分に表示する。このとき、制御部２１４は、ピッチグラフモードと同じく、推定した音名と、その音名の目標周波数を示すガイド線を表示する。演奏者は、このグラフを見ることにより、例えば自らが演奏できた最も高い音や最も低い音を確認したり、各音名ごとに自らの演奏音とガイド線（目標周波数）とのずれの傾向などを理解することができる。図示した例においては、音名D, A が目標周波数よりも高い傾向があることがわかる。さらには、演奏者は、これらの振り返りをファイル単位（日々の演奏記録）で比較することにより、演奏能力の向上（例えばより高い音が出るようになる）や改善（例えば音程がより目標周波数に近づく）の具合を確認することができる。
【００２３】
［練習記録モード（ノンリアルタイムモード）］
練習記録モードは、各ファイルのタイムスタンプをもとに演奏を行った日時の特定と演奏時間の推定をおこなうノンリアルタイムモードであり、演奏の練習日数や練習時間などを表示することにより演奏者のモチベーション維持や向上のために利用される。図８は、練習記録モードにおいて表示装置２００の表示部２１２に表示される画面の一例を示す図である。演奏者は、表示部２１２の例えば左上部分に列挙された年月の一覧のうち、練習記録を参照したい年月を操作部２１３によって選択する。年月が選択されると、制御部２１４は、その年月における累積練習日数及び累積練習時間をタイムスタンプをもとに計算して表示部２１２の例えば左下部分に表示する。また、制御部２１４は、その年月のうち練習を行った日については、表示部２１２の例えば右部分に表示されるカレンダー上でマーク（例えばオレンジ色で表記）する。このとき、制御部２１４は、同じ種類の楽器の演奏者どうしで練習の記録を比較できるようにするために、日ごとの練習時間に応じてマークの濃度や面積などを変化させてもよい。
【００２４】
［練習データ利用モード（ノンリアルタイムモード）］
練習データ利用モードは、サーバ装置３００に蓄積された演奏音情報のファイルをサーバ装置３００が解析してピッチの遷移などを得てから楽曲データベースを検索するノンリアルタイムモードであり、演奏した楽曲を自動的に推定して記録することが可能となる。サーバ装置３００の制御部３１３は、演奏音情報のファイルを取得し、それを解析して得たピッチの時系列の遷移に基づいて、楽曲データベースと比較し、その演奏者の過去の演奏履歴等をも参考にして、演奏した楽曲を推定する。図９は、練習データ利用モードにおいて表示装置２００の表示部２１２に表示される画面の一例を示す図である。制御部２１４は、サーバ装置３００から取得した楽曲の推定結果に基づいて、演奏された楽曲名を日ごとに表示部２１２に表示する。
【００２５】
上記実施形態によれば、演奏音情報検出装置１００が検出した演奏音情報を不揮発性の記憶手段である記憶部１１６に記憶しておき、演奏後の所定のタイミングでその演奏音情報を表示装置２００に送信する。よって、演奏音情報を検出する構成部分である演奏音情報検出装置１００と、演奏音を解析する構成部分である表示装置２００ないしサーバ装置３００とを常時接続する必要がない。また、長時間の演奏を行う場合であっても演奏音情報の記録や解析等を行うことが可能となる。
【００２６】
［変形例］
［変形例１］
演奏音情報検出装置１００において、制御部１１７は、演奏音情報の情報量を削減する処理を行う情報処理部として機能してもよい。例えば制御部１１７は、記憶部１１６に記憶されたサンプリング値に対してピッチ解析を行い、その結果得られた周波数情報を表示装置２００に送信するようにしてもよい。この場合、サンプリング周期は、１秒に数十サンプル（例えば30samples/sec）までに落とすことができる。また、制御部１１７は、一般的なデータ圧縮アルゴリズムを用いてサンプリング値（演奏音情報）の情報量を削減してもよい。これにより、記憶部１１６の記憶量の削減や演奏音情報検出装置１００及び表示装置２００間における通信量の削減を行うことができる。
【００２７】
［変形例２］
演奏音検出装置１００と表示装置２００との関係は、１対１ではなく、複数対１としてもよい。このようにすれば、演奏音情報検出装置１００を複数人で１台ずつ所有し、表示装置２００をこれらの複数人で共通で使用することができる。また、演奏音情報検出装置１００と表示装置２００との関係を１対複数としてもよい。この場合、表示装置２００に割り当てられた識別情報を用いて、演奏音情報検出装置１００からそれぞれの表示装置２００に送信された演奏音情報を識別するようにすればよい。
【００２８】
［変形例３］
実施形態に係るシステムにおいて演奏音情報の解析を行う解析装置は、表示装置２００とサーバ装置３００であったが、サーバ装置３００は必須ではなく、解析装置が表示装置２００のみでもよい。
【００２９】
［変形例４］
演奏音情報検出装置１００の記憶部１１６の空き容量が閾値より少なくなった場合、制御部１１７は、例えば表示部１１５を点灯させるなどの報知処理を行ってユーザに知らせるようにしてもよい。また、制御部１１７は、記憶部１１６の空き容量が無くなった場合、最も古い演奏音情報から順に、新しい演奏音情報を上書きするようにしてもよいし、その場合、演奏音情報に基づきより情報量が小さい情報（例えば演奏時間）を生成し、その演奏音情報に上書きしてもよい。これも制御部１１７が演奏音情報の情報量を削減する処理に相当する。
【００３０】
［変形例５］
本発明は、演奏音情報検出装置１００や表示装置２００、サーバ装置３００と同等の機能をコンピュータに実現させるためのプログラムや、かかるプログラムを記憶させた光ディスク等の記録媒体としても特定され得る。本発明に係るプログラムは、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態でも提供され得る。
【符号の説明】
【００３１】
１００  演奏音情報検出装置、１１１  検出部、１１２  Ａ／Ｄコンバータ、１１３  操作部、１１４  通信部、１１５  表示部、１１６  記憶部、１１７  制御部、１１８  計時部、１１９  取付部。２００  表示装置、２１１  通信部、２１２  表示部、２１３  操作部、２１４  制御部、３００  サーバ装置、３１１  通信部、３１２  記憶部、３１３  制御部。
【図１】
2016018148.tif 000003
【図２】
2016018148.tif 000004
【図３】
2016018148.tif 000005
【図４】
2016018148.tif 000006
【図５】
2016018148.tif 000007
【図６】
2016018148.tif 000008
【図７】
2016018148.tif 000009
【図８】
2016018148.tif 000010
【図９】
2016018148.tif 000011