(57)【要約】      （修正有）【課題】自動的に演奏の記録を開始する。【解決手段】楽器１００は、演奏操作を受け付ける操作部１１０と、該受け付けられた演奏操作を表す演奏情報を生成する生成部１２０と、携帯端末を検知する検知部１３０と、前記携帯端末が検出されると、前記生成部にて生成された演奏情報および当該演奏操作が行われている場面を撮影した映像のうち少なくともいずれか一つを、当該楽器および前記携帯端末の少なくともいずれかに記録する処理を開始する制御部１７０とを有する。【選択図】図３
2014228750.tif 000002
【特許請求の範囲】
【請求項１】
演奏操作を受け付ける操作部と、
該受け付けられた演奏操作を表す演奏情報を生成する生成部と、
携帯端末を検知する検知部と、
前記携帯端末が検知されると、前記生成部にて生成された演奏情報および当該演奏操作が行われている場面を撮影した映像のうち少なくともいずれか一つを、当該楽器および前記携帯端末の少なくともいずれかに記録する処理を開始する制御部と
を有する楽器。
【請求項２】
前記制御部は、前記検知部にて当該移動端末が検知されなくなると前記処理を停止する
ことを特徴とする請求項１に記載の楽器。
【請求項３】
前記制御部は、前記携帯端末が検知されると、前記生成部にて生成された演奏情報、集音部にて集音された音情報、および当該演奏操作が行われている場面を撮影した映像のうち少なくともいずれか一つを、当該楽器および前記携帯端末の少なくともいずれかに記録する処理を開始する
ことを特徴とする請求項１または２に記載の楽器。
【請求項４】
該検知された携帯端末と通信を行うインターフェースをさらに備え、
該検知された携帯端末に対し、前記インターフェースを介して撮像部による前記映像の撮影開始の指示を出力する
ことを特徴とする請求項１ないし３に記載の楽器。
【請求項５】
記憶部と、
該検知された携帯端末と通信を行うインターフェースと
をさらに備え、
演奏の終了後に、前記記憶部に記録された演奏情報を前記携帯端末に出力する
ことを特徴とする請求項１ないし４に記載の楽器。
【請求項６】
楽器と携帯端末とを有する演奏記録システムにおいて、
前記楽器にて演奏操作を受け付けるステップと、
前記楽器にて該受け付けられた演奏操作を表す演奏情報を生成するステップと、
前記楽器が携帯端末を検知するステップと、
前記携帯端末が検知されると、当該楽器および前記携帯端末の少なくともいずれかにおいて、前記生成された演奏情報および当該演奏操作が行われている場面を撮影した映像のうちの少なくともいずれか一つを記録する処理を開始するステップと
を有する演奏記録方法。
【請求項７】
楽器と携帯端末とを有する演奏記録システムにおいて、
記憶手段と、
演奏操作を受け付ける受付手段と、
該受け付けられた演奏操作を表す演奏情報を生成する生成手段と、
該受け付けられた演奏操作が行われている場面を撮影する撮像手段と、
前記携帯端末と前記楽器とが所定の位置関係にあることを検知する検知手段と、
前記携帯端末が検知されると、前記生成手段にて生成された演奏情報および前記撮像手段にて撮影された映像のうちの少なくともいずれか一つを前記記憶手段に記録する処理を開始する手段と
を有する演奏記録システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は演奏の記録に関する。
【背景技術】
【０００２】
演奏者が行った演奏の内容をデータとして記憶し、後にその演奏の内容を再現する機能を有する電子楽器がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−８１３６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、演奏の記録を開始するには、演奏に先立ち、予め定められた操作を行う必要があった。予め定められた操作とは、例えば、演奏の記録機能を有する電子楽器を用いる場合、その楽器に付属するリモコン端末や電気楽器に設けられたスイッチに対する操作である。あるいは、楽器と録音装置とを接続したのちその録音装置に対して録音を開始するための操作である。
演奏を記録するための補助者がいない場合は、演奏者自信が上記の操作を行う必要がある。しかし、通常、演奏の前の演奏者は緊張状態にあるから、このような操作を忘れて演奏を始めてしまいがちである。また、演奏前にこのような操作を強要することは、演奏者によっては心理的負担と感じる場合もある。
【０００５】
本発明は、自動的に演奏の記録を開始すること目的とする。
【課題を解決するための手段】
【０００６】
本発明は、一の態様において、演奏操作を受け付ける操作部と、該受け付けられた演奏操作を表す演奏情報を生成する生成部と、携帯端末を検知する検知部と、前記携帯端末が検知されると、前記生成部にて生成された演奏情報および当該演奏操作が行われている場面を撮影した映像のうち少なくともいずれか一つを、当該楽器および前記携帯端末の少なくともいずれかに記録する処理を開始する制御部とを有する楽器を提供する。
好ましい態様において、前記制御部は、前記検知部にて当該移動端末が検知されなくなると前記処理を停止する。
好ましい態様において、前記制御部は、前記携帯端末が検知されると、前記生成部にて生成された演奏情報、集音部にて集音された音情報、および当該演奏操作が行われている場面を撮影した映像のうち少なくともいずれか一つを、当該楽器および前記携帯端末の少なくともいずれかに記録する処理を開始する。
好ましい態様において、前記楽器は、該検知された携帯端末と通信を行うインターフェースをさらに備え、該検知された携帯端末に対し、前記インターフェースを介して前記撮像部による前記映像の撮影開始の指示を出力する。
好ましい態様において、前記楽器は、記憶部と、該検知された携帯端末と通信を行うインターフェースとをさらに備え、演奏の終了後に、前記記憶部に記録された演奏情報を前記携帯端末に出力する。
本発明は、他の観点において、楽器と携帯端末とを有する演奏記録システムにおいて、前記楽器にて演奏操作を受け付けるステップと、前記楽器にて該受け付けられた演奏操作を表す演奏情報を生成するステップと、前記楽器が携帯端末を検知するステップと、前記携帯端末が検知されると、当該楽器および前記携帯端末の少なくともいずれかにおいて、前記生成された演奏情報および当該演奏操作が行われている場面を撮影した映像のうちの少なくともいずれか一つを記録する処理を開始するステップとを有する演奏記録方法を提供する。
本発明は、更に他の観点において、楽器と携帯端末とを有する演奏記録システムにおいて、記憶手段と、演奏操作を受け付ける受付手段と、該受け付けられた演奏操作を表す演奏情報を生成する生成手段と、該受け付けられた演奏操作が行われている場面を撮影する撮像手段と、前記携帯端末と前記楽器とが所定の位置関係にあることを検知する検知手段と、前記携帯端末が検知されると、前記生成手段にて生成された演奏情報および前記撮像手段にて撮影された映像のうちの少なくともいずれか一つを前記記憶手段に記録する処理を開始する手段とを有する演奏記録システムを提供する。
【０００７】
本発明によれば、自動的に演奏の記録が開始される。
【図面の簡単な説明】
【０００８】
【図１】演奏記録システム１の概念図である。
【図２】楽器１００の外観図である。
【図３】楽器１００の構成図である。
【図４】携帯端末２００の機能構成図である。
【図５】データＤ１の構造例を表す図である。
【図６】サーバ３００の機能構成図である。
【図７】データＤ２の構造例を表す図である。
【図８】演奏記録システム１の動作例である。
【図９】楽器１００Ａの構成図である。
【図１０】演奏記録システム１の他の動作例である。
【図１１】携帯端末２００の画面に表示される画像の例である。
【発明を実施するための形態】
【０００９】
図１は、本発明の一実施例に係る演奏記録システム１を模式的に示した図である。演奏記録システム１は、楽器１００と、携帯端末２００とサーバ３００と通信網４１０と中継装置４２０を含む。楽器１００は、ユーザによって演奏される楽器である。本実施例では、楽器１００はピアノや演奏者が行った演奏情報を生成する機能を少なくとも有する電子ピアノ等の鍵盤楽器である。以下においては、演奏操作に応じて放音がなされる一般的なピアノとして説明するが、本発明に係る楽器においては放音機能は必須ではなく、サイレントピアノ（登録商標）のように放音機能を有しない楽器でもよい。また、楽器の外観形態は鍵盤楽器に限らず、管楽器、打楽器等であってもよい。
【００１０】
携帯端末２００は、携帯電話機、スマートフォン、タブレット型ＰＣ等の携帯可能な情報通信端末である。携帯端末２００は、無線により、通信網４１０と接続された中継装置４２０と通信を行うことによって、サーバ３００との間で情報をやり取りする機能を備え、且つ楽器１００との間で情報のやり取りをする機能を有する。サーバ３００は、中継装置４２０および通信網４１０を介して携帯端末２００から受信したデータを記憶し、携帯端末２００からの要求に応じて記憶されたデータを送信する機能を有する。なお、演奏記録システム１は複数の楽器１００および複数の携帯端末２００を含んでいてもよい。この場合、ひとつの楽器１００は複数の携帯端末２００と接続可能であり、１つの携帯端末２００は複数の通信と接続可能である。説明の便宜上、図１においては一つの楽器１００と一つの携帯端末２００のみを示している。
【００１１】
なお、本発明の一の態様において、演奏記録システム１から、サーバ３００、通信網４１０、および中継装置４２０を省略してもよい。すなわち、本発明に係る演奏記録システムにおいてサーバ３００と通信する機能を有している必要はない。この場合、演奏に関して携帯端末２００に記憶されたデータは、携帯端末２００において利用（再生、編集など）される。
【００１２】
図２は楽器１００の外観を示す。楽器１００は、鍵盤の鍵の動きに応じて弦を打弦するアクション機構や、ペダルの動きに応じて弦の振動を抑制するダンパなど、一般的なアコースティックピアノが有する機構と同じ機構を備えている。また、楽器１００が自動演奏機能を備えるときには、楽器１００は、鍵の動きを検出するセンサ（いずれも図１では省略）、外部の音響機器から楽音データを取り込みあるいは楽器１００に記憶された演奏情報を外部機器に出力するための接続端子等の通信用インターフェース、および設定内容などを入力して情報の確認や演奏者への報知などを行うためのタッチパネル等のユーザインタフェースを備える。
【００１３】
楽器１００には、携帯端末２００を設置するための台座１３２が設けられる。台座１３２の上面には携帯端末２００と接続するための端子が設けられる。ユーザが台座１３２に携帯端末２００を設置すると、楽器１００が固定され、且つ端子を介して楽器１００と携帯端末２００との間で情報のやり取りが可能な状態になる。なお。台座１３２は、フレキシブルチューブなどの変形可能な素材で形成されてもよい。この場合、楽器１００に対する携帯端末２００の固定位置をユーザの好みに応じて変更することができる。加えて、位置だけではなく携帯端末２００の向きを調整することができる。また、台座を設ける位置は図２のように、楽器１００の譜面台の左の縁に近い位置に限られない。ただし、演奏の場面を撮影するのに都合のよい位置であり、且つ演奏の邪魔にならない程度にユーザの手の届く範囲にあることが好ましい。
【００１４】
図３は楽器１００の機能構成図である。楽器１００は、操作部１１０、駆動機構１２１、生成部１２０、検知部１３０、記憶部１４０、音響発生部１６０および制御部１７０を含む。操作部１１０は、鍵盤１１１やペダル１１２等からなる入力機構であり、演奏者による演奏操作を受け付ける。生成部１２０は、センサ１２２、信号処理部１２３を含み、操作部１１０にて受け付けられた演奏操作を表す演奏情報を生成する。駆動機構１２１は、鍵盤の鍵の動きに応じて弦を打弦するアクション機構や弦の振動を止めるダンパ機構であり、演奏操作を反映した機械的な情報を音響発生部１６０に伝達する。加えて、楽器１００は、操作部１１０を駆動するアクチュエータ等の機構（図示せず）を備え、制御部１７０からの制御信号に基づいて操作部１１０を動作させることにより自動演奏を実現する機能を有していてもよい。すなわち、本発明に係る楽器は、自動演奏機能はあってもなくてもかまわない。
【００１５】
センサ１２２は、鍵盤の鍵・ハンマごとにあるいは弦ごとに設けられ、鍵盤の動きおよび弦の振動の少なくともいずれかを検出し、検出した情報を信号処理部１２３に出力する。信号処理部１２３は信号処理プロセッサによって実現され、センサ１２２から供給された情報に基づいて、操作部１１０の操作内容に対応する演奏情報を生成する。演奏情報は、例えばＭＩＤＩ（Musical Instrument Digital Interface）の形式を有する。この場合、演奏情報には操作がなされたタイミングを表す情報（ノートオン／オフ）、その音の音高（ノート番号）、音量や強弱（ベロシティ）等を含む。要するに、演奏情報とは演奏者の演奏操作（動作）が反映された情報であり、演奏情報に基づいて演奏の内容が再現されうるものであればよい。生成された演奏情報は制御部１７０に出力される。また、信号処理部１２３は必演奏情報の加工・編集、データ形式の変更等などの信号処理を行う。
【００１６】
音響発生部１６０は、操作部１１０にて受け付けられた演奏操作に応じた音を放音する。具体的には、音響発生部１６０は、弦１６１および響板１６２などから構成され、駆動機構１２１を介して伝達された操作部１１０の機械的な力に基づいて音響波を発生させ、発生した音響波を楽器１００の外部の空間へ伝達させる。検知部１３０は、端子１３１および台座１３２（図２参照）、および信号回路（図示せぬ）を含み、携帯端末２００を設置するためのクレードルとして機能する。加えて、検知部１３０は、携帯端末２００を検知する。具体的には、携帯端末２００側の端子と端子１３１とが機械的に接触したことが電気信号の変化に基づいて検出される。検出結果は制御部１７０に出力される。検知部１３０は、制御部１７０の制御の下、端子１３１を介して携帯端末２００から供給された情報を制御部１７０に出力する一方、制御部１７０から供給された情報を携帯端末２００側に供給する。
【００１７】
記憶部１４０は、ＲＡＭ、ＲＯＭ等の半導体メモリやハードディスク等の磁気記憶媒体、ＤＶＤ等の光記憶媒体によって実現され、信号処理部１２３にて生成された演奏情報および演奏情報を編集してえられる演奏データが記憶される。加えて、携帯端末２００と情報のやり取りをするために必要な情報登録された携帯端末２００を識別する端末ＩＤが記憶される。さらに、携帯端末２００に提供され、演奏に付随する情報である、楽器１００を識別する装置ＩＤが記憶される。さらに、制御部１７０にて実行され楽器１００を制御するためのプログラムが記憶される。このプログラムは、予め記憶部１４０に格納されてもよいし、記憶媒体に記憶されまたは通信網からダウンロードされることにより、事後的に格納されてもよい。
【００１８】
制御部１７０は、ＣＰＵ等のプロセッサによって実現され、記憶部１４０や検知部１３０から取得される情報等を用いて、操作部１１０、生成部１２０、検知部１３０を制御する。具体的には、携帯端末２００を検出すると、前記生成部にて生成された演奏情報および当該演奏操作が行われている場面を撮影した映像のうち少なくともいずれか一つを、当該楽器および前記携帯端末の少なくともいずれかに記録する処理を開始する。好ましい態様において、制御部１７０は、携帯端末２００が検出されると、生成部１２０にて生成された演奏情報、集音部にて集音された音情報、および当該演奏操作が行われている場面を撮影した映像のうち少なくともいずれか一つを、当該楽器および前記携帯端末の少なくともいずれかに記録する処理を開始する。なお、本実施例においては、映像および集音については携帯端末２００に設けられた撮像機能および録音機能を利用する。
【００１９】
なお、この記録処理は、携帯端末２００を検知した直後に実行してもいいし、携帯端末２００からの録画開始の通知を受信するなど、録画の準備状況に依存するタイミングで実行してもよい。いずれにしても、楽器１００の演奏者は、携帯端末２００を所定の位置に設置すること以外に、演奏の記録を開始するための操作を行う必要がない。
加えて、制御部１７０は、演奏記録の終了のタイミングを決定する。具体的には検知部１３０にて携帯端末２００が検出されなくなると記録処理が終了する。あるいは、入力部２０２から記録停止の指示が演奏者やその他の人によって携帯端末２００に入力された場合、録画停止を要求する信号を携帯端末２００から楽器１００へ出力し、楽器１００は当該信号を受信すると、記録処理を終了させるようにしてもよい。さらに、制御部１７０は、携帯端末２００に対し、携帯端末２００における撮影の開始を指示する。撮像開始の指示に加えて、撮像終了の指示が楽器１００から携帯端末２００に送信されてもよい。
【００２０】
なお、楽器１００にて記録を行う場合は、演奏操作を検知するたびに逐一その操作が反映された演奏情報を記憶部１４０に記憶する。なお、好ましい態様において、演奏情報は演奏データとして最終的に携帯端末２００に保存されてもよい。例えば、生成される演奏情報を逐一、または所定のタイミングでまとめて記憶部１４０から抽出して検知部１３０を介して携帯端末２００に転送する。所定のタイミングは、例えば楽器１００と携帯端末２００との間の転送速度に基づいて決定されてもよい。あるいは、一連の演奏（一曲の演奏）終了後に記憶部１４０に蓄積した演奏情報がまとめて携帯端末２００に出力されもよい。
【００２１】
図４は携帯端末２００の機能構成図である。携帯端末２００は、表示部２０１、入力部２０２、センサ２０３、録音部２０４、撮像部２０５、第２通信部２０６、放音部２０７、第１通信部２０８、記憶部２０９、制御部２１０を含む。表示部２０１は、液晶ディスプレイ等の表示装置であり、演奏の記録や撮像、サーバ３００への情報の保存時において、ユーザに必要な情報を表示する。入力部２０２は、テンキーやタッチパネルなどによって実現され、演奏の記録や撮像、サーバ３００への情報の保存時において、ユーザから入力された情報を受け付ける。センサ２０３は、加速度センサ、ジャイロセンサ、照度センサ等のセンサやセンサ結果を解析する処理回路を含み、撮影環境を検出および判定をする。
【００２２】
録音部２０４は、マイクロフォンや音声処理回路からなり、集音を行う。なお、マイクロフォンは録音部２０４に備わったものを利用してもよいし、図３には図示はしていないが楽器１００に設けて備えてもよい。あるいは、楽器１００へ携帯端末２００とは別途独立の装置として演奏記録システム１内に導入されてもよい。撮像部２０５は、レンズやイメージセンサや映像信号処理回路からなり、撮像を行う。なお、以下で「撮影」、「録画」といった場合は、特段の説明がない限り、撮像部２０５による映像データの取得と録音部２０４による集音との両方が同時に行われることを意味する。つまり、撮像部２０５の撮影対象が演奏者である場合は、演奏者（およびピアノの画像や周囲の風景など）の画像が取得されるとともに、楽器１００による演奏音（および演奏者が演奏と同時に歌唱をしている場合は歌唱音や環境音（その他の雑音）が集音されることになる。
第２通信部２０６は、アンテナや無線信号処理回路によって実現され、３ＧやＬＴＥ、ＩＥＥＥといった無線通信規格に従って中継装置４２０を介して相手の携帯端末２００と音声通信やデータ通信を行うとともに、通信網４１０およびサーバ３００と接続し、サーバ３００との間でデータの送受信を行う。放音部２０７はスピーカであり、音声通信に用いられるほか、各種情報を音声でユーザに報知する。
【００２３】
第１通信部２０８は、楽器１００の検知部１３０と接続するための端子２０８１を備え、楽器１００との接続を検知する。端子２０８１を介して、携帯端末２００を識別する端末ＩＤが楽器１００に提供され、楽器１００から楽器１００の装置ＩＤや楽音データ等の情報が携帯端末２００に提供される。記憶部２０９は、ユーザを識別するユーザＩＤ、端末ＩＤ、楽器１００から受信した、演奏情報や演奏情報から編集された演奏情報、および当該演奏に関係する付随的な情報（装置ＩＤや日時情報など）を記憶する。加えて、記憶部２０９には、制御部２１０にて実行され、制御部２１０を制御するための基本プログラムやアプリケーションプログラムが記憶される。これらのプログラムは、記憶媒体に記憶されあるいは通信網を介してサーバ装置からダウンロードされてもよい。
【００２４】
制御部２１０は、ＣＰＵ等のプロセッサからなり、表示部２０１、入力部２０２、センサ２０３、録音部２０４、撮像部２０５、第２通信部２０６、放音部２０７、第１通信部２０８、記憶部２０９を制御する。具体的には、制御部２１０において、一般的な情報通信端末の機能に加え、所定のアプリケーションを実行することにより、端子２０８１を介して、接続された楽器１００を認識する機能、楽器１００に情報を出力する機能、楽器１００からの要求を受信する機能、受信した要求に応じて撮像部２０５、センサ２０３、表示部２０１、第２通信部２０６等を制御する機能が実現される。
【００２５】
図５は、記憶部２０９に記憶されるデータＤ１の構造の例である。Ｄ１は個々の演奏を識別するファイルＩＤ、演奏が行われた日時、演奏が行われた楽器の装置ＩＤ、演奏情報（ＭＩＤＩデータ）を対応付けて記憶する。制御部２１０は、自動的にまたはユーザからの指示があると、読み出したＤ１の情報にユーザＩＤを付加してサーバ３００に送信する。
【００２６】
なお、演奏記録システム１の構成からサーバ３００を省略する場合、記憶部２０９にサーバ３００の機能を持たせる。この場合、演奏に関するデータの再生や加工等を行うために第２通信部２０６を用いてサーバ３００にアクセスする必要がない。加えて、記録される情報はそのユーザに関するもののみであり、他人の情報と自分の情報を識別する必要もないため、データ作成者を識別・認証のためにデータ構造が複雑になる虞がない。
【００２７】
図６はサーバ３００の機能構成図である。サーバ３００は制御部３０１、入出力部３０２、記憶部３０３、通信部３０４を含む。制御部３０１はＣＰＵ等のプロセッサであり、入出力部３０２、記憶部３０３、通信部３０４を制御する。具体的には、携帯端末２００からの要求要求に応じて、当該演奏データおよび映像データを携帯端末２００から受信してデータベースＤＢに格納する。また、携帯端末２００から要求に応じて、携帯端末２００のユーザが行った演奏について記録された演奏データを提供し、携帯端末２００によって指定されたファイルを携帯端末２００に送信する。この際、サーバ３００は課金処理を行ってもよい。通信部３０４は通信インタ−フェースであり、通信網４１０を介して携帯端末２００とデータの授受を行う。データの授受においては、必ずユーザＩＤに基づいてユーザ認証が行われる。入出力部３０２は、キーボードやマウス等の入力装置と表示装置である。記憶部３０３はハードディスク等の記憶装置であり、携帯端末２００から送信された、演奏データと録画データと紐付けて記憶したデータベースＤＢが格納されている。
【００２８】
図７において、（ａ）はデータベースＤＢに記憶されたデータレコードＤ２の構造の例を示す。（ｂ）および（ｃ）は、異なるユーザに対して構築されたデータベースＤＢ１およびＤＢ２の構成例を示す。このように、ユーザに固有のデータベースが構築されている。制御部３０１は、データベースＤＢにアクセスする際にはユーザＩＤを用いた認証処理を行うことで、そのユーザに対応するデータベースのみへのアクセスを許容する。
【００２９】
図８は、演奏記録システム１の動作例である。まず、携帯端末２００を携帯したユーザは事前準備を行う（Ｓ１００）。具体的には、楽器１００と連携して録画を行うためのアプリケーションを起動させておく。また、携帯端末２００の装置ＩＤを楽器１００に登録しておく。ユーザは楽器１００の前に座り、楽器１００を検知部１３０に設置する。すると、楽器１００は携帯端末２００を検知する（Ｓ１０２）。具体的には、以下の処理が行われる（図示省略）。同時に携帯端末２００も楽器との接続を認識し、端末ＩＤを楽器１００に出力する。携帯端末２００から端末ＩＤを受信すると、楽器１００は当該ＩＤが記憶部１４０に登録されているかを判定する。なお、登録されていない場合、処理を中止する。あるいは、新規登録を要求する信号を携帯端末２００に出力し、携帯端末２００の画面に所定の登録案内メッセージを表示させることにより、新規登録を促すための処理を実行してもよい。
【００３０】
登録の事実を確認すると、楽器１００は記憶部１４０から楽器１００の装置ＩＤを読み出す。読み出された装置ＩＤは録画要求Ｒｅｑ１に内包させられて携帯端末２００に送信される（Ｓ１０４）。録画要求Ｒｅｑ１を受信した携帯端末２００は、画面に所定のメッセージを表示する、あるいは音声によるアナウンスを行うことによって、演奏者に演奏に関する記録が開始されることを報知する（Ｓ１０６）。続いて、携帯端末２００は、撮像部２０５を作動させて録画を開始する（Ｓ１０８）。携帯端末２００は、録画が開始されたことの通知Ｒｅｓ１を楽器１００に送信する（Ｓ１１０）。このとき、楽器１００に映像や音声でユーザにメッセージを報知する機能を有している場合、所定のパターンで発光手段を点滅させるなどして、録画が開始されたことおよび演奏記録の準備が整ったことをユーザに通知して演奏の開始を促してもよい。この後、センサ１２２にて演奏動作が検知されると、楽器１００は演奏が開始されたと判断し、それ以後の検出された全ての演奏操作に対応する演奏情報を、携帯端末２００を検知し続けている間、記憶部１４０に記録していく（Ｓ１１４）。この間、携帯端末２００において、「演奏記録中です。端末を取り外さないでください。」といったメッセージを表示し、端末の接続維持を促してもよい。記録された情演奏報は記憶部１４０に記憶される。なお、記憶部１４０に記憶することに替えてもしくは記憶部１４０に加えて、取得した演奏情報を逐次、携帯端末２００に出力して携帯端末２００において記憶してもよい。
【００３１】
ユーザは演奏を中断ないし終了させ、携帯端末２００を検知部１３０から取り外す。すると、楽器１００は携帯端末２００を検知されなくなったことを認識し（Ｓ１１５Ａ；ＮＯ）、楽器１００は演奏の記録を終了する（Ｓ１１６）。一方、携帯端末２００は、楽器１００との接続が途切れたことを検知すると（Ｓ１１５Ｂ；ＮＯ）、録画を終了する（Ｓ１２２）。
演奏情報が逐次転送されている場合、楽器１００は、演奏開始から終了まで記録した演奏情報をつなぎ合わせ、一連の演奏を表す１つのＭＩＤＩデータを生成する（Ｓ１２０）。生成されたＭＩＤＩデータは、日時情報、楽器ＩＤとともに携帯端末２００に送信される（Ｓ１２０）。この際、楽器１００と携帯端末２００の接続が途切れているので、このままではデータの転送を行うことができない。よって、例えば携帯端末２００は、ＭＩＤＩデータを受け取る前に接続が切られたと判定すると、２００の画面に所定のメッセージを表示するなどして、ユーザに再度楽器１００との接続を促すようにする。再度の接続がなされるとＭＩＤＩデータの転送が実行される。
一方、演奏情報が逐次転送されていた場合、携帯端末は再接続を促すことなく、その時点で受信した演奏情報をつなぎ合わせて1つのＭＩＤＩデータを生成してもよい（Ｓ１２０）。つまり、ＭＩＤＩデータの生成を楽器１００でなく携帯端末２００で行う。
携帯端末２００はこれらのデータを受信すると、撮影した映像および音声のデータに対応付けて、
一回の演奏に関連する演奏データとして記憶部２０９に格納する（Ｓ１２６）。その後、ユーザから指示があると、携帯端末２００は、演奏データを記憶部２０９から読み出し、ユーザＩＤと、撮影データとともに必要に応じてサーバ３００にアップロードする（Ｓ１２８）。
【００３２】
なお、演奏の中断や終了の判定は、ユーザが携帯端末２００を検知部１３０から取り外すという行為以外にも、携帯端末２００に録画終了の指示を入力があったことによって行われてもよい。あるいは、楽器１００に情報の入出手段を設けた場合に演奏終了したことの入力があった場合、あるいは所定時間演奏操作が検出されなかった場合に、楽器１００は演奏が終了したと判定してもよい。
【００３３】
本実施例によれば、ユーザは所定のアプリケーションが実行された携帯端末２００を所定の位置に設置するという簡単な行為を行うだけで、演奏の記録が自動的に開始される。すなわち、録音のためのスイッチ操作を行う必要がないので、演奏者への心理的負担が少ない。加えて、演奏者が携帯端末２００を操作することなく携帯端末２００での録画が自動的に開始される。よって、録画装置と予め楽器１００とを接続するといった事前準備の煩わしさから解放される。
【００３４】
上述の実施例は以下のように変形してもよい。なお、以下の変形例は、各々を組み合わせてもよい。
また、楽器１００による携帯端末２００の検知は非接触で行われてもよい。以下、電子ピアノと携帯端末とが無線通信を行う例について説明する。なお、電子ピアノは演奏を行う楽器の一例であって、アコースティックピアノやその他の楽器であってもよいことは言うまでもない。
【００３５】
図９は、一般的な電子ピアノの機能を有する楽器１００Ａの構成を示す。楽器１００Ａは、駆動機構１２１を省略するとともに、音響発生部１６０、検知部１３０に替えてそれぞれ検知部１３０Ａ、音響発生部１６０Ａを用いた点、および入出力部１５０および集音部１５５を設けた点で、楽器１００の機能構成と異なる。音響発生部１６０Ａは、スピーカ１６３とアンプ１６４とを含む。スピーカ１６３は演奏情報に基づいて放音を行う。アンプ１６４は信号増幅回路であり、信号処理部１２３から供給された信号を増幅してスピーカ１６３に供給する。鍵盤１１１は、鍵の動きを検知するとセンサ１２２に出力する。生成部１２０は演奏情報を生成する。生成した演奏情報は、制御部１７０とともに音響発生部１６０Ａに供給される。これにより、検知部１３０Ａは、アンテナや信号処理回路からなる１１４を有し、楽器１００ＡとBluetooth（登録商標）やWiFi（登録商標）等の通信規格に従って無線通信を行う。好ましい態様において、FeriCa(登録商標)、ISO/IEC14443といった近距離無線通信規格が用いられる。入出力部１５０は、液晶画面や液晶駆動等からなる表示手段、発光素子、スピーカ等の情報出力手段およびボタンやつまみ等の入力手段からなり、ユーザが楽器１００Ａの制御に必要な設定情報を入力し、あるいは制御内容を通知しあるいはユーザに操作を促すために用いられる。集音部１５５は、マイクロフォンや信号処理回路からなり、楽器１００Ａで放音された音を含む音（演奏者の歌唱音やその他の環境音）を集音し、アナログ／デジタル変換などの音響信号処理を行って、集音した音を表す情報を生成する。なお、以下の動作例においては、楽器１００は、携帯端末２００との接続時に、携帯端末２００に録音機能が存在することを把握し、演奏音を含む音の集音については集音部１５５の機能を利用しないと決定したものと仮定する。
【００３６】
楽器１００Ａによる携帯端末２００の検知は、楽器１００Ａと携帯端末２００とが所定の距離以内にあるかを判定することによって行われる。具体的には、楽器１００Ａが受信した無線信号の強度が所定以上であった場合に楽器１００Ａが携帯端末２００からの所定の距離に入ったと判定する。ただし、携帯端末２００が楽器１００Ａから所定距離以内にあっても常に撮影準備が整っているとは限らない。例えば、携帯端末２００がポケットの中にしまわれているかもしれないし、ユーザ（演奏予定者）が楽器１００Ａから遠く離れた場所にいるかもしれないし、楽器１００周囲で動きまわっていて楽器１００Ａが静止していないかもしれない。この観点から、携帯端末２００は、楽器１００Ａの存在（接近）を認識した後、撮影準備が整っているか（楽器１００Ａの位置や姿勢が撮影に適しているか）を判定するために、センサ２０３からの情報や撮像部２０５で取得した画像からの情報を用いることが好ましい。
【００３７】
例えば、携帯端末２００は、まずセンサ２０３の照度センサで周囲の明るさを判定し、照度が所定以上である場合に撮像部２０５を作動させる。次に、撮像部２０５で撮像された映像を解析して、楽器１００Ａや演奏者などの対象登録が映っているか、カメラレンズの焦点が合っているかなどを判定する。この判定にあっては、例えば、予め楽器１００Ａを撮影してその映像データを記憶部２０９に登録しておき、取得した撮影データと登録された撮影データとを比較する。そして、携帯端末２００は撮影対象が捉えられていると判定した場合に録画を開始する。あるいは、これから演奏を開始しようとする楽器１００Ａのユーザが、撮影されている画像を確認しながら逐一携帯端末２００の位置や向きなどを調整し、調整が完了したら録画を開始する旨の指示を携帯端末２００に入力してもよい。
【００３８】
図１０に、楽器１００Ａと、端子を省略する代わりに楽器１００とBluetoothやWiFi等の通信規格に従って無線通信を行うための機能（図示略）を設けた携帯端末２００とを用いた場合の動作例を示す。図１１（ａ）〜（ｄ）は、図１０に示す動作例において携帯端末２００に表示される画面の例を示す。
図１０において、Ｓ１００〜Ｓ１０６までの処理は、Ｓ１０２における検出プロセスが非接触で行われる点を除き、図８を用いて説明した動作と同様であるので、説明を省略する。携帯端末２００は、録画要求Ｒｅｑ１を受信すると、図１１（ａ）に示すメッセージを画面に表示することにより、携帯端末２００と楽器１００とが通信可能になったことを通知するとともに、携帯端末２００の位置や向きを撮影に適した状態に調整するようユーザを促す（Ｓ２０１）。
【００３９】
録画を希望するユーザは、画面に表示されたソフトボタン「続ける」を選択し、撮影したい位置に携帯端末２００を設置し、撮影対象に撮像部が向くように楽器１００Ａの向き（姿勢）を調整する。さらに、詳細な調整（ズーム倍率やフォーカスなどの設定）をしてもよい。続いて、携帯端末２００は、撮像部２０５を起動して撮影データを取得し、センサ２０３にてセンサ情報（加速度や照度など）を逐次取得する（Ｓ２０３）。そして、携帯端末２００は、映像データの解析結果、および撮像部２０５からのセンサ情報の少なくともいずれかを用いて、撮影準備が整っているかを判定する。この判定処理は、所定の周期で繰り返される。撮影準備が整っていないと判断した場合（例えば、何も映っていない場合、映った映像が暗すぎる場合、携帯端末２００が静止していない場合など）、携帯端末２００は図１１（ｂ）に示すような画面を表示し、撮影環境の変更を促す。撮影準備が整ったと判断すると、撮像部２０５で取得した映像を表示するとともに図１１（ｃ）に示すようなメッセージを表示し、ユーザに撮影準備の確認を促す（Ｓ２０５）。なお、撮像条件が整っているかの判定方法については、例えば、予め楽器１００を携帯端末２００で撮像しておくなどして楽器１００や楽器１００の周囲の画像などを登録しておき、撮影された画像データと登録された画像データとの類似性を既知の解像アルゴリズムを用いて算出し、類似度に基づいて判定する。
【００４０】
ユーザは、映像を見て現状の撮影環境に納得すると、ソフトボタン「決定」を選択する（Ｓ２０７：ＹＥＳ）。すると、携帯端末２００はこの撮影環境で録画を開始し（Ｓ１０８）、録画画像とともに図１１（ｄ）に示すように録画中であることを通知する。通知Ｒｅｓ１が楽器１００に送信されると（Ｓ１１０）、入出力部１５０を用いて演奏の記録準備が整った旨を画像または音声でユーザに報知する（Ｓ１１２）。
演奏を記録する処理については、図８で示した動作と同様である。ただし、この例では、演奏情報は楽器１００Ａのみで逐次記憶され、演奏終了後に携帯端末が楽器１００からＭＩＤＩデータを受け取る場合を示している（Ｓ１２０およびＳ１２４）。図８で示した動作との違いは、ステップＳ１１６で演奏終了を判定すると、楽器１００Ａは携帯端末２００に録画停止要求を送信する点（Ｓ１１８）、および携帯端末２００は録画停止要求を受信すると録画を終了する点（Ｓ１２２）である。
【００４１】
この変形例によれば、演奏の記録を開始するために必要でかつ録画機能を有する装置を、楽器に接触させる必要がない。これにより、撮影位置の制限が大幅に緩和し映像表現の自由度が向上する。また、必ず撮影状態をユーザに確認させてから録画が開始するので、例えばサーバ３００がユーザのポケットに入ったままであるなど、撮影に適さない状態のまま自動的に録画が開始されてしまうことが防止される。また、携帯端末２００を持っていれば、楽器１００と携帯端末２００とを連携させて演奏音の記録や演奏者の録画を行う準備が整ったことが演奏前の演奏者に通知されるので、演奏の記録や録画を忘れる虞が少なくなる。
【００４２】
演奏情報は、ＭＩＤＩデータ（ＭＩＤＩメッセージともいう）以外の形式で記録されてもよい。例えば、楽器１００にマイクを設けて音響発生部１６０から放音された音を集音し、ＭＩＤＩデータとともにあるいはＭＩＤＩデータに替えて、集音した音をデジタル化して楽器１００および携帯端末２００の少なくともいずれか記憶するようにしてもよい。また、録画によって得られるデータは少なくとも映像データを含んでいればよく、映像データのみでも映像データと音声データを含んでいてもよい。
【００４３】
また、演奏に関して記録される情報には、（ａ）演奏情報および撮影データ（具体的には（ｂ）映像データと（ｃ）演奏音データ（場合によっては環境音や歌唱音などを含む））の計３種類のデータが含まれるが、（ａ）〜（ｃ）のうちどのデータを記録するのか全部を記憶するのかを決定するプロセスを導入してもよい。例えば、携帯端末に撮像機能が存在しない場合は、演奏音データのみを記録する。また、記憶容量や信号処理速度が低い場合は特定の種類のデータについては、演奏記録システム内で記録を行わないようにしてもよい。この判定は、例えば楽器と携帯端末とが接続されたときに行う。
【００４４】
また、携帯端末２００は、撮影環境を自動的に調整してもよい。例えば、撮像部２０５にカメラの向きを可変にする駆動機構を設け、制御部２１０は最適な撮影状態が実現するように駆動機構を制御する。すなわち、本発明で用いられる携帯端末は、楽器を基準とした所定の位置にあるとき録画を開始し、楽器１００と接触状態または非接触状態で通信を行って当該楽器でなされた演奏内容を表す情報を取得する機能を少なくとも有していればよい。
【００４５】
演奏情報やＭＩＤＩデータの記録先を楽器１００（１００Ａ）にするのか携帯端末２００にするのかの選択については、予め記録先が固定的に決められていてもよいし、携帯端末２００を検知する都度決定されてもよい。また、記録先を常に携帯端末２００に設定する場合は、楽器１００に記憶部１４０を設ける必要ない。なお、この場合、楽音データは逐次携帯端末２００に転送されることになる。記録先の具体的な決定方法としては、例えば携帯端末２００の検知時に、楽器１００（１００Ａ）と携帯端末２００とで所定のネゴシエーションをする。一例としては、楽器１００（１００Ａ）と携帯端末２００のそれぞれに予め記録場所の優先度を表す情報を記憶させておき、この情報を参照して高い優先度が設定されたほうのデバイスが記憶先であると決定する。
あるいは、記録先は楽器１００と携帯端末２００と機能構成に応じて決定してもよい。例えば演奏情報を生成機能、録画機能、集音機能のそれそれを楽器側と携帯端末側の両方に備わっている場合、各機能がより高いほうのデバイスにおいて、それぞれ演奏情報の生成、録画、集音を担わせてもよい。
あるいは、ユーザが、楽器１００（１００Ａ）または携帯端末２００に記録先を指定する情報を入力してもよい。なお、楽器１００（１００Ａ）と携帯端末２００の両方に同時に（平行して）録画や集音を実行してもよい。
【００４６】
要するに、本発明の演奏記録システムは、楽器と携帯端末とを有する演奏記録システムにおいて、記憶手段と、演奏操作を受け付ける受付手段と、該受け付けられた演奏操作を表す演奏情報を生成する生成手段と、該受け付けられた演奏操作が行われている場面を撮影する撮像手段と、前記携帯端末と前記楽器とが所定の位置関係にあることを検知する検知手段と、前記携帯端末が検出されると、前記生成手段にて生成された演奏情報および前記撮像手段にて撮影された映像のうちの少なくともいずれか一つを前記記憶手段に記録する処理を開始する手段とを少なくとも有する。
そして、本発明の楽器は、演奏操作を受け付ける操作部と、該受け付けられた演奏操作を表す演奏情報を生成する生成部と、携帯端末を検知する検知部と、前記携帯端末が検出されると、前記生成部にて生成された演奏情報および当該演奏操作が行われている場面を撮影した映像のうち少なくともいずれか一つを、当該楽器および前記携帯端末の少なくともいずれかに記録する処理を開始する制御部とを有していればよい。
【符号の説明】
【００４７】
１００、１００Ａ・・・楽器、１１０・・・操作部、１２０・・・生成部、１３０・・・検知部、１４０・・・記憶部、１５０・・・入出力部、１５５・・・集音部、１６０・・・音響発生部、１７０・・・制御部、１２１・・・駆動機構、１２２・・・センサ、１２３・・・信号処理部、１１１・・・鍵盤、１１２・・・ペダル、１６１・・・弦、１６２・・・響板、１６３・・・スピーカ、１６４・・・アンプ、３００・・・サーバ、３０１・・・制御部、３０２・・・入出力部、３０３・・・記憶部、３０４・・・通信部、２００・・・携帯端末、２０１・・・表示部、２０２・・・入力部、２０３・・・センサ、２０４・・・録音部、２０５・・・撮像部、２０６・・・第２通信部、２０７・・・放音部、２０８・・・第１通信部、２０９・・・記憶部、２１０・・・制御部、１３４・・・無線通信モジュール、１３１・・・端子、１３２・・・台座、１０８１、２０８１・・・端子
【図１】
2014228750.tif 000003
【図２】
2014228750.tif 000004
【図３】
2014228750.tif 000005
【図４】
2014228750.tif 000006
【図５】
2014228750.tif 000007
【図６】
2014228750.tif 000008
【図７】
2014228750.tif 000009
【図８】
2014228750.tif 000010
【図９】
2014228750.tif 000011
【図１０】
2014228750.tif 000012
【図１１】
2014228750.tif 000013