(57)【要約】      （修正有）【課題】楽器演奏時の演奏者の運指状態を詳細に検知することができる運指データ生成装置及びプログラムを提供する。【解決手段】データ処理装置によれば、鍵盤楽器を演奏する演奏者の鍵３６０に対する指の位置を時系列に記録した第１のデータを取得し、前記第１のデータに基づいて鍵の配列方向及び鍵３６０の平面上における前記演奏者の指の位置を解析する指位置解析部と、解析された指の位置に基づいて前記演奏者の指の位置を時系列に示す運指データを生成する運指データ生成部５４１と、を備える。【選択図】図２
2017062347.tif 000002
【特許請求の範囲】
【請求項１】
鍵盤楽器を演奏する演奏者の鍵に対する指の位置を時系列に記録した第１のデータを取得し、前記第１のデータに基づいて鍵の配列方向及び鍵の平面上における前記演奏者の指の位置を解析する指位置解析部と、
解析された指の位置に基づいて前記演奏者の指の位置を時系列に示す運指データを生成する運指データ生成部と、
を備えるデータ処理装置。
【請求項２】
前記運指データと前記演奏者による前記鍵盤楽器の演奏に対応する楽音データとを関連付けて記憶する記憶部をさらに備える、請求項１に記載のデータ処理装置。
【請求項３】
前記鍵盤楽器を演奏する前記演奏者の視線の動きを時系列に記録した第２のデータを取得し、前記第２のデータに基づいて視線の位置を解析する視線解析部と、
前記解析された視線の位置に基づいて前記演奏者の視線の動きを時系列に示す視線データを生成する視線データ生成部と、
をさらに備え、
前記記憶部は、生成された前記視線データを前記運指データ及び前記楽音データと関連付けて記憶する、請求項２に記載のデータ処理装置。
【請求項４】
前記第１のデータは、演奏操作中の前記演奏者の運指を記録した映像データであり、
前記指位置解析部は、前記映像データを用いて前記指の位置を解析する、請求項１乃至３の何れか一項に記載のデータ処理装置。
【請求項５】
前記第１のデータは、前記鍵に対する前記演奏者の指の位置を示す検知信号であり、
前記指位置解析部は、前記検知信号を用いて前記指の位置を解析する、請求項１乃至３の何れか一項に記載のデータ処理装置。
【請求項６】
前記検知信号は、前記鍵と接触した前記演奏者の指の位置を示し、
前記指位置解析部は、前記検知信号により前記演奏者の指の接触が検出された鍵について前記指の位置を解析する、請求項５に記載のデータ処理装置。
【請求項７】
請求項１乃至６の何れか一項に記載のデータ処理装置と、
前記データ処理装置から伝達された運指データに基づいて演奏者の指の運指状態を表示する表示部と、
を備える、運指データ生成システム。
【請求項８】
前記運指データに基づいて指の運指状態を示す運指映像を生成する運指映像生成部と、
前記運指映像を鍵盤上に投影する投影部と、
を備える、請求項７に記載の運指データ生成システム。
【請求項９】
コンピュータに、
鍵盤楽器を演奏する演奏者の鍵に対する指の位置を時系列に記録したデータを取得させて、前記データに基づいて鍵配列方向及び鍵の平面上における前記演奏者の指の位置を解析させ、
解析された指の位置に基づいて前記演奏者の指の位置を時系列に示す運指データを生成させること、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理装置及びプログラムに関する。
【背景技術】
【０００２】
先生の手指の運指状態を生徒に目視で確認させることは、ピアノなどの楽器の演奏の教習時において重要な教習方法の一つである。先生と生徒が遠隔地にいる場合においても、生徒が先生の運指状態を目視して確認できる技術が開発されている。例えば、特許文献１には、運指データと楽音データとを関連付けて記録し、楽音データのタイミングデータに基づいて運指データを再生する運指データ作成装置及び運指表示装置が開示されている。また、引用文献２には、撮像された画像データに基づいて演奏者の指の位置を認識し、認識された指の位置を示す指位置情報に基づいて楽音制御を行う楽音制御装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３１７１号公報
【特許文献２】特開２００７−２５６４１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特に、複雑な和音の演奏又は特定の演奏技法を行う際には、手指を楽器の特定の位置に配さなければ演奏が困難となる場合がある。特許文献１に記載の運指データ作成装置及び運指表示装置では、楽器、例えば、ピアノ演奏時の運指を表示することができるが、鍵盤のどの位置を触れているのかを特性することはできない。また、特許文献２に記載の楽音制御装置では、鍵の配列方向における運指状態、即ち、演奏者の各指が鍵盤上のどの鍵の位置にあるかを特定することはできても、鍵の奥行方向の運指状態、即ち、各鍵の平面上における演奏者の指の位置を特定することができない。そのため、生徒が先生の運指を模倣しようとしても、正確に模倣することが難しい。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、楽器演奏時の演奏者の運指状態を詳細に検知することができるデータ処理装置及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一実施形態によると、鍵盤楽器を演奏する演奏者の鍵に対する指の位置を時系列に記録した第１のデータを取得し、前記第１のデータに基づいて鍵の配列方向及び鍵の平面上における前記演奏者の指の位置を解析する指位置解析部と、解析された指の位置に基づいて前記演奏者の指の位置を時系列に示す運指データを生成する運指データ生成部と、を備えるデータ処理装置が提供される。
【０００７】
前記データ処理装置は、前記運指データと前記演奏者による前記鍵盤楽器の演奏に対応する楽音データとを関連付けて記憶する記憶部をさらに備えてもよい。
【０００８】
前記データ処理装置は、前記鍵盤楽器を演奏する前記演奏者の視線の動きを時系列に記録した第２のデータを取得し、前記第２のデータに基づいて視線の位置を解析する視線解析部と、前記解析された視線の位置に基づいて前記演奏者の視線の動きを時系列に示す視線データを生成する視線データ生成部と、さらに備え、前記記憶部は、生成された前記視線データを記運指データ及び前記楽音データと関連付けて記憶してもよい。
【０００９】
前記第１のデータは、演奏操作中の前記演奏者の運指を記録した映像データであり、前記指位置解析部は、前記映像データを用いて前記指の位置を解析してもよい。
【００１０】
前記第１のデータは、前記鍵に対する前記演奏者の指の位置を示す検知信号であり、前記指位置解析部は、前記検知信号用いて前記指の位置を解析してもよい。
【００１１】
前記検知信号は、鍵と接触した前記演奏者の指の位置を示し、前記指位置解析部は、前記検知信号により前記演奏者の指の接触が検出された鍵について前記指の位置を解析してもよい。
【００１２】
本発明の一実施形態によると、前記データ処理装置と、前記データ処理装置から伝達された運指データに基づいて演奏者の指の運指状態を表示する表示部と、を備える運指データ生成システムが提供される。
【００１３】
前記運指データ生成システムは、前記運指データに基づいて指の運指状態を示す運指映像を生成する運指映像生成部と、前記運指映像を鍵盤上に投影する投影部と、を備えてもよい。
【００１４】
また、本発明の一実施形態によると、コンピュータに、鍵盤楽器を演奏する演奏者の鍵に対する指の位置を時系列に記録したデータを取得させて、前記データに基づいて鍵配列方向及び鍵の平面上における前記演奏者の指の位置を解析させ、解析された指の位置に基づいて前記演奏者の指の位置を時系列に示す運指データを生成させること、を実行させるためのプログラムが提供される。
【発明の効果】
【００１５】
本発明によれば、楽器演奏時の演奏者の鍵の配列方向及び鍵の奥行方向の運指状態を詳細に検知することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態に係る運指データ生成システムの構成を示す図である。
【図２】本発明の第１の実施形態における演奏学習システムの構成を示す図である。
【図３】本実施形態における撮影装置で撮影される映像の一例を示す図である。
【図４】本実施形態におけるデータ処理装置の構成を示す図である。
【図５】演奏教習システムの表示装置によって鍵盤装置の鍵盤上に投影されている様子を説明する図である。
【図６】本発明の第２の実施形態に係る運指データ生成システムの構成を示す図である。
【図７】本発明の第２の実施形態における演奏学習システムの構成を示す図である。
【図８】本発明の第２の実施形態におけるデータ処理装置の構成を示す図である。
【図９】本発明の第３の実施形態に係る運指データ生成システムの構成を示す図である。
【図１０】本発明の第３の実施形態における演奏学習システムの構成を示す図である。
【図１１】本発明の第４の実施形態に係る運指データ生成システムの構成を示す図である。
【図１２】本発明の第４の実施形態における視線記録装置の構成を示す図である。
【図１３】本発明の第４の実施形態における表示装置の構成を示す図である。
【図１４】本発明の第４の実施形態におけるデータ処理装置の構成を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して、本発明に係る運指データ生成システムについて説明する。但し、以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。本発明の実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号を付し、その繰り返しの説明は省略する。なお、以降に説明する実施形態では、楽器としてピアノを例示するが、本発明は、ピアノ以外の楽器にも適用可能である。
【００１８】
＜第１実施形態＞
［運指データ生成システムの概要］
図１は、本発明の第１の実施形態に係る運指データ生成システム１０００の構成を示す図である。運指データ生成システム１０００は、データ処理装置１０、演奏教習システム６０、及びこれらを接続するインターネットなどのネットワークＮＷを含む。演奏教習システム６０は、制御装置２０、鍵盤装置３０、撮影装置４０、及び表示装置５０を備える。データ処理装置１０と制御装置２０とは、ネットワークＮＷを介して互いに接続されている。本実施形態においては、演奏を学習する生徒によって使用される演奏教習システム６０（以下、演奏教習システム６０ａともいう）と、演奏の指導を行う先生によって使用される演奏教習システム６０（以下、演奏教習システム６０ｂともいう）とが、ネットワークＮＷに接続される。
【００１９】
演奏教習システム６０では、鍵盤装置３０を用いて演奏する演奏者（生徒又は先生）の演奏操作を撮影装置４０によって撮影する。また、鍵盤装置３０によって演奏者の演奏操作に基づいて楽音データを生成する。そして、制御装置２０は、撮影によって得られた映像データと、演奏操作によって得られた楽音データとをデータ処理装置１０に送信する。データ処理装置１０は、受信した映像データと楽音データとを記憶する。また、データ処理装置１０は、映像データから、鍵に対する演奏者の指の位置を検出し、検出された指の位置に基づいて、鍵の配列方向及び鍵の平面上における演奏者の指の位置（以下、鍵の奥行方向の指の位置ともいう）を時系列に解析して運指データを生成する処理を実行する。データ処理装置１０は、生成した運指データと対応する楽音データとを演奏教習システム６０の制御装置２０に送信する。
【００２０】
表示装置５０は、データ処理装置１０において生成され、制御装置２０から伝達された運指データに基づいて演奏者の指の運指状態を示す映像（以下、運指映像という）を表示する。運指映像は、生徒の演奏を撮影した映像に基づいた生徒の運指映像、又は先生の演奏を撮影した映像に基づいた先生の運指映像であってもよい。また、運指映像は、生徒の運指映像と先生の運指映像とを、重畳して同じタイミングで表示されるように合成して生成されたものであってもよい。なお、この合成とは、同一の表示面での再生が可能な状態になっていることを示しており、必ずしも生徒の運指映像と先生の運指映像とが一つの映像にまとめられている場合に限らない。運指映像は、鍵盤装置３０の鍵盤上に直接投影されてもよく、液晶パネル又は有機ＥＬパネルなどの表示パネルに表示されてもよい。
【００２１】
［演奏教習システム６０の構成］
演奏教習システム６０の構成について説明する。ここでは、演奏教習システム６０に含まれる制御装置２０、鍵盤装置３０、撮影装置４０及び表示装置５０の各構成について、順に説明する。
【００２２】
図２は、本発明の第１の実施形態における演奏学習システム６０の構成を示す図である。制御装置２０は、例えば、パソコン、スマートフォン、タブレットＰＣ等の端末であってもよい。制御装置２０は、制御部２１０、操作部２２０、通信部２３０、記憶部２４０及びインターフェイス２５０を含む。これらの各構成は、バスを介して接続されている。
【００２３】
制御部２１０は、ＣＰＵなどの演算処理回路、ＲＡＭ、ＲＯＭなどの記憶装置を含む。制御部２１０は、記憶部２４０に記憶された制御プログラムをＣＰＵにより実行して、制御装置２０の各構成を制御する。制御プログラムの実行によって、データ送受信機能などの各種機能が実現される。操作部２２０は、操作ボタン、キーボード、タッチセンサ等の装置であり、入力された操作に応じた信号を制御部２１０に出力する。
【００２４】
通信部２３０は、ネットワークＮＷに接続し、他の装置とデータの送受信を行う。本実施形態では、通信部２３０は、ネットワークＮＷを介してデータ処理装置１０とデータの送受信を行う。記憶部２４０は、不揮発性メモリ等の記憶装置である。記憶部２４０は、制御部２１０によって実行される制御プログラムを記憶する。記憶部２４０は、データ処理装置１０から送信されたデータ等の各種データを記憶してもよい。
【００２５】
インターフェイス２５０は、無線または有線で外部装置とデータの送受信を行うための通信装置または端子等を有する。本実施形態では、インターフェイス２５０は、鍵盤装置３０、撮影装置４０及び表示装置５０と制御装置２０とを接続するために用いられる。尚、インターフェイス２５０には、各種信号やデータを送受信するための端子などが含まれていてもよい。
【００２６】
鍵盤装置３０は、ピアノの各鍵に対するユーザの演奏操作を検出するためのセンサを含み、センサから出力された演奏者の演奏操作を示す信号に基づいて楽音データを生成する装置であってもよい。鍵盤装置３０は、制御部３１０、センサ部３２０、楽音データ生成部３３０、音源部３４０、インターフェイス３５０、鍵３６０及びスピーカ３７０を含む。これらの各構成は、バスを介して接続されている。
【００２７】
制御部３１０は、ＣＰＵなどの演算処理回路、ＲＡＭ、ＲＯＭなどの記憶装置を含み、鍵盤装置３０に含まれる各構成の動作を制御する。インターフェイス３５０は、無線または有線で外部装置とデータの送受信を行うための通信装置または端子等を有する。この例では、インターフェイス３５０は、制御装置２０と鍵盤装置３０とを接続するために用いられる。
【００２８】
センサ部３２０は、鍵３６０に対する演奏操作に応じた信号を楽音データ生成部３３０に出力する。楽音データ生成部３３０は、ＣＰＵなどの演算処理回路を含む。楽音データ生成部３３０は、センサ部３２０からの出力信号に基づいて、楽音データｍｄａｔａを生成して、インターフェイス３５０を介して制御装置２０へ出力する。楽音データｍｄａｔａは、例えば、ＭＩＤＩ形式のデータであってもよく、操作された鍵の位置を示す情報（キーナンバ）、打鍵したことを示す情報（キーオン）、離鍵したことを示す情報（キーオフ）、および打鍵速度（ベロシティ）等の演奏操作を示す情報を含む。尚、ＭＩＤＩ形式である場合には、絶対時間を示すタイムコードに限らず、相対時間を表すＭＢＴ方式（小節、拍、ティック）で各演奏操作のタイミングが規定されていてもよい。この場合には、テンポ（１分間の拍数）を示す情報も規定されることにより、相対時間を絶対時間に換算できればよい。その結果、各演奏操作のタイミングを絶対時間の時刻情報で規定できればよい。
【００２９】
音源部３４０は、インターフェイス３５０を介して制御装置２０から受信した楽音データｍｄａｔａにしたがって音信号を生成し、スピーカ３７０に生成した音信号を出力する。この音源部は、制御装置２０に設けられていてもよい。この場合には、音源部によって生成された音信号は、スピーカから出力されてもよいし、音信号を音波形データとして記憶してもよい。この音波形データは、例えば、ＷＡＶ（RIFF Waveform Audio Format）データ、ＭＰ３（MPEG-1 Audio Layer-3）データなどのフォーマットで生成されたものであってもよい。
【００３０】
スピーカ３７０は、音源部３４０から受信した音信号を増幅して出力する。制御部３１０は、運指データに対応する楽音データｍｄａｔａを時刻情報に基づいて運指データに同期させ、楽音データｍｄａｔａに対応する音信号を運指映像の表示と同期して発音させてもよい。なお、鍵盤装置３０は、ヘッドホン端子などを備えていてもよい。
【００３１】
撮影装置４０は、所定の範囲の撮影を実行する装置であって、例えば、ビデオカメラである。撮影装置４０は、制御部４１０、撮像カメラ（運指検知部）４２０、及びインターフェイス４３０を含む。これらの各構成は、バスを介して接続されている。設置される撮影装置４０の数は、１台であってもよく、複数台であってもよい。
【００３２】
制御部４１０は、ＣＰＵなどの演算処理回路、ＲＡＭ、ＲＯＭなどの記憶装置を含み、撮影装置４０に含まれる各構成の動作を制御する。インターフェイス４３０は、無線または有線で外部装置とデータの送受信を行うための通信装置または端子等を有する。この例では、インターフェイス４３０は、制御装置２０と撮影装置４０とを接続するために用いられる。制御部４１０は、鍵盤装置３０における鍵３６０の打鍵がセンサ部３２０によって感知された時に、撮像カメラ４２０による撮影を開始し、鍵盤装置３０において打鍵の終了がセンサ部３２０によって感知された時に、撮像カメラ４２による撮影を終了するように撮像カメラ４２０の動作を制御してもよい。
【００３３】
撮像カメラ４２０は、所定範囲内を撮影し、撮影して得られる映像に対応する映像データｉｄａｔａを制御部４１０に出力する。制御部４１０は、映像データｉｄａｔａをインターフェイス４３０を介して制御装置２０に出力する。映像データｉｄａｔａは、タイムコードによってデータ各部のタイミングを規定する同期情報を含んでいる。タイムコードは、例えば、時、分、秒、フレームでタイミングを規定するＳＭＰＴＥコードを用いればよい。このコードによれば、最小時間単位はフレーム単位である。尚、同期情報は、ＳＭＰＴＥコードに限定されず、タイミングを規定するものであれば、どのような情報であってもよい。
【００３４】
表示装置５０は、運指データに基づいて演奏者の運指映像の表示を実行する装置であって、例えば、運指映像を画面上に表示する液晶ディスプレイ、有機ＥＬディスプレイなどの表示装置であってもよく、運指映像を鍵盤上に投影するプロジェクタといった投影装置であってもよい。ここでは、表示装置５０が運指映像を鍵盤上に投影する投影装置である例を説明する。表示装置５０は、制御部５１０、インターフェイス５２０、操作部５３０及び表示部５４０を含む。これらの構成は、バスを介して接続されている。
【００３５】
制御部５１０は、ＣＰＵなどの演算処理回路、ＲＡＭ、ＲＯＭなどの記憶装置を含み、表示装置５０に含まれる各構成の動作を制御する。インターフェイス５２０は、無線または有線で外部装置とデータの送受信を行うための通信装置または端子等を有する。この例では、インターフェイス５２０は、制御装置２０と表示装置５０とを接続するために用いられる。
【００３６】
操作部５３０は、操作ボタン、キーボード、タッチセンサ等の装置であり、入力された操作に応じた信号を制御部５１０に出力する。本実施形態において、表示部５４０は、運指映像生成部５４１及び投影部５４３を含む。運指映像生成部５４１は、ＣＰＵを含み、例えば、アニメーションシステムを用いて、運指データに基づいて、演奏者の運指状態を示す運指映像を生成する。尚、運指映像生成部５４１は、表示部５４０ではなく、制御部５１０に設けられていてもよい。投影部５４３は、生成された運指映像を鍵盤装置３０の鍵盤上に投影する。
【００３７】
図３は、本実施形態における撮影装置４０で撮影される映像の一例を示す図である。この例では、撮影装置４０の撮影範囲は、鍵盤装置３０の鍵盤上と鍵盤上における演奏者（生徒又は先生）の両手を含む。
【００３８】
［演奏教習システム６０の動作］
制御装置２０におけるデータ送受信機能について説明する。制御装置２０は、ユーザの操作部２２０への操作により演奏を記録する指示が入力されると、鍵盤装置３０から楽音データｍｄａｔａを取得し、撮影装置４０から映像データｉｄａｔａを取得する。
【００３９】
制御装置２０は、時系列に記録された映像データｉｄａｔａ及び楽音データｍｄａｔａをデータ処理装置１０に送信する。また、制御装置２０は、送信したデータに対してデータ処理装置１０において所定の処理がされたデータを受信し、鍵盤装置３０及び表示装置５０に出力する。以上が、データ送受信機能の説明である。運指映像の表示機能については、受信した運指データに基づいて表示装置５０が運指映像を生成して表示する。
【００４０】
［データ処理装置１０の構成］
続いて、データ処理装置１０の構成および実行される処理について説明する。図４は、本実施形態におけるデータ処理装置１０の構成を示す図である。データ処理装置１０は、制御部１１０、通信部１２０および記憶部１３０を備える。これらの各構成は、バスを介して接続されている。通信部１２０は、ネットワークＮＷに接続し、他の装置とデータの送受信を行う。この例では、演奏教習システム６０の制御装置２０とのデータの送受信を行う。記憶部１３０は、不揮発性メモリ等の記憶装置である。記憶部１３０は、制御部１１０によって実行される制御プログラムを記憶する。また、データ処理装置１０において生成したデータや演奏教習システム６０の制御装置２０から受信したデータなどを記憶する。
【００４１】
制御部１１０は、ＣＰＵなどの演算処理回路、ＲＡＭ、ＲＯＭなどの記憶装置を含む。制御部１１０は、記憶部１３０に記憶された制御プログラムをＣＰＵにより実行して、データ処理装置１０の各構成を制御する。制御プログラムの実行によって、運指データ生成機能などの各種機能が実現される。
【００４２】
制御部１１０が制御プログラムを実行することにより、指位置解析部１１１及び運指データ生成部１１３によって運指データ生成機能が記憶装置上に実現される。尚、以上の構成の一部又は全ては、ハードウエアによって実現されてもよい。
【００４３】
指位置解析部１１１は、通信部１２０を介して演奏教習システム６０から受信した映像データｉｄａｔａを取得する。映像データｉｄａｔａは、生徒が利用する演奏教習システム６０ａから送信された映像データ、即ち、生徒の演奏によって生成された映像データであってもよい。また、映像データｉｄａｔａは、先生が利用する演奏教習システム６０ｂから送信された映像データ、即ち、先生の演奏によって生成された映像データであってもよい。
【００４４】
指位置解析部１１１は、映像データｉｄａｔａに基づいて画像処理を行い、演奏者の各指の画像を解析し、演奏操作中の演奏者の各指の位置を検出し、指の位置情報ｐｄａｔａを生成する。指の位置情報ｐｄａｔａは、演奏者の各指について、鍵の配列方向の位置と鍵の奥行方向の位置とを示す座標情報と、各指が所定の座標に位置する期間を示す期間と含む。指位置解析部１１１は、演奏している指の位置だけではなく、演奏者の手首の位置を検出してもよい。画像処理は、公知の画像処理技術を用いて行われる。
【００４５】
指位置解析部１１１は、各指について指の全体の位置を検出してもよく、各指の一部分の位置、例えば、各指の指先の位置を検出してもよい。また、指位置解析部１１１は、押鍵している指の位置情報のみを検出してもよい。押鍵している指の位置情報のみを検出する場合は、楽音データｍｄａｔａを通信部１２０から取得して参照してもよい。指の位置情報ｐｄａｔａは、例えば、各指が左手の指であるのか又は右手の指であるのかを示す情報や、どの指（親指、人差し指、中指、薬指、小指）であるのかを示す情報を含む。尚、画像処理において、演奏者の各指の位置を検出し易くするために、撮像カメラ４２０に赤外線カメラを用いてもよい。また、演奏者の指に特定のマーキングを行ってもよい。指位置解析部１１１は、検出された指の位置情報ｐｄａｔａを運指データ生成部１１３に出力する。指位置解析部１１１は、指の情報や手首の位置を検出した場合、指の位置情報ｐｄａｔａとともに検出された指の情報及び手首の情報を運指データ生成部１１３に出力する。
【００４６】
運指データ生成部１１３は、通信部１２０を介して映像データｉｄａｔａを取得し、指位置解析部１１１から指の位置情報ｐｄａｔａを取得する。運指データ生成部１１３は、映像データｉｄａｔａに含まれるタイムコードに基づいて、指の位置情報ｐｄａｔａから時刻情報に関連付けられた運指データｆｄａｔａを生成する。即ち、運指データｆｄａｔａは、指の位置を時系列に示す。運指データ生成部１１３は、生成された運指データｆｄａｔａを記憶部１３０に出力する。
【００４７】
運指データｆｄａｔａは、識別情報（例えば、生徒を識別するための情報、又は先生を識別するための情報）と関連付けられて記憶部１３０に記憶される。また、記憶部１３０は、運指データｆｄａｔａ及び楽音データｍｄａｔａを同期して再生できるように、通信部１２０を介して演奏教習システム６０から受信した楽音データｍｄａｔａを識別情報及び運指データｆｄａｔａと関連付けて記憶する。記憶部１３０に記憶されたこれらのデータは、互いに同期可能なデータとして制御装置２０からの要求に応じて通信部１２０を介して制御装置２０に送信される。また、これらのデータは、制御装置２０のインターフェイス２５０を介して、制御装置２０から鍵盤装置３０又は表示装置５０に送信される。表示装置５０は、運指データｆｄａｔａに基づいて運指映像生成し、生成した運指映像を鍵盤装置３０の鍵盤上に投影する。鍵盤装置３０は、運指データｆｄａｔａに対応する楽音データｍｄａｔａを時刻情報に基づいて運指データｆｄａｔａに同期させ、表示装置５０による運指映像の表示と同期して発音する。
【００４８】
運指映像は、生徒の演奏を撮影した映像に基づいた生徒の運指映像、又は先生の演奏を撮影した映像に基づいた先生の運指映像であってもよい。また、運指映像は、生徒の運指映像と先生の運指映像とを、重畳して同じタイミングで表示されるように合成して生成されたものであってもよい。先生の演奏を撮影した映像に基づいた先生の運指映像が、生徒によって使用される演奏教習システム６０ａの鍵盤装置３０の鍵盤上に投影されて表示される場合を以下に説明する。
【００４９】
図５は、先生が演奏教習システム６０ｂの鍵盤装置３０を利用して演奏した際の映像データ、即ち先生の演奏によって生成された映像データに基づいて生成された先生の運指映像を、生徒が演奏教習システム６０ａの鍵盤装置３０を利用して先生と同じ演奏操作を行っている間に、演奏教習システム６０ａの表示装置５０によって鍵盤装置３０の鍵盤上に投影されている様子を説明する図である。図５において、演奏教習システム６０ａの鍵盤装置３０の鍵盤上に投影された先生の運指映像は、先生の両手の各指の指先の位置を示す。また、図５において、演奏教習システム６０ａの鍵盤装置３０の鍵盤上に投影された円（○）は先生の左手の指の位置を示し、四角（◇）は先生の左手の指の位置を示しており、円（○）又は四角（◇）内の数字は、先生の指の種類を示している。図５において、円（○）又は四角（◇）内の数字のうち「１」は親指を示し、「２」は人差し指を示し、「３」は中指を示し、「４」は薬指を示し、「５」は小指を示すものとする。
【００５０】
図５に示すように、生徒が先生と同じ演奏操作を行っている間に、生徒が利用している演奏教習システム６０ａの鍵盤装置３０の鍵盤上に先生の運指映像を投影することにより、先生と生徒とが同じ演奏操作をしている状態で、生徒が生徒自身の指の位置と先生の指先の位置（鍵の配列方向の指の位置と、鍵の奥行方向の指の位置）とを比較することができ、先生と生徒との運指の違いが分かり易くなる。
【００５１】
図５では、先生の演奏を撮影した映像に基づいた先生の運指映像が、生徒によって使用される演奏教習システム６０ａの鍵盤装置３０の鍵盤上に投影されて表示される場合を説明したが、これとは逆に、生徒の演奏を撮影した映像に基づいた生徒の運指映像が、先生によって使用される演奏教習システム６０ｂの鍵盤装置３０の鍵盤上に投影されて表示されてもよい。先生が生徒と同じ演奏操作を行っている間に、先生が利用している演奏教習システム６０ｂの鍵盤装置３０の鍵盤上に生徒の運指映像を投影することにより、先生と生徒とが同じ演奏操作をしている状態で、先生が先生自身の指の位置と生徒の指先の位置（鍵の配列方向の指の位置と、鍵の奥行方向の指の位置）とを比較することができ、先生と生徒との運指の違いが分かり易くなる。
【００５２】
また、先生の演奏を撮影した映像に基づいた先生の運指映像と、生徒の演奏を撮影した映像に基づいた生徒の運指映像とが重畳されて同じタイミングで生徒によって使用される演奏教習システム６０ａ及び／又は先生によって使用される演奏教習システム６０ｂの鍵盤装置３０の鍵盤上に投影されて表示されてもよい。
【００５３】
図５では、演奏操作中の先生の両手の各指の運指映像が投影されている様子を示したが、指位置解析部１１１において演奏操作中に押鍵している指についてのみ指位置情報ｐｄａｔａを検出し、運指データ生成部１１３において押鍵している指についてのみ運指データｆｄａｔａを生成した場合は、演奏操作中に押鍵された指の運指映像のみを表示装置５０によって投影してもよい。
【００５４】
本実施形態によれば、演奏中の演奏者の運指状態を詳細に確認することができる。特に、鍵の配列方向及び鍵の平面上（鍵の奥行方向）における演奏者の指の位置を確認することができる。
【００５５】
＜第２の実施形態＞
図６は、本発明の第２の実施形態に係る運指データ生成システム２０００の構成を示す図である。運指データ生成システム２０００は、データ処理装置９０、演奏教習システム８０、及びこれらを接続するインターネットなどのネットワークＮＷを含む。演奏教習システム８０は、制御装置２０、鍵盤装置３０、センサ装置７０、及び表示装置５０を備える。データ処理装置９０と制御装置２０とは、ネットワークＮＷを介して互いに接続されている。本実施形態においては、演奏を学習する生徒によって使用される演奏教習システム８０（以下、演奏教習システム８０ａともいう）と、演奏の指導を行う先生によって使用される演奏教習システム８０（以下、演奏教習システム８０ｂともいう）とが、ネットワークＮＷに接続される。
【００５６】
図６においては、図１に示した本発明の第１の実施形態に係る運指データ生成システム１０００の構成と同じ又は類似の構成については図面において同一の参照番号を付与している。また、以下の本発明の第２の実施形態に係る運指データ生成システム２０００の説明では、本発明の第１の実施形態に係る運指データ生成システム１０００の構成と同じ又は類似の構成については詳細な説明を省略する。
【００５７】
演奏教習システム８０では、鍵盤装置３０を用いて演奏する演奏者（生徒又は先生）の演奏を鍵盤装置３０によって録音する。また、演奏教習システム８０では、鍵盤装置３０を用いて演奏する演奏者の鍵盤上の指の位置をセンサ装置７０で検知する。制御装置２０は、センサ装置７０によって検知された指の位置を示す指位置情報と、録音によって得られた楽音データとを制御装置２０からデータ処理装置１０に送信する。データ処理装置９０は、受信した指位置情報と楽音データとを記憶する。また、データ処理装置９０は、指位置情報から、鍵に対する演奏者の指の位置を検出し、検出された指の位置に基づいて、鍵の配列方向及び鍵の平面上（鍵の奥行方向）における演奏者の指の位置を時系列に解析して運指データを生成する処理を実行する。データ処理装置９０は、生成した運指データと対応する楽音データとを演奏教習システム８０の制御装置２０に送信する。表示装置５０は、データ処理装置９０において生成され、制御装置２０から伝達された運指データに基づいて演奏者の指の運指映像を表示する。
【００５８】
［演奏教習システム８０の構成］
演奏教習システム８０の構成について説明する。ここでは、演奏教習システム８０に含まれる制御装置２０、鍵盤装置３０、センサ装置７０及び表示装置５０の各構成について、順に説明する。
【００５９】
図７は、本発明の第２の実施形態における演奏学習システム８０の構成を示す図である。制御装置２０は、例えば、パソコン、スマートフォン、タブレット等の端末である。制御装置２０は、制御部２１０、操作部２２０、通信部２３０、記憶部２４０及びインターフェイス２５０を含む。これらの各構成は、バスを介して接続されている。演奏教習システム８０における制御装置２０は、本発明の第１の実施形態に係る演奏教習システム６０における制御装置２０と同様であるため、制御装置２０についての繰り返しの説明は省略する。
【００６０】
鍵盤装置３０は、ピアノの各鍵に対するユーザの演奏操作を検出するためのセンサを含み、センサから出力された演奏者の演奏操作を示す信号に基づいて楽音データを生成する装置であってもよい。演奏教習システム８０における鍵盤装置３０は、本発明の第１の実施形態に係る演奏教習システム６０における鍵盤装置３０と同様であるため、鍵盤装置３０についての繰り返しの説明は省略する。
【００６１】
センサ装置７０は、鍵盤装置３０の鍵盤上における演奏者の指の位置を検出する装置である。センサ装置７０は、制御部７１０、センサ（運指検知部）７２０、及びインターフェイス７３０を含む。これらの各構成は、バスを介して接続されている。
【００６２】
制御部７１０は、ＣＰＵなどの演算処理回路、ＲＡＭ、ＲＯＭなどの記憶装置を含み、センサ装置７０に含まれる各構成の動作を制御する。インターフェイス７３０は、無線または有線で外部装置とデータの送受信を行うための通信装置または端子等を有する。この例では、インターフェイス７３０は、制御装置２０とセンサ装置７０とを接続するために用いられる。
【００６３】
センサ７２０は、鍵盤装置３０の鍵盤上における演奏者の鍵に対する指の位置（鍵の配列方向の指の位置と鍵の奥行方向の指の位置）を検知して、検知された指の位置に応じて信号を制御部７１０に出力する。制御部７１０は、タイムコードによってタイミングを規定する同期情報をセンサ７２０から供給された信号に関連付ける。制御部７１０は、同期情報が関連付けられた検知信号ｐｓｉｇｎａｌをインターフェイス７３０を介して制御装置２０に出力する。タイムコードは、例えば、時、分、秒、フレームでタイミングを規定するＳＭＰＴＥコードを用いてもよい。尚、同期情報は、ＳＭＰＴＥコードに限定されず、タイミングを規定するものであれば、どのような情報であってもよい。
【００６４】
センサ７２０は、例えば、接触式のセンサであってもよい。センサ７２０が接触式のセンサである場合、鍵盤装置３０の鍵盤の各鍵３６０にセンサを設けてもよい。センサ７２０が接触式のセンサである場合、センサ７２０は、面センサであってもよく、鍵３６０の奥行方向に伸延された線状のセンサであってもよい。また、複数のセンサ７２０を鍵３６０の奥行方向に設置してもよい。センサ７２０が接触式のセンサである場合、演奏操作中における演奏者の指の鍵への接触を検知してもよい。つまり、演奏操作中の演奏者の打鍵を検知してもよい。この場合、データ処理装置９０の指位置解析部９１１は、演奏者の指の接触が検出された鍵３６０について演奏者の指の位置を解析し、運指データ生成部９１３は、鍵３６０を打鍵した指についての運指データを生成する。
【００６５】
また、センサ７２０は、例えば、光学式のセンサであってもよい。センサ７２０が光学式のセンサである場合、鍵盤装置３０の鍵盤の上方にセンサを設置して、鍵盤上において演奏操作を行う演奏者の手の上方から演奏者の指の位置を検知してもよい。また、鍵盤装置３０における各鍵３６０が透明である場合、鍵盤の下側にセンサを設置して、鍵盤上において演奏操作を行う演奏者の手の下方から演奏者の指の位置を検知してもよい。センサ７２０が光学式のセンサである場合、遮光のタイミングから打鍵速度を検出してもよい。
【００６６】
また、センサ７２０は、鍵盤装置３０の演奏を行う演奏者に取り付けてもよい。例えば、演奏者の各指又は一部の指の指先に粘着剤などを用いて圧力センサを貼り付けてもよい。また、センサは、演奏者の手首は腕に取り付けてもよい。センサ７２０の種類は、以上に述べたセンサに限定されるわけではなく、さまざまなセンサを用いることができる。
【００６７】
表示装置５０は、運指データに基づいて演奏者の運指映像の表示を実行する装置である。演奏教習システム８０における表示装置５０は、本発明の第１の実施形態に係る演奏教習システム６０における表示装置５０と同様であるため、表示装置５０についての繰り返しの説明は省略する。
【００６８】
［演奏教習システム８０の動作］
制御装置２０におけるデータ送受信機能について説明する。制御装置２０は、ユーザの操作部２２０への操作により演奏を記録する指示が入力されると、鍵盤装置３０から楽音データを取得し、センサ装置７０から同期情報が関連付けられた信号を取得する。
【００６９】
制御装置２０は、時系列に記録された検知信号ｐｓｉｇｎａｌ及び楽音データｍｄａｔａをデータ処理装置９０に送信する。また、制御装置２０は、送信した信号／データに対してデータ処理装置９０において所定の処理がされたデータを受信し、鍵盤装置３０及び表示装置５０に出力する。以上が、データ送受信機能の説明である。運指映像の表示機能については、受信した運指データに基づいて表示装置５０が運指映像を生成して表示する。
【００７０】
［データ処理装置９０の構成］
続いて、データ処理装置９０の構成および実行される処理について説明する。図８は、本実施形態におけるデータ処理装置９０の構成を示す図である。データ処理装置９０は、制御部９１０、通信部９２０および記憶部９３０を備える。これらの各構成は、バスを介して接続されている。通信部９２０は、ネットワークＮＷに接続し、他の装置とデータの送受信を行う。この例では、演奏教習システム８０の制御装置２０とのデータの送受信を行う。記憶部９３０は、不揮発性メモリ等の記憶装置である。記憶部９３０は、制御部９１０によって実行される制御プログラムを記憶する。また、データ処理装置１０において生成したデータや演奏教習システム８０の制御装置２０から受信したデータなどを記憶する。
【００７１】
制御部９１０は、ＣＰＵなどの演算処理回路、ＲＡＭ、ＲＯＭなどの記憶装置を含む。制御部９１０は、記憶部９３０に記憶された制御プログラムをＣＰＵにより実行して、データ処理装置９０の各構成を制御する。制御プログラムの実行によって、運指データ生成機能などの各種機能が実現される。
【００７２】
制御部９１０が制御プログラムを実行することにより、指位置解析部９１１及び運指データ生成部９１３によって運指データ生成機能が記憶装置上に実現される。尚、以上の構成の一部又は全ては、ハードウエアによって実現されてもよい。
【００７３】
指位置解析部９１１は、通信部９２０を介して演奏教習システム９０から受信した同期情報が関連付けられた検知信号ｐｓｉｇｎａｌを取得する。検知信号ｐｓｉｇｎａｌは、生徒が利用する演奏教習システム８０ａから送信された信号、即ち、生徒の演奏操作に基づいて生成された信号であってもよい。また、検知信号ｐｓｉｇｎａｌは、先生が利用する演奏教習システム８０ｂから送信された信号、即ち、先生の演奏操作に基づいて生成された信号であってもよい。
【００７４】
指位置解析部９１１は、検知信号ｐｓｉｇｎａｌを解析し、演奏操作における指の位置を認識する。指位置解析部９１１は、解析された指の位置情報ｐｄａｔａを運指データ生成部９１３に出力する。指の位置情報ｐｄａｔａは、演奏者によって押鍵された各鍵について、鍵の奥行方向における演奏者の指の位置を示す座標情報と、押鍵された期間、即ち、各指が所定の座標に位置する期間を示す期間情報と含む。
【００７５】
運指データ生成部９１３は、指位置解析部９１１から指の位置情報ｐｄａｔａを取得する。運指データ生成部９１３は、検知信号ｐｓｉｇｎａｌに含まれるタイムコードに基づいて、指の位置情報ｐｄａｔａから時刻情報に関連付けられた運指データｆｄａｔａを生成する。即ち、運指データｆｄａｔａは、指の位置を時系列に示す。運指データ生成部９１３は、生成された運指データｆｄａｔａを記憶部９３０に出力する。
【００７６】
運指データｆｄａｔａは、識別情報（例えば、生徒を識別するための情報、又は先生を識別するための情報）と関連付けられて記憶部９３０に記憶される。また、記憶部９３０は、運指データｆｄａｔａ及び楽音データｍｄａｔａを同期して再生できるように、通信部９２０を介して演奏教習システム８０から受信した楽音データｍｄａｔａを運指データｆｄａｔａと関連付けて記憶する。記憶部９３０に記憶されたこれらのデータは、互いに同期可能なデータとして制御装置２０からの要求に応じて通信部９２０を介して制御装置２０に送信される。また、これらのデータは、制御装置２０のインターフェイス２５０を介して、制御装置２０から鍵盤装置３０又は表示装置５０に送信される。表示装置５０は、運指データｆｄａｔａに基づいて運指映像生成し、生成した運指映像を鍵盤装置３０の鍵盤上に投影する。鍵盤装置３０は、運指データｆｄａｔａに対応する楽音データｍｄａｔａを時刻情報に基づいて運指データｆｄａｔａに同期させ、表示装置５０による運指映像の表示と同期して発音する。
【００７７】
演奏教習システム８０における運指映像の表示は、図５を参照して説明した本発明の第１の実施形態に係る演奏教習システム６０における運指映像の表示と略同じであるため、繰り返しの説明は省略する。
【００７８】
本実施形態によれば、前述した第２の実施形態と同様に、演奏中の演奏者の運指状態を詳細に確認することができる。特に、鍵の配列方向及び鍵の平面上（鍵の奥行方向）における演奏者の指の位置を確認することができる。また、センサ７２０に接触式のセンサが適用された場合、演奏者の指が鍵盤に接触するタイミング、あるいは演奏者の指が鍵盤から離れるタイミングを確認することができる。
【００７９】
＜第３の実施形態＞
図９は、本発明の第３の実施形態に係る運指データ生成システム３０００の構成を示す図である。運指データ生成システム３０００は、本発明の第１の実施形態に係る運指データ生成システム１０００における鍵盤装置３０がアコースティックピアノである構成を示す図である。運指データ生成システム３０００は、演奏教習システム３２００、及びこれらを接続するインターネットなどのネットワークＮＷを含む。演奏教習システム３２００は、データ処理装置１０、制御装置２０、鍵盤装置３０ａ、撮影装置４０、表示装置５０、及び録音装置３１００を備える。データ処理装置１０と制御装置２０とは、ネットワークＮＷを介して互いに接続されている。本実施形態においては、演奏を学習する生徒によって使用される演奏教習システム３２００（以下、演奏教習システム３２００ａともいう）と、演奏の指導を行う先生によって使用される演奏教習システム３２００（以下、演奏教習システム３２００ｂともいう）とが、ネットワークＮＷに接続される。
【００８０】
図９においては、図１に示した本発明の第１の実施形態に係る運指データ生成システム１０００の構成と同じ又は類似の構成については図面において同一の参照番号を付与している。また、以下の運指データ生成システム３０００の説明では、本発明の第１の実施形態に係る運指データ生成システム１０００の構成と同じ又は類似の構成については詳細な説明を省略する。
【００８１】
演奏教習システム３２００では、鍵盤装置３０ａを用いて演奏する演奏者（生徒又は先生）の演奏を録音装置３１００によって録音する。そして、制御装置２０は、撮影によって得られた映像データと、録音によって得られた楽音データとを制御装置２０からデータ処理装置１０に送信する。データ処理装置１０は、受信した映像データと楽音データとを記憶する。また、データ処理装置１０は、映像データから、鍵に対する演奏者の指の位置を検出し、検出された指の位置に基づいて、鍵の配列方向及び鍵の奥行方向の指の位置を時系列に解析して運指データを生成する処理を実行する。データ処理装置１０は、生成した運指データと対応する楽音データとを演奏教習システム３２００の制御装置２０に送信する。表示装置５０は、データ処理装置１０において生成され、制御装置２０から伝達された運指データに基づいて演奏者の指の運指映像を表示する。
【００８２】
［演奏教習システム３２００の構成］
演奏教習システム３２００の構成について説明する。ここでは、演奏教習システム３２００に含まれる制御装置２０、鍵盤装置３０ａ、録音装置３１００及び表示装置５０の各構成について、順に説明する。
【００８３】
図１０は、本発明の第３の実施形態における演奏学習システム３２００の構成を示す図である。制御装置２０は、例えば、パソコン、スマートフォン、タブレット等の端末である。制御装置２０は、制御部２１０、操作部２２０、通信部２３０、記憶部２４０及びインターフェイス２５０を含む。これらの各構成は、バスを介して接続されている。演奏教習システム８０における制御装置２０は、本発明の第１の実施形態に係る演奏教習システム６０における制御装置２０と同様であるため、制御装置２０についての繰り返しの説明は省略する。
【００８４】
鍵盤装置３０ａは、演奏者の演奏操作によって発音する楽器であり、本実施形態においては、アコースティックピアノである。
【００８５】
録音装置３１００は、演奏者の演奏操作によって鍵盤装置３０ａから発音される楽音を記録する装置である。録音装置３１００によって録音される音は、空気の振動だけに限定されない。録音装置３１００は、鍵盤装置３１００に含まれる発音体（例えば、弦など）の振動が伝達される振動部材（例えば、響板など）の振動を記録してもよい。録音装置３１００は、制御部３１１０、マイクロフォン３１２０、楽音データ生成部３１３０及びインターフェイス３１４０を含む。これらの各構成は、バスを介して接続されている。
【００８６】
制御部３１１０は、ＣＰＵなどの演算処理回路、ＲＡＭ、ＲＯＭなどの記憶装置を含み、録音装置３１００に含まれる各構成の動作を制御する。インターフェイス３１４０は、無線または有線で外部装置とデータの送受信を行うための通信装置または端子等を有する。この例では、インターフェイス３１４０は、制御装置２０と録音装置３１００とを接続するために用いられる。
【００８７】
マイクロフォン３１２０は、撮影装置４０による撮影範囲を含む領域の音をアナログの楽音信号として取り込み、楽音データ生成部３１３０に出力する。楽音データ生成部３１３０は、マイクロフォン３１２０からの楽音信号の波形に基づいてピッチを測定して楽音データを生成する。楽音データは、ＭＩＤＩ形式のデータであってもよい。楽音データ生成部３１３０によって生成された楽音データは、インターフェイス部３１４０を介して制御装置３０に出力される。
【００８８】
撮影装置４０は、所定の範囲の撮影を実行する装置であって、例えば、ビデオカメラである。演奏教習システム３２００における撮影装置４０は、本発明の第１の実施形態に係る演奏教習システム６０における撮影装置４０と同様であるため、撮影装置４０についての繰り返しの説明は省略する。
【００８９】
表示装置５０は、運指データに基づいて演奏者の運指映像の表示を実行する装置である。演奏教習システム３２００における表示装置５０は、本発明の第１の実施形態に係る演奏教習システム６０における表示装置５０と同様であるため、表示装置５０についての繰り返しの説明は省略する。
【００９０】
演奏教習システム３２００の動作及びデータ処理装置１０の構成及び実行される処理については、本発明の第１の実施形態における演奏教習システム６０とデータ処理装置１０の構成及び実行される処理と同様であるため、繰り返しの説明は省略する。
【００９１】
本発明の第３の実施形態に係る運指データ生成システム３０００によれば、鍵盤装置がアコースティックピアノである場合においても、第１の実施形態１に係る運指データ生成システム１０００と同様の機能を実行することができる。また、本発明の第２の実施形態における運指データシステム２０００においても、鍵盤装置にアコースティックピアノを適用することもできる。
【００９２】
＜第４の実施形態＞
また、以上に説明した第１の実施形態、第２の実施形態及び第３の実施形態における運指データ生成システムにおいて、演奏教習システムは、鍵盤装置の演奏操作を行う演奏者の視線を検出して記録する視線検知部を備えてもよい。また、データ処理装置は、視線検知部により検出された視線の動きに基づいて視線の位置を解析する視線解析部と、解析された視線の位置に基づいて視線データを生成する視線データ生成部と、を備えてもよい。生成された視線データは、運指データに関連付けられてもよい。
【００９３】
図１１は、本発明の第４の実施形態に係る運指データ生成システム４０００の構成を示す図である。運指データ生成システム４０００は、本発明の第１の実施形態に係る運指データ生成システム１０００において、演奏教習システムに視線検知部を含む視線記録装置を追加した例である。運指データ生成システム４０００は 、データ処理装置４３００、演奏を学習する生徒または演奏を指導する先生によって使用される演奏教習システム４２００、およびそれらを互いに接続するインターネットなどのネットワークＮＷによって構成される。演奏教習システム４２００は、制御装置２０、鍵盤装置３０、撮影装置４０、視線記録装置４１００及び表示装置５０ａを含む。データ処理装置４３００と制御装置２０とは、ネットワークＮＷを介して互いに接続されている。演奏を学習する生徒によって使用される演奏教習システム４２００（以下、演奏教習システム４２００ａともいう）と、演奏の指導を行う先生によって使用される演奏教習システム４２００（以下、演奏教習システム４２００ｂともいう）とが、ネットワークＮＷに接続される。
【００９４】
演奏教習システム４２００において、制御装置２０、鍵盤装置３０及び撮影装置４０の構成は、本発明の第１の実施形態の演奏教習システム６０における制御装置２０、鍵盤装置３０及び撮影装置４０の構成とほぼ同様であるため、繰り返しの説明は省略する。
【００９５】
図１２は、視線記録装置４１００の構成を示す図である。視線記録装置４１００は、演奏者の演奏操作中の視線を記録する装置であって、例えば、演奏者の視線の動きを記録する撮影装置であってもよい。視線記録装置４１００は、制御部４１１０、カメラ（視線検知部）４１２０、及びインターフェイス４１３０を含む。これらの各構成は、バスを介して接続されている。カメラ４１２０の数は、１台であってもよく、複数台であってもよい。また、視線記録装置４１００は、１台であってもよく、複数台であってもよい。
【００９６】
制御部４１１０は、ＣＰＵなどの演算処理回路、ＲＡＭ、ＲＯＭなどの記憶装置を含み、視線記録装置４１００に含まれる各構成の動作を制御する。インターフェイス４１３０は、無線または有線で外部装置とデータの送受信を行うための通信装置または端子等を有する。この例では、インターフェイス４１３０は、制御装置２０と視線記録装置４１００とを接続するために用いられる。
【００９７】
カメラ４１２０は、近赤外光又は赤外光をＬＥＤから演奏操作中の演奏者の眼球に向けて照射した上で、演奏操作中における演奏者の顔面、特に両目を含む領域を撮影し、撮影して得られる映像に対応する視線映像データｓｄａｔａを制御部４１１０に出力する。カメラ４１２０は、近赤外／赤外線カメラであってもよい。制御部４１１０は、視線映像データｓｄａｔａをインターフェイス４１３０を介して制御装置２０に出力する。視線映像データｓｄａｔａは、タイムコードによってデータ各部のタイミングを規定する同期情報を含んでいる。タイムコードは、例えば、時、分、秒、フレームでタイミングを規定するＳＭＰＴＥコードを用いればよい。このコードによれば、最小時間単位はフレーム単位である。尚、同期情報は、ＳＭＰＴＥコードに限定されず、タイミングを規定するものであれば、どのような情報であってもよい。
【００９８】
図１３は、表示装置５０ａの構成を示す図である。表示装置５０ａは、運指データに基づいて演奏者の運指映像の表示を実行する装置である。また、表示装置５０ａは、演奏操作中の演奏者の視線の動きを示す視線映像を運指映像に同期させて表示する。ここでは、表示装置５０ａが運指映像及び視線映像を鍵盤上に投影する投影装置である例を説明する。表示装置５０ａは、制御部５１０、インターフェイス５２０、操作部５３０及び表示部５４０ａを含む。これらの構成は、バスを介して接続されている。制御部５１０、インターフェイス５２０及び操作部５３０については、本発明の第１の実施形態に係る演奏教習システム６０の表示装置５０における制御部５１０、インターフェイス５２０及び操作部５３０とほぼ同様であるため、繰り返しの説明は省略する。
【００９９】
表示部５４０ａは、運指映像生成部５４１、視線映像生成部５４２及び投影部５４３を含む。運指映像生成部５４１は、ＣＰＵを含み、例えば、アニメーションシステムを用いて、運指データに基づいて、演奏者の運指状態を示す運指映像を生成する。視線映像生成部５４２は、ＣＰＵを含み、例えば、アニメーションシステムを用いて、視線データに基づいて、演奏操作中の演奏者の視線の動きを示す視線映像を生成する。尚、運指映像生成部５４１及び視線映像生成部５４２は、表示部５４０ａではなく、制御部５１０に設けられていてもよい。投影部５４３は、生成された運指映像を鍵盤装置３０の鍵盤上に投影する。また、投影部５４３は、生成された視線映像を運指映像と同期させて鍵盤装置３０の鍵盤上に投影する。
【０１００】
［演奏教習システム４２００の動作］
制御装置２０におけるデータ送受信機能について説明する。制御装置２０は、ユーザの操作により演奏を記録する指示が入力されると、鍵盤装置３０から楽音データｍｄａｔａを取得し、撮影装置４０から映像データｉｄａｔａを取得し、視線記録装置４１００から視線映像データｓｄａｔａを取得する。
【０１０１】
制御装置２０は、時系列に記録された映像データｉｄａｔａ、視線映像データｓｄａｔａ及び楽音データｍｄａｔａをデータ処理装置４３００に送信する。また、制御装置２０は、送信したデータに対してデータ処理装置４３００において所定の処理がされたデータを受信し、鍵盤装置３０及び表示装置５０ａに出力する。以上が、データ送受信機能の説明である。運指映像の表示機能については、受信した運指データに基づいて表示装置５０ａが運指映像を生成して表示する。
【０１０２】
［データ処理装置４３００の構成］
続いて、データ処理装置４３００の構成および実行される処理について説明する。図１４は、本実施形態におけるデータ処理装置４３００の構成を示す図である。データ処理装置４３００は、制御部４３１０、通信部４３２０および記憶部４３３０を備える。これらの各構成は、バスを介して接続されている。通信部４３２０は、ネットワークＮＷに接続し、他の装置とデータの送受信を行う。この例では、演奏教習システム４２０００の制御装置２０とのデータの送受信を行う。記憶部４３３０は、不揮発性メモリ等の記憶装置である。記憶部４３３０は、制御部４１１０によって実行される制御プログラムを記憶する。また、データ処理装置４３００において生成したデータや演奏教習システム４２００の制御装置２０から受信したデータなどを記憶する。
【０１０３】
制御部４３１０は、ＣＰＵなどの演算処理回路、ＲＡＭ、ＲＯＭなどの記憶装置を含む。制御部４３１０は、記憶部４３３０に記憶された制御プログラムをＣＰＵにより実行して、データ処理装置４３００の各構成を制御する。制御プログラムの実行によって、運指データ生成機能などの各種機能が実現される。
【０１０４】
制御部４３１０が制御プログラムを実行することにより、指位置解析部１１１及び運指データ生成部１１３によって運指データ生成機能が記憶装置上に実現される。また、制御部４３１０が制御プログラムを実行することにより、視線解析部４３１１及び視線データ生成部４３１３によって視線データ生成機能が記憶装置上に実現される。尚、以上の構成の一部又は全ては、ハードウエアによって実現されてもよい。
【０１０５】
指位置解析部１１１は、通信部４３２０を介して演奏教習システム４２００から受信した映像データｉｄａｔａを取得し、画像処理を行って、演奏者の指の位置情報ｐｄａｔａを検出する。指位置解析部１１１は、指の位置情報ｐｄａｔａを運指データ生成部１１３に出力する。運指データ生成部１１３は、通信部４３２０を介して映像データｉｄａｔａを取得し、指位置解析部１１１から指の位置情報ｐｄａｔａを取得する。運指データ生成部１１３は、映像データｉｄａｔａに含まれるタイムコードに基づいて、指の位置情報ｐｄａｔａから時刻情報に関連付けられた運指データｆｄａｔａを生成する。即ち、運指データｆｄａｔａは、指の位置を時系列に示す。運指データ生成部１１３は、生成された運指データｆｄａｔａを記憶部４３３０に出力する。指位置解析部１１１及び運指データ生成部１１３の機能は、本発明の第１の実施形態におけるデータ処理装置１０の指位置解析部１１１及び運指データ生成部１１３と同様であるため、詳細な説明は省略する。
【０１０６】
視線解析部４３１１は、通信部４３２０を介して演奏教習システム４２００から受信した視線映像データｓｄａｔａを取得し、画像処理を行って、演奏者の視線位置情報ｓｐｄａｔａを生成する。視線映像データｓｄａｔａは、生徒が利用する演奏教習システム４２００ａから送信された視線映像データ、即ち、演奏操作中の生徒の視線映像データであってもよい。また、視線映像データｓｄａｔａは、先生が利用する演奏教習システム４２００ｂから送信された視線映像データ、即ち、演奏操作中の先生の視線映像データであってもよい。
【０１０７】
視線置解析部４３１１は、視線映像データｓｄａｔａに基づく画像の解析を行い、演奏操作中の演奏者の視線の位置を検出し、視線位置情報ｓｐｄａｔａを生成する。視線位置情報ｓｐｄａｔａは、演奏者の視線位置を示す座標情報と、視線が所定の座標に位置する期間を示す期間情報と含む。演奏者の視線の位置は、例えば、角膜反射法などにより検出されてもよい。視線解析部４３１１は、視線位置情報ｓｐｄａｔａを視線データ生成部４３１３に出力する。
【０１０８】
視線データ生成部４３１３は、通信部４３２０を介して視線映像データｓｄａｔａを取得し、視線解析部４３１１から視線位置情報ｓｐｄａｔａを取得する。視線データ生成部４３１３は、視線映像データｓｄａｔａに含まれるタイムコードに基づいて、視線位置情報ｓｐｄａｔａから時刻情報に関連付けられた視線データｖｄａｔａを生成する。即ち、視線データｖｄａｔａは演奏操作中の視線の位置を時系列に示す。視線データ生成部４３１３は、生成された視線データｖｄａｔａを記憶部４３３０に出力する。
【０１０９】
視線データｖｄａｔａは、識別情報（例えば、生徒を識別するための情報、又は先生を識別するための情報）と関連付けられて記憶部４３３０に記憶される。また、記憶部４３３０は、運指データｆｄａｔａ、楽音データｍｄａｔａ及び視線データｖｄａｔａを同期して再生できるように、通信部４３２０を介して演奏教習システム４２００から受信した楽音データｍｄａｔａを識別情報、運指データｆｄａｔａ及び視線データｖｄａｔａと関連付けて記憶する。記憶部４３３０に記憶されたこれらのデータは、互いに同期可能なデータとして制御装置２０からの要求に応じて通信部４３２０を介して制御装置２０に送信される。また、これらのデータは、制御装置２０のインターフェイス２５０を介して、制御装置２０から鍵盤装置３０又は表示装置５０ａに送信される。表示装置５０ａは、運指データｆｄａｔａに基づいて運指映像生成し、生成した運指映像を鍵盤装置３０の鍵盤上に投影する。また、表示装置５０ａは、視線データｖｄａｔａに基づいて視線映像生成し、生成した視線映像を鍵盤装置３０の鍵盤上に投影する。鍵盤装置３０は、運指データｆｄａｔａ及び視線データｖｄａｔａに対応する楽音データｍｄａｔａを時刻情報に基づいて運指データｆｄａｔａ及び視線データｖｄａｔａに同期させ、表示装置５０ａによる運指映像及び視線映像の表示と同期して発音する。
【０１１０】
本実施形態において、視線記録装置４１００は、視線検知部４１２０として演奏者の両目を含む領域を撮影するカメラを含む例を説明したが、視線記録装置４１００は、これに限定されない。例えば、視線記録装置４１００は、演奏者が演奏操作中に装着する視線認識機能を搭載したゴーグルであってもよい。
【０１１１】
本実施形態では、本発明の第１の実施形態に係る運指データ生成システム１０００において、演奏教習システムに視線検知部を含む視線記録装置を追加した例を説明したが、視線記録装置は、本発明の第２の実施形態に係る運指データ生成システム２０００又は第３の実施形態に係る運指データ生成システム３０００に適用されてもよい。
【０１１２】
本実施形態によれば、運指映像によって演奏中の演奏者の運指状態を確認できるとともに、演奏中の演奏者の視線の動きを確認することができる。
【０１１３】
＜変形例＞
ここまで各実施形態について説明したが、上記実施形態はあくまでも例示であり、上記実施形態に対しては、本発明の趣旨から逸脱しない範囲で様々な変形を加えることができる。変形例としては、例えば以下のようなものが考えられる。
【０１１４】
（変形例１）
以上に説明した第１の実施形態、第３の実施形態及び第４の実施形態においては、図３に示すように、撮影装置４０の撮影範囲は、鍵盤装置３０の鍵盤上と鍵盤上における演奏者（生徒又は先生）の両手を含むが、これに加えて、撮影装置４０の設置台数を増やすことにより、演奏者の演奏操作を複数の方向から撮影してもよい。例えば、撮影装置を追加して設置し、鍵盤上における演奏者の演奏操作を演奏者の左右方向から撮影する。これにより、鍵盤装置３０の鍵盤の平面方向の演奏者の演奏操作中の指の位置に加えて、各指の上下方向の動き、及び手首の位置などを撮影することができる。演奏者の左右方向から撮影した映像に対して画像処理を行い、演奏者の各指の画像から各指の上下方向の動きを解析することにより、演奏操作中に演奏者が打鍵している指の位置を検出し、打鍵している指の運指データのみを生成するようにしてもよい。
【０１１５】
また、追加した撮影装置のカメラの光軸を水平（鍵盤装置３０の鍵盤の平面に対して平行）且つ鍵盤の中央方向に設定して、演奏者による演奏操作中の鍵３６０を撮影してもよい。データ処理装置１０において、演奏操作中の演奏者の運指状態だけではなく、演奏操作中の鍵３６０を撮影した映像を解析することにより、演奏操作中の演鍵盤装置３０の各鍵３６０の高さを時系列に検出し、打鍵された鍵と打鍵されていない鍵とを検出することができる。表示装置５０は、打鍵している指の位置と、打鍵していない指の位置とが区別できるように運指映像を表示／投影してもよい。
【０１１６】
（変形例２）
以上に説明した第１の実施形態、第２の実施形態及び第４の実施形態において、鍵盤装置３０は、鍵３６０を駆動するアクチュエータ等である駆動部を備えてもよい。この場合、鍵盤装置３０の制御部３１０は、インターフェイス３５０を介して制御装置２０から受信した楽音データｍｄａｔａにしたがって、この楽音データｍｄａｔａが示す演奏内容で鍵３６０が駆動されるように、駆動部を制御してもよい。例えば、キーオンがあったキーナンバの位置の鍵を、ベロシティに応じた速度で押下し、キーオフにより元の位置に戻すように制御する。これによって、演奏者が打鍵したとき同様に発音する。また、この場合、鍵盤装置３０は、表示装置５０、５０ａによる対応する運指映像の表示と同期して鍵３６０を駆動部によって駆動させてもよい。
【０１１７】
（変形例３）
また、以上に説明した第１の実施形態、第２の実施形態及び第３の実施形態において、撮影装置を追加し、鍵盤装置の演奏操作を行う演奏者の姿勢を撮影し、対応する運指映像とともに液晶ディスプレイ、有機ＥＬディスプレイなどの表示装置の画面に表示してもよい。追加の撮影装置は、例えば、演奏者の横からの姿勢を撮影できる位置に配置してもよい。追加の撮影装置によって撮影された演奏者の映像は、運指映像と同期させて運指映像を画面上に表示する液晶ディスプレイ、有機ＥＬディスプレイなどの表示装置に表示されてもよい。
【０１１８】
（変形例４）
以上に説明した第１の実施形態、第２の実施形態及び第３の実施形態において、演奏者の演奏操作によって生成された楽音データから楽譜データを生成してもよい。生成された楽譜データを運指映像と同期させて、運指映像とともに表示装置の画面に表示してもよい。
【０１１９】
（変形例５）
また、以上に説明した第１の実施形態、第２の実施形態及び第３の実施形態において、鍵盤装置の演奏操作を行う演奏者の運指状態を検知する運指検知部として、撮像カメラ又はセンサを挙げたが、運指検知部はこれらに限定されるわけではない。例えば、鍵盤装置の演奏操作を行う演奏者の運指状態を検知する運指検知部として、モーションキャプチャを用いてもよい。モーションキャプチャとしては、光学式のモーションキャプチャ及び磁気式のモーションキャプチャのどちらも使用することができる。光学式の場合、演奏者の手指の関節部分にリフレクタを取り付けて、このリフレクタを含む映像を撮影装置で撮影する。撮影された映像からリフレクタの動きを解析し、運指データを生成することができる。磁気式の場合、磁気センサを用いて演奏者の運指状態を検知する。この磁気センサからの信号に基づいて運指状態を解析し、運指データを生成することができる。
【０１２０】
以上に述べた各装置（コンピュータ）において実行される制御プログラムは、光ディスク、半導体メモリ等の記録媒体に記録されて提供されてもよいし、ネットワークを介してダウンロードされて提供されてもよい。
【符号の説明】
【０１２１】
１０、９０、４３００…データ処理装置、２０…制御装置、３０、３０ａ…鍵盤装置、４０…撮影装置、５０…表示装置、６０、８０、３２００、４２００…演奏教習システム、７０…センサ、４２０、７２０…運指検知部、１１１、９１１…指位置解析部、１１３、９１３…運指データ生成部、４１００…視線記録装置、４１２０…視線検知部、４３１１…視線解析部、４３１３…視線データ生成部、１０００、２０００、３０００、４０００…運指データ生成システム
【図１】
2017062347.tif 000003
【図２】
2017062347.tif 000004
【図３】
2017062347.tif 000005
【図４】
2017062347.tif 000006
【図５】
2017062347.tif 000007
【図６】
2017062347.tif 000008
【図７】
2017062347.tif 000009
【図８】
2017062347.tif 000010
【図９】
2017062347.tif 000011
【図１０】
2017062347.tif 000012
【図１１】
2017062347.tif 000013
【図１２】
2017062347.tif 000014
【図１３】
2017062347.tif 000015
【図１４】
2017062347.tif 000016