(57)【要約】【課題】演奏を撮影した映像を演奏内容に応じて時間的に伸縮させること【解決手段】一実施形態におけるデータ処理装置によれば、演奏操作のタイミングを規定する時刻情報を含む第１演奏制御データ、およびデータ各部の再生タイミングを規定する同期情報を含む第１映像データを含む第１データを取得する第１データ取得部と、演奏操作のタイミングを規定する時刻情報を含む参照用演奏制御データを含む参照用データを取得する参照用データ取得部と、第１演奏制御データの時刻情報と参照用演奏制御データの時刻情報との対応関係を、当該第１演奏制御データおよび当該参照用演奏制御データの演奏操作の内容に基づいて検出する対応関係検出部と、対応関係に基づいて、第１映像データの同期情報におけるデータ各部の再生タイミングを変更する変更部と、を備える。【選択図】図４
2017021266.tif 000002
【特許請求の範囲】
【請求項１】
演奏操作の内容を規定する第１演奏制御データであって当該演奏操作のタイミングを規定する時刻情報を含む第１演奏制御データ、およびデータ各部の再生タイミングを規定する同期情報を含む第１映像データを含む第１データを取得する第１データ取得部と、
演奏操作の内容を規定する参照用演奏制御データであって当該演奏操作のタイミングを規定する時刻情報を含む参照用演奏制御データを含む参照用データを取得する参照用データ取得部と、
前記第１演奏制御データの前記時刻情報と前記参照用演奏制御データの前記時刻情報との対応関係を、当該第１演奏制御データおよび当該参照用演奏制御データの演奏操作の内容に基づいて検出する対応関係検出部と、
前記対応関係に基づいて、前記第１映像データの前記同期情報におけるデータ各部の再生タイミングを変更する変更部と、
を備えることを特徴とするデータ処理装置。
【請求項２】
前記参照用データは、さらにデータ各部の再生タイミングを規定する同期情報を含む参照用映像データを含み、
前記変更部によって変更された前記同期情報を含む前記第１映像データと、前記参照用映像データとを、それぞれの映像データに含まれる同期情報に基づいて合成する合成部をさらに備えることを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記合成部は、前記第１映像データおよび前記参照用映像データの画像における予め決められた特徴部分を基準として、当該画像の表示位置を調整して合成することを特徴とする請求項２に記載のデータ処理装置。
【請求項４】
前記第１データは、データ各部の再生タイミングを規定する同期情報を含む第１音波形データをさらに含み、
前記変更部は、前記対応関係に基づいて、前記第１音波形データの前記同期情報におけるデータの各部の再生タイミングをさらに変更することを特徴とする請求項１に記載のデータ処理装置。
【請求項５】
演奏操作の内容を規定する第２演奏制御データであって当該演奏操作のタイミングを規定する時刻情報を含む第２演奏制御データ、およびデータ各部の再生タイミングを規定する同期情報を含む第２映像データを含む第２データを取得する第２データ取得部と、
前記第２演奏制御データの前記時刻情報と前記参照用演奏制御データの前記時刻情報との対応関係を、当該第２演奏制御データおよび当該参照用演奏制御データの演奏操作の内容に基づいて検出する第２対応関係検出部と、
前記対応関係に基づいて、前記第２映像データの前記同期情報におけるデータ各部の再生タイミングを変更する第２変更部と、
前記変更部によって変更された前記同期情報を含む前記第１映像データと、前記第２変更部によって変更された前記同期情報を含む前記第２映像データとを、それぞれの映像データに含まれる同期情報に基づいて合成する合成部と、
をさらに備えることを特徴とする請求項１に記載のデータ処理装置。
【請求項６】
コンピュータに、
演奏操作の内容を規定する第１演奏制御データであって当該演奏操作のタイミングを規定する時刻情報を含む第１演奏制御データ、およびデータ各部の再生タイミングを規定する同期情報を含む第１映像データを含む第１データと、演奏操作の内容を規定するデータであって当該演奏操作のタイミングを規定する時刻情報を含む参照用演奏制御データを含む参照用データとを取得し、
前記第１演奏制御データの前記時刻情報と前記参照用演奏制御データの前記時刻情報との対応関係を、当該第１演奏制御データおよび当該参照用演奏制御データの演奏操作の内容に基づいて検出し、
前記対応関係に基づいて、前記第１映像データの前記同期情報におけるデータ各部の再生タイミングを変更すること
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のデータを同期する技術に関する。
【背景技術】
【０００２】
ピアノ等の楽器の演奏を習うときには、先生が生徒の演奏を見て評価をする。そして、生徒は、評価結果に基づいて先生から指導を受けることによって、演奏技術を向上させることができる。先生と生徒とが遠隔地にいる場合においても、先生が生徒の演奏を評価できるようにする技術が開発されている。例えば、特許文献１には、生徒の演奏の状況を撮影して得られる映像データおよび演奏によって得られる演奏データを送信する演奏装置と、演奏装置からこれらのデータを受信して再生する再生装置とを含むシステムが開示されている。このシステムでは、例えば、生徒が演奏装置を使用し、先生が再生装置を使用する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１８１５８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、生徒が先生の演奏方法を模倣することも演奏技術の向上につながる。特許文献１に開示された技術を用いれば、生徒が先生の演奏を見ることも可能である。しかしながら、生徒が先生の演奏方法を模倣しようとしても、自分自身の演奏方法を客観的に確認することが難しいため、正しく模倣することが難しい。
【０００５】
ここで、生徒の演奏を撮影した映像と、先生の演奏を撮影した映像とをそれぞれ準備して、それぞれの映像を比較することも考えられる。しかしながら、演奏の速さが先生と生徒とで異なると、それぞれの映像を同じタイミングで再生しても、先生が演奏している曲の位置と生徒が演奏している曲の位置とが異なってしまう。その結果、単に生徒の映像と先生の映像とを比較しても曲中の同じ位置での比較ができないため、先生の演奏方法と生徒の演奏方法とがどのように異なるのか比較することが困難であった。
【０００６】
本発明の目的の一つは、演奏を撮影した映像を演奏内容に応じて時間的に伸縮させることにある。
【課題を解決するための手段】
【０００７】
本発明の一実施形態によると、演奏操作の内容を規定する第１演奏制御データであって当該演奏操作のタイミングを規定する時刻情報を含む第１演奏制御データ、およびデータ各部の再生タイミングを規定する同期情報を含む第１映像データを含む第１データを取得する第１データ取得部と、演奏操作の内容を規定する参照用演奏制御データであって当該演奏操作のタイミングを規定する時刻情報を含む参照用演奏制御データを含む参照用データを取得する参照用データ取得部と、前記第１演奏制御データの前記時刻情報と前記参照用演奏制御データの前記時刻情報との対応関係を、当該第１演奏制御データおよび当該参照用演奏制御データの演奏操作の内容に基づいて検出する対応関係検出部と、前記対応関係に基づいて、前記第１映像データの前記同期情報におけるデータ各部の再生タイミングを変更する変更部と、を備えることを特徴とするデータ処理装置が提供される。
【０００８】
前記参照用データは、さらにデータ各部の再生タイミングを規定する同期情報を含む参照用映像データを含み、前記変更部によって変更された前記同期情報を含む前記第１映像データと、前記参照用映像データとを、それぞれの映像データに含まれる同期情報に基づいて合成する合成部をさらに備えてもよい。
【０００９】
前記合成部は、前記第１映像データおよび前記参照用映像データの画像における予め決められた特徴部分を基準として、当該画像の表示位置を調整して合成してもよい。
【００１０】
前記第１データは、データ各部の再生タイミングを規定する同期情報を含む第１音波形データをさらに含み、前記変更部は、前記対応関係に基づいて、前記第１音波形データの前記同期情報におけるデータの各部の再生タイミングをさらに変更してもよい。
【００１１】
演奏操作の内容を規定する第２演奏制御データであって当該演奏操作のタイミングを規定する時刻情報を含む第２演奏制御データ、およびデータ各部の再生タイミングを規定する同期情報を含む第２映像データを含む第２データを取得する第２データ取得部と、前記第２演奏制御データの前記時刻情報と前記参照用演奏制御データの前記時刻情報との対応関係を、当該第２演奏制御データおよび当該参照用演奏制御データの演奏操作の内容に基づいて検出する第２対応関係検出部と、前記対応関係に基づいて、前記第２映像データの前記同期情報におけるデータ各部の再生タイミングを変更する第２変更部と、前記変更部によって変更された前記同期情報を含む前記第１映像データと、前記第２変更部によって変更された前記同期情報を含む前記第２映像データとを、それぞれの映像データに含まれる同期情報に基づいて合成する合成部と、をさらに備えてもよい。
【００１２】
また、本発明の一実施形態によると、コンピュータに、演奏操作の内容を規定する第１演奏制御データであって当該演奏操作のタイミングを規定する時刻情報を含む第１演奏制御データ、およびデータ各部の再生タイミングを規定する同期情報を含む第１映像データを含む第１データと、演奏操作の内容を規定するデータであって当該演奏操作のタイミングを規定する時刻情報を含む参照用演奏制御データを含む参照用データとを取得し、前記第１演奏制御データの前記時刻情報と前記参照用演奏制御データの前記時刻情報との対応関係を、当該第１演奏制御データおよび当該参照用演奏制御データの演奏操作の内容に基づいて検出し、前記対応関係に基づいて、前記第１映像データの前記同期情報におけるデータ各部の再生タイミングを変更することを実行させるためのプログラムが提供される。
【発明の効果】
【００１３】
本発明によれば、演奏を撮影した映像を演奏内容に応じて時間的に伸縮させることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態におけるデータ提供システムの構成を示す図である。
【図２】本発明の第１実施形態における演奏学習システムの構成を示す図である。
【図３】本発明の第１実施形態における複数の撮影装置で撮影される映像の例を示す図である。
【図４】本発明の第１実施形態におけるデータ処理装置の構成を示す図である。
【図５】本発明の第１実施形態における映像データの伸縮処理の第１の例を説明する図である。
【図６】本発明の第１実施形態における映像データの伸縮処理の第２の例を説明する図である。
【図７】生徒映像および先生映像が重畳表示された映像を説明する図である。
【図８】生徒映像および先生映像が縦表示された映像を説明する図である。
【図９】生徒映像および先生映像が横表示された映像を説明する図である。
【図１０】重畳表示の映像に対して調整処理がされた映像を説明する図である。
【図１１】縦表示の映像に対して調整処理がされた映像を説明する図である。
【図１２】本発明の第２実施形態におけるデータ処理装置の構成を示す図である。
【図１３】本発明の第３実施形態における演奏制御データの伸縮処理の例を説明する図である。
【図１４】本発明の第４実施形態における映像データの伸縮処理の例を説明する図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態におけるデータ提供システムについて、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。なお、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字の後にＡ、Ｂ等を付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率（各構成間の比率、縦横高さ方向の比率等）は説明の都合上、実際の比率とは異なったり、構成の一部が図面から省略されたりする場合がある。
【００１６】
＜第１実施形態＞
［概要］
図１は、本発明の第１実施形態におけるデータ提供システムの構成を示す図である。データ提供システム１０００は、データ処理装置１０、制御装置２０、鍵盤装置３０、および撮影装置４０を備える。データ処理装置１０と制御装置２０とは、インターネット等のネットワークＮＷを介して接続されている。演奏学習システム５０は、制御装置２０、鍵盤装置３０および撮影装置４０を含む。この例では、演奏を学習する生徒によって利用される演奏学習システム５０（以下、演奏学習システム５０ａという場合がある）、および演奏を指導する先生によって利用される演奏学習システム５０（以下、演奏学習システム５０ｂという場合がある）がネットワークＮＷに接続されている。
【００１７】
演奏学習システム５０においては、鍵盤装置３０を利用して演奏する演奏者（生徒、先生）を撮影装置４０によって撮影および録音する。そして、制御装置２０は、演奏操作の内容を示す演奏制御データと、撮影および録音によって得られた映像データおよび音波形データを制御装置２０からデータ処理装置１０に送信する。データ処理装置１０においては、演奏学習システム５０ａから送信された映像データに対して伸縮処理を実行し、演奏学習システム５０ｂから送信された映像データと合成する。このような伸縮処理は、演奏学習システム５０ａ、５０ｂから送信された演奏制御データに基づいて実行される。この例では、データ処理装置１０は、さらに演奏学習システム５０ａから送信された音波形データに対しても伸縮処理を実行する。なお、演奏制御データに対しても伸縮処理が実行されてもよい。演奏制御データに対して伸縮処理が実行される場合については、後述の実施形態において説明する。
【００１８】
また、データ処理装置１０において合成された映像データは、制御装置２０において表示させることができる。この映像データに基づいて表示される映像は、生徒の演奏を撮影した映像（以下、生徒映像という場合がある）と、先生の演奏を撮影した映像（以下、先生映像という場合がある）とを、先生と生徒が同じ演奏操作をしているときに同じタイミングで表示されるように調整して合成したものである。なお、この合成とは、同一の画面での再生が可能な状態になっていることを示しており、必ずしも生徒映像と先生映像とが一つの映像にまとめられている場合に限らない。
【００１９】
［演奏学習システム５０の構成］
続いて、演奏学習システム５０の構成について説明する。ここでは、演奏学習システム５０に含まれる制御装置２０、鍵盤装置３０および撮影装置４０の各構成について、順に説明する。
【００２０】
図２は、本発明の第１実施形態における演奏学習システムの構成を示す図である。制御装置２０は、例えば、パソコン、スマートフォン、タブレット等の端末である。制御装置２０は、制御部２１０、操作部２２０、表示部２３０、通信部２４０、記憶部２５０、スピーカ２６０およびインターフェイス２７０を含む。これらの各構成は、バスを介して接続されている。
【００２１】
制御部２１０は、ＣＰＵなどの演算処理回路、ＲＡＭ、ＲＯＭなどの記憶装置を含む。制御部２１０は、記憶部２５０に記憶された制御プログラムをＣＰＵにより実行して、制御装置２０の各構成を制御する。制御プログラムの実行によって、合成映像表示機能、データ送受信機能などの各種機能が実現される。
【００２２】
操作部２２０は、操作ボタン、キーボード、タッチセンサ等の装置であり、入力された操作に応じた信号を制御部２１０に出力する。表示部２３０は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、制御部２１０による制御に基づいた画面が表示される。この例では、操作部２２０のタッチセンサと表示部２３０とは、一体としてタッチパネルを構成してもよい。
【００２３】
通信部２４０は、ネットワークＮＷに接続し、他の装置とデータの送受信を行う。この例では、データ処理装置１０とデータの送受信を行う。記憶部２５０は、不揮発性メモリ等の記憶装置である。記憶部２５０は、制御部２１０によって実行される制御プログラムを記憶する。記憶部２５０は、データ処理装置１０から送信されたデータ等の各種データを記憶してもよい。
【００２４】
スピーカ２６０は、制御部２１０による制御に基づいた音を発生する。例えば、制御部２１０から出力される音信号を増幅して出力することによって、音信号に応じた音を発生する。インターフェイス２７０は、無線または有線で外部装置とデータの送受信を行うための通信装置または端子等を有する。この例では、インターフェイス２７０は、鍵盤装置３０および撮影装置４０と制御装置２０とを接続するために用いられる。なお、インターフェイス２７０には、音信号を出力する端子、演奏制御データ等の送受信をするためのケーブル接続端子などが含まれていてもよい。
【００２５】
鍵盤装置３０は、ピアノの各鍵に対するユーザの演奏操作を検出するためのセンサ、および演奏制御データに基づいて各鍵を駆動するためのアクチュエータが設けられた装置である。このような鍵盤装置３０は、自動演奏ピアノともいわれる。鍵盤装置３０は、制御部３１０、センサ部３２０、駆動部３３０、インターフェイス３７０および鍵３９０を含む。これらの各構成は、バスを介して接続されている。
【００２６】
制御部３１０は、ＣＰＵなどの演算処理回路、ＲＡＭ、ＲＯＭなどの記憶装置を含み、鍵盤装置３０に含まれる各構成の動作を制御する。インターフェイス３７０は、無線または有線で外部装置とデータの送受信を行うための通信装置または端子等を有する。この例では、インターフェイス３７０は、制御装置２０と鍵盤装置３０とを接続するために用いられる。
【００２７】
センサ部３２０は、鍵３９０に対する演奏操作に応じた信号を制御部３１０に出力する。制御部３１０は、センサ部３２０からの出力信号に基づいて、演奏制御データを生成して、インターフェイス３７０を介して制御装置２０へ出力する。演奏制御データは、例えば、ＭＩＤＩ形式のデータであり、操作された鍵の位置を示す情報（キーナンバ）、押鍵したことを示す情報（キーオン）、離鍵したことを示す情報（キーオフ）、および押鍵速度（ベロシティ）等の演奏操作を示す情報を含む。
【００２８】
駆動部３３０は、制御部３１０の制御によって鍵３９０を駆動するアクチュエータ等である。制御部３１０は、インターフェイス３７０を介して受信した演奏制御データにしたがって、この演奏制御データが示す演奏内容で鍵３９０が駆動されるように、駆動部３３０を制御する。例えば、キーオンがあったキーナンバの位置の鍵を、ベロシティに応じた速度で押下し、キーオフにより元の位置に戻すように制御する。これによって、演奏者が押鍵したとき同様に発音する。なお、鍵盤装置３０は、演奏制御データにしたがって音信号を生成する音源部およびこの音信号を増幅して出力するスピーカまたはヘッドホン端子などを備えていてもよい。この音源部は、制御装置２０に設けられていてもよい。この場合には、音源部によって生成された音信号は、スピーカ２６０から出力されてもよいし、音信号を音波形データとして記憶してもよい。この音波形データは、例えば、ＷＡＶ（RIFF Waveform Audio Format）データ、ＭＰ３（MPEG-1 Audio Layer-3）データなどのフォーマットで生成されたものであってもよい。
【００２９】
撮影装置４０は、所定の範囲の撮影、および録音を実行する装置であって、例えば、ビデオカメラである。撮影装置４０は、制御部４１０、カメラ４２０、マイクロフォン４３０、およびインターフェイス４７０を含む。これらの各構成は、バスを介して接続されている。
【００３０】
制御部４１０は、ＣＰＵなどの演算処理回路、ＲＡＭ、ＲＯＭなどの記憶装置を含み、撮影装置４０に含まれる各構成の動作を制御する。インターフェイス４７０は、無線または有線で外部装置とデータの送受信を行うための通信装置または端子等を有する。この例では、インターフェイス４７０は、制御装置２０と撮影装置４０とを接続するために用いられる。
【００３１】
カメラ４２０は、所定範囲内を撮影し、撮影して得られる映像信号を制御部４１０に出力する。マイクロフォン４３０は、撮影範囲を含む領域の音を電気信号に変換して制御部４１０に出力する。制御部４１０は、これらの信号に基づいて、撮影範囲内の映像を示す映像データおよび録音内容を示す音波形データを生成し、インターフェイス４７０を介して制御装置２０に出力する。
【００３２】
図３は、本発明の第１実施形態における撮影装置で撮影される映像の例を示す図である。この例では、撮影装置４０の撮影範囲は、鍵盤装置３０を側面から見た場合の演奏者（生徒Ｓ、先生Ｔ）を含む。図３（ａ）は、演奏学習システム５０ａの撮影装置４０で撮影された生徒Ｓを含む映像を示している。図３（ｂ）は、演奏学習システム５０ｂの撮影装置４０で撮影された先生Ｔを含む映像を示している。
【００３３】
［演奏学習システム５０の動作］
まず、制御装置２０におけるデータ送受信機能について説明する。制御装置２０は、演奏者（ユーザ）の操作部２２０への操作により演奏を記録する指示が入力されると、鍵盤装置３０から演奏制御データを取得し、撮影装置４０から映像データおよび音波形データを取得する。
【００３４】
制御装置２０は、それぞれのデータを同期して再生することができるように、それぞれのデータを関連付ける。映像データおよび音波形データは、タイムコードによってデータ各部の再生タイミングを規定する同期情報を含んでいる。タイムコードは、例えば、時、分、秒、フレームで再生タイミングを規定するＳＭＰＴＥコードを用いればよい。このコードによれば、最小時間単位はフレーム単位であるが、さらに再生タイミングの精度を高くするために、音波形データであればサンプル単位で規定するようにしてもよい。なお、同期情報は、データ各部における再生タイミングを規定するものであれば、どのような情報であってもよい。
【００３５】
制御装置２０は、演奏制御データについても、各演奏操作のタイミングをタイムコードによって規定する。このタイムコードは、例えば、ＭＩＤＩタイムコードを用いればよい。なお、ＭＩＤＩ方式である場合には、絶対時間を示すタイムコードに限らず、相対時間を表すＭＢＴ方式（小節、拍、ティック）で各演奏操作のタイミングが規定されていてもよい。この場合には、テンポ（１分間の拍数）を示す情報も規定されることにより、相対時間を絶対時間に換算できればよい。その結果、各演奏操作のタイミングを絶対時間の時刻情報で規定できればよい。
【００３６】
このようにして、制御装置２０は、演奏制御データ、映像データおよび音波形データを同期して再生できるように関連付けて、データ処理装置１０に送信する。制御装置２０は、送信したデータに対してデータ処理装置１０において所定の処理がされたデータを受信する。以上が、データ送受信機能の説明である。なお、合成映像表示機能については、受信したデータに基づいて表示部２３０に合成映像を表示するものであるが、表示内容の詳細は後述する。続いて、データ処理装置１０の構成および実行される処理について説明する。
【００３７】
［データ処理装置１０の構成］
図４は、本発明の第１実施形態におけるデータ処理装置の構成を示す図である。データ処理装置１０は、制御部１１０、通信部１４０および記憶部１５０を備える。これらの各構成は、バスを介して接続されている。通信部１４０は、ネットワークＮＷに接続し、他の装置とデータの送受信を行う。この例では、演奏学習システム５０の制御装置２０とデータの送受信を行う。記憶部１５０は、不揮発性メモリ等の記憶装置である。記憶部１５０は、制御部１１０によって実行される制御プログラムを記憶する。また、データ処理装置１０において生成したデータ等を記憶する。
【００３８】
制御部１１０は、ＣＰＵなどの演算処理回路、ＲＡＭ、ＲＯＭなどの記憶装置を含む。制御部１１０は、記憶部１５０に記憶された制御プログラムをＣＰＵにより実行して、データ処理装置１０の各構成を制御する。制御プログラムの実行によって、合成映像生成機能などの各種機能が実現される。
【００３９】
制御部１１０が制御プログラムを実行することにより、第１データ取得部１１１、参照用データ取得部１１３、対応関係検出部１１５、変更部１１７および合成部１２１によって合成映像生成機能がＲＡＭ上に実現される。なお、上記の構成の一部または全部は、ハードウエアによって実現されてもよい。
【００４０】
第１データ取得部１１１は、通信部１４０を介して演奏学習システム５０ａから受信した第１データＤａを取得する。第１データＤａは、同期再生が可能に関連付けられた第１演奏制御データＭａ、第１映像データＶａおよび第１音波形データＡａを含む。第１データＤａは、生徒が利用する演奏学習システム５０ａから送信されたデータであり、生徒の演奏によって生成されたデータである。
【００４１】
参照用データ取得部１１３は、通信部１４０を介して演奏学習システム５０ｂから受信した参照用データＤｂを取得する。参照用データＤｂは、同期再生可能に関連付けられた参照用演奏制御データＭｂ、参照用映像データＶｂおよび参照用音波形データＡｂを含む。参照用データＤｂは、先生が利用する演奏学習システム５０ｂから送信されたデータであり、先生の演奏によって生成されたデータである。
【００４２】
対応関係検出部１１５は、第１演奏制御データＭａのタイムコード（時刻情報）と参照用演奏制御データＭｂのタイムコード（時刻情報）の対応関係を、それぞれの演奏制御データの演奏操作の内容に基づいて検出する。具体的には、以下の通りの処理をする。第１演奏制御データＭａに含まれる演奏操作と参照用演奏制御データＭｂに含まれる演奏操作とが同じ操作となるもの同士を対応付ける。同じ演奏操作のタイミングを示す第１演奏制御データＭａのタイムコードと参照用演奏制御データＭｂのタイムコードとを対応関係として検出する。ここで、第１演奏制御データＭａおよび参照用演奏制御データＭｂに含まれる演奏操作のうち、例えば、音高が同じ鍵かつ押鍵（キーオン）のタイミングのずれが所定の時間内に収まっている条件を満たす関係を有するものが、同じ演奏操作として対応付けられればよい。
【００４３】
変更部１１７は、このようにして検出された対応関係に基づいて、第１映像データＶａにおけるデータ各部の再生タイミングを変更する。これによって第１映像データＶａにおける同期情報が変更されることになる。同期情報が変更された第１映像データＶａを第１変更映像データＶａｃという。なお、第１音波形データＡａについても同様にして同期情報が変更される。同期情報が変更された第１音波形データＡａを第１変更音波形データＡａｃという。
【００４４】
このように、先生の演奏操作と生徒の演奏操作とのタイミングに基づいて、第１映像データＶａおよび第１音波形データＡａにおけるデータ各部の再生タイミングが変更される。これによって第１変更映像データＶａｃおよび第１変更音波形データＡａｃが再生されると、第１映像データＶａおよび第１音波形データＡａが再生されたときに比べて、時間的に伸縮した状態が得られる。このように対応関係検出部１１５と変更部１１７とによって、映像データおよび音波形データの伸縮処理が実行されている。
【００４５】
対応関係検出部１１５と変更部１１７とによって実行される伸縮処理の例について、図５、図６を用いて説明する。
【００４６】
図５は、本発明の第１実施形態における映像データの伸縮処理の第１の例を説明する図である。参照用演奏制御データＭｂ（上段）および第１演奏制御データＭａ（中段）については、縦軸に音高を示し、横軸に時刻（記録開始からの時間）を示している。参照用演奏制御データＭｂは、音高「Ｃ」が時刻「ｔ１ｂ」においてキーオンがあること、および帯の長さが発音長（キーオンからキーオフまでの長さ）を示している。続く、音高「Ｄ」「Ｅ」「Ｆ」「Ｆ＃」「Ｃ＃」についても、それぞれ、時刻「ｔ２ｂ」「ｔ３ｂ」「ｔ４ｂ」「ｔ５ｂ」「ｔ６ｂ」においてキーオンがあることを示している。一方、第１演奏制御データＭａは、音高については、参照用演奏制御データＭｂと同じであるが、それぞれのキーオンのタイミングが、時刻「ｔ１ａ」「ｔ２ａ」「ｔ３ａ」「ｔ４ａ」「ｔ５ａ」「ｔ６ａ」である。
【００４７】
第１映像データＶａおよび第１変更映像データＶａｃ（下段）については、横軸に時刻（記録開始からの時間）を示している。横軸については、いずれも同じ時間軸に沿っている。ＶａおよびＶａｃについては、同じデータの部分について、矢印で対応関係を示している。例えば、第１映像データＶａにおける時刻「ｔ３ａ」のデータ部分については、第１変更映像データＶａｃにおける時刻「ｔ３ｂ」のデータ部分に対応する。なお、第１音波形データＡａおよび第１変更音波形データＡａｃについても同様である。
【００４８】
図５に示す第１演奏制御データＭａの演奏操作と参照用演奏制御データＭｂの演奏操作とは、それぞれ同じ音高を指定する演奏操作が対応関係として検出される。音高「Ｅ」、音高「Ｆ」および音高「Ｃ＃」については、キーオンのタイミングがずれているが、そのずれが少ない（予め設定された時間内）ため、それぞれ対応関係として検出される。
【００４９】
音高「Ｃ」「Ｄ」については、キーオンが同じタイミング（ｔ１ａ＝ｔ１ｂ、ｔ２ａ＝ｔ２ｂ）であるため、「ｔ２ａ（ｔ２ｂ）」までは、Ｖａは伸縮されず、そのままＶａｃとなる。一方、音高「Ｅ」については、キーオンのタイミングがずれている。このずれに基づいてＶａが伸縮される。具体的には、時刻「ｔ３ａ」におけるＶａの画像が時刻「ｔ３ｂ」において再生されるように、同期情報を変更する。
【００５０】
このように同期情報が変更されることで、Ｖａにおける「ｔ２ａ（ｔ２ｂ）」から「ｔ３ａ」までの時間Ｗａ１のデータが、Ｖａｃにおける「ｔ２ａ（ｔ２ｂ）」から「ｔ３ｂ」までの時間Ｗａｃ１のデータに圧縮される。このとき、Ｖａの時間Ｗａ１におけるデータは、その一部が間引きされてＶａｃの時間Ｗａｃ１におけるデータとなる。その結果、Ｖａｃの同期情報は、Ｖａの「ｔ３ａ」におけるデータが、「ｔ３ｂ」に再生されることを規定することになる。
【００５１】
続いて、音高「Ｆ」についてもキーオンのタイミングがずれている。上記の音高「Ｅ」では、第１演奏制御データＭａが参照用演奏制御データＭｂよりも遅く、音高「Ｆ」では、第１演奏制御データＭａが参照用演奏制御データＭｂよりも早い。そのため、Ｖａにおける「ｔ３ａ」から「ｔ４ａ」までの時間Ｗａ２のデータが、Ｖａｃにおける「ｔ３ｂ」から「ｔ４ｂ」までの時間Ｗａｃ２のデータに伸張される。このとき、Ｖａの時間Ｗａ２におけるデータは、その一部が複製して挿入されることによってＶａｃの時間Ｗａｃ２におけるデータとなる。その結果、Ｖａｃの同期情報は、Ｖａの「ｔ４ａ」におけるデータが、「ｔ４ｂ」に再生されることを規定することになる。なお、挿入されるデータの画像は、挿入される部分の前後の画像のいずれかを複製した画像ではなく、挿入される前後の画像の内容に応じて生成した補完画像であってもよい。
【００５２】
このように、Ｍａの各演奏操作のタイミングにおいて再生される第１映像データＶａのデータ部分を、それぞれに対応する参照用演奏制御データＭｂの演奏操作のタイミングにおいて再生することを規定するように同期情報が変更される。これによって、第１映像データＶａを伸縮させた第１変更映像データＶａｃが生成される。なお、音波形データについても同様である。また、この例では、映像データの伸縮処理において、先生の演奏操作と生徒の演奏操作とを一致させる際には、第１演奏制御データＭａおよび参照用演奏制御データＭｂのキーオンのタイミングを基準としていたが、別のタイミングを基準としてもよい。このタイミングは、例えば、キーオフであってもよいし、キーオンからキーオフまでの予め決められた位置（例えば、キーオンとキーオフとの中点）であってもよい。
【００５３】
図６は、本発明の第１実施形態における映像データの伸縮処理の第２の例を説明する図である。この例では、図５の例と比べて、時刻「ｔ３ａ」における音高「Ｅ」の代わりに音高「Ｄ＃」で演奏された場合の第１演奏制御データＭａを示している。この例では、第１演奏制御データＭａにおける音高「Ｄ＃」は、参照用演奏制御データＭｂのいずれの演奏操作とも対応関係が検出されない。この場合、音高「Ｄ」の対応関係および音高「Ｆ」の対応関係を用いて、Ｖａが伸縮される。
【００５４】
この例では、Ｖａにおける「ｔ２ａ（ｔ２ｂ）」から「ｔ４ａ」までの時間（Ｗａ３＋Ｗａ４）のデータが、Ｖａｃにおける「ｔ２ａ（ｔ２ｂ）」から「ｔ４ｂ」までの時間（Ｗａｃ３＋Ｗａｃ４）のデータに伸張される。このとき、Ｖａの時間（Ｗａ３＋Ｗａ４）におけるデータは、その一部が複製されてＶａｃの時間（Ｗａｃ３＋Ｗａｃ４）におけるデータとなる。その結果、Ｖａｃの同期情報は、Ｖａの「ｔ４ａ」におけるデータが、「ｔ４ｂ」に再生されることを規定することになる。一方、Ｖａの「ｔ３ａ」におけるデータは、この期間のデータが比例的に伸張された場合の時刻に再生されることになる。すなわち、「Ｗａ３／Ｗａｃ３」＝「Ｗａ４／Ｗａｃ４」となるように、「ｔ３ａ」におけるデータの再生タイミングが変更される。
【００５５】
図４に戻って説明を続ける。合成部１２１は、変更部１１７によって同期情報が変更された第１変更映像データＶａｃと参照用映像データＶｂとを合成する。合成した映像データを合成映像データＶＤという。合成映像データＶＤ、参照用音波形データＡｂ、および変更部１１７によって同期情報が変更された第１音波形データＡａは、識別情報（例えば、生徒を識別するための情報）によって関連付けられて、記憶部１５０に記憶される。記憶部１５０に記憶されたこれらのデータは、互いに同期可能なデータＤｒとして、制御装置２０からの要求に応じて通信部１４０を介して制御装置２０に送信される。制御装置２０の表示部２３０においては、受信した合成映像データＶＤ等を用いた映像が表示される。
【００５６】
このとき、合成映像データＶＤについては、複数種類の方法で合成された映像を示すデータを含んでいてもよい。例えば、先生の映像および生徒の映像を重畳して表示する方法（重畳表示）、縦に並べて表示する方法（縦表示）、および横に並べて表示する方法（横表示）で合成されたデータを含む。それぞれの方法で合成された映像が、合成映像表示機能によって制御装置２０の表示部２３０において表示される場合を以下に説明する。
【００５７】
図７は、生徒映像および先生映像が重畳表示された映像を説明する図である。図８は、生徒映像および先生映像が縦表示された映像を説明する図である。図９は、生徒映像および先生映像が横表示された映像を説明する図である。いずれの図においても、表示部２３０において表示された映像を示している。表示部２３０には、合成映像が表示される領域（図７のＤＡ、図８のＤＡＵ、ＤＡＢ、図９のＤＡＬ、ＤＡＲ）が含まれる。また、表示部２３０には、指示入力用のアイコンＢ１〜Ｂ５、および音量増減、再生制御等のアイコンが表示される。
【００５８】
アイコンＢ１、Ｂ２は、制御装置２０のスピーカ２６０から出力させる音を、第１変更音波形データＡａｃに応じた音または参照用音波形データＡｂに応じた音に切り替える指示を入力するためのアイコンＢ１、Ｂ２である。アイコンＢ１を操作すると第１変更音波形データＡａｃに応じた音（生徒の演奏音を伸縮した音）がスピーカ２６０から出力され、アイコンＢ２を操作すると参照用音波形データＡｂに応じた音（先生の演奏音）がスピーカ２６０から出力される。なお、双方の音がスピーカ２６０から出力されるようにしてもよい。この場合には、それぞれの音の大きさを調整できるようにしてもよい。
【００５９】
アイコンＢ３を操作すると重畳表示（図７）、アイコンＢ４を操作すると縦表示（図８）、アイコンＢ５を操作すると横表示（図９）の合成映像が表示される。これらのアイコンのうち網掛け表示になっていないアイコンが、最後に操作されて現在選択されている状態を示している。
【００６０】
アイコンＢ３を操作することによって表示される重畳表示（図７）では、生徒映像（実線）に対して、透過処理が施された先生映像（破線）が覆うように重ねられて領域ＤＡに表示されるように、先生映像と生徒映像とが合成される。このとき、重畳させる位置は、双方の映像に含まれる鍵盤装置３０（この例ではグランドピアノ）の位置を基準として決められる。この特徴部分となる位置は、先生映像と生徒映像との画像を解析することによって認識され、それぞれの映像の表示位置が調整されている。
【００６１】
このように先生映像と生徒映像とを合成して表示することにより、先生と生徒が同じ演奏操作をしている状態で比較することができ、先生と生徒との演奏方法（体の動き等）の違いがわかりやすくなる。
【００６２】
なお、アイコンＢ１、Ｂ２への操作によって、スピーカ２６０から出力される音が変更されるときに、透過処理される映像についても切り替えてもよい。すなわち、アイコンＢ２が操作されると、生徒映像に対して透過処理が施されて、先生映像を覆うように重ねられて領域ＤＡに表示されるようにしてもよい。このような映像についても合成部１２１において予め生成されて合成映像データＶＤに含まれるようにしてもよい。
【００６３】
アイコンＢ４を操作することによって表示される縦表示（図８）では、上側領域ＤＡＵに生徒映像、下側領域ＤＡＢに先生映像が表示されるように、先生映像と生徒映像とが合成される。このとき、縦に並べられる基準となる位置（基準線Ｌ）に、双方の映像から認識された特徴部分、この例では鍵盤装置３０（この例ではグランドピアノ）の演奏者側の部分が揃うように表示位置が調整される。
【００６４】
アイコンＢ５を操作することによって表示される横表示（図９）では、左側領域ＤＡＬに生徒映像、右側領域ＤＡＲに先生映像が表示されるように、先生映像と生徒映像とが合成される。このとき、横に並べられる基準となる位置（基準線Ｌ）に、双方の映像から認識された特徴部分、この例では鍵盤装置３０（この例ではグランドピアノ）の鍵盤下面側が揃うように表示位置が調整される。
【００６５】
合成映像の種類が切り替わる際には、再生位置が最初に戻るようにしてもよいし、再生位置はそのまま進行させて映像および音を再生する流れを中断しないようにしてもよい。
【００６６】
なお、合成映像データＶＤには、これらの３種類の合成映像が含まれるようにしていたが、１種類の合成映像のみが含まれるようにしてもよい。この場合には、制御装置２０において指定された合成映像の種類をデータ処理装置１０に通知されるようにする。そして、データ処理装置１０は、指定された種類の合成映像を示す合成映像データＶＤを生成して制御装置２０に送信するようにしてもよい。この場合、合成前の映像データ（例えば、第１変更映像データＶａｃおよび参照用映像データＶｂ）が記憶部１５０に予め記憶されればよい。
【００６７】
このようにした場合、先生映像と生徒映像とを合成する基準となる位置（上述の特徴部分）を調整する調整処理が実行できるようにしてもよい。例えば、重畳表示の映像に調整処理を適用した場合について、図７および図１０を用いて説明する。
【００６８】
図７に示す重畳表示の映像が表示されている状態において、合成する基準となる位置（合成基準位置）を指定すると、合成基準位置は鍵盤装置３０の位置から、指定された位置に変更される。例えば、図７において画面上の位置ＴＰをタッチすると、合成基準位置が位置ＴＰに指定される。指定された合成基準位置ＴＰが制御装置２０からデータ処理装置１０へ転送される。データ処理装置１０は、指定された合成基準位置ＴＰにおける生徒の体の部位を生徒映像（この例では透過処理がされていない方の映像）から認識する。図７の例でいうと、生徒の体の部位として頭頂部が認識される。
【００６９】
データ処理装置１０は、認識された体の部位（ここでは頭頂部）を先生映像から認識し、生徒映像における生徒の頭頂部に対応する位置と、先生映像における先生の頭頂部に対応する位置とが一致するようにして、先生映像と生徒映像とを合成する。このようにして合成基準位置を変更して再合成する処理を調整処理という。
【００７０】
図１０は、重畳表示の映像に対して調整処理がされた映像を説明する図である。この例によれば、先生の頭頂部の位置と生徒の頭頂部の位置とが一致するように先生映像と生徒映像とが合成されている。この例では、合成映像の再生中において、先生の頭頂部の位置と生徒の頭頂部の位置が一致し続けるように先生映像と生徒映像とが合成される。なお、合成基準位置を指定したタイミング等、いずれかのタイミングにおいてのみ一致するように先生映像と生徒映像とが合成されてもよい。この場合、再生が進んで先生の頭頂部の位置と生徒の頭頂部の位置がずれたとしても、当初に決定した先生映像と生徒映像との位置関係を維持し続ける。
【００７１】
このように、体の部位の一部を合成基準位置とすると、その位置に対して他の部位が相対的にどのように動いているかの認識が容易になる。例えば、肩の位置を合成基準位置とすると、腕の位置が相対的に高いまたは低いなどの比較が容易になる。
【００７２】
続いて、縦表示の映像に調整処理を適用した場合について、図８および図１１を用いて説明する。図８に示す縦表示の映像が表示されている状態において、上述同様に、合成基準位置ＴＰが指定されたものとする。合成基準位置ＴＰに基づいて、調整処理が実行される。
【００７３】
図１１は、縦表示の映像に対して調整処理がされた映像を説明する図である。この例によれば、先生の頭頂部の位置と生徒の頭頂部の位置とが基準線Ｌで一致するように先生映像と生徒映像とが合成されている。このとき、上側領域ＤＡＵと下側領域ＤＡＢとの左右方向の相対位置が調整されている。なお、上側領域ＤＡＵと下側領域ＤＡＢとの相対位置は変更されずに固定されたまま、例えば下側領域ＤＡＢに表示される映像の位置が調整されてもよい。
【００７４】
なお、上述した合成部１２１は、データ処理装置１０の代わりに制御装置２０において実現されるようにしてもよい。この場合には、制御装置２０は、データ処理装置１０から合成前のデータ（第１変更映像データＶａｃ、参照用映像データＶｂ等）を受信して、合成処理および調整処理を実行すればよい。これらの合成前のデータは、データ処理装置１０では記憶部１５０に記憶されていればよい。
【００７５】
＜第２実施形態＞
第１実施形態では、先生の演奏操作と生徒の演奏操作とに基づいて生徒映像の伸縮処理が行われ、伸縮された生徒映像が先生映像に合成されていた。第２実施形態では、予め決められた参照用演奏制御データに基づいて、先生映像および生徒映像の伸縮処理が行われてから、伸縮された生徒映像と先生映像とが合成される。
【００７６】
図１２は、本発明の第２実施形態におけるデータ処理装置の構成を示す図である。データ処理装置１０Ａの制御部１１０Ａにおいては、第１データ取得部１１１、第２データ取得部１１２、参照用データ取得部１１３Ａ、第１対応関係検出部１１５、第２対応関係検出部１１６、第１変更部１１７、第２変更部１１８、および合成部１２１Ａによって合成映像生成機能が実現される。上述同様に合成部１２１Ａはデータ処理装置１０Ａに代えて制御装置２０において実現されるようにしてもよい。第１実施形態と同様の構成については、詳細の説明を省略する。
【００７７】
この例では、参照用データ取得部１１３Ａは、通信部１４０を介して外部装置から参照用演奏制御データＭｂを取得する。この外部装置とは、第１実施形態のように演奏学習システム５０ではなく、データサーバ等であってもよい。参照用演奏制御データＭｂは、第１実施形態では先生の演奏操作を示すデータであったが、この例では、予め準備されたデータである。この例では、理想的に演奏操作が行われた場合、すなわち、楽譜通りの演奏操作が行われた場合のデータである。なお、データ処理装置１０Ａの記憶部１５０において予め記憶されていてもよい。
【００７８】
一方、第２データ取得部１１２は、通信部１４０を介して演奏学習システム５０ｂから受信した第２データＤｃを取得する。第２データＤｃは、同期再生が可能に関連付けられた第２演奏制御データＭｃ、第２映像データＶｃおよび第２音波形データＡｃを含む。すなわち、第２データＤｃは、先生が利用する演奏学習システム５０ｂから送信されたデータであり、先生の演奏によって生成されたデータである。この例における第２データＤｃは、第１実施形態における参照用データＤｂと同じである。
【００７９】
第２実施形態における第１対応関係検出部１１５は、第１実施形態における対応関係検出部１１５と同じである。第２対応関係検出部１１６は、第２演奏制御データＭｃのタイムコードと参照用演奏制御データＭｂのタイムコードの対応関係を検出する。その検出方法は、第１実施形態における対応関係検出部１１５と同じである。
【００８０】
第２実施形態における第１変更部１１７は、第１実施形態における変更部１１７と同じである。第２変更部１１８は、第２対応関係検出部１１６において検出された対応関係に基づいて、第２映像データＶｃにおけるデータ各部の再生タイミングを変更する。これによって第２映像データＶｃにおける同期情報が変更されることになる。同期情報が変更された第２映像データＶｃを第２変更映像データＶｃｃという。変更の方法は、第１実施形態における変更部１１７と同じである。なお、第２音波形データＡｃについても同様にして同期情報が変更される。同期情報が変更された第２音波形データＡｃを第２変更音波形データＡｃｃという。
【００８１】
合成部１２１Ａは、第１変更部１１７によって同期情報が変更された第１変更映像データＶａｃと、第２変更部１１８によって同期情報が変更された第２変更映像データＶｃｃとを合成して、合成映像データＶＤを生成する。第２対応関係検出部１１６および第２変更部１１８の処理により、第１実施形態とは異なり、先生映像についても伸縮処理がされてから合成される。
【００８２】
このように、第２実施形態においては、参照用演奏制御データＭｂの演奏操作に合わせて、生徒映像および先生映像の伸縮処理がされることになる。第１実施形態では、先生の演奏操作に合わせて生徒映像の伸縮処理がされていた。いずれの場合においても基準となる演奏操作（演奏制御データ）が異なるだけであるから、合成された先生映像と生徒映像とは、演奏操作のタイミングが一致するように調整された映像になっている。したがって、先生と生徒との演奏方法の違いがわかりやすくなる。このとき、予め準備された演奏制御データを基準として生徒映像と先生映像との伸縮処理を実行しているため、先生の演奏の癖および演奏操作のミスの影響をできるだけ除外し、別の先生、生徒の映像との比較も容易に行うことができる。
【００８３】
＜第３実施形態＞
第１、第２実施形態においては、制御装置２０で表示される合成映像とともに、音波形データに応じた音を聴取することができた。この音は、音波形データによるものではなく、演奏制御データを用いて、鍵盤装置３０において発音させてもよい。まず、第１実施形態のように、先生の演奏操作を基準として生徒映像の伸縮処理がされている場合には、先生の演奏音は、参照用演奏制御データＭｂをそのまま用いて鍵盤装置３０において発音させればよい。なお、参照用演奏制御データＭｂを用いて音源等を制御して音波形データを生成し、この音波形データが参照用音波形データＡｂに代えて制御装置２０で用いられてもよい。
【００８４】
一方、生徒の演奏音は、第１演奏制御データＭａを用いると、演奏音と生徒映像とがずれてしまうため、例えば変更部１１７において参照用演奏制御データＭｂを基準として、第１演奏制御データＭａの伸縮処理を行う。伸縮処理によって得られる第１変更演奏制御データＭａｃが制御装置２０に送信され、鍵盤装置３０の駆動に用いられる。
【００８５】
図１３は、本発明の第３実施形態における演奏制御データの伸縮処理の例を説明する図である。参照用演奏制御データＭｂ（上段）、第１演奏制御データＭａ（中段）および第１変更演奏制御データＭａｃ（下段）については、縦軸に音高を示し、横軸に時刻（記録開始からの時間）を示している。まず、第１演奏制御データＭａと参照用演奏制御データＭｂとにおいて、対応関係にある演奏操作のタイミング（キーオンのタイミング）が同じタイミングになるように第１演奏制御データＭａの演奏操作のタイミング（キーオンのタイミング）を変更する。例えば、第１演奏制御データＭａにおいて、音高「Ｅ」は演奏操作のタイミングが時刻「ｔ３ａ」から「ｔ３ｂ」に変更される。音高「Ｆ」は演奏操作のタイミングが時刻「ｔ４ａ」から「ｔ４ｂ」に変更される。音高「Ｃ＃」は演奏操作のタイミングが時刻「ｔ６ａ」から「ｔ６ｂ」に変更される。
【００８６】
また、この例では、伸縮の程度に応じて各演奏操作のキーオフのタイミング（キーオンからの時間で発音長に対応）を決定する。例えば、音高「Ｅ」については、発音長「ＧＴ」が、発音長「ＧＴｃ」に変更される。音高「Ｅ」と音高「Ｆ」との時間間隔は、参照用演奏制御データＭｂでの「（ｔ４ｂ−ｔ３ｂ）」（図１３における「ＮＴｂ」）と、第１演奏制御データＭａでの「（ｔ４ａ−ｔ３ａ）」（図１３における「ＮＴ」）とにおいて異なっている。そのため、第１変更演奏制御データＭａｃにおいて音高「Ｅ」のキーオンのタイミングを、ｔ３ｂに変更するだけでは、音長の違和感を生じる場合がある。このような違和感を低減するために、音高「Ｅ」のキーオンから音高「Ｆ」のキーオンまでの時間において、発音時間と消音時間との比率が伸縮処理前後において同程度になるように、音高「Ｅ」の音長を比例的に伸縮してもよい。この場合、発音長「ＧＴｃ」は、例えば、「ＧＴ×（ｔ４ｂ−ｔ３ｂ）／（ｔ４ａ−ｔ３ａ）」として定義されればよい。
【００８７】
なお、発音長については、上記の通りに変更すると発音の際に伸張処理による不自然さを抑え、自然な演奏に近づけることができるが、必ずしもこのように変更する場合に限られない。例えば、伸縮処理の前後で発音長が変化しないように、キーオフのタイミングの変更量とキーオンのタイミングの変更量とを同じくしてもよい。また、伸縮処理の前後でキーオンのタイミングのみ変更し、キーオフのタイミングを変更しないようにしてもよい。このようにして、各演奏操作のタイミング（時刻情報）が変更された第１変更演奏制御データＭａｃが生成される。
【００８８】
なお、このように、演奏制御データに基づいて、制御装置２０において発音させる場合には、音量調整をベロシティの値を変更して対応するようにしてもよい。
【００８９】
＜第４実施形態＞
第１実施形態では、第１演奏制御データＭａと参照用演奏制御データＭｂとの演奏操作の対応関係を検出するときには、それぞれの演奏操作について、対応関係を検出していた。第４実施形態では、所定時間毎、または所定数の演奏操作毎に対応関係の検出が行われる。
【００９０】
図１４は、本発明の第４実施形態における映像データの伸縮処理の例を説明する図である。図１４に示す例では、まず音高「Ｃ」について対応関係が検出され、続いて、音高「Ｃ＃」について対応関係が検出される。その間の演奏操作については対応関係が検出されない。このような場合には、時刻「ｔ１ａ（ｔ１ｂ）」におけるＶａの画像は時刻「ｔ１ａ（ｔ１ｂ）」において再生され、時刻「ｔ６ａ」におけるＶａの画像は時刻「ｔ６ｂ」において再生されるように、同期情報が変更される。したがって、時間「ｔ１ａ（ｔ１ｂ）」から「ｔ６ａ」までの時間Ｗａ５のデータが、「ｔ１ａ（ｔ１ｂ）」から「ｔ６ｂ」までの時間Ｗａｃ５のデータに伸張される。時刻「ｔ２ａ」、「ｔ３ａ」、「ｔ４ａ」、「ｔ５ａ」の画像については、いずれも伸張の程度に比例したタイミングに再生されるように、同期情報が変更される。
【００９１】
このようにすると、第１実施形態に比べて、演奏操作における生徒と先生との細かい違いについては、生徒映像と先生映像との演奏操作に関して一致の精度が劣る場合がある。一方、全体的に演奏速度が異なったり揺らいだりしている場合などに、少ない処理量で効率的な伸縮処理を行うことができる。
【００９２】
＜変形例＞
以上、本発明の一実施形態について説明したが、本発明は以下のように、様々な態様で実施可能である。
【００９３】
上述した実施形態において、生徒映像と先生映像とを合成するときには、合成の基準となる位置を合わせるために相対的に映像を平行移動させていたが、縮尺の変更（拡大、縮小）および回転移動を許容するようにしてもよい。この場合には、合成の基準となる位置は例えば、２箇所設定しておけばよい。例えば、ピアノの脚のうちキャスタ側の端部、および鍵盤側の端部の２箇所を合成基準位置とすればよい。また、回転移動を許容する場合には、棚板の底面を水平にするように調整されてもよい。
【００９４】
撮影装置４０は、複数のカメラ４２０を備えていてもよい。様々な方向に演奏者を撮影し、それぞれのカメラ４２０の撮影によって生成された映像データが、カメラ毎の識別子と対応付けられてデータ処理装置１０に送信されればよい。そして、合成部によって撮影方向毎に映像を合成した合成映像データＶＤを生成する。制御装置２０においては、合成映像データＶＤに基づいて撮影方向の異なる合成映像の表示を切り替えられてもよいし、予め決められたルールによって自動的に切り替えられてもよい。
【００９５】
上記の各装置（コンピュータ）において実行される制御プログラムは、光ディスク、半導体メモリ等の記録媒体に記録されて提供されてもよいし、ネットワークを介してダウンロードされて提供されてもよい。
【符号の説明】
【００９６】
１０，１０Ａ…データ処理装置、１１０，１１０Ａ…制御部、１１１…第１データ取得部、１１２…第２データ取得部、１１３，１１３Ａ…参照用データ取得部、１１５…対応関係検出部（第１対応関係検出部）、１１６…第２対応関係検出部、１１７…変更部（第１変更部）、１１８…第２変更部、１２１，１２１Ａ…合成部、１４０…通信部、１５０…記憶部、２０…制御装置、２１０…制御部、２２０…操作部、２３０…表示部、２４０…通信部、２５０…記憶部、２６０…スピーカ、２７０…インターフェイス、３０…鍵盤装置、３１０…制御部、３２０…センサ部、３３０…駆動部、３７０…インターフェイス、４０…撮影装置、４１０…制御部、４２０…カメラ、４３０…マイクロフォン、４７０…インターフェイス、５０…演奏学習システム、１０００…データ提供システム
【図１】
2017021266.tif 000003
【図２】
2017021266.tif 000004
【図３】
2017021266.tif 000005
【図４】
2017021266.tif 000006
【図５】
2017021266.tif 000007
【図６】
2017021266.tif 000008
【図７】
2017021266.tif 000009
【図８】
2017021266.tif 000010
【図９】
2017021266.tif 000011
【図１０】
2017021266.tif 000012
【図１１】
2017021266.tif 000013
【図１２】
2017021266.tif 000014
【図１３】
2017021266.tif 000015
【図１４】
2017021266.tif 000016