(57)【要約】【課題】楽曲音と演奏音との間のタイミングのずれを低減する。【解決手段】演奏支援装置は、自装置から電子楽器に送信したテスト信号に対して返信されるエコーバック信号に基づいて、信号送受信にかかる遅延量を計測する遅延計測部と、遅延計測部によって計測された遅延量に基づいて、自装置が再生する楽曲音と、電子楽器から取得した演奏データに基づく演奏音との放音タイミングが一致するように、同期させる調整処理部とを備える。【選択図】図１
2018180489.tif 000002
【特許請求の範囲】
【請求項１】
自装置から電子楽器に送信したテスト信号に対して返信されるエコーバック信号に基づいて、信号送受信にかかる遅延量を計測する遅延計測部と、
前記遅延計測部によって計測された前記遅延量に基づいて、前記自装置が再生する楽曲音と、前記電子楽器から取得した演奏データに基づく演奏音との放音タイミングが一致するように、同期させる調整処理部と
を備える演奏支援装置。
【請求項２】
前記演奏データと、前記楽曲音を示す楽曲音データとを、前記調整処理部によって同期させて、記憶部に記憶させる録音処理部を備える
請求項１に記載の演奏支援装置。
【請求項３】
前記録音処理部は、前記演奏データとともに取得した画像データを、前記記憶部に記憶させる
請求項２に記載の演奏支援装置。
【請求項４】
前記遅延計測部は、前記電子楽器から取得した前記電子楽器を識別する識別情報に基づいて、前記遅延量を計測するか否かを判定し、前記遅延量を計測しないと判定した場合に、予め定められた所定の遅延値を、前記遅延量として設定する
請求項１から請求項３のいずれか一項に記載の演奏支援装置。
【請求項５】
取得した補正情報に基づいて、前記遅延計測部によって計測された前記遅延量を補正する遅延補正部を備える
請求項１から請求項４のいずれか一項に記載の演奏支援装置。
【請求項６】
前記遅延計測部は、前記テスト信号を送信してから前記エコーバック信号を受信するまでの時間を、前記遅延量として計測する
請求項１から請求項５のいずれか一項に記載の演奏支援装置。
【請求項７】
コンピュータに、
自装置から電子楽器に送信したテスト信号に対して返信されるエコーバック信号に基づいて、信号送受信にかかる遅延量を計測する遅延計測ステップと、
前記遅延計測ステップによって計測された前記遅延量に基づいて、前記自装置が再生する楽曲音と、前記電子楽器から取得した演奏データに基づく演奏音との放音タイミングが一致するように、同期させる調整処理ステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏支援装置、及びプログラムに関する。
【背景技術】
【０００２】
近年、スマートフォンなどの演奏支援装置では、放音した楽曲音に合わせて演奏者が電子ドラムなどの電子楽器を演奏した演奏音を、放音した楽曲音とまとめて録音することが行われている。このように録音した録音データは、再生することで演奏技術の向上に役立てたり、動画共有サービスなどのサーバ装置への投稿に用いられたりしている。
また、映像信号などの信号のタイミングを調整する一般的な技術として、例えば、特許文献１に記載の技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２１７０６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述した演奏支援装置は、楽曲データを電子楽器に送信して楽曲音を放音させ、電子楽器の演奏音を示す演奏データを電子楽器から受信して録音する。しかしながら、演奏支援装置と電子楽器との間のデータ通信には、演奏支援装置と電子楽器との間の処理環境及び通信環境に依存した遅延が生じるため、演奏支援装置が楽曲音を録音した楽曲音データと、電子楽器から受信した演奏データとの間にタイミングのずれが生じて、不自然な録音データが録音されることがあった。また、上述した従来のタイミングを調整する技術では、このような遅延に対応することは困難であった。
【０００５】
本発明は、上記問題を解決すべくなされたもので、その目的は、楽曲音と演奏音との間のタイミングのずれを低減することができる演奏支援装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明の一態様は、自装置から電子楽器に送信したテスト信号に対して返信されるエコーバック信号に基づいて、信号送受信にかかる遅延量を計測する遅延計測部と、前記遅延計測部によって計測された前記遅延量に基づいて、前記自装置が再生する楽曲音と、前記電子楽器から取得した演奏データに基づく演奏音との放音タイミングが一致するように、同期させる調整処理部とを備える演奏支援装置である。
【０００７】
また、本発明の一態様は、コンピュータに、自装置から電子楽器に送信したテスト信号に対して返信されるエコーバック信号に基づいて、信号送受信にかかる遅延量を計測する遅延計測ステップと、前記遅延計測ステップによって計測された前記遅延に基づいて、前記自装置が再生する楽曲音と、前記電子楽器から取得した演奏データに基づく演奏音との放音タイミングが一致するように、同期させる調整処理ステップとを実行させるためのプログラムである。
【発明の効果】
【０００８】
本発明によれば、楽曲音と演奏音との間のタイミングのずれを低減することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態による演奏支援装置の一例を示す機能ブロック図である。
【図２】第１の実施形態による演奏支援装置の遅延計測処理の一例を示すフローチャートである。
【図３】第１の実施形態による遅延計測処理の動作の一例を説明する図である。
【図４】第１の実施形態による演奏支援装置のレコーディング処理の一例を示すフローチャートである。
【図５】第２の実施形態による演奏支援装置の一例を示す機能ブロック図である。
【図６】第２の実施形態による演奏支援装置の遅延補正処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態による演奏支援装置、及びプログラムについて図面を参照して説明する。
【００１１】
［第１の実施形態］
図１は、本実施形態による演奏支援装置１の一例を示す機能ブロック図である。
図１に示すように、演奏支援装置１は、入力部１１と、表示部１２と、撮像部１３と、内蔵スピーカ１４と、Ａｕｄｉｏ（オーディオ）通信部１５と、記憶部２０と、制御部３０とを備える。
【００１２】
演奏支援装置１は、例えば、スマートフォンやＰＣ（パーソナルコンピュータ）などの情報処理装置である。演奏支援装置１は、電子楽器２と接続可能であり、演奏支援装置１は、再生した楽曲音を、電子楽器２を経由して放音し、演奏者Ｕ１が、当該楽曲音を聞きながら電子楽器２を演奏した演奏データを取得する。演奏支援装置１は、再生した楽曲音データと、取得した演奏データとを一緒に（例えば、放音タイミングを一致させて）、記憶部２０に記憶させる。なお、演奏支援装置１は、アプリケーションプログラムを実行させることで実現されてもよいし、専用ハードウェアにより実現されてもよい。
【００１３】
電子楽器２は、例えば、電子ドラムなどの楽器であり、例えば、ＵＳＢ（Universal Serial Bus）  Ａｕｄｉｏ  Ｃｌａｓｓの規格などのインターフェースにより演奏支援装置１と接続される。電子楽器２は、演奏支援装置１が再生した楽曲音データを取得し、当該楽曲音データに基づく楽曲音をスピーカ３から放音（出力）させる。また、電子楽器２は、演奏者Ｕ１が演奏した演奏音を演奏データに変換し、当該演奏データを演奏支援装置１に送信する。
【００１４】
また、電子楽器２は、後述する遅延計測を行う際に、演奏支援装置１から送信されたテスト信号を、エコーバック信号として、そのまま返信するエコーバック機能を有している。なお、このエコーバック機能を有効にしたモードをエコーバックモードと呼び、電子楽器２は、演奏支援装置１からのエコーバック要求に応じて、当該エコーバックモードに移行する。
また、電子楽器２は、エコーバック機能を有するか否かを含めた、電子楽器２を識別する識別情報を記憶しているものとする。
【００１５】
スピーカ３（放音部の一例）は、電子楽器２の外部スピーカであり、演奏者Ｕ１が演奏する際に、楽曲音を演奏者Ｕ１が聞こえるように放音する。
【００１６】
入力部１１は、例えば、タッチパネル、キーボードなどの入力装置であり、演奏支援装置１に対する各種情報の入力を受け付ける。
表示部１２は、例えば、液晶ディスプレイであり、演奏支援装置１の各種処理を実行する際のメニュー画面、操作画面、設定画面などを表示する。
【００１７】
撮像部１３は、例えば、ＣＣＤ（シーシーディー）カメラであり、各種画像を撮像する。撮像部１３は、後述するレコーディング処理において、利用者の演奏画像を撮像する。
内蔵スピーカ１４（放音部の一例）は、各種音を放音（出力）する。内蔵スピーカ１４は、例えば、レコーディング処理により録音した楽曲音及び演奏音などを試聴する際などに利用する。
【００１８】
Ａｕｄｉｏ通信部１５は、例えば、ＵＳＢ  Ａｕｄｉｏ  Ｃｌａｓｓの規格によるインターフェース部であり、電子楽器２との間の通信を行う。演奏支援装置１は、例えば、Ａｕｄｉｏ通信部１５を介して、電子楽器２に楽曲音データを送信するとともに、電子楽器２から演奏データを取得する。
【００１９】
記憶部２０は、演奏支援装置１の各種処理に利用する情報を記憶する。記憶部２０は、例えば、再生する楽曲データ、録音した楽曲音データ、演奏データ、画像データなどを記憶する。また、記憶部２０は、後述する遅延計測部３１によって計測された遅延量、遅延量のデフォルト値（予め定められた所定の遅延値）などの情報を記憶する。
【００２０】
制御部３０は、例えば、ＣＰＵ（Central Processing Unit）などを含むプロセッサであり、演奏支援装置１を統括的に制御する。制御部３０は、例えば、演奏支援装置１と電子楽器２との間の遅延量の計測や、当該遅延量により遅延調整を行って、電子楽器２による楽曲演奏のレコーディング（楽曲音、演奏音及び演奏画像の記録）する処理を実行する。
制御部３０は、遅延計測部３１と、遅延調整部３２と、レコーディング処理部３３とを備える。
【００２１】
遅延計測部３１は、自装置（演奏支援装置１）と接続された電子楽器２との間の遅延量を、電子楽器２に送信したテスト信号に対して返信されるエコーバック信号に基づいて計測する。すなわち、遅延計測部３１は、自装置から電子楽器に送信したテスト信号に対して返信されるエコーバック信号に基づいて、信号送受信にかかる遅延量を計測する。遅延計測部３１は、電子楽器２を上述したエコーバックモードにした後に、Ａｕｄｉｏ通信部１５を介してテスト信号を送信してからエコーバック信号を受信するまでの時間を、遅延量として計測する。遅延計測部３１は、例えば、音信号のサンプリング用信号である４４．１ｋＨｚ（キロヘルツ）の周波数信号を用いて、遅延量としてカウントする。遅延計測部３１は、計測した遅延量を、記憶部２０に記憶させる。
【００２２】
また、遅延計測部３１は、電子楽器２から取得した電子楽器２を識別する識別情報に基づいて、遅延量を計測するか否かを判定する。遅延計測部３１は、例えば、識別情報に基づいて、電子楽器２がエコーバックモードに対応しているか否かを判定し、電子楽器２がエコーバックモードに対応している場合に、遅延量を計測すると判定し、遅延量の計測処理を実行する。また、遅延計測部３１は、遅延量を計測しないと判定した場合に、予め定められた所定の遅延値（例えば、記憶部２０が記憶する遅延量のデフォルト値）を、遅延量として設定する。
【００２３】
遅延調整部３２（調整処理部の一例）は、遅延計測部３１によって計測された遅延量に基づいて、自装置が再生する楽曲音と、電子楽器２から取得した演奏データに基づく演奏音との放音タイミングが一致するように同期させる。ここで、同期とは、楽曲音と演奏音が、時間的な遅延が“０”（ゼロ）に近い状態にすることである。遅延調整部３２は、例えば、楽曲音を示す楽曲音データのタイミングを、記憶部２０が記憶する遅延量分だけ遅延させて、演奏音との放音タイミングが一致するように調整する。すなわち、遅延調整部３２は、遅延計測部３１によって計測された遅延量に基づいて、自装置が再生する楽曲音と、電子楽器２から取得した演奏データに基づく演奏音との放音タイミングが一致するように遅延を調整する。
【００２４】
レコーディング処理部３３（録音処理部の一例）は、電子楽器２から取得した演奏データと、楽曲音を示す楽曲音データとを、遅延調整部３２によってタイミングを調整させて、記憶部２０に記憶させる。すなわち、レコーディング処理部３３は、遅延調整部３２によって、遅延量分だけ遅延させた楽曲音データと、Ａｕｄｉｏ通信部１５を介して取得した演奏データとを対応付けて、記憶部２０に記憶させる。
【００２５】
なお、撮像部１３によって、例えば、演奏者Ｕ１が電子楽器２を演奏する画像などの画像が撮像されている場合には、レコーディング処理部３３は、撮像部１３から取得した画像データ（静止画データ又は動画データ）を、楽曲音データ及び演奏データとともに、記憶部２０に記憶させる。すなわち、レコーディング処理部３３は、演奏データとともに取得した画像データを、記憶部２０に記憶させる。
【００２６】
次に、図面を参照して、本実施形態による演奏支援装置１の動作について説明する。
まず、図２を参照して、本実施形態による演奏支援装置１の遅延計測処理について説明する。
図２は、本実施形態による演奏支援装置１の遅延計測処理の一例を示すフローチャートである。
【００２７】
図２において、まず、演奏支援装置１は、電子楽器２と接続されたか否かを判定する（ステップＳ１０１）。演奏支援装置１の制御部３０は、Ａｕｄｉｏ通信部１５に、ＵＳＢ機器（例えば、電子楽器２）が接続されたか否かによって、電子楽器２と接続されたか否かを判定する。制御部３０は、電子楽器２と接続されたと判定した場合（ステップＳ１０１：ＹＥＳ）に、処理をステップＳ１０２に進める。また、制御部３０は、電子楽器２と接続されていないと判定した場合（ステップＳ１０１：ＮＯ）に、処理をステップＳ１０１に戻す。
【００２８】
ステップＳ１０２において、制御部３０は、Ａｕｄｉｏ通信部１５を介して、電子楽器２の識別情報を取得する。制御部３０は、Ａｕｄｉｏ通信部１５を介して、例えば、“Identify Request”電文を電子楽器２に送信する。電子楽器２は、“Identify Request”電文に応じて、予め記憶されている電子楽器２の識別情報を含む“Identify Reply”電文を送信し、制御部３０は、Ａｕｄｉｏ通信部１５を介して、当該“Identify Reply”電文を受信する。そして、制御部３０は、“Identify Reply”電文に含まれる電子楽器２の識別情報を取得する。
【００２９】
次に、制御部３０の遅延計測部３１は、電子楽器２がエコーバックモードに対応可能であるか否かを判定する（ステップＳ１０３）。遅延計測部３１は、取得した識別情報に基づいて、接続された電子楽器２がエコーバックモードに対応可能であるか否かを判定する。遅延計測部３１は、電子楽器２がエコーバックモードに対応可能である場合（ステップＳ１０３：ＹＥＳ）に、処理をステップＳ１０４に進める。また、遅延計測部３１は、電子楽器２がエコーバックモードに対応可能でない場合（ステップＳ１０３：ＮＯ）に、処理をステップＳ１０８に進める。
【００３０】
ステップＳ１０４において、遅延計測部３１は、エコーバックモード要求を送信する。遅延計測部３１は、例えば、Ａｕｄｉｏ通信部１５を介して、エコーバックモード要求を電子楽器２に送信する。これにより、電子楽器２は、エコーバックモードに移行する。
【００３１】
次に、遅延計測部３１は、テスト信号を送信して、遅延量の計測を開始する（ステップＳ１０５）。遅延計測部３１は、例えば、単発のクリック音などの所定の信号をテスト信号として、Ａｕｄｉｏ通信部１５を介して、電子楽器２に送信する。また、遅延計測部３１は、テスト信号を送信してからの経過時間を、例えば、音信号のサンプリング周波数信号（４４．１ｋＨｚ）を用いてカウントする。
【００３２】
次に、遅延計測部３１は、エコーバック信号を受信したか否かを判定する（ステップＳ１０６）。遅延計測部３１は、電子楽器２からエコーバック信号をＡｕｄｉｏ通信部１５が受信したか否かを判定する。ここで、エコーバック信号は、テスト信号として送信した信号と同一である、例えば、単発のクリック音などの所定の信号である。遅延計測部３１は、エコーバック信号を受信した場合（ステップＳ１０６：ＹＥＳ）に、処理をステップＳ１０７に進める。また、遅延計測部３１は、エコーバック信号を受信していない場合（ステップＳ１０６：ＮＯ）に、処理をステップＳ１０６に戻す。
【００３３】
ステップＳ１０７において、遅延計測部３１は、遅延量の計測を終了し、計測した遅延量を記憶部２０に記憶させる。すなわち、遅延計測部３１は、テスト信号を送信してからの経過時間のカウントを停止し、当該カウント値に基づいて、テスト信号を送信してからエコーバック信号を受信するまでの経過時間を遅延量として算出する。ステップＳ１０７の処理後に、遅延計測部３１は、遅延計測処理を終了する。
【００３４】
また、ステップＳ１０８において、遅延計測部３１は、デフォルトの遅延値（遅延量のデフォルト値）を、遅延量として、記憶部２０に記憶させる。すなわち、遅延計測部３１は、エコーバックモードに対応していない電子楽器２が接続された場合には、記憶部２０が予め記憶している遅延量のデフォルト値を、遅延量として設定する。ステップＳ１０８の処理後に、遅延計測部３１は、遅延計測処理を終了する。
【００３５】
このように、本実施形態による演奏支援装置１では、電子楽器２にと接続された際に、電子楽器２との間の遅延量を計測する遅延計測処理を実行する。
【００３６】
次に、図３を参照して、本実施形態の遅延計測処理の動作について、演奏支援装置１と電子楽器２との間の送受信電文を用いて説明する。
図３は、本実施形態による遅延計測処理の動作の一例を説明する図である。図３に示す例では、電子楽器２がエコーバックモードに対応している場合の一例について説明する。
【００３７】
図３に示すように、演奏支援装置１と電子楽器２とが接続されると、まず、演奏支援装置１は、電子楽器２に、“Identify Request”電文を送信する（ステップＳ２０１）。
【００３８】
次に、電子楽器２は、“Identify Request”電文に応じて、“Identify Reply”電文を、演奏支援装置１に送信する（ステップＳ２０２）。なお、“Identify Reply”電文には、電子楽器２が記憶している識別情報が含まれる。
【００３９】
次に、演奏支援装置１は、“Identify Reply”電文に含まれる電子楽器２の識別情報に基づいて、電子楽器２がエコーバックモードに対応可能であるか否かを判定し、ここでは、エコーバックモードに対応可能と判定するものとする。そして、演奏支援装置１は、エコーバックモード要求の電文を電子楽器２に送信する（ステップＳ２０３）。これにより、電子楽器２は、エコーバックモードに移行する。
【００４０】
次に、演奏支援装置１は、テスト信号を電子楽器２に送信する（ステップＳ２０４）。ここで、テスト信号は、例えば、単発のクリック音信号である。
【００４１】
次に、電子楽器２は、エコーバックモードの処理により、演奏支援装置１から受信したテスト信号をエコーバック信号として、演奏支援装置１に送信する（ステップＳ２０５）。
【００４２】
次に、演奏支援装置１は、テスト信号の送信からエコーバック信号の受信までの時間を遅延量として計測する（ステップＳ２０６）。遅延量の計測の詳細については、上述した図２のステップＳ１０７に記載のとおりである。演奏支援装置１は、計測した遅延量を記憶部２０に記憶させる。
【００４３】
次に、図４を参照して、計測した遅延量を使用したレコーディング処理（録音処理）について説明する。
図４は、本実施形態による演奏支援装置１のレコーディング処理の一例を示すフローチャートである。なお、図４に示す例では、電子楽器２の演奏音とともに、演奏者Ｕ１が演奏している画像データも記録（レコーディング）する場合の一例について説明する。
【００４４】
図４に示すように、レコーディング処理において、演奏支援装置１は、まず、楽曲を再生する（ステップＳ３０１）。制御部３０のレコーディング処理部３３は、入力部１１を介して選択された楽曲に対応する楽曲データを楽曲音（楽曲音データ）に再生する。レコーディング処理部３３は、例えば、ＭＰ３形式などの圧縮された楽曲データを、伸張（展開）して、楽曲音（楽曲音信号）に生成する。
【００４５】
次に、レコーディング処理部３３は、再生した楽曲音を電子楽器２に放音させる（ステップＳ３０２）。レコーディング処理部３３は、Ａｕｄｉｏ通信部１５を介して、電子楽器２に楽曲音（又は楽曲音データ）を送信し、例えば、電子楽器２に接続されているスピーカ３から楽曲音を放音させる。
【００４６】
次に、レコーディング処理部３３は、計測した遅延量に基づいて、楽曲音データを遅延させて記憶部２０に記憶させる（ステップＳ３０３）。レコーディング処理部３３は、記憶部２０が記憶している遅延量を取得する。レコーディング処理部３３は、再生した楽曲音を示す楽曲音データを、遅延調整部３２に遅延量分遅らせる遅延調整処理を実行させて、遅延調整された楽曲音データを記憶部２０に記憶させる。すなわち、レコーディング処理部３３は、遅延調整部３２に、再生した楽曲音と、電子楽器２から取得した演奏データに基づく演奏音との放音タイミングが一致するように調整（同期）させる。ここで、楽曲音データは、未圧縮に遅延させた楽曲音を記録するＰＣＭ形式であってもよいし、ＭＰ３形式などの圧縮された形式であってもよい。
【００４７】
次に、レコーディング処理部３３は、演奏データを電子楽器２から取得する（ステップＳ３０４）。演奏者Ｕ１は、スピーカ３から放音された楽曲音を聞いて、当該楽曲音に合わせて電子楽器２を演奏する。これにより、電子楽器２は、演奏者Ｕ１が演奏した演奏音を示す演奏データを、演奏支援装置１に送信する。レコーディング処理部３３は、この演奏データを、Ａｕｄｉｏ通信部１５を介して、電子楽器２から取得する。
【００４８】
次に、レコーディング処理部３３は、画像データを撮像部１３から取得する（ステップＳ３０５）。レコーディング処理部３３は、撮像部１３が撮像した、例えば、演奏者Ｕ１が演奏する画像データ（動画データ）を取得する。
【００４９】
次に、レコーディング処理部３３は、演奏データと画像データとを記憶部２０に記憶させえる（ステップＳ３０６）。
次に、レコーディング処理部３３は、録音終了するか否かを判定する（ステップＳ３０７）。レコーディング処理部３３は、例えば、入力部１１を介して受け付けた録音の終了指示や、楽曲音の再生の終了などに基づいて、録音（レコーディング）を終了するか否かを判定する。レコーディング処理部３３は、録音終了すると判定した場合（ステップＳ３０７：ＹＥＳ）に、レコーディング処理を終了する。レコーディング処理部３３は、録音終了しないと判定した場合（ステップＳ３０７：ＮＯ）に、処理をステップＳ３０１に戻す。
【００５０】
以上説明したように、本実施形態による演奏支援装置１は、遅延計測部３１と、遅延調整部３２（調整処理部）とを備える。遅延計測部３１は、自装置から電子楽器に送信したテスト信号に対して返信されるエコーバック信号に基づいて、信号送受信にかかる遅延量を計測する。遅延調整部３２は、遅延計測部３１によって計測された遅延量に基づいて、自装置が再生する楽曲音と、電子楽器２から取得した演奏データに基づく演奏音との放音タイミングが一致するように同期させる。
これにより、本実施形態による演奏支援装置１は、楽曲音と演奏音との間のタイミングのずれを低減することができる。よって、本実施形態による演奏支援装置１は、楽曲音と演奏音との違和感を生じさせない自然な演奏を実現することができる。
【００５１】
また、本実施形態による演奏支援装置１は、演奏データと、楽曲音を示す楽曲音データとを、遅延調整部３２によってタイミングを同期（調整）させて、記憶部２０に記憶させるレコーディング処理部３３（録音処理部）を備える。
これにより、本実施形態による演奏支援装置１は、楽曲音と演奏音との違和感を生じさせない自然な演奏を記憶させる（録音する）ことができる。
【００５２】
また、本実施形態では、レコーディング処理部３３は、演奏データとともに取得した画像データを、記憶部２０に記憶させる。
これにより、本実施形態による演奏支援装置１は、画像データを含む演奏のコンテンツデータを容易に作成することができ、利便性を向上させることができる。
【００５３】
また、本実施形態では、遅延計測部３１は、電子楽器２から取得した電子楽器２を識別する識別情報に基づいて、遅延量を計測するか否かを判定し、遅延量を計測しないと判定した場合に、予め定められた所定の遅延値を、遅延量として設定する。
これにより、本実施形態による演奏支援装置１は、遅延量の計測に対応していない電子楽器２を適切に判定することができる。また、本実施形態による演奏支援装置１は、遅延量の計測に対応していない電子楽器２に対して、楽曲音と演奏音との間のタイミングのずれをある程度低減することでき、適切に対応することができる。
【００５４】
また、本実施形態では、遅延計測部３１は、テスト信号を送信してからエコーバック信号を受信するまでの時間を、遅延量として計測する。
これにより、本実施形態による演奏支援装置１は、簡易な手法により、適切に遅延量を計測することできる。
【００５５】
［第２の実施形態］
次に、図面を参照して、第２の実施形態による演奏支援装置１ａについて説明する。
図５は、本実施形態による演奏支援装置１ａの一例を示す機能ブロック図である。
図５に示すように、演奏支援装置１は、入力部１１と、表示部１２と、撮像部１３と、内蔵スピーカ１４と、Ａｕｄｉｏ通信部１５と、記憶部２０と、制御部３０ａとを備える。また、制御部３０ａは、遅延計測部３１と、遅延調整部３２と、レコーディング処理部３３と、遅延補正部３４とを備える。
【００５６】
本実施形態では、制御部３０ａが、遅延補正部３４を備える点を除いて、第１の実施形態と同様である。
図５において、上述した図１に示す構成と同一の構成については同一の符号を付し、その説明を省略する。
【００５７】
遅延補正部３４は、取得した補正情報に基づいて、遅延計測部３１によって計測された遅延量を補正する。遅延補正部３４は、例えば、スピーカ３と演奏者Ｕ１との間の距離に応じた遅延分や電子楽器２内の変換処理に基づく遅延分などの補正情報を、例えば、入力部１１を介して取得し、オフセット補正値情報として、記憶部２０に記憶させる。遅延補正部３４は、記憶部２０からオフセット補正値情報を取得し、記憶部２０が記憶する遅延量を、取得したオフセット補正値情報に基づいて補正し、補正した遅延量を、遅延調整部３２に供給する。
【００５８】
また、例えば、スピーカ３と演奏者Ｕ１との間の距離が２ｍ（メートル）であり、音速が約３４５（ｍ／Ｓ）とした場合に、スピーカ３と演奏者Ｕ１との間の遅延は、約５．８ｍＳ（ミリ秒）になる。そのため、入力部１１を介して、オフセット補正値情報として、“５．８ｍＳ”を設定するようにすることで、遅延補正部３４は、スピーカ３と演奏者Ｕ１との間の距離に応じた遅延を補正することになる。
【００５９】
なお、本実施形態の遅延調整部３２は、遅延補正部３４によって補正された遅延量に基づいて、楽曲音と、電子楽器２から取得した演奏データに基づく演奏音との放音タイミングが一致するように、同期させる（遅延を調整する）。
【００６０】
次に、図６を参照して、本実施形態による遅延補正処理について説明する。
図６は、本実施形態による演奏支援装置１ａの遅延補正処理の一例を示すフローチャートである。なお、この遅延補正処理は、遅延調整部３２による遅延調整処理が実行される前に実行される。
【００６１】
図６に示すように、制御部３０ａの遅延補正部３４は、補正情報を取得する（ステップＳ４０１）。遅延補正部３４は、例えば、入力部１１を介して取得した補正情報（オフセット補正値情報）を直接取得する、又は、記憶部２０に記憶されている補正情報（オフセット補正値情報）を取得する。
【００６２】
次に、遅延補正部３４は、補正情報に基づいて、遅延量を補正する（ステップＳ４０２）。遅延補正部３４は、例えば、取得したオフセット補正値情報を、遅延量に加算又は減算して、遅延量を補正する。遅延補正部３４は、補正した遅延量を遅延調整部３２に供給する。ステップＳ４０２の処理後に、遅延補正部３４は、遅延補正処理を終了する。
【００６３】
なお、本実施形態による演奏支援装置１ａの遅延計測処理、及びレコーディング処理は、上述した第１の実施形態による演奏支援装置１と同様であるため、ここではその説明を省略する。
【００６４】
以上説明したように、本実施形態による演奏支援装置１ａは、取得した補正情報に基づいて、遅延計測部３１によって計測された遅延量を補正する遅延補正部３４を備える。
これにより、本実施形態による演奏支援装置１ａは、遅延量を補正できるため、楽曲音と演奏音との間のタイミングのずれをさらに低減することができる。
【００６５】
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、電子楽器２は、スピーカ３から楽曲音を放音する例を説明したが、これに限定されるものではなく、ヘッドホンなどの他の放音装置に放音するようにしてもよい。また、電子楽器２とスピーカ３又はヘッドホンとの間の接続は、有線通信により行ってもよいし、無線通信によって行ってもよい。
【００６６】
また、上記の各実施形態において、Ａｕｄｉｏ通信部１５は、ＵＳＢ  Ａｕｄｉｏ  Ｃｌａｓｓの規格によるインターフェース部である例を説明したが、これに限定されるものではなく、例えば、Bluetooth（登録商標）などの無線通信のインターフェース部であってもよい。また、演奏支援装置１（１ａ）と電子楽器２との間を他のインターフェースにより通信するようにしてもよい。
【００６７】
また、上記の各実施形態において、演奏支援装置１（１ａ）は、楽曲音データと、演奏データとのタイミングを調整（同期）した後に、別々に記憶させる例を説明したが。これに限定されるものではない。例えば、レコーディング処理部３３は、遅延調整部３２によって遅延が調整された楽曲音データと、演奏データとを混合（ミキシング）して、１つの音データとして、記憶部２０に記憶させるようにしてもよい。また、この場合には、遅延調整部３２は、楽曲音データと演奏データとのいずれか一方のタイミング、又は両方のタイミングを調整するようにしてもよい。
【００６８】
また、上記の各実施形態において、レコーディング処理部３３が、演奏データとともに撮像部１３によって撮像された画像データを取得して、記憶部２０に記憶させる例を説明したが、画像データを取得及び記憶させないようにしてもよい。また、撮像部１３は、演奏支援装置１（１ａ）が備える例を説明したが、外部に撮像部１３を備えるようにしてもよい。
【００６９】
また、上記の各実施形態において、遅延計測部３１は、電子楽器２の識別情報に基づいて、エコーバック機能を有するか否かを判定し、エコーバック機能を有さない場合に、遅延量の計測を行わない例を説明したが、これに限定されるものではない。例えば、遅延計測部３１は、計測した遅延量と、電子楽器２の識別情報とを対応付けて記憶部２０に記憶さる。そして、遅延計測部３１は、取得した電子楽器２の識別情報に対応する遅延量が既に記憶部２０に記憶されている場合に、遅延量の計測を行わないようにしてもよい。この場合、遅延計測部３１は、演奏支援装置１（１ａ）と電子楽器２とを接続する度に、毎回遅延量を計測する必要がないため、起動時間を短縮することができる。
【００７０】
また、上記の各実施形態において、遅延計測部３１は、演奏支援装置１（１ａ）と電子楽器２とを接続した際に、遅延量を計測する例を説明したが、定期的に、遅延量を計測するようにしてもよい。
また、上記の各実施形態において、遅延計測部３１は、１回の計測により遅延量を決定する例を説明したが、複数回の計測の平均値により、遅延量を決定してもよい。
【００７１】
また、上記の各実施形態において、遅延計測部３１は、テスト信号を送信してからエコーバック信号を受信するまでの時間を、所定の周波数信号を用いてカウントして遅延量を計測する例を説明したが、これに限定されるものではない。遅延計測部３１は、テスト信号を送信した時刻と、エコーバック信号を受信した時刻とを取得し、当該２つの時刻の差分に基づいて、遅延量を計測するようにしてもよい。
【００７２】
また、上記の第２の実施形態において、遅延補正部３４は、予め取得した補正情報に基づいて、遅延量を補正する例を説明したが、楽曲音データに基づく楽曲音と、演奏データに基づく演奏音とを一緒に、内蔵スピーカ１４から放音させて、楽曲音と演奏音との放音タイミングをチェックしながら、補正情報を調整するようにしてもよい。
【００７３】
また、上記の各実施形態において、電子楽器２は、電子ドラムである例を説明したが、これに限定されるものではなく、他の電子楽器であってもよい。
また、上記の各実施形態において、演奏支援装置１（１ａ）は、例えば、スマートフォンやＰＣなどである例を説明したが、ＰＤＡ（Personal Digital Assistant）などの情報端末であってもよい。
【００７４】
なお、上述した演奏支援装置１（１ａ）が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した演奏支援装置１（１ａ）が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した演奏支援装置１（１ａ）が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。
【００７５】
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に演奏支援装置１（１ａ）が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００７６】
また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【符号の説明】
【００７７】
１，１ａ…演奏支援装置、２…電子楽器、３…スピーカ、１１…入力部、１２…表示部、１３…撮像部、１４…内蔵スピーカ、１５…Ａｕｄｉｏ通信部、２０…記憶部、３０，３０ａ…制御部、３１…遅延計測部、３２…遅延調整部、３３…レコーディング処理部、３４…遅延補正部、Ｕ１…演奏者
【図１】
2018180489.tif 000003
【図２】
2018180489.tif 000004
【図３】
2018180489.tif 000005
【図４】
2018180489.tif 000006
【図５】
2018180489.tif 000007
【図６】
2018180489.tif 000008