(57)【要約】【課題】全期間に渡って２つ以上の音データを同期させる。【解決手段】一実施形態に係る音データ編集方法は、参照音を再生中に実演された第１の実演に基づく第１音データ及び前記参照音を再生中に実演された前記第１の実演とは異なる第２の実演に基づく第２音データを、前記参照音を用いて同期するステップを有する。【選択図】図７
2018155936.tif 000002
【特許請求の範囲】
【請求項１】
参照音を再生中に実演された第１の実演に基づく第１音データ及び前記参照音を再生中に実演された前記第１の実演とは異なる第２の実演に基づく第２音データを、前記参照音を用いて同期するステップ
を有する音データ編集方法。
【請求項２】
前記第１音データ及び前記第２音データは、それぞれ、第１チャンネル及び第２チャンネルのデータを含み、
前記第１チャンネルのデータは、前記参照音を表し、
前記第２チャンネルのデータは、実演の音を表す
ことを特徴とする請求項１に記載の音データ編集方法。
【請求項３】
入力音を表す入力音信号を取得するステップと、
前記入力音信号に基づいて、前記第１音データ及び前記第２音データの少なくとも一方のテンポを調整するステップと
を有する請求項１又は２に記載の音データ編集方法。
【請求項４】
前記第１音データのテンポを前記参照音に合わせて調整するステップと、
前記第２音データのテンポを前記参照音に合わせて調整するステップと
を有し、
前記同期するステップにおいて、テンポが調整された前記第１音データ及び前記第２音データが同期される
ことを特徴とする請求項１ないし３のいずれか一項に記載の音データ編集方法。
【請求項５】
前記第１音データは第１動画データに含まれる音データであり、
前記第２音データは前記第１動画データと異なる第２動画データに含まれる音データであり、
前記同期するステップにおいて、前記第１動画データ及び前記第２動画データが同期される
ことを特徴とする請求項１ないし４のいずれか一項に記載の音データ編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の音データを編集する技術に関する。
【背景技術】
【０００２】
地理的に離れた複数の演奏者が合奏をするためのシステムが知られている。例えば特許文献１には、同期信号を基準として開始された演奏セッションにおいて、各演奏パートの演奏データを対応する端末装置が生成するシステムが記載されている。このシステムにおいて、各演奏データは同期信号に基づいて補正される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１５３５１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術においては、同期を開始したタイミング以降の全期間に渡って２以上の音データを同期させることができなかった。
これに対し本発明は、全期間に渡って２つ以上の音データを同期させる技術を提供する。
【課題を解決するための手段】
【０００５】
本発明は、参照音を再生中に実演された第１の実演に基づく第１音データ及び前記参照音を再生中に実演された前記第１の実演とは異なる第２の実演に基づく第２音データを、前記参照音を用いて同期するステップを有する音データ編集方法を提供する。
【０００６】
この音データ編集方法は、前記第１音データ及び前記第２音データは、それぞれ、第１チャンネル及び第２チャンネルのデータを含み、前記第１チャンネルのデータは、前記参照音を表し、前記第２チャンネルのデータは、実演の音を表してもよい。
【０００７】
この音データ編集方法は、入力音を表す入力音信号を取得するステップと、前記入力音信号に基づいて、前記第１音データ及び前記第２音データの少なくとも一方のテンポを調整するステップとを有してもよい。
【０００８】
この音データ編集方法は、前記第１音データのテンポを前記参照音に合わせて調整するステップと、前記第２音データのテンポを前記参照音に合わせて調整するステップとを有し、前記同期するステップにおいて、テンポが調整された前記第１音データ及び前記第２音データが同期されてもよい。
【０００９】
前記第１音データは第１動画データに含まれる音データであり、前記第２音データは前記第１動画データと異なる第２動画データに含まれる音データであり、前記同期するステップにおいて、前記第１動画データ及び前記第２動画データが同期されてもよい。
【発明の効果】
【００１０】
本発明によれば、全期間に渡って２つ以上の音データを同期させることができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態に係る音データ編集システム１の機能構成を例示する図。
【図２】ユーザー端末１０のハードウェア構成を例示する図。
【図３】サーバ２０のハードウェア構成を例示する図。
【図４】音データ編集システム１の動作の概要を例示するシーケンスチャート。
【図５】音データのアップロードに係る動作を例示するシーケンスチャート。
【図６】参照音の再生指示を入力するためのＵＩ画面を例示する図。
【図７】音データの同期に係る動作を例示するシーケンスチャート。
【図８】同期される演奏動画を選択するためのＵＩ画面を例示する図。
【図９】合成動画における各演奏動画の配置を例示する図。
【図１０】第３実施形態に係る音データ編集システム３の機能構成を例示する図。
【図１１】逆アライメント処理の概念図。
【図１２】第３実施形態において参照音の再生指示を入力するためのＵＩ画面。
【図１３】逆アライメント処理を例示するフローチャート。
【図１４】第４実施形態に係る音データ編集システム４の機能構成を例示する図。
【図１５】アライメント部１６の機能構成を例示する図。
【図１６】音データのアライメント再生に係る動作を例示するフローチャート。
【発明を実施するための形態】
【００１２】
１．第１実施形態
１−１．構成
図１は、第１実施形態に係る音データ編集システム１の機能構成を例示する図である。音データ編集システム１は、同じ参照音を再生中に実演された複数の実演の音データを同期するサービス（以下「音データ編集サービス」という）を提供する。ここで、実演とは、時間的に変化する音の発生を伴う対象物を、演劇的に演じ、舞い、演奏し、歌い、口演し、朗詠し、又はその他の方法により演ずることをいう。対象物は、思想、感情、又は事実を表現したものであって、例えば、音楽、文芸、芸能、又は学術の分野に属するものをいう。一例として、ここでいう実演は楽器を用いた楽曲の演奏であり、音データは演奏音データである。この例で、音データ編集システム１は、第１音データ及び第２音データを同期する。第１音データは、第１実演に基づく（伴う）音声（第１音声の一例）をデータ化したものである。第２音データは、第２実演に基づく（伴う）音声（第２音声の一例）をデータ化したものである。第１実演及び第２実演は、いずれも、同じ参照音を再生中に行われる実演である。ここで、「同じ参照音を再生中に行われる」とは、各実演が行われる際に再生される参照音が同じものであることをいい、必ずしも第１実演及び第２実演が同時に行われることを意味するものではない。また、「参照音が同じ」とは２つの参照音が完全に同一であることのみを意味するものではなく、例えば、同じ楽曲を同じ奏者が演奏した演奏音を記録したものであるが記録された時期が異なるもの（いわゆるテイク違い）であってもよいし、同じ楽曲を異なる奏者が演奏した演奏音を記録したものであってもよい。第１実演はユーザーＡ（第１ユーザーの一例）により行われ、第２実演はユーザーＢ（第２ユーザーの一例）により行われる。
【００１３】
音データ編集システム１は、ユーザー端末１０及びサーバ２０を有する。ユーザー端末１０は、音データ編集サービスにおけるクライアントであり、ユーザーインターフェースを提供する。ここでは、２台のユーザー端末１０が図示される。ユーザーＡのユーザー端末及びユーザーＢのユーザー端末及びその要素を区別するときは、ユーザー端末１０Ａ及びユーザー端末１０Ｂのように添字を用いる。
【００１４】
ユーザー端末１０は、記憶部１１、再生部１２、記録部１３、通信部１４、及びＵＩ部１５を有する。記憶部１１は、各種のデータを記憶する。この例で、記憶部１１は、参照音を再生するためのデータＤｒを記憶する。再生部１２は、各種のデータを再生する。この例で、再生部１２は、データＤｒを再生する。記録部１３は、参照音の再生中に行われる実演に伴う音をデータ化し、音データとして記憶部１１に記憶する。通信部１４は、所定の通信規格に従って他の装置と通信する。この例で、通信部１４は、実演の音データをサーバ２０にアップロードする。ＵＩ部１５は、参照音の再生、録音開始、アップロードなど、ユーザーが各種の指示を入力するためのユーザーインターフェースを提供する。
【００１５】
サーバ２０は、音データ編集サービスにおけるサーバである。サーバ２０は、インターネット等のネットワーク（図示略）を介してユーザー端末１０と通信する。サーバ２０は、通信部２１、記憶部２３、及び同期部２４を有する。通信部２１は、所定の通信規格に従って他の装置と通信する。この例で、通信部２１は、ユーザー端末１０から送信された音データを受信する。記憶部２３は、通信部２１により受信された音データを記憶する。同期部２４は、２つ以上の音データを同期し、これらを合成する。合成後の音データを「合成音データ」という。なお、ここで音データの「合成」とは、２つ以上の音をミックスする処理（ミキシング）をいう。
【００１６】
サーバ２０の通信部２１は、同期部２４により生成された合成音データを、ユーザー端末１０に配信する。ユーザー端末１０において、再生部１２は、サーバ２０から配信された合成音データを再生する。
【００１７】
図２は、ユーザー端末１０のハードウェア構成を例示する図である。ユーザー端末１０は、ＣＰＵ（Central Processing Unit）１０１、メモリー１０２、ストレージ１０３、通信ＩＦ１０４、ディスプレイ１０５、入力装置１０６、マイクロフォン１０７、スピーカー１０８、及びカメラ１０９を有するコンピュータ装置、具体的には例えばスマートフォン、タブレット端末、又はパーソナルコンピュータである。ＣＰＵ１０１は、プログラムを実行し、ユーザー端末１０の他のハードウェア要素を制御する制御装置である。メモリー１０２は、ＣＰＵ１０１がプログラムを実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＡＭ（Random Access Memory）を含む。ストレージ１０３は、各種のプログラム及びデータを記憶する不揮発性の補助記憶装置であり、例えばＳＳＤ（Solid State Drive）又はＨＤＤ（Hard Disk Drive）を含む。通信ＩＦ１０４は、他の装置と通信するためのインターフェースであり、例えばＮＩＣ（Network Interface Card）を含む。ディスプレイ１０５は、情報を表示する表示装置であり、例えばＬＣＤ（Liquid Crystal Display）を含む。入力装置１０６は、ユーザーがユーザー端末１０に対して指示又は情報を入力するための装置であり、例えば、タッチセンサー又はキーボードを含む。マイクロフォン１０７は、音を集音し、集音した音を電気信号に変換する装置である。スピーカー１０８は、電気信号に応じて音を出力する装置である。カメラ１０９は、動画を撮影するための撮影装置である。
【００１８】
この例で、ストレージ１０３は、コンピュータ装置を音データ編集システム１におけるクライアントとして機能させるためのプログラム（以下「クライアントプログラム」という）を記憶する。ＣＰＵ１０１がクライアントプログラムを実行している状態において、メモリー１０２及びストレージ１０３の少なくとも一方は、記憶部１１の一例である。スピーカー１０８は、再生部１２の一例である。マイクロフォン１０７及びカメラ１０９は、記録部１３の一例である。ディスプレイ１０５及び入力装置１０６は、ＵＩ部１５の一例である。通信ＩＦ１０４は、通信部１４の一例である。
【００１９】
図３は、サーバ２０のハードウェア構成を例示する図である。サーバ２０は、ＣＰＵ２０１、メモリー２０２、ストレージ２０３、及び通信ＩＦ２０４を有するコンピュータ装置である。ＣＰＵ２０１は、プログラムを実行し、サーバ２０の他のハードウェア要素を制御する制御装置である。メモリー２０２は、ＣＰＵ２０１がプログラムを実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＡＭを含む。ストレージ２０３は、各種のプログラム及びデータを記憶する不揮発性の補助記憶装置であり、例えばＳＳＤ又はＨＤＤを含む。通信ＩＦ２０４は、他の装置と通信するためのインターフェースであり、例えばＮＩＣを含む。
【００２０】
この例で、ストレージ２０３は、コンピュータ装置を音データ編集システム１におけるサーバとして機能させるためのプログラム（以下「サーバプログラム」という）を記憶する。サーバプログラムを実行しているＣＰＵ２０１により制御される通信ＩＦ２０４は、通信部２１の一例である。サーバプログラムを実行しているＣＰＵ２０１は、同期部２４の一例である。サーバプログラムを実行しているＣＰＵ２０１により制御されるメモリー２０２及びストレージ２０３の少なくとも一方は、記憶部２３の一例である。
【００２１】
１−２．動作
図４は、音データ編集システム１の動作の概要を例示するシーケンスチャートである。以下の例において、音データは、楽器の演奏に係る実演を記録した動画（以下「演奏動画」という）のデータに含まれる音声データ（音声トラック）である。ここでは、動画データであるデータＤ［１］（第１動画データの一例）とデータＤ［２］（第２動画データの一例）とが同期される例を説明する。
【００２２】
ステップＳ１において、ユーザー端末１０は、動画データを記録する。ステップＳ２において、ユーザー端末１０は、動画データをサーバ２０にアップロードする。図示はしないがサーバ２０に対しては複数のユーザー端末１０がアクセス可能であり、これら複数のユーザー端末１０から複数の動画データがサーバ２０にアップロードされる。この例において、複数の動画データには、データＤ［１］及びデータＤ［２］が含まれる。サーバ２０は、これら複数の動画データを記憶する。
【００２３】
ステップＳ３において、ユーザー端末１０は、複数の動画データを同期するための同期要求をサーバ２０に送信する。この同期要求は、同期処理の対象となる動画データを特定する情報を含む。この例において、同期処理の対象となる動画データにはデータＤ［１］及びデータＤ［２］が含まれる。ステップＳ４において、サーバ２０は、同期要求により指定された複数の動画データを同期する。同期処理により生成されるデータを同期データという。ステップＳ５において、サーバ２０は、同期データをユーザー端末１０に送信する。ステップＳ６において、ユーザー端末１０は、同期されたデータを再生する。以下、これらの処理の詳細を説明する。以下においてＵＩ部１５等の機能要素を処理の主体として記載するが、これは、クライアントプログラム等のソフトウェアを実行するＣＰＵ１０１等のハードウェア要素が他のハードウェア要素を用いて処理を実行することを意味する。
【００２４】
１−２−１．音データのアップロード
図５は、音データのアップロードに係る動作を例示するフローチャートである。図５のフローは、例えば、ユーザー端末１０においてユーザーが演奏の録音（演奏動画の記録）の開始を指示したことを契機として開始される。
【００２５】
ステップＳ１１において、ＵＩ部１５は、参照音の選択を受け付ける。参照音は実演（この例では楽器の演奏）の進行を示す音であって、例えば、演奏される楽曲そのものの音（例えばＣＤ等から取り込んだ音）、その楽曲の一部のパート（例えばドラムパート）の演奏音、またその楽曲から一部のパート（例えばボーカルパート）を除いた演奏音である。このように参照音とは、単に周期的に繰り返されるクリック音又はビープ音のような楽曲において意味の無いものではなく、それ自体が楽曲の少なくとも一部を構成する音をいう。参照音のデータは、記憶部１１及び記憶部２３（サーバ２０）の少なくとも一方に、少なくとも１つ以上、記憶されている。ＵＩ部１５は、記憶部１１及び記憶部２３を検索し、参照音の一覧を生成する。ＵＩ部１５は、参照音の一覧を表示し、ユーザーに一の参照音を選択するよう促す。ユーザーは、表示された一覧の中から所望の参照音を選択する。ユーザーによる参照音の選択を受け付けると、ＵＩ部１５は、選択された参照音を再生部１２に通知する。
【００２６】
ステップＳ１２において、記録部１３は、演奏動画の記録を開始する。演奏動画の記録は、例えば、ユーザーがＵＩ部１５を介して記録開始の指示を入力したことを契機として開始される。演奏動画は、カメラ１０９により撮影される映像及びマイクロフォン１０７により集音される音声を含む。演奏動画は所定のデータフォーマット（例えば汎用の動画フォーマット）で記録される。
【００２７】
ステップＳ１３において、再生部１２は、指定された参照音の再生を開始する。再生部１２は、指定された参照音のデータを記憶部１１又は記憶部２３から読み出し、読み出したデータをデコードして音信号を生成する。再生部１２は、生成した音信号をスピーカー１０８に出力する。こうして、参照音は順次、スピーカー１０８から出力される。この例においては、スピーカー１０８から参照音が出力されるので、演奏動画の音声トラックにおいては、参照音に演奏音が重ね合わされた状態で音声が記録される（映像ではなく音声が重ね合わされる）。
【００２８】
図６は、参照音の再生指示を入力するためのＵＩ画面を例示する図である。このＵＩ画面は、ウインドウ５０１、ボタン５０２、及びウインドウ５０５を含む。ウインドウ５０１は、再生される参照音の識別情報（例えば、タイトル）を表示する領域である。ボタン５０２は、参照音の再生又は一時停止を指示するボタンである。再生音が停止した状態でボタン５０２が押されると、参照音の再生が開始される。再生音が再生されている状態でボタン５０２が押されると、参照音の再生が一時停止される。
【００２９】
このＵＩ画面は、さらに、ボタン５０６を含む。ボタン５０６は、演奏動画の記録を停止するためのボタンである。参照音の再生中、ユーザーは、参照音を聴きながら、参照音に合わせて楽器を演奏する。記録部１３は、ユーザーが楽器を演奏する映像及びその演奏音を、参照音と共に記録する。参照音の再生中は図６のＵＩ画面が表示されており、ユーザーは任意のタイミングで演奏動画の記録を停止することができる。
【００３０】
再び図５を参照する。ステップＳ１４において、記録部１３は、演奏動画の記録を停止する。演奏動画の記録は、例えば、ユーザーがボタン５０６を押すと停止する。ステップＳ１１〜Ｓ１４の処理は、図４のステップＳ１の処理の詳細である。ステップＳ２において、通信部１４は、記録部１３により生成された演奏動画の動画データをサーバ２０に送信（アップロード）する。なお、参照音のデータが記憶部２３ではなく記憶部１１から取得された場合、通信部１４は、動画データに加えて、参照音のデータをサーバ２０に送信してもよい。サーバ２０の記憶部２３は、参照音のデータを記憶する。
【００３１】
サーバ２０の通信部２１は、ユーザー端末１０から動画データを受信する。記憶部２３は、通信部２１が受信した動画データを記憶する。記憶部２３において、動画データは、動画の属性を示す属性情報と対応付けて記憶される。属性情報は、例えば、参照音の識別情報、演奏音の識別情報、動画作成者の識別情報、及びアップロード日時を含む。なお、動画データに対応する属性情報はこの例に限定されない。例えば、属性情報は、これらすべての情報を含む必要はなく、いずれか１つ又は複数の情報のみを含んでもよい。参照音の識別情報は、例えば楽曲のタイトルを含む。演奏音の識別情報は、例えば演奏音を発した楽器名を含む。これらの情報は、例えば、ＵＩ部１５を介してユーザーにより入力される。
【００３２】
１−２−２．音データの同期（合成）
図７は、音データの同期に係る動作（音データ編集方法の一例）を例示するフローチャートである。図７のフローは、図４のステップＳ４〜Ｓ５の処理に対応する。ここではまず、ステップＳ３に関し、ユーザー端末１０が、複数の動画データを同期するための同期要求をサーバ２０に送信する処理に関連する事項を説明する。
【００３３】
図８は、同期される演奏動画を選択するためのＵＩ画面を例示する図である。このＵＩ画面は、ウインドウ６０１、テキストボックス６０２、ボタン６０３、及びボタン６０４を含む。ウインドウ６０１は、記憶部２３に記憶されている演奏動画の一覧を表示するための領域である。この例では、演奏動画のサムネイル画像及び演奏動画のタイトルが表示される。テキストボックス６０２は、検索キーを入力するための領域であり、ボタン６０３は検索を指示するためのボタンである。検索が実行されると、ウインドウ６０１には、検索結果に含まれる演奏動画の一覧が表示される。ウインドウ６０１においては、ユーザーにより選択された演奏動画が、選択されていない演奏動画と区別して表示される。この例では、「さくらさくらのギター弾いてみた」という演奏動画、及び「さくらさくらのベース弾いてみた」という演奏動画が選択されている。ボタン６０４は、動画の同期を指示するためのボタンである。ユーザーによりボタン６０４が押されると、通信部１４は、同期される動画を特定する情報を含む同期要求をサーバ２０に送信する（ステップＳ３）。
【００３４】
再び図７を参照して説明する。ステップＳ４１において、サーバ２０の同期部２４は、同期要求により指定される複数の動画データを同期するためのパラメーターを計算する。このパラメーターの計算は、参照音をキーとして行われる。具体的に、同期部２４は、データＤｒ（参照音）と同期対象のデータＤ［ｉ］との相互相関Ｃｒｉを最大にする時間差τを次式（１）に従って計算する。この例において、時間差τは複数の動画データを同期するためのパラメーターの一例である。
【数１】
2018155936.tif 000003
ここで、音信号ｙｒはデータＤｒに含まれる音信号であり、音信号ｙｉはデータＤ［ｉ］に含まれる音データにより示される音信号である。式（１）は、音信号ｙｒ（ｔ）の始点と音信号ｙｉ（ｔ）の始点とを時間領域において一致させてから、音信号ｙｒ（ｔ）に対する音信号ｙｉ（ｔ）の時間差（時間軸上のシフト量）τを変数として両者間の信号波形の相関の程度を示した数値列を示す。
【００３５】
同期部２４は、同期対象となるすべてのデータＤ［ｉ］に対して、式（１）によりデータＤｒとの時間差τを計算する。同期対象となる２個のデータＤの時間領域における位置関係は、データＤｒとの時間差から得られる。例えば、データＤｒとデータＤ［１］との時間差τ［ｒ，１］、及びデータＤｒとデータＤ［２］との時間差τ［ｒ，２］から、データＤ［１］とデータＤ［２］との時間差τ［１，２］は、次式（２）により得られる。
【数２】
2018155936.tif 000004
【００３６】
ステップＳ４２において、同期部２４は、複数の演奏動画の映像を同期する際の、画面における映像の位置関係を決定する。この例では、同期後の動画（以下「合成動画」という）の画面はｎ個の領域（ｎは同期される演奏動画の数以上の自然数）に分割され、同期される演奏動画の映像は、それぞれこれら複数の領域のうち１個の領域に表示される。同期部２４は、所定のアルゴリズムに従って画面の分割数ｎを決定し、各領域に演奏動画を割り当てる。
【００３７】
図９は、合成動画における各演奏動画の配置を例示する図である。この例では、演奏動画の画面は縦方向に２分割される。画面向かって左側の領域には「さくらさくらのギター弾いてみた」の映像が、右側の領域には「さくらさくらのベース弾いてみた」の映像が、それぞれ割り当てられる。
【００３８】
再び図７を参照する。ステップＳ４３において、同期部２４は、演奏動画の音声を同期する際の、音像の位置関係を決定する。この例において、同期部２４は、音像定位を変更する処理は行わない。
【００３９】
ステップＳ４４において、同期部２４は、同期処理の対象となる動画データを記憶部２３から読み出す（すなわち取得する）。この例において、同期部２４は、ユーザーＡの演奏動画データ及びユーザーＢの演奏動画データを読み出す（すなわちこれらのデータを取得する）。ユーザーＡの演奏動画データの音声トラックは、参照音を再生中に実演された実演の第１音データの一例であり、ユーザーＢの演奏動画データの音声トラックは、参照音を再生中に実演された別の実演の第２音データの一例である。
【００４０】
ステップＳ４５において、同期部２４は、合成動画のデータを生成する。詳細には以下のとおりである。同期部２４は、複数の動画データについて、ステップ４１において計算された時間差をつけて時間領域における位置を決定する。また、同期部２４は、ステップＳ４２において決定された画面配置に従って映像を同期し、さらに、ステップＳ４３において決定された音像位置に従って音声トラックを生成する。ステップＳ４１〜Ｓ４５は、図４のステップＳ４の詳細である。ステップＳ５において、通信部２１は、同期部２４により生成された合成動画のデータを、同期要求の送信元のユーザー端末１０に送信する。
【００４１】
本実施形態によれば、ユーザーが指定した参照音を再生しながら行われた実演の音データを、簡単な操作で同期することができる。
【００４２】
１−２−３．音データの再生
ユーザー端末１０の通信部１４は、合成動画のデータを受信する（すなわちダウンロードする）。再生部１２は、ダウンロードした合成動画を再生する。この処理は図４のステップＳ６の処理に相当する。動画データの再生には周知の技術が用いられる。
【００４３】
２．第２実施形態
第１実施形態において、同期処理の対象となる音データは、いずれも参照音に演奏音が重ね合わされたものであった。このような音データを同期した場合、参照音を除いて演奏音だけを同期することが難しいという問題があった。第２実施形態はこの問題に対処する。
【００４４】
第２実施形態では、同期処理の対象となる音データにおいて参照音と演奏音とは分離される。具体的には、ステレオ２チャンネルの音データにおいて、左チャンネル（第１チャンネルの一例）には参照音の音信号が、右チャンネル（第２チャンネルの一例）には演奏音の音信号が記録される。ユーザー端末１０において記録部１３が参照音と演奏音とを分離して記録する方法の一例は、ユーザー端末１０において参照音を出力する際に、スピーカー１０８を介さずにヘッドホン（図示略）を介して参照音を出力することである。ユーザーは、ヘッドホンで参照音を聴きながら演奏する。このとき、記録部１３は、再生している（出力している）参照音の音信号を左チャンネルに記録し、マイクロフォン１０７を介して入力された演奏音の音信号を右チャンネルに記録する。参照音と演奏音とを分離して記録する別の方法は、演奏音を、マイクロフォン１０７を介さずに例えばいわゆるライン入力を用いて記録することである。この場合、参照音はスピーカー１０８を介して出力されてもよいし、スピーカー１０８を介さずヘッドホンを介して出力されてもよい。
【００４５】
第２実施形態では、ステップＳ４１において、同期部２４は、同期対象であるデータＤのうち左チャンネルに記録された音信号（参照音の音信号である）が、式（１）における音信号ｙｉとして用いられる。第１実施形態においては、参照音と演奏音とが重ね合わされた音信号とデータＤｒ（参照音）の音信号との相互相関を用いてデータＤとデータＤｒとの時間差τが計算されるところ、データＤにおける演奏音と参照音とのバランス等の事情により、データＤとデータＤｒとの時間差τを正確に計算できない場合があった。しかし、この例においては、データＤにおいて演奏音を含まない参照音の音信号と、データＤｒの音信号との相互相関を用いて時間差τが計算される。したがって、時間差τをより正確に計算できる。すなわち、複数のデータＤをより正確に同期できる。
【００４６】
また、第２実施形態では、ステップＳ４５において、データＤに含まれる音声データのうち、右チャンネルに記録された音信号（演奏音の音信号である）が合成される。左チャンネルの音信号（参照音の音信号である）は合成されない。従来、ある楽曲（参照音）を背後で流しながらその楽曲に合わせて楽器を演奏する演奏動画を記録し、この動画をインターネットの動画投稿サイトに公開することが行われている。さらに、他人がアップロードした演奏動画に自分の演奏動画を合成してあたかも両者が合奏をしているかのような動画を作成し、これを公開することも行われている。しかし、これらの演奏動画においては、参照音と演奏音が混ざった音声しか記録されないため、その後に他人の演奏動画と合成する際に参照音がノイズとなってしまうという問題がある。これに対し本実施形態においては、合成動画の音声トラックには参照音が含まれておらず、演奏音のみが含まれる。したがって、複数の音データを同期する際に、よりノイズの少ない状態で２つの音データを同期及び再生することができる。なお、参照音の音信号を記録する第１チャンネル及び演奏音の音信号を記録する第２チャンネルの具体例は上述の実施形態の例に限定されない。例えば、ステレオ２チャンネルのうち左チャンネルに演奏音の音信号が記録され、右チャンネルに参照音の音信号が記録されてもよい。別の例において、３チャンネル以上の音響システム（例えばサラウンド５．１チャンネル）において１つのチャンネルに参照音の音信号が記録され、他の１つのチャンネルに演奏音の音信号が記録されてもよい。
【００４７】
３．第３実施形態
図１０は、第３実施形態に係る音データ編集システム３の機能構成を例示する図である。音データ編集システム３において、第１実施形態に係る音データ編集システム１と共通する事項については説明を省略する。音データ編集システム３において、サーバ２０は、逆アライメント部２２を有する。逆アライメント部２２は、通信部２１により受信された音データに対し逆アライメント処理を行う。詳細は後述するが、逆アライメント処理とは、音データにより示される演奏音のテンポを規格化する処理をいう。記憶部２３は、逆アライメント処理された音データを記憶する。
【００４８】
図１１は、逆アライメント処理の概念図である。ここでは、ユーザーＡの演奏動画に含まれる参照音ＲＡ及び演奏音ＳＡ、並びに通常のテンポで再生される参照音Ｒ０を概念的に示す。さらに、参照音のテンポが併せて図示される。この図において、横軸は実時間を示す。参照音として表されるドットは、参照音における楽譜内の単位時間（例えば１２８分音符に相当する時間）を示す。通常のテンポで再生される参照音Ｒ０においては、ドットは等間隔で一様に配置されており、楽譜内の単位時間が均一に進行する。すなわち、参照音のテンポは、楽曲全体を通じてＴ０一定である。一方、ユーザーＡが演奏動画の記録に用いた参照音ＲＡは、楽曲の一部の期間（期間Ｄ１）において、通常よりも遅いテンポＴ１で再生され、その他の期間では通常通りのテンポＴ０で再生されたものである。逆アライメント処理は、演奏動画のテンポを、楽曲全体を通じて、基準となるデータ（この例では通常のテンポで再生される参照音Ｒ０）と同期するように調整する処理をいう。この例では、ユーザーＡの演奏動画は、期間Ｄ１における参照音ＲＡが参照音Ｒ０と同じテンポとなるよう、期間Ｄ１の演奏動画が時間領域において圧縮される。
【００４９】
図１２は、第３実施形態において参照音の再生指示を入力するためのＵＩ画面を例示する図である。この例において、ユーザー端末１０の再生部１２は、参照音の再生速度を変更することができる。このＵＩ画面は、ウインドウ５０１、ボタン５０２、ボタン５０３、ボタン５０４、及びウインドウ５０５を含む。ボタン５０３は、再生速度を速くするためのボタンである。ボタン５０４は、再生速度を遅くするためのボタンである。この例において、再生部１２は、参照音の再生速度を変更することができる。再生速度は、例えば、参照音の楽曲全体を通じて全体的に指定される。例えば、再生部１２は、通常の０．８倍の一定速度で参照音を再生する。あるいは、再生部１２は、参照音のうちあらかじめ指定された一部のみ、他の部分と異なる速度で再生する（例えば、第３５小節から第４２小節まで、通常の０．８倍の速度で、その他の部分は通常速度で再生する）。さらに別の例で、再生部１２は、参照音の再生中に入力される指示に応じて動的に再生速度を変更してもよい。例えば、再生部１２は、参照音の再生中にボタン５０３が押されると、その後の再生速度を速くする。
【００５０】
ユーザー端末１０からアップロードされた音データは、そのまま記憶されるのではなく、逆アライメント部２２により逆アライメント処理されてから記憶部２３に記憶される。
【００５１】
図１３は、逆アライメント処理を例示するフローチャートである。ステップＳ２２１において、逆アライメント部２２は、演奏動画において、参照音のテンポの時系列を特定する。楽曲が既知であり、その楽曲の楽譜が事前に与えられている条件の下、リアルタイムで演奏される楽曲の演奏音から、いま楽曲のどの部分が演奏されているのか推定する技術が知られている。この技術は、例えば以下の処理を含む。逆アライメント部２２は、まず演奏動画の音声トラックの左チャンネルに記録された参照音の音声波形を複数の期間（フレーム）に分割して定Ｑ変換を施すことにより周波数スペクトログラムを得る。逆アライメント部２２は、この周波数スペクトログラムから、オンセット時刻（発音開始時刻）及び音高を抽出する。逆アライメント部２２は、現在の状態の事後分布をDelayed-decisionで逐次推定し、楽譜上でオンセットとみなされる位置を事後分布のピークが通過した時点で、事後分布のラプラス近似及びいくつか統計量を出力する。具体的には、逆アライメント部２２は、楽曲データ上に存在するｎ番目のイベントを検知すると、そのイベントが検知された時刻Ｔ［ｎ］、事後分布により示される楽譜上の平均位置及び分散を出力する。楽譜上の平均位置が発音位置ｕ［ｎ］の推定値であり、分散が観測ノイズｑ［ｎ］の推定値である。なお、発音位置の推定の詳細は、例えば特開２０１５−７９１８３号公報に例示されている。
【００５２】
逆アライメント部２２は、参照音に含まれる音符（以下「対象音符」という）につき、その前及び後の少なくとも１つの音符との実時間間隔を、基準となる時間間隔（例えば参照音の楽曲を一定テンポで演奏した場合に、その対象音符と他の音符との実時間間隔）と比較することにより、対象音符の発音時点における相対的なテンポを得る。逆アライメント部２２は、参照音に含まれるすべての音符についてこの処理を行うことにより、テンポの時系列を得る。
【００５３】
ステップＳ２２２において、逆アライメント部２２は、複数の期間の中から、対象となる期間（以下「対象期間」という）を順次、特定する。ステップＳ２２３において、逆アライメント部２２は、所定の基準に従って対象期間のテンポを規格化する。ピッチ（音高）を一定に保つため、テンポの調整は波形を単純に時間軸方向に拡大又は縮小するのではなく、いわゆるタイムストレッチ（タイムエキスパンダー又はタイムコンプレッサーと言われることもある）の技術が用いられる。タイムストレッチの技術としては、例えば、合成音の波形を複数のブロックに分割し、時間領域においてブロックの位置をずらしながら配置することによりテンポを調整する技術が用いられる。ノイズを低減するため、クロスフェードが用いられる。
【００５４】
ステップＳ２２４において、逆アライメント部２２は、参照音に含まれるすべての期間について処理が完了したか判断する。処理が完了していない期間があると判断された場合（Ｓ２２４：ＮＯ）、逆アライメント部２２は、処理をステップＳ２２２に移行する。すべての期間について処理が完了したと判断された場合（Ｓ２２４：ＹＥＳ）、逆アライメント部２２は処理を終了する。逆アライメント部２２は、こうしてテンポが調整された演奏音の波形を得る。
【００５５】
なおここでは詳細な説明を省略するが、逆アライメント部２２は、演奏動画の映像も、演奏音と同期するようにテンポを調整する。
【００５６】
従来、ある楽曲（参照音）を背後で流しながらその楽曲に合わせて楽器を演奏する演奏動画を記録し、この動画をインターネットの動画投稿サイトに公開することが行われている。さらに、他人がアップロードした演奏動画に自分の演奏動画を同期してあたかも両者が合奏をしているかのような動画を作成し、これを公開することも行われている。しかし、これらの演奏動画においては、ユーザーＡが用いる参照音及びユーザーＢが用いる参照音は、同じテンポで再生されたものでなければならなかった。参照音として例えばミュージックシーケンサーにより出力される演奏音を用いる場合、楽曲のテンポはユーザーが任意に設定できる。原曲どおりのテンポだと上手く弾けない演奏者でも、テンポを下げれば弾ける場合がある。しかし、テンポを原曲から変えてしまうと他のユーザーの動画と同期することができなくなってしまう。これに対し本実施形態においては、演奏動画は基準となるテンポに調整された状態で記録される。したがって、演奏動画が記録されたときに再生されていた参照音のテンポによらず、他のユーザーの演奏動画と同期することが可能となる。
【００５７】
４．第４実施形態
図１４は、第４実施形態に係る音データ編集システム４の機能構成を例示する図である。音データ編集システム４において、第１実施形態に係る音データ編集システム１と共通する事項については説明を省略する。音データ編集システム４において、ユーザー端末１０は、アライメント部１６を有する。アライメント部１６は、合成音データを再生する際のテンポを、外部から入力された情報に応じて動的に調整する。
【００５８】
図１５は、アライメント部１６の機能構成を例示する図である。アライメント部１６は、合成音データをアライメント再生するための機能を有する。アライメント再生とは、入力信号（例えば、楽器のリアルタイムの演奏音の音信号）に応じてタイミング又はテンポを動的に調整しながら、合成音データを再生することをいう。
【００５９】
アライメント部１６は、入力部１６１、推定部１６２、予想部１６３、及び出力部１６４を有する。入力部１６１は、入力信号を受け付ける。推定部１６２は、入力信号を解析し、いま楽譜上のどの位置が演奏されているか推定する。なお、入力信号がどの楽曲を演奏したものであるかは既知とする。この楽曲の楽譜を示すデータは、記憶部１１に記憶されている。予想部１６３は、推定部１６２から供給される推定値を観測値として、合成音データの次の再生タイミングの予想を行う。出力部１６４は、予想部１６３から入力された予想時刻に応じて、次に発音すべき期間の再生命令を再生部１２に出力する。
【００６０】
図１６は、同期された音データのアライメント再生に係る動作を例示するフローチャートである。図１６のフローは、例えば、ユーザー端末１０においてユーザーがアライメント再生の開始を指示したことを契機として開始される。ステップＳ６１において、入力部１６１は、入力音の受け付けを開始する。すなわち、入力部１６１は、入力音信号を取得する。
【００６１】
ステップＳ６２において、推定部１６２は、楽譜位置の推定を行う。ステップＳ６３において、予想部１６３は、演奏のテンポを予想する。演奏のテンポは、実時間に対する楽譜位置の推移から予想される。ステップＳ６４において、予想部１６３は、次の再生タイミングの予想を行う。出力部１６４は、予想部１６３から入力された予想時刻に応じて、次に発音すべき期間の再生命令を再生部１２に出力する（ステップＳ６５）。ステップＳ６２〜Ｓ６４の処理は、周期的に繰り返し実行される。
【００６２】
合成音のデータは、複数の期間に区分される。複数の期間への区分は、対応する参照音の楽譜上のイベントに基づいて行われる。具体的には、合成音のデータは、例えば、参照音の小節に対応する位置で区分される。出力部１６４から出力される再生命令は、合成音データのうち再生すべき期間及びテンポを指定する情報を含む。再生部１２は、指定された期間を、指定されたテンポで再生する。テンポの調整には、例えばタイムストレッチ技術が用いられる。
【００６３】
この例によれば、例えば、リアルタイムの楽器演奏に対し、合成音（合成動画）を同期させて再生することができる。例えば、リアルタイムの楽器演奏において音楽表現又は演奏技術に起因するテンポのゆらぎ又はタイミングのずれが発生した場合であっても、合成音はリアルタイムの楽器演奏に追従して再生される。この例によれば、合成音を伴奏として自分の楽器演奏とリアルタイムで擬似的な合奏体験をすることができる。
【００６４】
５．変形例
本発明は上述の第１〜第５実施形態に限定されるものではなく種々の変形実施が可能である。上述の実施形態のうち２つ以上のものが組み合わせて用いられてもよい。また、上述の実施形態のそれぞれ、又は２つ以上の組み合わせに対し、以下の変形例のうち少なくとも１つが適用されてもよい。
【００６５】
５−１．変形例１
同期部２４は、ステップＳ４３において、同期処理の対象となるデータＤに含まれる音信号の定位を調整してもよい。同期部２４は、例えば、あらかじめ決められたアルゴリズムにしたがって各演奏音の音像位置を決定する。あるいは、同期部２４は、あらかじめ準備されたテンプレートの中からユーザーにより選択された音像位置の組み合わせ（例えば、ギターは左、キーボードは右、ベース、ドラム、及びボーカルは中央など）に従って各演奏音の音像位置を決定する。さらにあるいは、同期部２４は、ユーザーの指示にしたがって各演奏音の音像位置を決定する。
【００６６】
５−２．変形例２
同期部２４における同期処理は、実施形態で例示したものに限定されない。２個のデータＤを同期するためのパラメーターである時間差τを計算する具体的方法は、式（１）又は（２）を用いるものに限定されない。例えば、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients、メル周波数ケプストラム係数）又はＰＣＰ（Pitch Class Profile）等の他の特徴量を最大にする時間差が、２個のデータＤを同期するためのパラメーターとして用いられてもよい。別の例において、同期部２４は、各演奏音の相対的な音量を調整してもよい。音量は、例えば、演奏動画の属性に応じて調整される。演奏動画の属性は、例えば、その演奏動画を作成したユーザー（演奏動画における演奏者）の属性である。具体的には、演奏者の習熟度が他のユーザーと比較して低い場合、その演奏動画の演奏音は、他のユーザーの演奏音と比較して低い音量で合成される。別の例で、演奏動画の属性は、演奏される楽器の属性である。具体的には、特定の楽器の演奏音は、他の楽器と比較して低い音量で合成される。
【００６７】
５−３．変形例３
同期部２４は、ユーザーＡの演奏動画をユーザーＢの演奏動画と同期する際に、演奏音を他の音データと差し替えてもよい。差し替えに用いられる音データは、例えば、演奏される原曲の音データから、その演奏動画に含まれるパートを抽出したものである。例えば、ユーザーＡの演奏動画が、ある楽曲のギターのパートを演奏したものであった場合、原曲の音データからギターのパートの音が抽出され、この音が、ユーザーＡの演奏音と差し替えられる。この例によれば、合成動画においていわゆる当て振りをすることができる。
【００６８】
５−４．変形例４
同期部２４は、合成動画における音像位置を映像の配置に応じて決定してもよい。例えば、ボーカル、ギター、ベース、及びドラムのパートをそれぞれ演奏した４つの演奏動画を同期する場合において、ボーカルの映像を画面手前に、ギターの映像を画面右手に、ベースの映像を画面左手に、ドラムの映像を画面奥に、それぞれ配置するときは、ボーカルの音像を手前に、ギターの音像を右に、ベースの音像を左に、ドラムの音像を奥に、それぞれ定位させてもよい。この例によれば、映像及び音像の位置関係が整合した合成動画を提供することができる。
【００６９】
５−５．変形例５
参照音を用いて同期されて合成されるデータは、映像データ及び音データに限定されない。例えば、映像又は音声の合成（ミキシング）に用いられる制御信号、映像切り替えの制御信号、ＣＧにおける画像オブジェクトの生成を制御する制御信号、又は舞台照明の制御信号等が同期されて合成されてもよい。
【００７０】
５−６．変形例６
音データ編集システム１は、同期する素材としての演奏動画を提供するためのＳＮＳ（Social Networking Service）を提供してもよい。ＳＮＳにおいては、例えば、演奏の習熟度（レベル）、音楽の嗜好、演奏の傾向、楽器の種類、又は演奏するフレーズによりユーザーがグルーピングされる。
【００７１】
５−７．変形例７
ユーザー端末１０及びサーバ２０における機能の分担は、図１、図１０、又は図１４において例示したものに限定されない。図１、図１０、又は図１４においてユーザー端末１０に実装された機能の一部をサーバ２０に実装してもよいし、サーバ２０に実装された機能の一部をユーザー端末１０に実装してもよい。一例として、ユーザー端末１０が逆アライメント部２２に相当する機能を有してもよい。この場合、ユーザー端末１０は、演奏動画に対して逆アライメント処理を行い、テンポが規格化された演奏動画のデータをサーバ２０に送信する。別の例で、ユーザー端末１０が同期部２４に相当する機能を有してもよい。この場合、ユーザー端末１０は、同期される複数の演奏動画を取得し、これらを合成する。さらに別の例で、サーバ２０がアライメント部１６に相当する機能を有してもよい。この場合、サーバ２０は、ユーザー端末１０を介して入力音を取得し、入力音に応じて合成音を再生する処理を行う。
【００７２】
５−８．変形例８
音データ編集システム１〜４の機能の一部は、省略されてもよい。例えば、音データ編集システム１は、逆アライメント部２２を有さなくてもよい。この場合、ユーザー端末１０において記録された演奏動画は、逆アライメント処理されずそのままサーバ２０に記憶される。逆アライメント処理が行われない場合、参照音の時間領域における一部期間を通常と異なるテンポで再生しながら記録された演奏動画を他の演奏動画と同期させることはできない。
【００７３】
逆アライメント部２２が無い場合でも、全体として一定のテンポで参照音を再生しながら記録された演奏動画については、例えばタイムストレッチ技術を用いることにより演奏音のテンポを調整することができる。この場合、参照音のテンポを特定する情報は例えばユーザー端末１０から提供される。参照音は全体として一定のテンポで再生されるものに限るという制限を設ければ、逆アライメント処理が行われなくても他の演奏動画と同期させることができる。
【００７４】
あるいは、音データ編集システム１は、例えばユーザーＡの演奏音とユーザーＢの演奏音とを同期する際、両者のいずれか一方の音信号を、伸張率又は圧縮率を変えつつ時間軸伸張又は時間軸圧縮し、両者の相互相関係数を順次計算して、相互相関係数が最大となる伸張率又は圧縮率を特定することにより、ユーザーＡとユーザーＢとの相対的なテンポの差を特定してもよい。テンポの差が特定されれば、タイムストレッチ技術を用いて、ユーザーＡの演奏音及びユーザーＢの演奏音のテンポを整合させることができる。
【００７５】
５−９．他の変形例
実施形態で説明した動画データのフォーマット及びこれに付随するデータはあくまで例示である。例えば、動画データは音データ編集システム１に独自のデータフォーマットを有してもよい。また、動画データは、楽器の識別情報等の属性情報を含んでいなくてもよい。実施形態において、参照音はヘッドホンを介して視聴され、演奏音と参照音とが混じっていない例を説明した。しかし、参照音はスピーカー１０８から出力され、演奏音に参照音が混じっていてもよい。このような場合であっても、演奏動画の音声トラックには、演奏音の録音時に再生されていた参照音のみが記録された音声チャンネルが含まれるので、演奏音と参照音とが混在するチャンネルの信号から、参照音のみが記録されたチャンネルの逆相の信号を減算する等の手法により、参照音を除去することができる。
【００７６】
同期される音データは、楽器の演奏音に限定されない。実演に伴って発生する音を記録したデータであれば、同期される音データはどのようなものであってもよい。既に説明したように、「実演」には、例えば、演奏、歌唱、朗読、及び口演が含まれる。
【００７７】
音データ編集システム１の機能を実現するためのハードウェア構成は、図２及び図３で例示したものに限定されない。要求される機能を実現できるものであれば、音データ編集システム１はどのようなハードウェア構成を有していてもよい。また、機能とハードウェアとの対応関係は、実施形態で例示したものに限定されない。例えば、実施形態においてサーバ２０に実装されていた機能を、２台以上の装置に分散して実装してもよい。
【００７８】
ユーザー端末１０及びサーバ２０において実行されるプログラムは、光ディスク、磁気ディスク、半導体メモリーなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。また、このプログラムは、図４、図５、図７、及び図１３のすべてのステップを備える必要はない。これらのステップの一部が省略されてもよい。
【符号の説明】
【００７９】
１…音データ編集システム、３…音データ編集システム、４…音データ編集システム、１０…ユーザー端末、１１…記憶部、１２…再生部、１３…記録部、１４…通信部、１５…ＵＩ部、１６…アライメント部、２０…サーバ、２１…通信部、２２…逆アライメント部、２３…記憶部、２４…同期部、１０１…ＣＰＵ、１０２…メモリー、１０３…ストレージ、１０４…通信ＩＦ、１０５…ディスプレイ、１０６…入力装置、１０７…マイクロフォン、１０８…スピーカー、１０９…カメラ、２０１…ＣＰＵ、２０２…メモリー、２０３…ストレージ、２０４…通信ＩＦ
【図１】
2018155936.tif 000005
【図２】
2018155936.tif 000006
【図３】
2018155936.tif 000007
【図４】
2018155936.tif 000008
【図５】
2018155936.tif 000009
【図６】
2018155936.tif 000010
【図７】
2018155936.tif 000011
【図８】
2018155936.tif 000012
【図９】
2018155936.tif 000013
【図１０】
2018155936.tif 000014
【図１１】
2018155936.tif 000015
【図１２】
2018155936.tif 000016
【図１３】
2018155936.tif 000017
【図１４】
2018155936.tif 000018
【図１５】
2018155936.tif 000019
【図１６】
2018155936.tif 000020