(57)【要約】【課題】信号波形が歪んでいる場合における同期精度を向上させる。【解決手段】一実施形態に係る信号同期方法は、第１装置において対象の状況を検知した結果を示す第１信号から第１エンベロープを取得するステップと、第２装置において前記対象の状況を検知した結果を示す第２信号から第２エンベロープを取得するステップと、前記第１エンベロープ及び前記第２エンベロープを用いて、前記第１信号と前記第２信号との時間差を算出するステップとを有する。【選択図】図６
2019103022.tif 000002
【特許請求の範囲】
【請求項１】
第１装置において対象の状況を検知した結果を示す第１信号から第１エンベロープを取得するステップと、
第２装置において前記対象の状況を検知した結果を示す第２信号から第２エンベロープを取得するステップと、
前記第１エンベロープ及び前記第２エンベロープを用いて、前記第１信号と前記第２信号との時間差を算出するステップと
を有する信号同期方法。
【請求項２】
前記第１装置において前記対象の状況を検知した結果を示す第１対象信号であって、前記第１信号とは異なる第１対象信号を取得するステップと、
前記第２装置において前記対象の状況を検知した結果を示す第２対象信号であって、前記第２信号とは異なる第２対象信号を取得するステップと、
前記算出した時間差に基づいて、前記第１対象信号及び前記第２対象信号を同期するステップと
を有する請求項１に記載の信号同期方法。
【請求項３】
前記第１対象信号及び前記第２対象信号を同期するステップにおいて、前記第１信号のエンベロープ及び前記第２信号のエンベロープの相互相関に基づいて前記時間差を算出する
請求項１又は２に記載の信号同期方法。
【請求項４】
第１手法を用いて前記第１エンベロープ及び前記第２エンベロープを取得するステップと、
第２手法を用いて前記第１エンベロープ及び前記第２エンベロープを取得するステップと
を有し、
前記第１手法を用いて得られた前記第１エンベロープ及び前記第２エンベロープ並びに前記第２手法を用いて得られた前記第１エンベロープ及び前記第２エンベロープを用いて、前記時間差を算出する
請求項１乃至３のいずれか一項に記載の信号同期方法。
【請求項５】
外部の第１装置において対象の状況を検知した結果を示す第１信号及び外部の第２装置において対象の状況を検知した結果を示す第２信号を取得する信号取得部と、
前記第１信号から第１エンベロープを取得し、前記第２信号から第２エンベロープを取得するエンベロープ取得部と
前記第１エンベロープ及び前記第２エンベロープを用いて、前記第１信号と前記第２信号の時間差を算出する同期部と
を有する信号同期装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の信号を同期する技術に関する。
【背景技術】
【０００２】
映像又は音声等、各種の信号を同期する技術が知られている。特許文献１には、音響及び動画を含む素材データを収録する端末装置から無線通信により素材データを受信し、複数の素材データを編集することによりコンテンツを生成する映像処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１７４２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術においては、複数の素材データのうち、少なくとも１つの信号の波形が大きく歪んでいる場合に、他の信号との同期の精度が低くなる可能性があるという問題があった。
【０００５】
これに対し本発明は、信号波形が歪んでいる場合における同期精度を向上させる技術を提供する。
【課題を解決するための手段】
【０００６】
本発明は、第１装置において対象の状況を検知し、その結果を示す第１信号から第１エンベロープを取得するステップと、第２装置において前記対象の状況を検知し、その結果を示す第２信号から第２エンベロープを取得するステップと、前記第１エンベロープ及び前記第２エンベロープを用いて、前記第１信号と前記第２信号との時間差を算出するステップとを有する信号同期方法。
【０００７】
この信号同期方法は、前記第１装置において前記対象の状況を検知し、その結果を示す前記第１信号とは異なる第１対象信号を取得するステップと、前記第２装置において前記対象の状況を検知し、その結果を示す前記第２信号とは異なる第２対象信号を取得するステップと、前記算出した時間差に基づいて、前記第１対象信号及び前記第２対象信号を同期するステップとを有してもよい。
【０００８】
前記第１対象信号及び前記第２対象信号を同期するステップにおいて、前記第１信号のエンベロープ及び前記第２信号のエンベロープの相互相関に基づいて前記時間差を算出してもよい。
【０００９】
この信号同期方法は、第１手法を用いて前記第１エンベロープ及び前記第２エンベロープを取得するステップと、第２手法を用いて前記第１エンベロープ及び前記第２エンベロープを取得するステップとを有し、前記第１手法用いて得られた前記第１エンベロープ及び前記第２エンベロープ並びに前記第２手法用いて得られた前記第１エンベロープ及び前記第２エンベロープを用いて、前記時間差を算出してもよい。
【００１０】
また、本発明は、外部の第１装置において対象の状況を検知した結果を示す第１信号及び外部の第２装置において対象の状況を検知した結果を示す第２信号を取得する信号取得部と、前記第１信号から第１エンベロープを取得し、前記第２信号から第２エンベロープを取得するエンベロープ取得部と前記第１エンベロープ及び前記第２エンベロープを用いて、前記第１信号と前記第２信号の時間差を算出する同期部とを有する信号同期装置を提供する。
【発明の効果】
【００１１】
本発明によれば、相対的に相関の低い複数の信号を、その信号に同期信号を混入することなく、同期精度を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】一実施形態に係る信号同期システム１の概要を例示する図。
【図２】信号同期装置１０の機能構成を例示する図。
【図３】信号同期装置１０のハードウェア構成を例示する図。
【図４】装置２０の機能構成を例示する図。
【図５】装置２０のハードウェア構成を例示する図。
【図６】信号同期装置１０の動作を例示するフローチャート。
【図７】関連技術に係る同期処理を例示する図。
【図８】本実施形態に係る同期処理を例示する図。
【発明を実施するための形態】
【００１３】
１．構成
図１は、一実施形態に係る信号同期システム１の概要を例示する図である。信号同期システム１は、信号Ｓｔ［１］及び信号Ｓｔ［２］を同期するためのシステムである。信号Ｓｔ［１］及び信号Ｓｔ［２］は同期の対象となる、第１対象信号及び第２対象信号の一例である。第１対象信号及び第２対象信号をまとめて対象信号という。信号Ｓｔ［１］及び信号Ｓｔ［２］の同期には、信号Ｓｒ［１］及び信号Ｓｒ［２］が用いられる。信号Ｓｔ［１］及び信号Ｓｒ［１］は装置２０［１］において取得され、信号Ｓｔ［２］及び信号Ｓｒ［２］は装置２０［２］において取得される。
【００１４】
信号同期装置１０は、装置２０［１］から信号Ｓｔ［１］及び信号Ｓｒ［１］の入力を受け付け、装置２０［２］から信号Ｓｔ［２］及び信号Ｓｒ［２］の入力を受け付ける。信号同期装置１０は、信号Ｓｒ［１］のエンベロープ（第１エンベロープの一例）及び信号Ｓｒ［２］のエンベロープ（第２エンベロープの一例）に基づいて、信号Ｓｔ［１］及び信号Ｓｔ［２］を同期する。この例示において信号Ｓｒ［１］及び信号Ｓｒ［２］は、対象信号の同期にそのまま用いられるものではないが、信号Ｓｒ［１］及び信号Ｓｒ［２］から得られたエンベロープが同期のキーとなるという意味において、信号Ｓｒ［１］及び信号Ｓｒ［２］を同期信号という。なお、信号Ｓｔ［１］及びＳｔ［２］を互いに区別しないときは単に信号Ｓｔと表記する。信号Ｓｒ及び装置２０についても同様である。
【００１５】
信号Ｓｔ［１］、信号Ｓｔ［２］、信号Ｓｒ［１］、及び信号Ｓｒ［２］は、例えば、センサから出力される信号である。センサは、例えば、映像センサ（撮像素子）、音センサ（マイクロフォン）、加速度センサ、又は温度センサである。装置２０［１］及び装置２０［２］は、これらのセンサを搭載した装置、例えば、スマートフォン、カメラ、又はボイスレコーダであり、信号同期装置１０と異なる外部装置の一例であり、より具体的には、装置２０［１］及び装置２０［２］は、それぞれ第１装置及び第２装置の一例である。一例において、信号Ｓｔ［１］及び信号Ｓｔ［２］は映像信号である。信号Ｓｒ［１］は信号Ｓｔ［１］と同時に記録された音信号であり、信号Ｓｒ［２］は信号Ｓｔ［２］と同時に記録された音信号、例えば映像データの音声トラックである。信号Ｓｒ［１］及び信号Ｓｒ［２］は、それぞれ、対象の状況を検知した結果を示す第１信号及び第２信号の一例である。「対象」とはセンサによる検知の対象をいい、「対象の状況」とはセンサにより検知される物理量をいう。
【００１６】
図２は、信号同期装置１０の機能構成を例示する図である。信号同期装置１０は、信号取得部１１、エンベロープ取得部１２、同期部１３、記憶部１４、制御部１５、及び通信部１６を有する。信号取得部１１は、装置２０［１］から、信号Ｓｔ［１］及び信号Ｓｒ［１］を取得し、装置２０［２］から信号Ｓｔ［２］及び信号Ｓｒ［２］を取得する。信号取得部１１は、信号Ｓｔ［１］及び信号Ｓｒ［１］を同時に取得してもよいし、異なるタイミングで取得してもよい。信号Ｓｔ［２］及び信号Ｓｒ［２］についても同様である。エンベロープ取得部１２は、信号Ｓｒ［１］からエンベロープＥ［１］を、信号Ｓｒ［２］からエンベロープＥ［２］を、それぞれ取得する。エンベロープＥは、信号Ｓｒの包絡線を示す。例えば、信号Ｓｒの波形が大きく歪んでいるとき、その波形自体は周波数軸上で高調波を多く含んでいるため、静的な情報としてはあまり意味を持たない場合も多い。しかし、しかし、歪んでいる波形でもそのエンベロープは音の特徴を保持している可能性が高い。そのため、本実施形態においては信号ＳｒからエンベロープＥを取得する。同期部１３は、エンベロープＥ［１］及びエンベロープＥ［２］を用いて信号Ｓｔ［１］及び信号Ｓｔ［２］を同期する。一例において、同期部１３は、エンベロープＥ［１］及びエンベロープＥ［２］の相互相関に基づいて信号Ｓｔ［１］及び信号Ｓｔ［２］を同期する。記憶部１４は、各種のデータを記憶する。制御部１５は、各種の制御を行う。通信部１６は、他の装置と通信を行う。
【００１７】
図３は、信号同期装置１０のハードウェア構成を例示する図である。この例において、信号同期装置１０は、ＣＰＵ（Central Processing Unit）１０１、メモリ１０２、ストレージ１０３、及び通信ＩＦ１０４を有するコンピュータ装置である。ＣＰＵ１０１は、プログラムに従って各種の演算を行い、信号同期装置１０の他のハードウェア要素を制御する制御装置である。メモリ１０２はＣＰＵ１０１が処理を実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。ストレージ１０３は各種のデータ及びプログラムを記憶する補助記憶装置であり、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）を含む。通信ＩＦ１０４は、所定の通信規格に従って他の装置と通信を行うための装置であり、例えばＮＩＣ（Network Interface Card）を含む。
【００１８】
一例において、信号同期装置１０は、ネットワーク（例えばインターネット）上において動作するサーバ装置である。ストレージ１０３は、コンピュータ装置を信号同期システム１における信号同期装置１０として機能させるためのプログラム（以下「同期プログラム」）を記憶する。ＣＰＵ１０１がストレージ１０３から同期プログラムを読み出し、メモリ１０２にて処理を実行することにより、図２に示した機能がコンピュータ装置に実装される。ＣＰＵ１０１が同期プログラムを実行している状態において、通信ＩＦ１０４は信号取得部１１の一例である。ＣＰＵ１０１はエンベロープ取得部１２、同期部１３、及び制御部１５の一例である。メモリ１０２及びストレージ１０３の少なくとも一方は記憶部１４の一例である。通信ＩＦ１０４は、通信部１６の一例である。
【００１９】
図４は、装置２０の機能構成を例示する図である。装置２０は、生成部２１、取得部２２、記憶部２３、送信部２４、ＵＩ部２５、及び制御部２６を有する。生成部２１は、信号Ｓｔを生成する。取得部２２は、信号Ｓｒを取得する。記憶部２３は、各種のデータを記憶する。記憶部２３が記憶するデータには、信号Ｓｔをサンプリングしたデータ及び信号Ｓｒをサンプリングしたデータが含まれる。以下、信号ＳｔをサンプリングしたデータをデータＤｔといい、信号ＳｒをサンプリングしたデータをデータＤｒという。送信部２４は、データＤｔ及びデータＤｒを信号同期装置１０に送信する。ＵＩ部２５は、装置２０のユーザに対する情報の出力、及びそのユーザから指示の入力を行う。制御部２６は、各種の制御を行う。
【００２０】
図５は、装置２０のハードウェア構成を例示する図である。装置２０は、ＣＰＵ２０１、メモリ２０２、ストレージ２０３、移動体通信部２０４、無線ＬＡＮ通信部２０５、カメラ２０６、マイクロフォン２０７、ラジオ受信部２０８、及びタッチスクリーン２０９を有するコンピュータ装置である。ＣＰＵ２０１は、プログラムに従って各種の演算を行い、装置２０の他のハードウェア要素を制御する制御装置である。メモリ２０２はＣＰＵ２０１が処理を実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＯＭ及びＲＡＭを含む。ストレージ２０３は各種のデータ及びプログラムを記憶する補助記憶装置であり、例えばＳＳＤ又はＨＤＤを含む。移動体通信部２０４は、所定の移動体通信規格（例えばＬＴＥ）に従って他の装置と通信を行うための装置であり、例えばその通信規格に準拠したアンテナ及びチップセットを含む。無線ＬＡＮ通信部２０５は、所定の無線ＬＡＮ通信規格（例えばＷｉＦｉ（登録商標））に従って他の装置と通信を行うための装置であり、例えばその通信規格に準拠したアンテナ及びチップセットを含む。カメラ２０６は、対象を撮影した映像信号を出力する。マイクロフォン２０７は、対象から得られた音信号を出力する。カメラ２０６及びマイクロフォン２０７は、対象の状況を検知し、その結果を示す信号を出力するセンサの一例である。タッチスクリーン２０９は、情報を表示する表示装置（例えばＬＣＤ）及びその表示装置の上に形成されたタッチセンサを有する。
【００２１】
一例において、装置２０は、信号同期装置１０が接続されたネットワークにアクセスする機能を有する装置、例えばスマートフォンである。信号Ｓｔは、スマートフォンで撮影された動画を示す映像信号である。ストレージ２０３は、コンピュータ装置を信号同期システム１における装置２０として機能させるためのプログラム（データ取得プログラム）を記憶する。ＣＰＵ２０１がデータ取得プログラムを実行している状況において、カメラ２０６は、生成部２１の一例である。マイクロフォン２０７は、取得部２２の一例である。メモリ２０２及びストレージ２０３の少なくとも一方は、記憶部２３の一例である。移動体通信部２０４又は無線ＬＡＮ通信部２０５は、送信部２４の一例である。タッチスクリーン２０９は、ＵＩ部２５の一例である。ＣＰＵ２０１は、制御部２６の一例である。
【００２２】
一例において、データ取得プログラムを実行している装置２０は、録画ボタンを含むＵＩ画面（図示略）をタッチスクリーン２０９に表示する。録画ボタンは、録画開始の指示を受け付けるためのＵＩ要素である。ユーザがタッチスクリーン２０９において録画ボタンに相当する位置をタッチすると、ＣＰＵ２０１は、信号Ｓｔ及び信号Ｓｒの記録を開始する。信号Ｓｔ及び信号Ｓｒの記録中、装置２０は停止ボタンを含むＵＩ画面（図示略）をタッチスクリーンに表示する。停止ボタンは、録画開始の指示を受け付けるためのＵＩ要素である。ユーザがタッチスクリーン２０９において停止ボタンに相当する位置をタッチすると、ＣＰＵ２０１は、信号Ｓｔ及び信号Ｓｒをデータ化したデータＤｔ及びデータＤｒに、タイムスタンプ等の属性情報を付与してストレージ２０３に記憶する。ストレージ２０３は、複数のデータＤｔ及び複数のデータＤｒが存在する場合においても、データＤｔとデータＤｒの対応関係を特定するための情報を記憶する。この情報は、例えば、データＤｔを特定する識別子である。データＤｔ及びデータＤｒのファイル名にこの識別子が含まれる。なおこの例において、ＣＰＵ２０１は、信号Ｓｔ及び信号Ｓｒの記録を同時に開始し、同時に終了する。なお、信号Ｓｔ及び信号Ｓｒを記録するタイミングは、その時間差が既知であればよく、同時に記録される必要はない。
【００２３】
２．動作
図６は、信号同期装置１０の動作（信号同期方法）を例示するフローチャートである。図４のフローを開始する前において、装置２０［１］はデータＤｔ［１］及びデータＤｒ［１］を、装置２０［２］はデータＤｔ［２］及びデータＤｒ［２］を、それぞれ取得済みである。例えば、データＤｔ及びデータＤｒは、それぞれ、ある映像データにおける映像トラック及び音声トラックである。以下の説明において、信号取得部１１等の機能要素を処理の主体として記載する場合があるが、これは、同期プログラム等のソフトウェアを実行しているＣＰＵ１０１等のハードウェア要素が、他のハードウェア要素と協働して処理を実行することを意味する。
【００２４】
ステップＳ１０１において、信号取得部１１は、装置２０［１］からデータＤｔ［１］を取得する。データＤｔ［１］は、例えば、装置２０［１］においてユーザがデータ送信の指示を入力したというイベントを契機として、装置２０［１］から信号同期装置１０に送信される。装置２０［１］は、データＤｔ［１］に属性情報を付加して送付する。属性情報は、データＤ［１］に付随する情報である。属性情報は、例えば、装置２０の識別子、装置２０のユーザの識別子、被写体の説明、タイムスタンプ、及び位置情報（その画像を撮影したときの装置２０の緯度及び経度）のうち少なくとも１つを含む。データＤｒ［２］等の他のデータも、同様に属性情報が付加される。ステップＳ１０２において、信号取得部１１は、装置２０［１］からデータＤｒ［１］を取得する。データＤｒ［１］は、例えば、データＤｔ［１］と同じイベントを契機として装置２０［１］から信号同期装置１０に送信される。あるいは、データＤｒ［１］は、データＤｔ［１］とは異なるイベントを契機として装置２０［１］から信号同期装置１０に送信されてもよい。この場合、データＤｒ［１］の属性情報に含まれる識別子により、データＤｔ［１］との関係が特定される。記憶部１４は、信号取得部１１が取得したデータＤｔ［１］及びデータＤｒ［１］を記憶する。
【００２５】
ステップＳ１０３において、信号取得部１１は、装置２０［２］からデータＤｔ［２］を取得する。ステップＳ１０４において、信号取得部１１は、装置２０［２］からデータＤｒ［２］を取得する。ステップＳ１０３及びＳ１４の詳細は、ステップＳ１０１及びＳ１２と同様である。記憶部１４は、信号取得部１１が取得したデータＤｔ［２］及びデータＤｒ［２］を記憶する。なおデータＤｔ及びデータＤｒが、映像データにおける映像トラック及び音声トラックである場合、ステップＳ１０３及びＳ１４の処理はほぼ同時に行われる。ステップＳ１０１及びＳ１２についても同様である。
【００２６】
ステップＳ１０５において、制御部１５は、２つのデータを同期する指示（以下「同期指示」という）の入力を受け付ける。ここでいうデータの同期は、データにより示される信号波形の同期を意味するので、信号の同期と同義である。この指示は、例えば、信号同期装置１０にアクセス可能な端末装置（図示略。例えば、インターネットにアクセス可能なスマートフォン又はＰＣ）から入力される。この指示は、同期処理の対象となるデータＤｔ［１］及びデータＤｔ［２］を指定する情報を含む。
【００２７】
ステップＳ１０６において、制御部１５は、信号Ｓｒ［１］からエンベロープＥ［１］を取得する。この例において、制御部１５自身が、信号ＳｒからエンベロープＥを抽出する。信号Ｓｒ［１］からのエンベロープの抽出には、例えば、コンプレッサで広く用いられている、先読み（ルックアヘッド）、実効値（Root Mean Square、ＲＭＳ）、及びアタックタイム／リリースタイム（ＡＴ−ＲＴ）といった周知の手法が用いられる。先読みとは、出力ゲインを調整するにあたり、時間軸上において先（将来）の信号の入力レベルを参照するエンベロープ抽出方法をいう。ＲＭＳとは、入力信号レベルの検知に実効値を用いるエンベロープ抽出方法をいう。アタックタイムとは、信号の入力レベルがスレショルドを超えた瞬間から音の圧縮が完了するまでの時間をいう。リリースタイムとは、信号の入力レベルがスレショルドを下回ってから圧縮を解除するまでの時間をいう。ＡＴ−ＲＴとは、アタックタイム及びリリースタイムを参照するエンベロープ抽出方法をいう。
【００２８】
ステップＳ１０７において、制御部１５は、信号Ｓｒ［２］からエンベロープＥ［２］を取得する。エンベロープＥ［２］を取得する具体的な手法については、エンベロープＥ［１］と同様である。
【００２９】
ステップＳ１０８において、同期部１３は、同期指示により指定された信号を同期する。ここで、信号を同期するとは、２つの信号の時間領域における位置のずれ（時間差）を算出することをいう。一例において、信号Ｓｔ［１］及び信号Ｓｔ［２］は、エンベロープＥ［１］及びエンベロープＥ［２］の相互相関に基づいて同期される。具体的には、同期部１３は、次式（１）に示される相互相関Ｃｉｊ（τ）の絶対値｜Ｃｉｊ（τ）｜を最大とする時間差τを計算する。
【数１】
2019103022.tif 000003
ここで、信号ｙｉはエンベロープＥ［１］であり、信号ｙｊはエンベロープＥ［２］である。式（１）は、信号ｙｉ（ｔ）の始点と信号ｙｊ（ｔ）の始点とを時間領域において一致させてから、信号ｙｉ（ｔ）に対する信号ｙｊ（ｔ）の時間差（時間軸上のシフト量）τを変数として両者間の信号波形の相関の程度を示した数値列を示す。時間差τは、正の値も負の値もとり得る。例えば、エンベロープＥ［２］が時間領域においてエンベロープＥ［１］の後方に位置する場合、時間差τは正であり、エンベロープＥ［２］が時間領域においてエンベロープＥ［１］の前方に位置する場合、時間差τは負である。なお相互相関は式（１）によって計算されるものに限定されず、例えば次式（２）によって計算されてもよい。
【数２】
2019103022.tif 000004
【００３０】
図７は、関連技術に係る同期処理を例示する図である。装置２０［１］及び装置２０［２］は、地理上の離れた地点に位置する。装置２０［１］及び装置２０［２］は、それぞれの位置から、共通の被写体を撮影し、映像データを得る。装置２０［１］は時刻ｔ１において録画を開始しており、装置２０［２］は時刻ｔ２において録画を開始する。被写体は、例えば音楽を演奏する演奏者である。この例において、信号Ｓｒ［１］及び信号Ｓｒ［２］は大きく歪んでおり、その波形自体は周波数軸上で高調波を多く含んでいる。図７（Ａ）は信号Ｓｒ［１］及びＳｒ［２］の時間領域における波形を、図７（Ｂ）は周波数領域におけるスペクトルを、それぞれ例示している。この例において信号波形自体は周波数軸上で高調波を多く含んでいるため、信号Ｓｒ［１］及び信号Ｓｒ［２］自体を用いたのでは（例えば、式（１）又は（２）の信号ｙｉ及びｙｊとしてそれぞれ信号Ｓｒ［１］及びＳｒ［２］自体を用いたのでは）、正確に同期ができない場合がある。
【００３１】
図８は、本実施形態に係る同期処理を例示する図である。図８（Ａ）はエンベロープＥ［１］及びＥ［２］の時間領域における波形を、図８（Ｂ）は周波数領域におけるスペクトルを、それぞれ例示している。この例によれば、エンベロープＥのスペクトルは信号の特徴を保持しており、より正確に同期を行うことができる。
【００３２】
再び図６を参照する。ステップＳ１０９において、制御部１５は、同期された信号Ｓｔ［１］及び信号Ｓｔ［２］を合成した信号Ｓｓを示すデータＤｓを生成する。信号Ｓｔが映像信号である場合には、データＤｓは、信号Ｓｔ［１］が示す映像及び信号Ｓｔ［２］が示す映像を並べて２画面表示した映像を示す。ステップＳ１１０において、制御部１５は、データＤｓを出力する。例えば、制御部１５は、例えば、同期指示を出力した端末装置に対しデータＤｓを出力する。あるいは、制御部１５は、記憶部１４にデータＤｓを記憶してもよい。
【００３３】
３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。
【００３４】
３−１．変形例１
制御部１５は、信号Ｓｒから複数の異なる手法（第１手法及び第２手法の一例）により複数のエンベロープＥを抽出してもよい。この場合、制御部１５は、複数のエンベロープＥの中から選択された１又は複数のエンベロープＥを用いて、信号Ｓｔを同期する。この例によれば、複数のエンベロープＥを用いることにより、同期の精度をより高めることができる。
【００３５】
３−２．変形例２
制御部１５は、複数のエンベロープＥの中から同期に用いるエンベロープＥを、拘束条件に基づいて選択してもよい。理想的には、複数のエンベロープＥのうちどれを用いても同期結果は同一のはずである。したがって、これら複数のエンベロープＥを用いて得られた結果の集合は、所定の拘束条件を満たすはずである。例えば、各エンベロープＥにつき、この拘束条件を満たしている度合いを点数化し、この点数が基準に満たないエンベロープＥを同期処理から除外することができる。この例によれば、複数の手法のうち適切な手法のみを用いて抽出されたエンベロープを用いて信号Ｓｔを同期することができる。
【００３６】
３−３．変形例３
制御部１５は、複数のエンベロープＥの中から同期に用いるエンベロープを、信号Ｓｒの属性に応じて選択してもよい。信号Ｓｒの属性は、例えば、音源の属性を含む。音源の属性は、例えば、その音を発した楽器名を含む。信号Ｓｒの属性は、信号Ｓｒを生成した装置２０において付加される。あるいは、信号Ｓｒの属性は、信号同期装置１０等の他の装置において付加されてもよい。一例において、制御部１５は、音源がスネアドラムである信号Ｓｒに対しては、いわゆるアタックを検出することによりエンベロープを抽出する。あるいは、制御部１５は、音源がスネアドラムである信号Ｓｒに対しては、いわゆるリリースを検出することによりエンベロープを抽出する。
【００３７】
３−４．変形例４
変形例１のように複数の異なる手法により複数のエンベロープＥを抽出する場合において、各信号に対し最適な抽出手法を機械学習又はディープラーニング等の手法を用いて学習させ、制御部１５が最適な抽出手法を自動的に選択してもよい。
【００３８】
３−５．変形例５
信号Ｓｔ［１］及びＳｔ［２］の同期において、エンベロープＥ［１］及びＥ［２］に加えて、又は代えて、信号Ｓｒ［１］自身及びＳｒ［２］自身が用いられてもよい。この場合において、信号同期装置１０は、例えば、信号Ｓｒをそのまま同期に用いる動作モードと、エンベロープＥを同期に用いる動作モードとを有してもよい。信号同期装置１０は、同期プログラムにより自動的に、又はクライアントである装置２０からの指示に応じて動作モードを切り替える。装置２０においては、クライアントプログラムが自動的に動作モードを指定してもよいし、ユーザからの指示に応じて動作モードを指定してもよい。
【００３９】
３−６．変形例６
信号Ｓｔ［１］及びＳｔ［２］を同期する具体的方法は、相互相関を用いるものに限定されない。例えば、エンベロープＥ［１］とエンベロープＥ［２］とのパターンマッチングにより、信号Ｓｔ［１］及びＳｔ［２］を同期してもよい。
【００４０】
３−７．他の変形例
実施形態においては信号Ｓｒ［１］及びＳｒ［２］のエンベロープＥ［１］及びＥ［２］を用いて信号Ｓｔ［１］及びＳｔ［２］を同期する例、すなわち信号Ｓｔが対象信号である例を説明した。しかし、信号Ｓｒ［１］及びＳｒ［２］のエンベロープＥ［１］及びＥ［２］を用いて、信号Ｓｒ［１］及び信号Ｓｒ［２］が同期されてもよい。すなわち、同期信号自身が対象信号であってもよい。この場合、信号同期装置１０は、信号Ｓｔを同期しなくてもよく、さらには信号Ｓｔを取得しなくてもよい。具体的には、例えば、図６のステップＳ１０１、Ｓ１０３、Ｓ１０８、及びＳ１０９は省略されてもよい。
【００４１】
実施形態においては信号同期装置１０が信号ＳｒからエンベロープＥを抽出する例を説明したが、信号Ｓｒを取得した装置２０が、信号ＳｒからエンベロープＥを抽出してもよい。この場合、装置２０は、信号Ｓｒ及びエンベロープＥの双方を信号同期装置１０に送信してもよいし、エンベロープＥのみを信号同期装置１０に送信してもよい。
【００４２】
信号同期システム１の機能を実現するためのハードウェア構成は、実施形態において例示したものに限定されない。要求される機能を実現できるものであれば、信号同期システム１はどのようなハードウェア構成を有していてもよい。また、機能とハードウェアとの対応関係は、実施形態で例示したものに限定されない。例えば、実施形態において信号同期装置１０に実装されていた機能を、２台以上の装置に分散して実装してもよい。また、実施形態又は変形例において信号同期装置１０に実装されていた機能の少なくとも一部を、装置２０に実装してもよい。例えば、装置２０自身が信号同期装置１０としての機能を有してもよい。この場合、例えば装置２０［１］は、装置２０［２］からデータＤｔ［２］及びデータＤｒ［２］を取得し、自身で記憶しているデータＤｒ［１］を用いて、信号Ｓｔ［１］及び信号Ｓｔ［２］を同期する。
【００４３】
実施形態においては２個の信号を同期する例を説明したが、３個以上の信号が同期されてもよい。
【００４４】
信号同期装置１０及び装置２０において実行されるプログラムは、光ディスク、磁気ディスク、半導体メモリなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。また、このプログラムは、実施形態において例示したステップを備える必要はない。これらのステップの一部が省略されてもよい。また、これらのステップの一部の順番が入れ替えられてもよい。
【符号の説明】
【００４５】
１…信号同期システム、１０…信号同期装置、１１…信号取得部、１２…エンベロープ取得部、１３…同期部、１４…記憶部、１５…制御部、１６…通信部、２０…装置、２１…生成部、２２…取得部、２３…記憶部、２４…送信部、２５…ＵＩ部、２６…制御部、１０１…ＣＰＵ、１０２…メモリ、１０３…ストレージ、１０４…通信ＩＦ、２０１…ＣＰＵ、２０２…メモリ、２０３…ストレージ、２０４…移動体通信部、２０５…無線ＬＡＮ通信部、２０６…カメラ、２０７…マイクロフォン、２０９…タッチスクリーン
【図１】
2019103022.tif 000005
【図２】
2019103022.tif 000006
【図３】
2019103022.tif 000007
【図４】
2019103022.tif 000008
【図５】
2019103022.tif 000009
【図６】
2019103022.tif 000010
【図７】
2019103022.tif 000011
【図８】
2019103022.tif 000012