(57)【要約】【課題】音源に対して移動している装置において取得された音信号を用いて対象信号を同期する場合において、同期の精度を向上させる。【解決手段】一実施形態に係る信号同期方法は、音源に対し移動している第１装置において取得された第１音信号を取得するステップと、前記第１音信号との時間差が既知の第１対象信号を取得するステップと、前記第１装置と異なる第２装置において取得された第２音信号を取得するステップと、前記第２音信号との時間差が既知の第２対象信号を取得するステップと、前記移動に基づいて前記第１音信号の少なくとも一部の区間をタイムストレッチした信号と、前記第２音信号を用いて、前記第１対象信号及び前記第２対象信号を同期するステップとを有する。【選択図】図６
2019176229.tif 000002
【特許請求の範囲】
【請求項１】
音源に対し移動している第１装置において取得された第１音信号を取得するステップと、
前記第１音信号との時間差が既知の第１対象信号を取得するステップと、
前記第１装置と異なる第２装置において取得された第２音信号を取得するステップと、
前記第２音信号との時間差が既知の第２対象信号を取得するステップと、
前記移動に基づいて前記第１音信号の少なくとも一部の区間をタイムストレッチした信号と、前記第２音信号を用いて、前記第１対象信号及び前記第２対象信号を同期するステップと
を有する信号同期方法。
【請求項２】
前記第１音信号を複数の区間に区分するステップを有し、
前記複数の区間の各々に対して、個別に設定された伸長率でタイムストレッチする
請求項１に記載の信号同期方法。
【請求項３】
タイムストレッチされた後に同期された信号について、区分の長さを変えて再度、複数の区間に区分するステップと、
新たに区分された複数の区間の各々に対して、個別に設定された伸長率でタイムストレッチするステップと、
ある長さで区分された複数の区間を用いてタイムストレッチされた信号を用いて同期された結果と、当該長さと別の長さで区分された複数の区間を用いてタイムストレッチされた信号を用いて同期された結果のうち、より同期の度合いが高い結果を採用するステップと
を有する請求項２に記載の信号同期方法。
【請求項４】
前記第１対象信号及び前記第２対象信号を同期するステップは、
前記タイムストレッチに関する少なくとも１つのパラメータについて、第１の間隔で量子化された当該パラメータの各々を用いてタイムストレッチされた前記第１音信号及び前記第２音信号を用いて、前記第１対象信号及び前記第２対象信号を同期するステップと、
前記タイムストレッチされた後で、前記パラメータについて、第１の間隔よりも詳細な第２の間隔で量子化された当該パラメータの各々を用いてタイムストレッチされた前記第１音信号及び前記第２音信号を用いて、前記第１対象信号及び前記第２対象信号を同期するステップと
を有する請求項１乃至３のいずれか一項に記載の信号同期方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の信号を同期する技術に関する。
【背景技術】
【０００２】
映像又は音声等、各種の信号を同期する技術が知られている。特許文献１には、音響及び動画を含む素材データを収録する端末装置から無線通信により素材データを受信し、複数の素材データを編集することによりコンテンツを生成する映像処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１７４２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術においては、装置が移動しながら動画を収録した場合、ドップラーシフトによってピッチ（音高）が変化してしまい、信号が正確に同期できないおそれがあった。
【０００５】
これに対し本発明は、音源に対して移動している装置において取得された音信号を用いて対象信号を同期する場合において、同期の精度を向上させる技術を提供する。
【課題を解決するための手段】
【０００６】
本発明は、音源に対し移動している第１装置において取得された第１音信号を取得するステップと、前記第１音信号との時間差が既知の第１対象信号を取得するステップと、前記第１装置と異なる第２装置において取得された第２音信号を取得するステップと、前記第２音信号との時間差が既知の第２対象信号を取得するステップと、前記移動に基づいて前記第１音信号の少なくとも一部の区間をタイムストレッチした信号と、前記第２音信号を用いて、前記第１対象信号及び前記第２対象信号を同期するステップとを有する信号同期方法を提供する。
【０００７】
この信号同期方法は、前記第１音信号を複数の区間に区分するステップを有し、前記複数の区間の各々に対して、個別に設定された伸長率でタイムストレッチしてもよい。
【０００８】
この信号同期方法は、タイムストレッチされた後に同期された信号について、区分の長さを変えて再度、複数の区間に区分するステップと、新たに区分された複数の区間の各々に対して、個別に設定された伸長率でタイムストレッチするステップと、ある長さで区分された複数の区間を用いてタイムストレッチされた信号を用いて同期された結果と、当該長さと別の長さで区分された複数の区間を用いてタイムストレッチされた信号を用いて同期された結果のうち、より同期の度合いが高い結果を採用するステップとを有してもよい。
【０００９】
前記第１対象信号及び前記第２対象信号を同期するステップは、前記タイムストレッチに関する少なくとも１つのパラメータについて、第１の間隔で量子化された当該パラメータの各々を用いてタイムストレッチされた前記第１音信号及び前記第２音信号を用いて、前記第１対象信号及び前記第２対象信号を同期するステップと、前記タイムストレッチされた後で、前記パラメータについて、第１の間隔よりも詳細な第２の間隔で量子化された当該パラメータの各々を用いてタイムストレッチされた前記第１音信号及び前記第２音信号を用いて、前記第１対象信号及び前記第２対象信号を同期するステップとを有してもよい。
【発明の効果】
【００１０】
本発明によれば、音源に対して移動している装置において取得された音信号を用いて対象信号を同期する場合において、同期の精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】一実施形態に係る信号同期システム１の概要を例示する図。
【図２】信号同期装置１０の機能構成を例示する図。
【図３】信号同期装置１０のハードウェア構成を例示する図。
【図４】装置２０の機能構成を例示する図。
【図５】装置２０のハードウェア構成を例示する図。
【図６】信号同期装置１０の動作（信号同期方法）を例示するフローチャート。
【図７】信号Ｓｒのタイムストレッチ処理を例示する図。
【発明を実施するための形態】
【００１２】
１．構成
図１は、一実施形態に係る信号同期システム１の概要を例示する図である。信号同期システム１は、信号Ｓｔ［１］及び信号Ｓｔ［２］を同期するためのシステムである。信号Ｓｔ［１］及び信号Ｓｔ［２］は、それぞれ、装置２０［１］及び装置２０［２］において取得される。信号Ｓｔ［１］及び信号Ｓｔ［２］は同期の対象となる、第１対象信号及び第２対象信号の一例であり、装置２０［１］及び装置２０［２］は、第１装置及び第２装置の一例である。装置２０［１］は、信号Ｓｔ［１］に加え、信号Ｓｒ［１］を取得する。装置２０［２］は、信号Ｓｔ［２］に加え、信号Ｓｒ［２］を取得する。信号Ｓｒ［１］及び信号Ｓｒ［２］は、それぞれ信号Ｓｔ［１］及び信号Ｓｔ［２］との時間差が既知（例えば同時）の音信号である。信号同期装置１０は、装置２０［１］から信号Ｓｔ［１］及び信号Ｓｒ［１］の入力を受け付け、装置２０［２］から信号Ｓｔ［２］及び信号Ｓｒ［２］の入力を受け付ける。信号同期装置１０は、後述するタイムストレッチ後の信号Ｓｒ［１］及び信号Ｓｒ［２］の相互相関に基づいて、信号Ｓｔ［１］及び信号Ｓｔ［２］を同期する。なお、信号Ｓｔ［１］及びＳｔ［２］を互いに区別しないときは単に信号Ｓｔと表記する。信号Ｓｒ及び装置２０についても同様である。
【００１３】
信号Ｓｔ及び信号Ｓｒは、それぞれ、例えば、センサから出力される信号である。センサは、例えば、映像センサ（撮像素子）、音センサ（マイクロフォン）、加速度センサ、又は温度センサである。装置２０［１］及び装置２０［２］は、これらのセンサを搭載した装置、例えば、スマートフォン、カメラ、又はボイスレコーダである。一例において、信号Ｓｔは映像センサから出力される映像信号であり、信号Ｓｒはマイクロフォンから出力される音信号である。信号Ｓｒ［１］及び信号Ｓｒ［２］は第１音信号及び第２音信号の一例である。この例において、装置２０［１］及び装置２０［２］の少なくとも一方は、センシングの対象物（例えば、被写体又は音源）に対して移動しながら信号Ｓｔ及び信号Ｓｒを出力する。
【００１４】
図２は、信号同期装置１０の機能構成を例示する図である。信号同期装置１０は、信号取得部１１、タイムストレッチ部１２、同期部１３、記憶部１４、制御部１５、及び通信部１６を有する。信号取得部１１は、装置２０［１］から、信号Ｓｔ［１］及び信号Ｓｒ［１］を取得し、装置２０［２］から信号Ｓｔ［２］及び信号Ｓｒ［２］を取得する。信号取得部１１は、信号Ｓｔ［１］及び信号Ｓｒ［１］を同時に取得してもよいし、異なるタイミングで取得してもよい。信号Ｓｔ［２］及び信号Ｓｒ［２］についても同様である。タイムストレッチ部１２は、信号Ｓｒ［１］及び信号Ｓｒ［２］のうち少なくとも一方の信号の少なくとも一部の区間をタイムストレッチする。ここで、タイムストレッチとは、音信号を時間軸方向に伸張する処理をいい、具体的には例えばリサンプリング処理である。タイムストレッチの詳細については後述する。信号Ｓｒをタイムストレッチ処理した信号を、信号Ｓｒ＿ｔｓという。装置２０［１］が移動しながら信号Ｓｔ及び信号Ｓｒを出力した場合、タイムストレッチ部１２は、信号Ｓｒ［１］をタイムストレッチして信号Ｓｔ＿ｔｓ［１］を得る。同期部１３は、信号Ｓｒ＿ｔｓ［１］及び信号Ｓｒ［２］の相互相関に基づいて、信号Ｓｔ［１］及び信号Ｓｔ［２］を同期する。記憶部１４は、各種のデータを記憶する。制御部１５は、各種の制御を行う。通信部１６は、他の装置と通信を行う。
【００１５】
図３は、信号同期装置１０のハードウェア構成を例示する図である。この例において、信号同期装置１０は、ＣＰＵ（Central Processing Unit）１０１、メモリ１０２、ストレージ１０３、及び通信ＩＦ１０４を有するコンピュータ装置である。ＣＰＵ１０１は、プログラムに従って各種の演算を行い、信号同期装置１０の他のハードウェア要素を制御する制御装置である。メモリ１０２はＣＰＵ１０１が処理を実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。ストレージ１０３は各種のデータ及びプログラムを記憶する補助記憶装置であり、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）を含む。通信ＩＦ１０４は、所定の通信規格に従って他の装置と通信を行うための装置であり、例えばＮＩＣ（Network Interface Card）を含む。
【００１６】
一例において、信号同期装置１０は、ネットワーク（例えばインターネット）上において動作するサーバ装置である。ストレージ１０３は、コンピュータ装置を信号同期システム１における信号同期装置１０として機能させるためのプログラム（以下「同期プログラム」）を記憶する。ＣＰＵ１０１がストレージ１０３から同期プログラムを読み出し、メモリ１０２にて処理を実行することにより、図２に示した機能がコンピュータ装置に実装される。ＣＰＵ１０１が同期プログラムを実行している状態において、ＣＰＵ１０１は、信号取得部１１、タイムストレッチ部１２、同期部１３、及び制御部１５の一例である。メモリ１０２及びストレージ１０３の少なくとも一方は記憶部１４の一例である。通信ＩＦ１０４は、通信部１６の一例である。
【００１７】
図４は、装置２０の機能構成を例示する図である。装置２０は、生成部２１、取得部２２、記憶部２３、送信部２４、ＵＩ部２５、及び制御部２６を有する。生成部２１は、信号Ｓｔを生成する。取得部２２は、信号Ｓｒを取得する。記憶部２３は、各種のデータを記憶する。記憶部２３が記憶するデータには、信号Ｓｔ及び信号Ｓｒをサンプリングしたデータが含まれる。以下、信号Ｓｔ及び信号Ｓｒをサンプリングしたデータを、それぞれデータＤｔ及びデータＤｒという。送信部２４は、データＤｔ及びデータＤｒを信号同期装置１０に送信する。ＵＩ部２５は、装置２０のユーザに対する情報の出力、及びそのユーザから指示の入力を行う。制御部２６は、各種の制御を行う。
【００１８】
図５は、装置２０のハードウェア構成を例示する図である。装置２０は、ＣＰＵ２０１、メモリ２０２、ストレージ２０３、移動体通信部２０４、無線ＬＡＮ通信部２０５、カメラ２０６、マイクロフォン２０７、及びタッチスクリーン２０８を有するコンピュータ装置である。ＣＰＵ２０１は、プログラムに従って各種の演算を行い、装置２０の他のハードウェア要素を制御する制御装置である。メモリ２０２はＣＰＵ２０１が処理を実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＯＭ及びＲＡＭを含む。ストレージ２０３は各種のデータ及びプログラムを記憶する補助記憶装置であり、例えばＳＳＤ又はＨＤＤを含む。移動体通信部２０４は、所定の移動体通信規格（例えばＬＴＥ）に従って他の装置と通信を行うための装置であり、例えばその通信規格に準拠したアンテナ及びチップセットを含む。無線ＬＡＮ通信部２０５は、所定の無線ＬＡＮ通信規格（例えばＷｉＦｉ（登録商標））に従って他の装置と通信を行うための装置であり、例えばその通信規格に準拠したアンテナ及びチップセットを含む。カメラ２０６は、対象を撮影した映像信号を出力する。マイクロフォン２０７は、対象から得られた音信号を出力する。カメラ２０６及びマイクロフォン２０７は、対象の状況を検知し、その結果を示す信号を出力するセンサの一例である。タッチスクリーン２０８は、情報を表示する表示装置（例えばＬＣＤ）及びその表示装置の上に形成されたタッチセンサを有する。
【００１９】
一例において、装置２０は、信号同期装置１０が接続されたネットワークにアクセスする機能を有する装置、例えばスマートフォンである。信号Ｓｔは、スマートフォンで撮影された動画を示すビデオ信号である。ストレージ２０３は、コンピュータ装置を信号同期システム１における装置２０として機能させるためのプログラム（データ取得プログラム）を記憶する。ＣＰＵ２０１がデータ取得プログラムを実行している状況において、カメラ２０６は、生成部２１の一例である。マイクロフォン２０７は、取得部２２の一例である。ＣＰＵ２０１は制御部２６の一例である。メモリ２０２及びストレージ２０３の少なくとも一方は、記憶部２３の一例である。移動体通信部２０４又は無線ＬＡＮ通信部２０５は、送信部２４の一例である。タッチスクリーン２０８は、ＵＩ部２５の一例である。
【００２０】
一例において、データ取得プログラムを実行している装置２０は、録画ボタンを含むＵＩ画面（図示略）をタッチスクリーン２０８に表示する。録画ボタンは、録画開始の指示を受け付けるためのＵＩ要素である。ユーザがタッチスクリーン２０８において録画ボタンに相当する位置をタッチすると、ＣＰＵ２０１は、信号Ｓｔ及び信号Ｓｒの記録を開始する。信号Ｓｔ及び信号Ｓｒの記録中、装置２０は停止ボタンを含むＵＩ画面（図示略）をタッチスクリーンに表示する。停止ボタンは、録画開始の指示を受け付けるためのＵＩ要素である。ユーザがタッチスクリーン２０８において停止ボタンに相当する位置をタッチすると、ＣＰＵ２０１は、信号Ｓｔを示すデータ及び信号Ｓｒを示すデータを含むデータＤｍに、タイムスタンプ等の属性情報（又はタグ情報）を付与してストレージ２０３に記憶する。ＣＰＵ２０１は、信号Ｓｔ及び信号Ｓｒの記録を同時に開始し、同時に終了する。なお、信号Ｓｔ及び信号Ｓｒを記録するタイミングは、その時間差が既知であればよく、同時に記録される必要はない。
【００２１】
２．動作
図６は、信号同期装置１０の動作（信号同期方法）を例示するフローチャートである。図６のフローを開始する前において、装置２０［１］はデータＤｔ［１］及びデータＤｒ［１］を、装置２０［２］はデータＤｔ［２］及びデータＤｒ［２］を、それぞれ取得済みである。以下の説明において、信号取得部１１等の機能要素を処理の主体として記載する場合があるが、これは、同期プログラム等のソフトウェアを実行しているＣＰＵ１０１等のハードウェア要素が、他のハードウェア要素と協働して処理を実行することを意味する。
【００２２】
ステップＳ１０１において、信号取得部１１は、装置２０［１］からデータＤｔ［１］を取得する。データＤｔ［１］は、例えば、装置２０［１］においてユーザがデータ送信の指示を入力したというイベントを契機として、装置２０［１］から信号同期装置１０に送信される。装置２０［１］は、データＤｔ［１］に属性情報を付加して送付する。属性情報は、データＤ［１］に付随する情報である。属性情報は、例えば、装置２０の識別子、装置２０のユーザの識別子、被写体の説明、タイムスタンプ、及び位置情報（その画像を撮影したときの装置２０の緯度及び経度）のうち少なくとも１つを含む。データＤｒ［２］等の他のデータも、同様に属性情報が付加される。ステップＳ１０２において、信号取得部１１は、装置２０［１］からデータＤｒ［１］を取得する。データＤｒ［１］は、例えば、データＤｔ［１］と同じイベントを契機として装置２０［１］から信号同期装置１０に送信される。あるいは、データＤｒ［１］は、データＤｔ［１］とは異なるイベントを契機として装置２０［１］から信号同期装置１０に送信されてもよい。この場合、データＤｒ［１］の属性情報に含まれる識別子により、データＤｔ［１］との関係が特定される。記憶部１４は、信号取得部１１が取得したデータＤｔ［１］及びデータＤｒ［１］を記憶する。
【００２３】
ステップＳ１０３において、信号取得部１１は、装置２０［２］からデータＤｔ［２］を取得する。ステップＳ１０４において、信号取得部１１は、装置２０［２］からデータＤｒ［２］を取得する。ステップＳ１０３及びＳ１０４の詳細は、ステップＳ１０１及びＳ１０２と同様である。記憶部１４は、信号取得部１１が取得したデータＤｔ［２］及びデータＤｒ［２］を記憶する。
【００２４】
ステップＳ１０５において、制御部１５は、２つのデータを同期する指示（以下「同期指示」という）の入力を受け付ける。ここでいうデータの同期は、データにより示される信号波形の同期を意味するので、信号の同期と同義である。この指示は、例えば、信号同期装置１０にアクセス可能な端末装置（図示略。例えば、インターネットにアクセス可能なスマートフォン又はＰＣ）から入力される。この指示は、同期処理の対象となるデータＤｔ［１］及びデータＤｔ［２］を指定する情報を含む。
【００２５】
ステップＳ１０６において、タイムストレッチ部１２は、タイムストレッチ対象信号のうち対象区間に対し、タイムストレッチ処理を行い、信号Ｓｒ＿ｔｓを出力する。タイムストレッチ対象信号とは、信号Ｓｒ［１］及び信号Ｓｒ［２］のうちタイムストレッチ処理の対象となる信号をいう。タイムストレッチ処理の対象となるのは、例えば、音源に対して移動している装置２０において取得された信号である。信号Ｓｒの取得の際、音源に対して装置２０［１］が移動していた場合、信号Ｓｒ［１］がタイムストレッチ処理の対象となる。信号Ｓｒの取得の際、音源に対して装置２０［２］が移動していた場合、信号Ｓｒ［２］がタイムストレッチ処理の対象となる。例えば、装置２０［１］及び装置２０［２］のうち音源に対し移動している装置が分かっている場合、その装置２０において取得された信号Ｓｒがタイムストレッチ処理の対象となる。装置２０［１］及び装置２０［２］のうちどちらの装置が音源に対し移動しているか分かっていない場合、装置２０［１］及び装置２０［２］は１つずつ順番にタイムストレッチ処理の対象となる。
【００２６】
対象区間とは、タイムストレッチ対象信号のうちタイムストレッチの処理の対象となる区間をいう。対象区間は、タイムストレッチ対象信号の時間領域の一部又は全部の区間である。一例において、タイムストレッチ部１２は、タイムストレッチ対象信号を複数の区間（例えば１０個の区間）に等分する。タイムストレッチ部１２は、これら１０個の区間のうち１つの区間を順番に対象区間として設定する。例えば、タイムストレッチ部１２は、まず第１の区間を対象区間として設定する。後述する処理が終了した後で、タイムストレッチ部１２は、次に第２の区間を対象区間として設定する。以下、タイムストレッチ部１２は、第１０の区間まで順番に対象区間として設定する。
【００２７】
次に、タイムストレッチ処理の一例として、リサンプリング処理を説明する。いま、観測者である装置２０［１］が速度ｖ１で移動し、音源が速度ｖ２で移動している例を考える。音源が発する音の周波数はｆである。ドップラーシフトの結果、観測者は周波数ｆｐの音を聞く。
ｆｐ＝｛（ｃ−ｖ２）／（ｃ−ｖ１）｝ｆ＝αｆ      …（１）
α≡（ｃ−ｖ２）／（ｃ−ｖ１）      …（２）
ここで、観測者及び音源のいずれもが等速度運動をしている場合、αは一定であるから、観測者がΔｔ／αの時間間隔でリサンプリングすればよい。ここで、Δｔは、信号Ｓｒ［１］の（元の）サンプリング周期である（例えばΔｔ＝１／ｆｓである（ｆｓはサンプリング周波数））。一方、観測者及び音源のいずれかが加速度運動をしている場合、速度ｖ１又は速度ｖ２の時間変化若しくは加速度βが分かっていれば、等速度運動の場合と同様に、観測者が、逐次、Δｔ／βの時間間隔でリサンプリングすればよい。なお観測者又は音源の速度が不明である場合、タイムストレッチ部１２は、リサンプリング周期を変えてリサンプリング処理を行い、最適な条件を探す。
【００２８】
ステップＳ１０７において、同期部１３は、同期指示により指定された信号を同期する。ここで、信号を同期するとは、２つの信号の時間領域における位置のずれ（差）を特定することをいう。一例において、信号Ｓｔ［１］及び信号Ｓｔ［２］は、信号Ｓｒ［１］及び信号Ｓｒ［２］の相互相関に基づいて同期される。具体的には、同期部１３は、次式（１）に示される相互相関Ｃｉｊ（τ）の絶対値｜Ｃｉｊ（τ）｜を最大とする時間差τを計算する。
【数１】
2019176229.tif 000003
ここで、信号ｙｉはデータＤｒ［１］により示される信号すなわち信号Ｓｒ［１］であり、信号ｙｊはデータＤｒ［２］により示される信号すなわち信号Ｓｒ［２］である。信号Ｓｒ［１］及び信号Ｓｒ［２］の少なくとも一方は、ステップＳ１０６においてタイムストレッチ処理されている。式（１）は、信号ｙｉ（ｔ）の始点と信号ｙｊ（ｔ）の始点とを時間領域において一致させてから、信号ｙｉ（ｔ）に対する信号ｙｊ（ｔ）の時間差（時間軸上のシフト量）τを変数として両者間の信号波形の相関の程度を示した数値列を示す。時間差τは、正の値も負の値もとり得る。例えば、信号Ｓｒ［２］が時間領域において信号Ｓｒ［１］の後方に位置する場合、時間差τは正であり、信号Ｓｒ［２］が時間領域において信号Ｓｒ［１］の前方に位置する場合、時間差τは負である。なお相互相関は式（１）によって計算されるものに限定されず、例えば次式（２）によって計算されてもよい。
【数２】
2019176229.tif 000004
【００２９】
ステップＳ１０８において、同期部１３は、同期の度合いを示す値として、相互相関Ｃｉｊ（τ）の絶対値｜Ｃｉｊ（τ）｜を記憶部１４に記憶する。
【００３０】
ステップＳ１０９において、同期部１３は、すべてのタイムストレッチ条件を考慮したか判断する。タイムストレッチ条件とは、タイムストレッチ処理に係る条件であり、例えば、タイムストレッチ対象信号、対象区間、対象区間の分割数である。信号Ｓｒ［１］及び信号Ｓｒ［２］が両方ともタイムストレッチ対象信号となる場合、同期部１３は、信号Ｓｒ［１］及び信号Ｓｒ［２］の双方について、相互相関Ｃｉｊ（τ）の絶対値｜Ｃｉｊ（τ）｜が計算されたか判断する。また、同期部１３は、タイムストレッチ対象信号のすべての区間が対象区間として考慮されたか判断する。さらに、同期部１３は、考慮の対象となるすべての分割数が考慮済みとなったか判断する。例えば、１０分割、５分割、及び３分割が考慮の対象なる場合、同期部１３は、対象信号を１０分割したときの第１〜第１０区間、５分割したときの第１〜第５区間、及び３分割したときの第１〜第３区間のすべてについて相互相関Ｃｉｊ（τ）の絶対値｜Ｃｉｊ（τ）｜が計算されたか判断する。なお、タイムストレッチ対象信号の分割数は、タイムストレッチ処理に関するパラメータであって、量子化されたパラメータの一例である。考慮されていない条件の組み合わせがあるとき（Ｓ１０９：ＮＯ）、同期部１３は、対象となる条件を更新して、処理を再びステップＳ１０６に移行する。すべてのタイムストレッチ条件が考慮されたと判断された場合（Ｓ１０９：ＹＥＳ）、同期部１３は、処理をステップＳ１１０に移行する。
【００３１】
図７は、信号Ｓｒのタイムストレッチ処理を例示する図である。この例においては、信号Ｓｒ［１］がタイムストレッチ対象信号である。信号Ｓｒ［１］のうち、区間Ｄｖ（図７（ａ））において装置２０［１］は音源に対し移動しながら撮影を行った。タイムストレッチ部１２は、信号Ｓｒ［１］を区間Ｄ１〜Ｄ４の４つの区間に区分する（図７（ｂ））。タイムストレッチ部１２は、例えば区間Ｄ２を対象として、伸長率を種々の値に異ならせタイムストレッチ処理を行う。このとき、タイムストレッチ部１２は、区間Ｄ２の時間長を元の信号のまま一定に保つ。例えば、伸長率として１０種類の値を採用した場合、各伸長率を用いてタイムストレッチ処理した信号Ｓｒ［１］を、信号Ｓｒ［１，１］〜信号Ｓｒ［１，１０］と表す。同期部１３は、これら１０個の信号Ｓｒ［１，１］〜［１，１０］について、それぞれ、信号Ｓｒ［２］との相互相関を計算する。同期部１３は、これら１０個の計算結果のうち相互相関が最大となる信号Ｓｒ［１，ｘ］を用いた相互層間の計算結果から、時間差τを得る。
【００３２】
なお、この例で示すように、区間Ｄ１〜Ｄ４は、の境界は、区間Ｄｖの境界と一致している必要はない。区間Ｄｖの位置が不明な状態でタイムストレッチ処理を行っても、タイムストレッチ処理をまったく行わない場合と比較して同期精度を向上させることができる。
【００３３】
再び図６を参照する。ステップＳ１１０において、同期部１３は、複数のタイムストレッチ条件の中から、相互相関Ｃｉｊ（τ）の絶対値｜Ｃｉｊ（τ）｜が最大となるタイムストレッチ条件を決定する。同期部１３は、このタイムストレッチ条件において計算された時間差τを、信号Ｓｔ［１］及び信号Ｓｔ［２］の時間差τとして決定する。
【００３４】
ステップＳ１１１において、制御部１５は、同期された信号Ｓｔ［１］及び信号Ｓｔ［２］を合成した信号Ｓｓを示すデータＤｓを生成する。ステップＳ１１２において、制御部１５は、データＤｓを出力する。例えば、制御部１５は、例えば、同期指示を出力した端末装置に対しデータＤｓを出力する。あるいは、制御部１５は、記憶部１４にデータＤｓを記憶してもよい。
【００３５】
信号Ｓｔが映像信号である場合において、データＤｓは、信号Ｓｔ［１］により示される映像を表示する領域及び信号Ｓｔ［２］により示される映像を表示する領域を１画面中に含む映像を示すデータである。データＤｓは、この映像に同期する音声として、信号Ｓｒ［１］により示される音及び信号Ｓｒ［２］により示される音の少なくとも一方を含む。一例において、データＤｓは、相互相関Ｃｉｊ（τ）の絶対値｜Ｃｉｊ（τ）｜が最大となるタイムストレッチ条件においてタイムストレッチ処理されていない信号Ｓｒを含み、タイムストレッチ処理された信号Ｓｒを含まない（すなわち、音源に対し移動していない装置２０において取得された音信号のみを含む）。あるいは、データＤｓは、第１チャンネルに信号Ｓｒ［１］を含み、第２チャンネルに信号Ｓｒ［２］を含んでもよい。
【００３６】
本実施形態によれば、音源に対して移動している装置において取得した音信号を信号Ｓｒとして用いて信号Ｓｔを同期する例において、タイムストレッチ処理を用いない場合と比較して同期精度を向上させることができる。
【００３７】
本実施形態は、一例としては以下のシーンに利用することができる。装置２０［１］及び装置２０［２］は、いずれも、マイクロフォンを内蔵したビデオカメラである。撮影の対象は、例えば水泳大会又は陸上競技大会である。プール又はトラックのレーンに沿ってあらかじめレールが設置してあり、装置２０［１］はこのレールの上を移動しながら選手を撮影する。装置２０［２］はスタート地点又はゴール地点に固定される。音源は、会場に流れているＢＧＭ（Background Music）である。あるいは、音源は、撮影される選手であってもよい（この場合、信号Ｓｒは、水しぶきの音又は足で地面を蹴る音の信号である）であってもよい。なお本願発明の利用シーンはこれに限定されない。例えば、コンサートにおける演奏者を固定カメラ及び移動カメラを用いて撮影するシーンに本願発明を利用してもよい。あるいは、自動車等の乗り物が被写体であってもよい。
【００３８】
３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。
【００３９】
３−１．変形例１
タイムストレッチ対象信号を複数の区間に区分する場合、タイムストレッチ部１２は、２つ以上の区間に対してタイムストレッチ処理を施してもよい。この場合において、タイムストレッチ部１２は、区間毎に個別に設定された伸張率を用いてタイムストレッチ処理を行ってもよい。
【００４０】
３−２．変形例２
相互相関が最大となるタイムストレッチ条件を探す際、タイムストレッチ部１２は、タイムストレッチ条件に関する少なくとも１つのパラメータについて、まず粗い精度で最適な範囲を絞り込んだ後に、次により詳細な精度で条件の最適化を行ってもよい。一例において、タイムストレッチ部１２は、タイムストレッチ対象信号を例えば５分割し、各区間について最適な伸長率を得る。その後で、タイムストレッチ部１２は、元の信号との伸長率の差の絶対値が最も大きい区間をさらに複数の区間に区分し、相互相関が最大となる条件を探す。
【００４１】
３−３．変形例３
例えば音源が発する音の周波数が既知である場合、タイムストレッチ部１２は、信号Ｓｒの周波数が音源の周波数と一致するようにタイムストレッチ条件を探してもよい。
【００４２】
３−４．他の変形例
２つの信号を同期するための具体的方法は、相互相関を用いるものに限定されない。例えば、信号Ｓｒ［１］と信号Ｓｒ［２］とのパターンマッチングにより、信号Ｓｔ［１］及びＳｔ［２］が同期されてもよい。
【００４３】
信号同期システム１の機能を実現するためのハードウェア構成は、実施形態において例示したものに限定されない。要求される機能を実現できるものであれば、信号同期システム１はどのようなハードウェア構成を有していてもよい。また、機能とハードウェアとの対応関係は、実施形態で例示したものに限定されない。例えば、実施形態において信号同期装置１０に実装されていた機能を、２台以上の装置に分散して実装してもよい。また、実施形態又は変形例において信号同期装置１０に実装されていた機能の少なくとも一部を、装置２０に実装してもよい。例えば、装置２０自身が信号同期装置１０としての機能を有してもよい。この場合、例えば装置２０［１］は、装置２０［２］からデータＤｔ［２］及びデータＤｒ［２］を取得し、自身で記憶しているデータＤｔ［１］及びデータＤｒ［１］を用いて、信号Ｓｔ［１］及び信号Ｓｔ［２］を同期する。
【００４４】
実施形態においては２個の信号を同期する例を説明したが、同期される信号の数は２個に限定されない。３個以上の信号が同期されてもよい。
【００４５】
信号同期装置１０及び装置２０において実行されるプログラムは、光ディスク、磁気ディスク、半導体メモリなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。また、このプログラムは、実施形態において例示したステップを備える必要はない。これらのステップの一部が省略されてもよい。また、これらのステップの一部の順番が入れ替えられてもよい。
【符号の説明】
【００４６】
１…信号同期システム、１０…信号同期装置、１１…信号取得部、１２…タイムストレッチ部、１３…同期部、１４…記憶部、１５…制御部、１６…通信部、２０…装置、２１…生成部、２２…取得部、２３…記憶部、２４…送信部、２５…ＵＩ部、２６…制御部、１０１…ＣＰＵ、１０２…メモリ、１０３…ストレージ、１０４…通信ＩＦ、２０１…ＣＰＵ、２０２…メモリ、２０３…ストレージ、２０４…移動体通信部、２０５…無線ＬＡＮ通信部、２０６…カメラ、２０７…マイクロフォン、２０８…タッチスクリーン
【図１】
2019176229.tif 000005
【図２】
2019176229.tif 000006
【図３】
2019176229.tif 000007
【図４】
2019176229.tif 000008
【図５】
2019176229.tif 000009
【図６】
2019176229.tif 000010
【図７】
2019176229.tif 000011