(57)【要約】【課題】像を撮影した装置と音源との距離の差に起因する映像の同期のずれを緩和する。【解決手段】一実施形態に係る情報処理方法は、第１音源及び第２音源からの音を第１マイクロフォンを用いて記録した音信号を示す第１データ、第１音源及び第２音源からの音を第２マイクロフォンを用いて記録した音信号を示す第２データ、及び前記第１データ又は前記第２データから前記第１音源の音を分離した音信号を示す第３データの相互相関を示す特徴量を計算するステップと、前記特徴量を用いて、前記第１音源及び前記第２音源の距離に関する情報を計算するステップとを有する情報処理方法を有する。【選択図】図６
2018155897.tif 000002
【特許請求の範囲】
【請求項１】
第１音源及び第２音源からの音を第１マイクロフォンを用いて記録した音信号を示す第１データ、第１音源及び第２音源からの音を第２マイクロフォンを用いて記録した音信号を示す第２データ、及び前記第１データ又は前記第２データから前記第１音源の音を分離した音信号を示す第３データの相互相関を示す特徴量を計算するステップと、
前記特徴量を用いて、前記第１音源及び前記第２音源の距離に関する情報を計算するステップと
を有する情報処理方法。
【請求項２】
前記第１データ及び前記第２データには、それぞれ映像データが含まれ、
前記第１データ及び前記第２データに含まれる音並びに前記計算された距離を用いて、前記第１データに含まれる映像データと前記第２データに含まれる映像データとを同期するステップと
を有する請求項１に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２個以上の時系列データを同期する技術に関する。
【背景技術】
【０００２】
映像又は音声等、センサーを用いて記録された２個以上の時系列データを同期させる技術が知られている。例えば特許文献１には、複数の撮像装置において撮影された複数の画像を同期して再生する技術が記載されている。具体的には、特許文献１においては、２台の撮像装置の各々において複数の画像を撮影する際に録音された音声データを用いて２台の撮像装置における画像の撮影時刻のずれを示す時間ずれ情報を生成する。２台の撮像装置は、この時間ずれ情報を用いて決定されるタイミングで画像の再生を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１９３５６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
音を用いて２つの映像を同期しようとすると、これら２つの映像を撮影した装置と音源との距離の差、及び光速と音速との差により、２つの映像がずれてしまう場合があった。
【０００５】
これに対し本発明は、映像を撮影した装置と音源との距離の差に起因する映像の同期のずれを緩和する技術を提供する。
【課題を解決するための手段】
【０００６】
本発明は、第１音源及び第２音源からの音を第１マイクロフォンを用いて記録した音信号を示す第１データ、第１音源及び第２音源からの音を第２マイクロフォンを用いて記録した音信号を示す第２データ、及び前記第１データ又は前記第２データから前記第１音源の音を分離した音信号を示す第３データの相互相関を示す特徴量を計算するステップと、前記特徴量を用いて、前記第１音源及び前記第２音源の距離に関する情報を計算するステップとを有する情報処理方法を提供する。
【０００７】
前記第１データ及び前記第２データには、それぞれ映像データが含まれ、この情報処理方法は、前記第１データ及び前記第２データに含まれる音並びに前記計算された距離を用いて、前記第１データに含まれる映像データと前記第２データに含まれる映像データとを同期するステップとを有してもよい。
【発明の効果】
【０００８】
本発明によれば、映像を撮影した装置と音源との距離の差に起因する映像の同期のずれを緩和することができる。
【図面の簡単な説明】
【０００９】
【図１】一実施形態に係るデータ同期システム１の機能構成を例示する図。
【図２】一実施形態の原理を示す図。
【図３】サーバ装置１０のハードウェア構成を例示する図。
【図４】クライアント装置２０のハードウェア構成を例示する図。
【図５】データ同期システム１における動作の概要を示すシーケンスチャート。
【図６】ステップＳ８における同期処理の詳細を例示するフローチャート。
【図７】ステップＳ８０６において生成されるデータを例示する図。
【発明を実施するための形態】
【００１０】
１．概要及び構成
図１は、一実施形態に係るデータ同期システム１の機能構成を例示する図である。データ同期システム１は、データ同期サービスを提供する。データ同期サービスは、Ｎ個のデータＤ［１］〜Ｄ［Ｎ］を同期するサービスである。データＤは、センサー（図示略）により検知された時系列データの一例である。センサーは何を検知するものであってもよいが、一例としては映像センサーであるカメラ及び音センサーであるマイクロフォンである。時系列データとは、センサーの出力信号を時間の経過とともに記録したデータをいう。この例においてデータＤは動画データである。各動画データは、映像トラック（映像データ）及び音声トラック（音データ）を含む。データ同期システム１は、複数の動画データを、音声トラックを基準に用いて同期する。
【００１１】
ここで、データＤ［ｉ］及びデータＤ［ｊ］の２個のデータの同期処理は以下のとおり行われる。同期処理において、データＤ［ｉ］及びデータＤ［ｊ］の相関を示す特徴量を用いて同期を行うことをいう。相関を示す特徴量は、データＤ［ｉ］の音データにより示される信号波形と、データＤ［ｊ］の音データにより示される信号波形との相互相関Ｃｉｊ（τ）の絶対値｜Ｃｉｊ（τ）｜を最大とする時間差τである。相互相関Ｃｉｊ（τ）は例えば次式（１）で表される。
【数１】
2018155897.tif 000003
ここで、音信号ｙｉはデータＤ［ｉ］に含まれる音データにより示される音信号であり、音信号ｙｊはデータＤ［ｊ］に含まれる音データにより示される音信号である。式（１）は、音信号ｙｉ(ｔ)の始点と音信号ｙｊ(ｔ)の始点とを時間領域において一致させてから、音信号ｙｉ(ｔ)に対する音信号ｙｊ(ｔ)の時間差（時間軸上のシフト量）τを変数として両者間の信号波形の相関の程度を示した数値列を示す。時間差τは、負の値もとり得る。例えば、データＤ［ｊ］が時間領域においてデータＤ［ｉ］の後方に位置する場合、時間差τは正であり、データＤ［ｊ］が時間領域においてデータＤ［ｉ］の前方に位置する場合、時間差τは負である。別の例において、相互相関Ｃｉｊ（τ）は次式（２）で表される。
【数２】
2018155897.tif 000004
式（２）は、音信号ｙｉ（ｔ）の周波数スペクトルＹｉ（ｆ）と音信号ｙｊ（ｔ）の周波数スペクトルＹｊ（ｆ）とのクロススペクトルの逆フーリエ変換を意味する。Ｙｉ＊（ｆ）はＹｉ（ｆ）の複素共役である。
【００１２】
ここで、音声トラックを基準として用いて動画データを同期する技術には、音速と光束との差の壁という問題がある。例えば、ステージ上で音楽を演奏している演奏者を２つの撮像装置（撮像装置Ｃ１及び撮像装置Ｃ２）で動画撮影する状況を考える。撮像装置Ｃ１はステージのすぐ近くに設置され、撮像装置Ｃ２はステージから３４０ｍ離れた位置に設置されている。撮像装置Ｃ１により記録された動画データにおいて、音と映像がほぼ同期している。一方、撮像装置Ｃ２により記録された動画データにおいて、映像に対し音は約１秒遅れる。これは、光速が約３×１０8ｍ／ｓであるのに対し、音速は約３４０ｍ／ｓであるためである。この状況で、これら２つの動画データを、音声トラックを基準として同期すると、撮像装置Ｃ１により記録された映像が、撮像装置Ｃ２により記録された映像に対して約１秒遅れた状態になる。本実施形態はこの問題に対処する。
【００１３】
図２は、一実施形態の原理を示す図である。ここでは以下の状況を想定する。音源Ａ（第１音源の一例）及び音源Ｂ（第２音源の一例）の２つの音源が、異なる位置に存在する。これらの音源から発せられた音を撮像装置Ｃ１及び撮像装置Ｃ２を用いて記録する。撮像装置Ｃ１及び撮像装置Ｃ２は、それぞれ、カメラ及びマイクロフォンを有する。撮像装置Ｃ１のマイクロフォンは第１マイクロフォンの一例であり、撮像装置Ｃ２のマイクロフォンは第２マイクロフォンの一例である。撮像装置Ｃ１において動画の記録を開始した時刻と撮像装置Ｃ２において動画の記録を開始した時刻とは異なっており、両者の差はｔ０である（撮像装置Ｃ２における開始時刻が遅いときにｔ０は正である）。撮像装置Ｃ１から音源Ａ及び音源Ｂまでの距離は、それぞれＬ１及びＬ２である。撮像装置Ｃ２から音源Ａ及び音源Ｂまでの距離は、それぞれＬ３及びＬ４である。Ｌ１とＬ３とは互いに異なっている。Ｌ２とＬ４とも互いに異なっている。音源Ａと音源Ｂとを比較すると、音量が大きい等の理由により、音源Ａの方が相互相関に対する寄与が大きい。
【００１４】
ここで、動画データＤ［１］及び動画データＤ［２］から以下の音信号を得ることを考える。
ｙ［１，ｏ］：動画データＤ［１］の音声トラックに記録された音信号。
ｙ［１，Ａ］：音信号ｙ［１，ｏ］から音源Ａの音を抽出した音信号。
ｙ［１，Ｂ］：音信号ｙ［１，ｏ］から音源Ｂの音を抽出した音信号。
ｙ［２，ｏ］：動画データＤ［２］の音声トラックに記録された音信号。
ｙ［２，Ａ］：音信号ｙ［２，ｏ］から音源Ａの音を抽出した音信号。
ｙ［２，Ｂ］：音信号ｙ［２，ｏ］から音源Ｂの音を抽出した音信号。
音信号ｙ［ｉ，ｊ］及び音信号ｙ［ｓ，ｔ］の相互相関から計算される時間差をτ［ｉ，ｊ，ｓ，ｔ］と表すと、例えば、
τ［１，ｏ，２，ｏ］＝ｔ０＋ｔｍ      …（３）
τ［１，ｏ，２，Ａ］＝ｔ０＋ｔＡ      …（４）
τ［１，ｏ，２，Ｂ］＝ｔ０＋ｔＢ      …（５）
である。なお、ｔｍは音源Ａと音源Ｂとを合成した仮想音源から撮像装置Ｃ１までの距離とこの仮想音源から撮像装置Ｃ２までの距離との差に起因する時間差を表す。ｔＡは音源Ａから撮像装置Ｃ１までの距離と音源Ａから撮像装置Ｃ２までの距離との差に起因する時間差を示す。なお、音源Ａと音源Ｂのうち音源Ａの方が相互相関に対する寄与が十分に大きい場合、ｔｍ＝ｔＡとなる。ｔＢは音源Ｂから撮像装置Ｃ１までの距離と音源Ｂから撮像装置Ｃ２までの距離との差に起因する時間差を示す。
【００１５】
ここで、式（３）におけるｔｍの項を誤差項と考えると、音信号ｙ［１，ｏ］及び音信号ｙ［２，ｏ］の相互相関から得られる時間差τは、撮像装置Ｃ１及び撮像装置Ｃ２において動画の記録を開始した時刻の差にほぼ相当する。すなわち、式（３）から時間差ｔ０が得られる。時間差ｔ０が得られれば、式（４）及び式（５）から時間差ｔＡ及び時間差ｔＢが得られる。例えば被写体が音源Ｂであった場合、時間差ｔＢの分だけ、画像データＤ［２］の映像トラックを音声トラックに対してずらすことにより、画像データＤ［１］と画像データＤ［２］との映像におけるタイミングのずれを緩和することができる。
【００１６】
再び図１を参照して説明する。この例において、データ同期システム１は、サーバ装置１０及び複数のクライアント装置２０を有する。サーバ装置１０は、データ同期サービスにおけるサーバとして機能する情報処理装置である。クライアント装置２０は、データ同期サービスにおけるクライアントとして機能する情報処理装置である。一のクライアント装置２０を他のクライアント装置２０と区別するときは、クライアント装置２０Ａのように添字を用いる。サーバ装置１０は、入力部１１、記憶部１２、取得部１３、音源分離部１４、特徴量計算部１５、距離計算部１６、同期処理部１７、及び出力部１８を有する。クライアント装置２０は、データ取得部２１、記憶部２２、アップロード部２３、ダウンロード部２４、再生部２５、及びＵＩ部２６を有する。
【００１７】
クライアント装置２０において、データ取得部２１は、データＤを取得する。クライアント装置２０は、外部の撮像装置（例えばデジタルビデオカメラ）により撮影されたデータＤを取得してもよいし、クライアント装置２０に内蔵された撮像装置により撮影されたデータＤを取得してもよい（撮像装置は図３において略）。記憶部２２は、各種のデータを記憶する。この例において、記憶部２２は、データ取得部２１により取得されたデータＤを記憶する。アップロード部２３は、記憶部２２に記憶されているデータＤをサーバ装置１０にアップロード（すなわち送信）する。
【００１８】
サーバ装置１０において、入力部１１は、２個以上のセンサーを用いて記録された２個以上の時系列データの入力を受け付ける。２個以上のセンサーとは、物理的に２個以上のセンサーを意味する。これら２個以上のセンサーは、同種のもの（例えば２個以上のマイクロフォン）であってもよいし、異種のもの（例えば１個以上のカメラ及び１個以上のマイクロフォン）であってもよい。ここでは前者の例を用いて説明する。この例においてデータＤ［１］〜Ｄ［Ｎ］は、それぞれ異なるクライアント装置２０において取得されたデータである。例えば、データＤ［１］はクライアント装置２０Ａにおいて取得されたデータであり、データＤ［２］はクライアント装置２０Ｂにおいて取得されたデータである。
【００１９】
記憶部１２は、各種のデータを記憶する。記憶部１２に記憶されるデータには、例えば、データＤ［１］〜Ｄ［Ｎ］が含まれる。
【００２０】
取得部１３は、同期の対象となるデータＤを記憶部１２から取得する（すなわち読み出す）。この例において、取得部１３は、データＤ［１］（第１データの一例）及びデータＤ［２］（第２データの一例）を取得する。データＤ［１］及びデータＤ［２］はいずれも、音源Ａ及び音源Ｂの２つの音源からの音を含む音信号を記録した音声トラックを含む。なお、取得部１３がこれらのデータを取得するタイミングは同時である必要はなく、それぞれどのようなタイミングで取得されてもよい。
【００２１】
音源分離部１４は、取得部１３により取得されたデータＤのうち少なくとも一部について、音源分離処理を行う。音源分離処理とは、データＤに含まれる音声トラックに記録された音信号から、音源Ａ及び音源Ｂの少なくとも一方の音を分離又は抽出する処理をいう。音源分離処理としては周知の技術を用いることができる（ただし、位相情報を保持する必要があるので線形処理に限られる）。一例において、音源分離部１４は、バンドパスフィルターを用いて音源を分離する。例えば、音源Ａが発する音の周波数帯が、音源Ｂが発する音の周波数帯と異なっている場合はバンドパスフィルターにより音源Ａの音と音源Ｂの音とを分離することができる。取得部１３は、さらに、音源分離部１４により音源分離処理されたデータを取得する。このデータは第３データの一例である。
【００２２】
特徴量計算部１５は、第１データ、第２データ、及び第３データから選択された２個のデータの相互相関を示す特徴量を、２組以上の組み合わせについて計算する。距離計算部１６は、特徴量計算部１５により計算された２つ以上の特徴量を用いて、音源Ａ及び音源Ｂの距離に関する情報を計算する。
【００２３】
同期処理部１７は、データＤ［１］及びデータＤ［２］を同期する。ここで、データＤ［１］及びデータＤ［２］を同期するとは、データＤ［１］及びデータＤ［２］の時間領域における相対的な位置関係を特定することをいう。一例において、同期処理部１７は、データＤ［１］及びデータＤ［２］の時間領域における相対的な位置関係を調整して合成し、新たな時系列データを生成する。別の例において、同期処理部１７は、データＤ［１］及びデータＤ［２］の時間領域における相対的な位置関係を示すデータを生成する。
【００２４】
この例において、同期処理部１７は、さらに、距離計算部１６により計算された距離を用いて、映像と音声とのずれを緩和するよう調整する。出力部１８は、同期処理部１７により生成されたデータを出力する。
【００２５】
図３は、サーバ装置１０のハードウェア構成を例示する図である。サーバ装置１０は、ＣＰＵ（Central Processing Unit）１０１、メモリー１０２、ストレージ１０３、及び通信ＩＦ１０４を有するコンピュータ装置である。ＣＰＵ１０１は、プログラムに従って各種の演算を行い、サーバ装置１０の他のハードウェア要素を制御する制御装置である。メモリー１０２はＣＰＵ１０１が処理を実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む。ストレージ１０３は各種のデータ及びプログラムを記憶する補助記憶装置であり、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）を含む。通信ＩＦ１０４は、所定の通信規格に従って他の装置と通信を行うための装置であり、例えばＮＩＣ（Network Interface Card）を含む。
【００２６】
この例において、ストレージ１０３はコンピュータ装置をデータ同期システム１におけるサーバ装置１０として機能させるためのプログラム（以下「サーバプログラム」という）を記憶する。ＣＰＵ１０１がサーバプログラムを実行することにより、図３に示した機能がコンピュータ装置に実装される。ＣＰＵ１０１がサーバプログラムを実行している状態において、通信ＩＦ１０４は入力部１１及び出力部１８の一例である。メモリー１０２及びストレージ１０３の少なくとも一方は記憶部１２の一例である。ＣＰＵ１０１は、取得部１３、音源分離部１４、特徴量計算部１５、距離計算部１６、及び同期処理部１７の一例である。
【００２７】
図４は、クライアント装置２０のハードウェア構成を例示する図である。クライアント装置２０は、ＣＰＵ２０１、メモリー２０２、ストレージ２０３、通信ＩＦ２０４、入力装置２０５、カメラ２０６、マイクロフォン２０７、ディスプレイ２０８、及びスピーカ２０９を有するコンピュータ装置、例えばスマートフォン、タブレット端末、又はパーソナルコンピュータである。ＣＰＵ２０１は、プログラムに従って各種の演算を行い、クライアント装置２０の他のハードウェア要素を制御する制御装置である。メモリー２０２はＣＰＵ２０１が処理を実行する際のワークエリアとして機能する主記憶装置であり、例えばＲＯＭ及びＲＡＭを含む。ストレージ２０３は各種のデータ及びプログラムを記憶する補助記憶装置であり、例えばＳＳＤ又はＨＤＤを含む。通信ＩＦ２０４は、所定の通信規格に従って他の装置と通信を行うための装置であり、例えば無線通信を行うためのアンテナ及びチップセットを含む。入力装置２０５はユーザーが情報又は指示を入力するための装置であり、例えばタッチデバイスを含む。カメラ２０６は、映像を撮影し、撮影した映像をデータとして記録するための装置である。ここでいう映像は、静止画及び動画の双方を含む概念である。マイクロフォン２０７は、音声を集音し、集音した音声をデータとして記録するための装置である。ディスプレイ２０８は、映像を出力する装置である。スピーカ２０９は、音声を出力する装置である。
【００２８】
この例において、ストレージ２０３はコンピュータ装置をデータ同期システム１におけるクライアント装置２０として機能させるためのプログラム（以下「クライアントプログラム」という）を記憶する。ＣＰＵ２０１がクライアントプログラムを実行することにより、図３に示した機能がコンピュータ装置に実装される。ＣＰＵ２０１がサーバプログラムを実行している状態において、ＣＰＵ２０１は、データ取得部２１及び再生部２５の一例である。メモリー２０２及びストレージ２０３の少なくとも一方は記憶部２２の一例である。通信ＩＦ２０４はアップロード部２３及びダウンロード部２４の一例である。入力装置２０５及びディスプレイ２０８はＵＩ部２６の一例である。
【００２９】
２．動作
図５は、データ同期システム１における動作の概要を示すシーケンスチャートである。ここでは、サーバ装置１０、及びクライアント装置２０Ａ〜２０Ｄの４台のクライアント装置２０のみを図示する。クライアント装置２０Ａ〜２０Ｃは、それぞれ、図７の処理に先立ってデータＤ［１］〜Ｄ［３］を取得する。ステップＳ１において、クライアント装置２０Ａは、データＤ［１］をサーバ装置１０にアップロードする。ステップＳ２において、サーバ装置１０は、データＤ［１］を記憶する。ステップＳ３において、クライアント装置２０Ｂは、データＤ［２］をサーバ装置１０にアップロードする。ステップＳ４において、サーバ装置１０は、データＤ［２］を記憶する。ステップＳ５において、クライアント装置２０Ｃは、データＤ［３］をサーバ装置１０にアップロードする。ステップＳ６において、サーバ装置１０は、データＤ［３］を記憶する。図示していないクライアント装置２０も含めて、例えばＣ台のクライアント装置２０（Ｃは例えば３以上の自然数）からそれぞれデータＤがアップロードされたとすると、サーバ装置１０は、記憶部１２にデータＤ［１］〜Ｄ［Ｃ］を記憶する。
【００３０】
ステップＳ７において、クライアント装置２０Ｄは、Ｎ個（Ｎは、例えば２≦Ｎ≦Ｃを満たす自然数）のデータＤの同期要求をサーバ装置１０に送信する。ここでは便宜的に、同期要求によりデータＤ［１］及びデータＤ［２］が指定される例を説明する。この同期要求は、データＤ［１］及びデータＤ［２］の識別子、並びにクライアント装置２０Ｄの識別子を含む。ステップＳ８において、サーバ装置１０は、同期要求に従って複数のデータＤを同期する。ステップＳ９において、クライアント装置２０Ｄは、同期されたデータをダウンロードする。ステップＳ１０において、クライアント装置２０Ｄは、ダウンロードしたデータを再生する。
【００３１】
図６は、ステップＳ８における同期処理（情報処理方法）の詳細を例示するフローチャートである。以下においては取得部１３等の機能要素を処理の主体として説明するが、これは、サーバプログラムを実行しているＣＰＵ１０１が他のハードウェア要素と協働して処理を実行することを意味する。
【００３２】
ステップＳ８０１において、取得部１３は、同期要求により指定されたデータＤ（この例においてはデータＤ［１］及びデータＤ［２］）を記憶部１２から取得する（すなわち読み出す）。
【００３３】
ステップＳ８０２において、音源分離部１４は、取得部１３により取得されたデータＤに対し、音源分離処理を行う。この例において、音源分離部１４は、データＤ［２］に対し音源分離処理を行い、データＤ［２］の音声トラックに記録された音信号ｙ［２，ｏ］から、音信号ｙ［２，Ａ］及び音信号ｙ［２，Ｂ］を分離する。
【００３４】
ステップＳ８０３において、特徴量計算部１５は、音源分離部１４において得られた音信号を含む複数の音信号につき、相互相関を示す特徴量である時間差τ（式（１））を計算する。この例において、特徴量計算部１５は、以下の組み合わせの音信号について時間差τを計算する。
ｙ［１，ｏ］とｙ［２，ｏ］      …（６）
ｙ［１，ｏ］とｙ［２，Ａ］      …（７）
ｙ［１，ｏ］とｙ［２，Ｂ］      …（８）
【００３５】
ステップＳ８０４において、距離計算部１６は、特徴量計算部１５において得られた時間差τを用いて、音源Ａ及び音源Ｂの距離に関する情報を計算する。音源Ａ及び音源Ｂの距離に関する情報は、例えば、音源Ａから見たときの撮像装置Ｃ１までの距離と撮像装置Ｃ２までの距離との差に起因する時間差ｔＡ、及び音源Ｂから見たときの撮像装置Ｃ１までの距離と撮像装置Ｃ２までの距離との差に起因する時間差ｔＢの少なくとも一方を含む。
【００３６】
ステップＳ８０５において、同期処理部１７は、データＤ［１］とデータＤ［２］とを同期する。例えば、同期処理部１７は、データＤ［１］及びデータＤ［２］において、時間領域における相互の位置関係を時間差τに応じて調整し、合成したデータを生成する。なお、ここで用いられる時間差τは、ｙ［１，ｏ］とｙ［２，ｏ］との相互相関から得られる時間差τである。
【００３７】
ステップＳ８０６において、同期処理部１７は、距離計算部１６において計算された距離に関する情報を用いて、映像と音声とのずれを緩和するよう調整する。この調整は、被写体である音源に対応する時間差を用いて行われる。被写体が音源Ａである場合、時間差ｔＡが用いられる。被写体が音源Ｂである場合、時間差ｔＢが用いられる。この例において、同期処理部１７は、データＤ［２］の映像トラックの時間領域における位置を、被写体に対応する時間差の分だけずらす。
【００３８】
図７は、ステップＳ８０６において生成されるデータを例示する図である。この例においては、データＤ［２］の音声トラックは、データＤ［１］の音声トラックに対して時間差ｔ０だけ時間領域において後方に位置する。データＤ［１］の映像トラックは、データＤ［１］の音声トラックに対してｔＢだけ時間領域において前方に位置する（撮像装置Ｃ１の方が、音源Ｂから遠い位置で撮影した）。この例においては音源Ｂが被写体であり、データＤ［１］映像トラックと音声トラックとの時間差は、データＤ［１］の映像トラックとデータＤ［２］の映像トラックとの同期のずれを緩和するためのものである。
【００３９】
再び図６を参照して説明する。ステップＳ８０７において、出力部１８は、同期処理部１７により生成されたデータを出力する。この例によれば、データＤ［１］の映像トラックとデータＤ［２］の映像トラックとをより正確に同期することができる。
【００４０】
３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。
【００４１】
実施形態において音信号には複数の音源からの音が含まれる例を説明した。しかし、音信号には単一の音源からの音のみが含まれていてもよい。この場合において、音源分離部１４は、この音源からの音を、例えば低域成分及び高域成分に分離する。特徴量計算部１５は、元の音信号及び音源分離により得られた音信号を用いて、相互相関の特徴量を計算する。
【００４２】
データＤは動画データに限定されない。データＤは、センサーを用いて記録された時系列データであればどのようなデータでもよく、例えば、映像及び音声の少なくとも一方に代えて、又は加えて、他の情報を含んでもよい。
【００４３】
データ同期システム１の機能を実現するためのハードウェア構成は、図３及び図４で例示したものに限定されない。要求される機能を実現できるものであれば、データ同期システム１はどのようなハードウェア構成を有していてもよい。また、機能とハードウェアとの対応関係は、実施形態で例示したものに限定されない。例えば、実施形態においてサーバ装置１０に実装されていた機能を、２台以上の装置に分散して実装してもよい。あるいは、実施形態においてサーバ装置１０に実装されている機能の少なくとも一部を、クライアント装置２０に実装してもよい。例えば、データ同期システム１のすべての機能を、単一の情報処理装置に実装してもよい。
【００４４】
サーバ装置１０及びクライアント装置２０において実行されるプログラムは、光ディスク、磁気ディスク、半導体メモリーなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。また、このプログラムは、図６のすべてのステップを備える必要はない。これらのステップの一部が省略されてもよい。
【符号の説明】
【００４５】
１…データ同期システム、１０…サーバ装置、１１…入力部、１２…記憶部、１３…取得部、１４…音源分離部、１５…特徴量計算部、１６…距離計算部、１７…同期処理部、１８…出力部、２０…クライアント装置、２１…データ取得部、２２…記憶部、２３…アップロード部、２４…ダウンロード部、２５…再生部、２６…ＵＩ部、１０１…ＣＰＵ、１０２…メモリー、１０３…ストレージ、１０４…通信ＩＦ、２０１…ＣＰＵ、２０２…メモリー、２０３…ストレージ、２０４…通信ＩＦ、２０５…入力装置、２０６…カメラ、２０７…マイクロフォン、２０８…ディスプレイ、２０９…スピーカ
【図１】
2018155897.tif 000005
【図２】
2018155897.tif 000006
【図３】
2018155897.tif 000007
【図４】
2018155897.tif 000008
【図５】
2018155897.tif 000009
【図６】
2018155897.tif 000010
【図７】
2018155897.tif 000011