(57)【特許請求の範囲】
【請求項１】
第１のコンテンツに含まれる音響信号の周期性情報を第１の周期性情報として検出する第１の周期性検出部と、
第２のコンテンツに含まれる音響信号の前記周期性情報を第２の周期性情報として検出する第２の周期性検出部と、
前記第１の周期性検出部により検出された前記第１の周期性情報と、前記第２の周期性検出部により検出された前記第２の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と、
前記第１のコンテンツに含まれる音響信号を帯域分割する第１の帯域分割部と、
前記第２のコンテンツに含まれる音響信号を帯域分割する第２の帯域分割部と、
全帯域の前記第１の周期性情報を統合する第１の周期性情報統合部と、
全帯域の前記第２の周期性情報を統合する第２の周期性情報統合部と
を備え、
前記第１の周期性検出部は、前記第１の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第１の周期性情報として検出し、
前記第２の周期性検出部は、前記第２の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第２の周期性情報として検出し、
前記第１の周期性情報統合部は、前記第１の周期性検出部により検出された帯域ごとの前記第１の周期性情報を全帯域分統合し、
前記第２の周期性情報統合部は、前記第２の周期性検出部により検出された帯域ごとの前記第２の周期性情報を全帯域分統合する
信号処理装置。
【請求項２】
前記第１の周期性検出部により検出された前記第１の周期性情報の強度を検出する第１の周期性強度検出部と、
前記第２の周期性検出部により検出された前記第２の周期性情報の強度を検出する第２の周期性強度検出部と
をさらに備え、
前記第１の周期性情報統合部は、前記第１の周期性強度検出部により検出された前記第１の周期性情報の強度に基づいて、前記第１の周期性情報を全帯域分統合し、
前記第２の周期性情報統合部は、前記第２の周期性強度検出部により検出された前記第２の周期性情報の強度に基づいて、前記第２の周期性情報を全帯域分統合する
請求項１に記載の信号処理装置。
【請求項３】
前記類似度計算部は、前記第１の周期性情報と前記第２の周期性情報との類似度を時間区間ごとに計算し、
前記同期情報生成部は、前記時間区間ごとの類似度に基づいて、前記時間区間ごとに前記同期情報を生成する
請求項１または２に記載の信号処理装置。
【請求項４】
前記類似度計算部は、各時間区間の前記第１の周期性情報と前記第２の周期性情報の類似度を表す類似度マトリックスを生成し、
前記同期情報生成部は、前記類似度マトリックス上の最適なパスを表す情報を、前記同期情報として生成する
請求項３に記載の信号処理装置。
【請求項５】
前記第１の周期性情報は、前記第１のコンテンツに含まれる音響信号の自己相関関数であり、
前記第２の周期性情報は、前記第２のコンテンツに含まれる音響信号の自己相関関数である
請求項１乃至４のいずれかに記載の信号処理装置。
【請求項６】
信号処理装置が、
第１のコンテンツに含まれる音響信号の周期性情報を第１の周期性情報として検出する第１の周期性検出ステップと、
第２のコンテンツに含まれる音響信号の前記周期性情報を第２の周期性情報として検出する第２の周期性検出ステップと、
前記第１の周期性検出ステップの処理により検出された前記第１の周期性情報と、前記第２の周期性検出ステップの処理により検出された前記第２の周期性情報との類似度を計算する類似度計算ステップと、
前記類似度計算ステップの処理により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成ステップと、
前記第１のコンテンツに含まれる音響信号を帯域分割する第１の帯域分割ステップと、
前記第２のコンテンツに含まれる音響信号を帯域分割する第２の帯域分割ステップと、
全帯域の前記第１の周期性情報を統合する第１の周期性情報統合ステップと、
全帯域の前記第２の周期性情報を統合する第２の周期性情報統合ステップと
を含み、
前記第１の周期性検出ステップの処理では、前記第１の帯域分割ステップの処理により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第１の周期性情報として検出し、
前記第２の周期性検出ステップの処理では、前記第２の帯域分割ステップの処理により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第２の周期性情報として検出し、
前記第１の周期性情報統合ステップの処理では、前記第１の周期性検出ステップの処理により検出された帯域ごとの前記第１の周期性情報を全帯域分統合し、
前記第２の周期性情報統合ステップの処理では、前記第２の周期性検出ステップの処理により検出された帯域ごとの前記第２の周期性情報を全帯域分統合する
信号処理方法。
【請求項７】
コンピュータを、
第１のコンテンツに含まれる音響信号の周期性情報を第１の周期性情報として検出する第１の周期性検出部と、
第２のコンテンツに含まれる音響信号の前記周期性情報を第２の周期性情報として検出する第２の周期性検出部と、
前記第１の周期性検出部により検出された前記第１の周期性情報と、前記第２の周期性検出部により検出された前記第２の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と、
前記第１のコンテンツに含まれる音響信号を帯域分割する第１の帯域分割部と、
前記第２のコンテンツに含まれる音響信号を帯域分割する第２の帯域分割部と、
全帯域の前記第１の周期性情報を統合する第１の周期性情報統合部と、
全帯域の前記第２の周期性情報を統合する第２の周期性情報統合部と
を備え、
前記第１の周期性検出部は、前記第１の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第１の周期性情報として検出し、
前記第２の周期性検出部は、前記第２の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第２の周期性情報として検出し、
前記第１の周期性情報統合部は、前記第１の周期性検出部により検出された帯域ごとの前記第１の周期性情報を全帯域分統合し、
前記第２の周期性情報統合部は、前記第２の周期性検出部により検出された帯域ごとの前記第２の周期性情報を全帯域分統合する
信号処理装置として機能させるためのプログラム。
【請求項８】
第１のコンテンツに含まれる音響信号の周期性情報を第１の周期性情報として検出する第１の周期性検出部と、
第２のコンテンツに含まれる音響信号の前記周期性情報を第２の周期性情報として検出する第２の周期性検出部と、
前記第１の周期性検出部により検出された前記第１の周期性情報と、前記第２の周期性検出部により検出された前記第２の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と、
前記第１のコンテンツに含まれる音響信号を帯域分割する第１の帯域分割部と、
前記第２のコンテンツに含まれる音響信号を帯域分割する第２の帯域分割部と、
全帯域の前記第１の周期性情報を統合する第１の周期性情報統合部と、
全帯域の前記第２の周期性情報を統合する第２の周期性情報統合部と
を備え、
前記第１の周期性検出部は、前記第１の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第１の周期性情報として検出し、
前記第２の周期性検出部は、前記第２の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第２の周期性情報として検出し、
前記第１の周期性情報統合部は、前記第１の周期性検出部により検出された帯域ごとの前記第１の周期性情報を全帯域分統合し、
前記第２の周期性情報統合部は、前記第２の周期性検出部により検出された帯域ごとの前記第２の周期性情報を全帯域分統合する
電子機器。
【請求項９】
第１のコンテンツに含まれる音響信号の周期性情報を第１の周期性情報として検出する第１の周期性検出部と、
第２のコンテンツに含まれる音響信号の前記周期性情報を第２の周期性情報として検出する第２の周期性検出部と、
前記第１の周期性検出部により検出された前記第１の周期性情報と、前記第２の周期性検出部により検出された前記第２の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と、
前記第１のコンテンツに含まれる音響信号を帯域分割する第１の帯域分割部と、
前記第２のコンテンツに含まれる音響信号を帯域分割する第２の帯域分割部と、
全帯域の前記第１の周期性情報を統合する第１の周期性情報統合部と、
全帯域の前記第２の周期性情報を統合する第２の周期性情報統合部と
を備え、
前記第１の周期性検出部は、前記第１の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第１の周期性情報として検出し、
前記第２の周期性検出部は、前記第２の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第２の周期性情報として検出し、
前記第１の周期性情報統合部は、前記第１の周期性検出部により検出された帯域ごとの前記第１の周期性情報を全帯域分統合し、
前記第２の周期性情報統合部は、前記第２の周期性検出部により検出された帯域ごとの前記第２の周期性情報を全帯域分統合する
信号処理システム。
【請求項１０】
信号処理システムが、
第１のコンテンツに含まれる音響信号の周期性情報を第１の周期性情報として検出する第１の周期性検出ステップと、
第２のコンテンツに含まれる音響信号の前記周期性情報を第２の周期性情報として検出する第２の周期性検出ステップと、
前記第１の周期性検出ステップの処理により検出された前記第１の周期性情報と、前記第２の周期性検出ステップの処理により検出された前記第２の周期性情報との類似度を計算する類似度計算ステップと、
前記類似度計算ステップの処理により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成ステップと、
前記第１のコンテンツに含まれる音響信号を帯域分割する第１の帯域分割ステップと、
前記第２のコンテンツに含まれる音響信号を帯域分割する第２の帯域分割ステップと、
全帯域の前記第１の周期性情報を統合する第１の周期性情報統合ステップと、
全帯域の前記第２の周期性情報を統合する第２の周期性情報統合ステップと
を含み、
前記第１の周期性検出ステップの処理では、前記第１の帯域分割ステップの処理により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第１の周期性情報として検出し、
前記第２の周期性検出ステップの処理では、前記第２の帯域分割ステップの処理により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第２の周期性情報として検出し、
前記第１の周期性情報統合ステップの処理では、前記第１の周期性検出ステップの処理により検出された帯域ごとの前記第１の周期性情報を全帯域分統合し、
前記第２の周期性情報統合ステップの処理では、前記第２の周期性検出ステップの処理により検出された帯域ごとの前記第２の周期性情報を全帯域分統合する
信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置、信号処理方法、およびプログラム、電子機器、並びに、信号処理システムおよび信号処理システムの信号処理方法に関し、特に、コンテンツの同期情報をロバストに生成することができるようにした信号処理装置、信号処理方法、およびプログラム、電子機器、並びに、信号処理システムおよび信号処理システムの信号処理方法に関する。
【背景技術】
【０００２】
同一のイベントを複数の機器で録画または録音することにより得られるコンテンツを、時間的に同期させて再生したり、編集したりする場合、コンテンツ間の時間同期をとる必要がある。これは、同一のイベントを録画または録音する場合であっても収録開始時刻が機器ごとに異なるためと、機器ごとに内部クロックの周波数が僅かに違うことにより時間ずれが発生するためである。なお、コンテンツとは、ここでは、音響データ、画像データ、画像データとそれに対応する音響データなどを指す。
【０００３】
コンテンツを時間的に同期させる際に用いられる同期情報を生成する方法としては、コンテンツのファイルに付加された撮影時の時刻情報を用いる方法がある。しかしながら、必ずしもファイルに付加された撮影時の時刻情報が正確であるとは限らない。
【０００４】
また、同期情報を生成する方法としては、コンテンツに含まれる音響データの共通成分を用いる方法もある。しかしながら、録音された音響データは、風音やマイクの摺れ音、その他様々なノイズ音の音響データを含むため、共通成分が非常に小さくなる場合が多く存在する。
【０００５】
例えば、１つの機器で録音された音響データにのみノイズ音の音響データが含まれる場合や、各機器で録音された音響データに異なった種類のノイズ音の音響データが含まれる場合、共通成分は小さくなる。また、パーティー会場などで録音された音響データには、共通成分としてBGM(Background music)の音響データが含まれるが、各機器の周辺で異なった会話が行われており、その会話がBGMに重なって録音される場合にも、共通成分は小さくなる。特に、機器間の距離が離れている場合、共通成分の減少は顕著である。
【０００６】
そこで、ノイズ音に対してロバストに同期情報を生成する方法が望まれている。
【０００７】
しかしながら、特許文献１に記載されている、音響データのレベル情報を用いて同期情報を生成する方法では、ノイズ音に対してロバストに同期情報を生成することができない。また、特許文献２に記載されている、音響データの相関を用いて同期情報を生成する方法でも、ノイズ音に対してロバストに同期情報を生成することができない。また、特許文献２の発明は、音響データの一部の区間にのみ着目して相関を計算しているため、機器ごとに内部クロックの周波数が僅かに違うことにより時間経過とともに生じる同期ずれを補正することはできない。
【０００８】
一方、人間のピッチ知覚をモデル化して、計算機上で実現する手法が非特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−１０５４８号公報
【特許文献２】特開２０１０−１７１６２５号公報
【非特許文献】
【００１０】
【非特許文献１】A unitary model of pitch perception,J Acoust.Soc.Am.Volume 102,Issue 3,pp.1811-1820(1997),Ray Meddis and Lowel O'Mard
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述したように、ノイズ音に対してロバストに同期情報を生成する方法が望まれているが、そのような方法は考えられていなかった。
【００１２】
本技術は、このような状況に鑑みてなされたものであり、コンテンツの同期情報をロバストに生成することができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の一側面の信号処理装置は、第１のコンテンツに含まれる音響信号の周期性情報を第１の周期性情報として検出する第１の周期性検出部と、第２のコンテンツに含まれる音響信号の前記周期性情報を第２の周期性情報として検出する第２の周期性検出部と、前記第１の周期性検出部により検出された前記第１の周期性情報と、前記第２の周期性検出部により検出された前記第２の周期性情報との類似度を計算する類似度計算部と、前記類似度計算部により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と、前記第１のコンテンツに含まれる音響信号を帯域分割する第１の帯域分割部と、前記第２のコンテンツに含まれる音響信号を帯域分割する第２の帯域分割部と、全帯域の前記第１の周期性情報を統合する第１の周期性情報統合部と、全帯域の前記第２の周期性情報を統合する第２の周期性情報統合部とを備え、前記第１の周期性検出部は、前記第１の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第１の周期性情報として検出し、前記第２の周期性検出部は、前記第２の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第２の周期性情報として検出し、前記第１の周期性情報統合部は、前記第１の周期性検出部により検出された帯域ごとの前記第１の周期性情報を全帯域分統合し、前記第２の周期性情報統合部は、前記第２の周期性検出部により検出された帯域ごとの前記第２の周期性情報を全帯域分統合する信号処理装置である。
【００１４】
本技術の一側面の信号処理方法、プログラム、電子機器、信号処理システム、信号処理システムの信号処理方法は、本技術の一側面の信号処理装置に対応する。
【００１５】
本技術の一側面においては、第１のコンテンツに含まれる音響信号が帯域分割され、帯域分割された前記音響信号の周期性情報が帯域ごとに第１の周期性情報として検出されて全帯域分統合され、第２のコンテンツに含まれる音響信号が帯域分割され、帯域分割された前記音響信号の前記周期性情報が帯域ごとに第２の周期性情報として検出されて全帯域分統合され、前記第１の周期性情報と前記第２の周期性情報との類似度が計算され、前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報が生成される。
【発明の効果】
【００２４】
本技術によれば、コンテンツの同期情報をロバストに生成することができる。
【図面の簡単な説明】
【００２５】
【図１】本技術を適用した信号処理システムの第１実施の形態の構成例を示すブロック図である。
【図２】図１の特徴量算出部の構成例を示すブロック図である。
【図３】特徴量の時系列データの例を示す図である。
【図４】図１の同期情報生成部の構成例を示すブロック図である。
【図５】異なる周波数特性のノイズ音が付加された音響データを説明する図である。
【図６】類似度の計算の対象とするブロックを説明する図である。
【図７】類似度の計算方法を説明する図である。
【図８】類似度マトリックスの例を示す図である。
【図９】同期情報の例を示す図である。
【図１０】図１の信号処理装置の同期情報生成処理を説明するフローチャートである。
【図１１】本技術を適用した信号処理システムの第２実施の形態の概要を説明する図である。
【図１２】本技術を適用した信号処理システムの第３実施の形態の概要を説明する図である。
【図１３】特徴量算出部の他の構成例を示すブロック図である。
【図１４】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２６】
＜第１実施の形態＞
[信号処理システムの第１実施の形態の概要の説明]
図１は、本技術を適用した信号処理システムの第１実施の形態の構成例を示す図である。
【００２７】
図１に示すように、信号処理システム１０は、撮影装置１１−１および１１−２、並びに、信号処理装置１２により構成される。
【００２８】
撮影装置１１−１は、ビデオカメラ等により構成される。撮影装置１１−１は、撮影装置１１−２と同一のイベントの異なる動画像と音響を取得する。撮影装置１１−１は、その結果得られる動画像と音響のコンテンツＡを信号処理装置１２に送信する。
【００２９】
撮影装置１１−２は、撮影装置１１−１と同様に、ビデオカメラ等により構成される。撮影装置１１−２は、撮影装置１１−１と同一のイベントの異なる動画像と音響を取得する。撮影装置１１−１は、その結果得られる動画像と音響のコンテンツＢを信号処理装置１２に送信する。
【００３０】
なお、以下では、撮影装置１１−１と撮影装置１１−２を特に区別する必要がない場合、それらをまとめて、撮影装置１１という。 
【００３１】
信号処理装置１２は、特徴量算出部２１−１および２１−２、特徴量記憶部２２−１および２２−２、並びに同期情報生成部２３により構成される。
【００３２】
信号処理装置１２の特徴量算出部２１−１は、撮影装置１１−１から供給されるコンテンツＡのうちの音響データに基づいて特徴量の時系列データを算出し、特徴量記憶部２２−１に供給する。また、特徴量算出部２１−２は、撮影装置１１−２から供給されるコンテンツＡのうちの音響データに基づいて特徴量の時系列データを算出し、特徴量記憶部２２−２に供給する。
【００３３】
特徴量記憶部２２−１は、メモリやハードディスクなどにより構成され、特徴量算出部２１−１から供給されるコンテンツＡの特徴量の時系列データを記憶する。また、特徴量記憶部２２−２は、メモリやハードディスクなどにより構成され、特徴量算出部２１−２から供給されるコンテンツＢの特徴量の時系列データを記憶する。
【００３４】
同期情報生成部２３は、特徴量記憶部２２−１からコンテンツＡの特徴量の時系列データを読み出すとともに、特徴量記憶部２２−２からコンテンツＢの特徴量の時系列データを読み出す。同期情報生成部２３は、コンテンツＡの特徴量の時系列データと、コンテンツＢの特徴量の時系列データに基づいて、コンテンツＡとコンテンツＢを同期させる際に用いられる同期情報を生成する。同期情報生成部２３は、同期情報を出力する。
【００３５】
なお、以下では、特徴量算出部２１−１と特徴量算出部２１−２を特に区別する必要がない場合、それらをまとめて特徴量算出部２１という。また、特徴量記憶部２２−１と特徴量記憶部２２−２を特に区別する必要がない場合、それらをまとめて特徴量記憶部２２という。
【００３６】
[特徴量算出部の構成例]
図２は、図１の特徴量算出部２１の構成例を示すブロック図である。
【００３７】
図２の特徴量算出部２１は、周波数帯域分割部１０１、周期性検出部１０２−１乃至１０２−４、周期性強度検出部１０３−１乃至１０３−４、周期性情報統合部１０４、およびピーク検出部１０５により構成される。
【００３８】
周波数帯域分割部１０１は、図１の撮影装置１１から供給されるコンテンツのうちの音響データを、窓関数を用いて、数10msec乃至100msec程度の時間区間に分割する。周波数帯域分割部1０１は、複数のバンドパスフィルタを用いて、時間区間ごとの音響データを4つの周波数帯域に分割する。周波数帯域分割部１０１は、各周波数帯域の音響データを、周期性検出部１０２−１乃至１０２−４のそれぞれに供給する。
【００３９】
なお、バンドパスフィルタとしては、例えばオクターブバンドフィルタなどの、高い周波数ほど通過周波数帯域幅が広くなるフィルタを用いると効果的である。
【００４０】
周期性検出部１０２−１乃至１０２−４は、それぞれ、周波数帯域分割部１０１から供給される所定の周波数帯域の時間区間ごとの音響データの自己相関関数を計算することにより、時間区間ごとの周期性を表す周期性情報を抽出する。
【００４１】
なお、ここでは、周期性情報として、インデックスがbである周波数帯域の、インデックスがτである時間遅れの音響データの自己相関関数x(b,τ)そのものを用いるが、自己相関関数x(b,τ)をx(b,0)で除算した値を用いることもできる。また、自己相関関数x(b,τ)の計算方法としては、所定の周波数帯域の音響データに対して離散フーリエ変換を行うことにより得られるスペクトルのピークを用いた方法などを用いることができる。
【００４２】
周期性検出部１０２−１乃至１０２−４は、それぞれ、抽出された時間区間ごとの周期性情報を周期性強度検出部１０３−１乃至１０３−４と周期性情報統合部１０４に供給する。なお、以下では、周期性検出部１０２−１乃至１０２−４を特に区別する必要がない場合、それらをまとめて周期性検出部１０２という。
【００４３】
周期性強度検出部１０３−１乃至１０３−４は、それぞれ、周期性検出部１０２−１乃至１０２−４から供給される時間区間ごとの周期性情報に基づいて、時間区間ごとの周期性の強度を計算する。具体的には、τ=0近傍以外のτにおける周期性情報である自己相関関数x(b,τ)の最大値が周期性の強度として計算される。この周期性の強度が大きいほど、処理対象の音響データの周期性が強く、周期性の強度が小さいほど、処理対象の音響データの周期性がノイズらしくなる。
【００４４】
そして、周期性強度検出部１０３−１乃至１０３−４は、それぞれ、時間区間ごとの周期性の強度を、閾値を超えたかどうかで2値化し、時間区間ごとの周期性強度情報とする。即ち、時間区間ごとに、周期性の強度が所定の閾値を超えた場合、周期性強度情報は1とされ、周期性の強度が所定の閾値以下である場合、周期性強度情報は0とされる。周期性強度検出部１０３−１乃至１０３−４は、それぞれ、時間区間ごとの周期性強度情報を周期性情報統合部１０４に供給する。
【００４５】
なお、周期性強度検出部１０３−１乃至１０３−４を特に区別する必要がない場合、それらをまとめて周期性強度検出部１０３という。
【００４６】
周期性情報統合部１０４は、周期性検出部１０２から供給される時間区間ごとの周期性情報と、周期性強度検出部１０３から供給される時間区間ごとの周期性強度情報とに基づいて、時間区間ごとの周期性情報を統合する周期性統合処理を行う。具体的には、周期性情報統合部１０４は、以下の式（１）を用いて時間区間ごとに周期性情報である自己相関関数x(b,τ)の総和を求める。
【００４７】
【数１】
0006003083.tif 000002
【００４８】
なお、式（１）において、Nbは周波数帯域の総数を表し、p(b)は周期性強度情報を表す。また、Npは周期性強度情報p(b)が1となる周波数帯域の数を表す。
【００４９】
周期性情報統合部１０４は、周期性統合処理の結果得られる時間区間ごとの周期性情報の総和S(τ)をピーク検出部１０５に供給する。
【００５０】
ピーク検出部１０５は、時間区間ごとに、周期性情報統合部１０４から供給される周期性情報の総和S(τ)に対してピーク検出を行い、ピーク位置τpの値が1となり、ピーク位置τp以外の値が0となるピーク情報P（τ）を生成する。ピーク検出方法としては、例えば、周期性情報の総和S(τ)の微分値が正から負に変わるときのインデックスτを、ピーク位置τpとして検出する方法がある。
【００５１】
なお、ピーク検出部１０５は、ピーク位置τpの周期性情報の総和S(τp)が、所定の閾値より小さい場合、そのピーク位置τpのピーク情報P（τp）を0とするようにしてもよい。これにより、ピーク情報P（τp）のノイズを低減することができる。また、ピーク情報は、周期性情報の総和S(τ)そのものであってもよい。
【００５２】
ピーク検出部１０５は、時間区間ごとのピーク情報P（τ）を、時間区間ごとの特徴量の時系列データとして図１の特徴量記憶部２２に供給する。
【００５３】
［特徴量の時系列データの例］
図３は、特徴量の時系列データの例を示す図である。
【００５４】
なお、図３のグラフにおいて、横軸は、先頭からの時間区間の個数である時間区間番号を表し、縦軸はインデックスτを表す。
【００５５】
図３のグラフは、特徴量の時系列データP（τ）が1であるときのインデックスτと時間区間番号の位置を黒点で表している。従って、所定の時間区間の音響データの特徴量の時系列データP（τ）において、図３のグラフにおいて、その時間区間の時間区間番号に対応する横軸の位置に垂直の線上に並ぶ点に対応するτの時系列データP（τ）は1であり、その他のτの時系列データP（τ）は0である。
【００５６】
［同期情報生成部の構成例］
図４は、図１の同期情報生成部２３の構成例を示すブロック図である。
【００５７】
図４の同期情報生成部２３は、ブロック統合部１２１およびブロック統合部１２２、類似度計算部１２３、並びに最適パス検索部１２４により構成される。
【００５８】
同期情報生成部２３のブロック統合部１２１は、図１の特徴量記憶部２２−１からコンテンツＡの時間区間ごとの特徴量の時系列データを読み出し、連続した複数(例えば64個)の時間区間を１ブロックとして、ブロック単位で統合する。ブロック統合部１２１は、ブロック単位の特徴量の時系列データを類似度計算部１２３に供給する。
【００５９】
ブロック統合部１２２は、図１の特徴量記憶部２２−２からコンテンツＢの時間区間ごとの特徴量の時系列データを読み出し、連続した複数(例えば64個)の時間区間を１ブロックとして、ブロック単位で統合する。ブロック統合部１２２は、ブロック単位の特徴量の時系列データを類似度計算部１２３に供給する。
【００６０】
なお、ブロックを構成する複数の時間区間は、連続していなくてもよい。例えば、複数の偶数番目の時間区間を１ブロックとしたり、複数の奇数番目の時間区間を１ブロックとしたりすることもできる。この場合、時間区間ごとの特徴量の時系列データに対して間引き処理を行うことができるので、演算量を削減することができる。
【００６１】
また、ブロック統合部１２１とブロック統合部１２２は、全てのインデックスτの時間区間の特徴量の時系列データを統合するのではなく、一部のインデックスτの時間区間の特徴量の時系列データのみを統合するようにしてもよい。
【００６２】
例えば、コンテンツＡとコンテンツＢの音響データが、基本周波数が100Hz乃至500Hzである音声の音響データである場合、ブロック統合部１２１とブロック統合部１２２は、2msec乃至10msecの時間遅れに対応するインデックスτの時間区間の特徴量の時系列データのみを統合することができる。
【００６３】
また、コンテンツＡとコンテンツＢの音響データが、基本周波数が100Hz乃至250Hzである男声の音響データである場合、ブロック統合部１２１とブロック統合部１２２は、4msec乃至10msecの時間遅れに対応するインデックスτの時間区間の特徴量の時系列データのみを統合することができる。一方、コンテンツＡとコンテンツＢの音響データが、基本周波数が200Hz乃至500Hzである女声の音響データである場合、ブロック統合部１２１とブロック統合部１２２は、2msec乃至5msecの時間遅れに対応するインデックスτの時間区間の特徴量の時系列データのみを統合することができる。
【００６４】
類似度計算部１２３は、ブロック統合部１２１とブロック統合部１２２のそれぞれから供給されるブロック単位の特徴量の時系列データどうしの類似度を計算し、各ブロック間の類似度を表す類似度マトリックスを生成する。類似度計算部１２３は、類似度マトリックスを最適パス検索部１２４に供給する。
【００６５】
最適パス検索部１２４は、同期情報生成部として機能し、類似度計算部１２３から供給される類似度マトリックスから最適な類似度のパスを検索し、そのパス上の類似度に対応する２つのブロックの時間差を表す情報を同期情報として生成する。そして、最適パス検索部１２４は、同期情報を出力する。
【００６６】
以上のように、同期情報生成部２３は、時間区間ごとのピーク情報P（τ）を特徴量の時系列データとして、その特徴量の時系列データが類似するコンテンツのブロックどうしを同期させる同期情報を生成する。即ち、同期情報生成部２３は、音響データのピッチ情報に基づいて、同期情報を生成する。従って、音響データに撮影装置ごとに異なるノイズが含まれる場合などにおいても、ロバストに同期情報を生成することができる。
【００６７】
即ち、人間は、周波数特性を有する複数の音を聞いた場合、共通成分として、同一の基本周波数を有する音、即ちピッチが同一である音を知覚することにより、ノイズ音が含まれている場合であっても、共通成分を容易に知覚することができる。本技術は、このことを考慮して、ピッチ情報に基づいて同期情報を生成することにより、ノイズ音に対してロバストに同期情報を生成する。
【００６８】
これに対して、同期情報を生成する方法としては、音響データのスペクトル間の類似度を用いて同期情報を生成する方法もある。しかしながら、この方法では、例えば、２つの撮影装置において、それぞれ、図５Ａに示す原音に対して図５Ｂと図５Ｃに示すように異なる周波数特性のノイズ音が付加された音響データが取得される場合、音響データ間のスペクトルの共通成分がノイズ音によって少なくなってしまう。従って、精度良く類似度を計算し、正確に同期情報を生成することができない。よって、このような方法では、ノイズ音に対してロバストに同期情報を生成することができない。
【００６９】
なお、ここでは、ブロックごとに同期情報が生成されるものとするが、特徴量の時系列データ全体に対して同期情報が生成されるようにしてもよい。但し、ブロックごとに同期情報が生成される場合、後述するように、コンテンツＡとコンテンツＢの間の内部クロックのずれも補正することができる。
【００７０】
［類似度の計算の説明］
図６は、類似度の計算の対象とするブロックを説明する図である。
【００７１】
なお、iは、コンテンツＡのブロックのインデックスであり、jは、コンテンツＢのブロックのインデックスである。また、X(i)は、コンテンツＡのインデックスiのブロックの特徴量の時系列データを表し、Y(j)は、コンテンツＢのインデックスjのブロックの特徴量の時系列データを表す。
【００７２】
図６に示すように、類似度の計算の対象は、n個のX(i)のそれぞれと、m個のY(j)のそれぞれとの、n×m個の組み合わせである。
【００７３】
図７は、類似度の計算方法を説明する図である。
【００７４】
なお、図７のマトリックスでは、横軸が、ブロック内の時間区間の先頭からの個数を表すブロック内時間区間番号を表し、縦軸がインデックスτを表している。また、白色の正方形は、対応するブロック内時間区間番号の時間区間のインデックスτの特徴量の時系列データP(τ)が0であることを表し、黒色の正方形は、その時系列データP(τ)が1であることを表している。さらに、図７の例では、ブロックを構成する時間区間の個数が4個であり、τが0乃至3であるものとする。
【００７５】
図７に示すように、X(i)とY(j)の類似度を計算する場合、まず、X(i)とY(j)の論理積X(i)∩Y(j)が計算され、次に、X(i)とY(j)の論理和X(i)∪Y(j)が計算される。例えば、図７に示すように、9個の0と7個の1からなるX(i)とY(j)の類似度を計算する場合、まず、12個の0と4個の1からなる論理積X(i)∩Y(j)が計算され、6個の0と10個の1からなる論理和X(i)∪Y(j)が計算される。
【００７６】
そして、以下の式（２）により、論理積X(i)∩Y(j)の1の数であるNumber（X(i)∩Y(j)）と論理和の1の数であるNumber（X(i)∪Y(j)）に基づいて、X(i)とY(j)の類似度A(i,j)が計算される。
【００７７】
A(i,j)=Number(X(i)∩Y(j))/Number（X(i)∪Y(j)）
・・・（２）
【００７８】
図７の例では、Number(X(i)∩Y(j))が4であり、Number（X(i)∪Y(j)）が10であるので、類似度A(i,j)は0.4となる。
【００７９】
なお、特徴量の時系列データとして、周期性情報の総和S(τ)を採用した場合には、類似度の計算方法としてコサイン距離を用いて類似度を計算する方法などを採用することができる。
【００８０】
[最適な類似度のパスの検索の説明]
図８は、類似度マトリックスの例を示す図である。
【００８１】
なお、図８の類似度マトリックスにおいて、横軸は、コンテンツＢのブロックのインデックスjであり、縦軸は、コンテンツＡのブロックのインデックスiである。
【００８２】
図８に示すように、類似度マトリックスでは、インデックスiとインデックスjに対応する点が、類似度A(i,j)が大きいほど濃くなるように、類似度A(i,j)に応じた濃度で表される。
【００８３】
最適パス検索部１２４は、動的計画法を用いて、類似度マトリックス上のパスの類似度の積算値が最大となるパスを最適な類似度のパスとして検索する。
【００８４】
例えば、コンテンツＡとコンテンツＢの時間のずれが、いずれか一方の遅延によってのみ発生している場合、類似度A(i,j)が最大となるiとjの差分は常に一定であるため、類似度マトリックスを左上から右下に進む直線状のパスが最適な類似度のパスとして検索される。一方、コンテンツＡとコンテンツＢの間に内部クロックのずれが発生している場合、最適な類似度のパスは直線状ではない。
【００８５】
なお、ここでは、最適パス検索部１２４が、動的計画法を用いて類似度マトリックス上のとり得る全てのパスに対して検索を行うが、コンテンツＡとコンテンツＢの間に内部クロックのずれが発生していないことが予めわかっている場合には、類似度マトリックス上のとり得る全ての直線状のパスに対してのみ検索を行うようにしてもよい。
【００８６】
最適パス検索部１２４は、最適な類似度のパス上の類似度に対応するインデックスの差分i-jを、同期情報として生成する。
【００８７】
[同期情報の例]
図９は、同期情報の例を示す図である。
【００８８】
図９Ａに示すように、コンテンツＡとコンテンツＢの間に内部クロックのずれが発生しておらず、コンテンツＡとコンテンツＢの両方に対して編集が行われていない場合、即ち、コンテンツＡとコンテンツＢの時間のずれが、いずれか一方の遅延によってのみ発生している場合、一定値が同期情報として生成される。図９の例では、最適な類似度のパス上の類似度に対応するインデックスiとjの差分は常に80であり、同期情報として常に80が生成される。
【００８９】
一方、図９Ｂに示すように、コンテンツＡとコンテンツＢの間に内部クロックのずれが発生しておらず、コンテンツＢに対して途中で編集が行われている場合、編集点より前の同期情報および編集点より後の同期情報として、それぞれ一定値が生成される。図９の例では、インデックスjが44であるブロックに編集点が存在する。従って、最適な類似度のパス上の類似度に対応するインデックスiとjの差分である同期情報は、インデックスjが41乃至44である場合、常に40であるが、インデックスjが85乃至88である場合、常に80である。
【００９０】
また、図９Ｃに示すように、コンテンツＡとコンテンツＢの間に内部クロックのずれが発生しており、コンテンツＡとコンテンツＢの両方に対して編集が行われていない場合、最適な類似度のパス上の類似度に対応するインデックスiとjの差分は、そのずれを補正するように変化する。図９の例では、インデックスiが1と2である場合、インデックスiとjの差分は79であるが、インデックスiが3である場合、内部クロックのずれの積算による同期のずれが大きくなるため、インデックスiとjの差分が1だけ増加されて80にされる。即ち、インデックスjが82であるブロックのコンテンツＢがカットされる。
【００９１】
また、インデックスiが4である場合、インデックスiとjの差分は80のままであるが、インデックスiが5である場合、内部クロックのずれの積算による同期のずれが大きくなるため、インデクスiとjの差分が1だけ増加されて81にされる。即ち、インデックスjが85であるブロックのコンテンツＢがカットされる。
【００９２】
さらに、インデックスiが6である場合、インデックスiとjの差分は81のままであるが、インデックスiが7である場合、内部クロックのずれの積算による同期のずれが大きくなるため、インデクスiとjの差分が1だけ増加されて82にされる。即ち、インデックスjが88であるブロックのコンテンツＢがカットされる。そして、インデックスiが8である場合、インデックスiとjの差分は82のままである。
【００９３】
よって、インデックスiが1と2であるブロックの同期情報としては79が生成され、インデックスiが3と4であるブロックの同期情報としては80が生成される。また、インデックスiが5と6であるブロックの同期情報としては81が生成され、インデックスiが7と8であるブロックの同期情報としては82が生成される。
【００９４】
[信号処理装置の処理]
図１０は、図１の信号処理装置１２の同期情報生成処理を説明するフローチャートである。この同期情報生成処理は、撮影装置１１からコンテンツが入力されたとき、開始される。
【００９５】
なお、図１０のステップＳ１１乃至Ｓ１７の処理は、コンテンツごとに行われる。
【００９６】
図１０のステップＳ１１において、周波数帯域分割部１０１は、図１の撮影装置１１から供給されるコンテンツのうちの音響データを、窓関数を用いて、数10msec乃至100msec程度の時間区間に分割する。
【００９７】
ステップＳ１２において、周波数帯域分割部1０１は、複数のバンドパスフィルタを用いて、時間区間ごとの音響データを4つの周波数帯域に分割する。周波数帯域分割部１０１は、各周波数帯域の音響データを、周期性検出部１０２−１乃至１０２−４のそれぞれに供給する。
【００９８】
ステップＳ１３において、周期性検出部１０２は、周波数帯域分割部１０１から供給される所定の周波数帯域の時間区間ごとの音響データの自己相関関数x(b,τ)を計算することにより、時間区間ごとの周期性情報を抽出し、周期性強度検出部１０３に供給する。なお、ステップＳ１３の処理は、周期性検出部１０２ごとに行われる。
【００９９】
ステップＳ１４において、周期性強度検出部１０３は、周期性検出部１０２から供給される時間区間ごとの周期性情報に基づいて、時間区間ごとの周期性の強度を計算する。そして、周期性強度検出部１０３は、時間区間ごとの周期性の強度を、閾値を超えたかどうかで2値化することにより、時間区間ごとの周期性強度情報を生成し、周期性情報統合部１０４に供給する。なお、ステップＳ１４の処理は、周期性強度検出部１０３ごとに行われる。
【０１００】
ステップＳ１５において、周期性情報統合部１０４は、周期性検出部１０２から供給される時間区間ごとの周期性情報と、周期性強度検出部１０３から供給される時間区間ごとの周期性強度情報とに基づいて、上述した式（１）を用いて周期性統合処理を行う。周期性情報統合部１０４は、周期性統合処理の結果得られる時間区間ごとの周期性情報の総和S(τ)をピーク検出部１０５に供給する。
【０１０１】
ステップＳ１６において、ピーク検出部１０５は、時間区間ごとに、周期性情報統合部１０４から供給される周期性情報の総和S(τ)に対してピーク検出を行い、ピーク情報P（τ）を生成する。
【０１０２】
ステップＳ１７において、ピーク検出部１０５は、時間区間ごとのピーク情報P（τ）を、時間区間ごとの特徴量の時系列データとして図１の特徴量記憶部２２に供給し、記憶させる。
【０１０３】
ステップＳ１８において、同期情報生成部２３のブロック統合部１２１は、ステップＳ１７で図１の特徴量記憶部２２−１に記憶されたコンテンツＡの時間区間ごとの特徴量の時系列データを読み出す。また、ブロック統合部１２２は、ステップＳ１７で図１の特徴量記憶部２２−２に記憶されたコンテンツＢの時間区間ごとの特徴量の時系列データを読み出す。
【０１０４】
ステップＳ１９において、ブロック統合部１２１は、連続した複数(例えば64個)の時間区間を１ブロックとして、ブロック単位でコンテンツＡの時間区間ごとの特徴量の時系列データを統合し、類似度計算部１２３に供給する。また、ブロック統合部１２２は、連続した複数(例えば64個)の時間区間を１ブロックとして、ブロック単位でコンテンツＢの時間区間ごとの特徴量の時系列データを統合し、類似度計算部１２３に供給する。
【０１０５】
ステップＳ２０において、類似度計算部１２３は、ブロック統合部１２１とブロック統合部１２２のそれぞれから供給されるブロック単位の特徴量の時系列データどうしの類似度を計算し、各ブロック間の類似度を表す類似度マトリックスを生成する。類似度計算部１２３は、類似度マトリックスを最適パス検索部１２４に供給する。
【０１０６】
ステップＳ２１において、最適パス検索部１２４は、類似度計算部１２３から供給される類似度マトリックスから最適な類似度のパスを検索し、同期情報を生成する。そして、最適パス検索部１２４は、同期情報を出力する。
【０１０７】
以上のように、信号処理システム１０では、信号処理装置１１が、周期性情報に基づいて同期情報を生成するので、同期情報をロバストに生成することができる。
【０１０８】
なお、信号処理システム１０の後段のブロックは、例えば、コンテンツＡとコンテンツＢの再生位置を随時比較し、同期情報を用いて同期ずれが発生しているかどうかを確認する。そして、同期ずれが発生している場合には、信号処理システム１０の後段のブロックは、同期情報を用いてコンテンツＡまたはコンテンツＢの再生位置を変更することで、コンテンツＡとコンテンツＢの同期ずれを補正する。このとき、単純にコンテンツを間引くと、間引いた点で不連続点が発生し、ノイズが発生するため、ピッチを一定に保ちながら時間のみを伸縮する方法を用いることが望ましい。
【０１０９】
このように、信号処理システム１０の後段のブロックは、コンテンツＡとコンテンツＢの同期ずれを補正することで、コンテンツＡとコンテンツＢを同期編集したり、コンテンツＡとコンテンツＢのいずれか一方の音響データを他方の音響データと差し替えて出力したりすることができる。
【０１１０】
＜第２実施の形態＞
[信号処理システムの第２実施の形態の概要の説明]
図１１は、本技術を適用した信号処理システムの第２実施の形態の概要を説明する図である。
【０１１１】
図１１に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１２】
図１１の信号処理システム１４０の構成は、新たに撮影装置１４１が設けられる点、および信号処理装置１２の代わりに信号処理装置１４２が設けられる点が図１の構成と異なる。信号処理システム１４０は、３つの撮影装置により取得されたコンテンツの同期情報を生成する。
【０１１３】
具体的には、信号処理システム１４０の撮影装置１４１は、撮影装置１１と同様に、ビデオカメラ等により構成される。撮影装置１４１は、撮影装置１１−１および撮影装置１１−２と同一のイベントの異なる動画像と音響を取得する。撮影装置１４１は、撮影装置１１と同様に、その結果得られる動画像と音響のコンテンツＣを信号処理装置１４２に送信する。
【０１１４】
信号処理装置１４２は、特徴量算出部２１−１、特徴量算出部２１−２、および特徴量算出部１５１、特徴量記憶部２２−１、特徴量記憶部２２−２、および特徴量記憶部１５２、並びに同期情報生成部１５３により構成される。
【０１１５】
特徴量算出部１５１は、図２の特徴量算出部２１と同様に構成される。特徴量算出部１５１は、撮影装置１４１から供給されるコンテンツＣのうちの音響データに基づいて特徴量の時系列データを算出し、特徴量記憶部１５２に供給する。特徴量記憶部１５２は、メモリやハードディスクなどにより構成され、特徴量算出部１５１から供給されるコンテンツＣの特徴量の時系列データを記憶する。
【０１１６】
同期情報生成部１５３は、特徴量記憶部２２−１からコンテンツＡの特徴量の時系列データを読み出し、特徴量記憶部２２−２からコンテンツＢの特徴量の時系列データを読み出し、特徴量記憶部１５２からコンテンツＣの特徴量の時系列データを読み出す。同期情報生成部１５３は、同期情報生成部２３と同様に、コンテンツＡとコンテンツＢの特徴量の時系列データに基づいて、コンテンツＡとコンテンツＢを同期させる際に用いられる同期情報を生成する。
【０１１７】
また、同期情報生成部１５３は、同期情報生成部２３と同様に、コンテンツＡとコンテンツＣの特徴量の時系列データに基づいて、コンテンツＡとコンテンツＣを同期させる際に用いられる同期情報を生成する。同期情報生成部１５３は、コンテンツＡとコンテンツＢの同期情報およびコンテンツＡとコンテンツＣの同期情報を出力する。
【０１１８】
なお、同期情報生成部１５３は、コンテンツＡとコンテンツＢ、および、コンテンツＡとコンテンツＣ以外の組み合わせの同期情報を生成してもよい。また、同期情報生成部１５３は、コンテンツＢとコンテンツＣの同期情報を生成し、コンテンツＡとコンテンツＢの同期情報およびコンテンツＡとコンテンツＣの同期情報から求められるコンテンツＢとコンテンツＣの同期情報と比較することで、同期情報の精度を高めることもできる。
【０１１９】
＜第３実施の形態＞
［信号処理システムの構成例］
図１２は、本技術を適用した信号処理システムの第３実施の形態の構成例を示すブロック図である。
【０１２０】
なお、図１２に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１２１】
図１２の信号処理システム３７０は、撮影装置１１−１および撮影装置１１−２、信号処理装置３７１、並びにサーバ３７２により構成される。
【０１２２】
信号処理装置３７１は、図１の特徴量抽出部２１−１および特徴量抽出部２１−２により構成される。信号処理装置３７１は、撮影装置１１−１から供給されるコンテンツＡのうちの音響データに基づいて特徴量の時系列データを算出し、撮影装置１１−２から供給されるコンテンツＡのうちの音響データに基づいて特徴量の時系列データを算出する。信号処理装置３７１は、コンテンツＡおよびコンテンツＢの特徴量の時系列データをサーバ３７２に送信する。
【０１２３】
サーバ３７２は、図１の特徴量記憶部２２−１および特徴量記憶部２２−２、並びに、同期情報生成部２３により構成される。サーバ３７２は、信号処理装置３７１から送信されてくるコンテンツＡの特徴量の時系列データを受信して記憶し、コンテンツＢの特徴量の時系列データを受信して記憶する。サーバ３７２は、コンテンツＡの特徴量の時系列データとコンテンツＢの特徴量の時系列データを読み出し、コンテンツＡの特徴量の時系列データとコンテンツＢの特徴量の時系列データに基づいて同期情報を生成し、出力する。
【０１２４】
なお、信号処理装置３７１とサーバ３７２の機能の割り当ては、上述した割り当てに限定されない。例えば、信号処理装置３７１が、コンテンツＡとコンテンツＢの時系列データを記憶し、読み出してサーバ３７２に送信するようにしてもよい。
【０１２５】
また、第１乃至第３実施の形態では、周波数帯域分割部１０１が、音響データを4つの周波数帯域に分割したが、分割数は4に限定されないし、音響データは帯域分割されなくてもよい。
【０１２６】
[特徴量算出部の他の構成例]
図１３は、音響データが帯域分割されない場合の特徴量算出部２１の構成例を示している。
【０１２７】
図１３の特徴量算出部２１は、周波数帯域分割部３９１、周期性検出部３９２、およびピーク検出部３９３により構成される。
【０１２８】
周波数帯域分割部３９１は、図１の撮影装置１１から供給されるコンテンツのうちの音響データを、窓関数を用いて、数10msec乃至100msec程度の時間区間に分割し、時間区間ごとの音響データを周期性検出部３９２に供給する。
【０１２９】
周期性検出部３９２は、周波数帯域分割部３９１から供給される時間区間ごとの音響データの自己相関関数x(b,τ)を計算することにより、時間区間ごとの周期性情報を抽出する。周期性検出部３９２は、抽出された時間区間ごとの周期性情報をピーク検出部３９３に供給する。
【０１３０】
ピーク検出部３９３は、時間区間ごとに、周期性検出部３９２から供給される周期性情報に対してピーク検出を行い、ピーク情報P（τ）を生成する。
【０１３１】
なお、ピーク検出部３９３は、ピーク位置τpの周期性情報が、所定の閾値より小さい場合、そのピーク位置τpのピーク情報P（τp）を0とするようにしてもよい。これにより、ピーク情報P（τp）のノイズを削減することができる。
【０１３２】
ピーク検出部３９３は、時間区間ごとのピーク情報P（τ）を、時間区間ごとの特徴量の時系列データとして出力する。
【０１３３】
なお、特徴量としては、ピーク情報P（τ）のほか、音響データのレベル、音響データのレベルの立ち上がり位置などの情報を採用することもできる。
【０１３４】
例えば、音響データのレベルの情報を特徴量とする場合、音響データが数10msecの時間区間に分割され、時間区間ごとの音響データのRMS(Root Mean Square)値や平均値が特徴量の時系列データとして求められる。そして、特徴量の時系列データどうしの相互相関関数が類似度として計算される。
【０１３５】
なお、この場合、帯域通過フィルタによって複数の周波数帯域に分割された音響データのレベルの情報を特徴量とするようにしてもよい。この場合、相互相関関数は周波数帯域ごとに求められ、各周波数帯域の相互相関関数の総和が類似度として求められる。
【０１３６】
また、音響データのレベルの立ち上がり位置の情報を特徴量とする場合、特徴量は、例えば、音響データの立ち上がり位置、即ち微分値が閾値以上になる位置の値を1とし、それ以外の値を0とした情報である。
【０１３７】
また、特徴量としては、George Tzanetakis and Perry Cook. Musical genre classification of audio signals. IEEE Transactions on Speech and Audio Processing, 10(5):293-302, July 2002.に開示されている特徴量のうちの、Zero Crossing Rate, Spectrum Flux, Spectrum Centroid, Roll-Offなどを単独で用いたり、組み合わせて用いたりすることも可能である。これらの特徴量を組み合わせて用いる場合、各特徴量の相互相関関数が類似度として求められる。
【０１３８】
さらに、特徴量としては、上述した情報そのものではなく、その情報のピーク位置、即ち微分値が正から負に変わる位置のうち、レベルが閾値以上となる位置の値を1とし、それ以外を0とした情報を用いることも可能である。
【０１３９】
また、第１乃至第３実施の形態におけるコンテンツを取得する装置は、少なくとも音響データを取得する装置であればよく、IC（Integrated Circuit）レコーダ等の録音装置であってもよい。
【０１４０】
＜本技術を適用したコンピュータの説明＞
［コンピュータの構成例］
上述した一連の信号処理装置やサーバによる処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１４１】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１４２】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１４３】
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０１４４】
入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０１４５】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４６】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１４７】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【０１４８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４９】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１５０】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５１】
例えば、第１実施の形態の信号処理システム１０や第３実施の形態の信号処理システム３７０において、撮影装置の数は３以上であってもよい。また、第１実施の形態の信号処理システム１０と第２実施の形態の信号処理システム１４０において、特徴量の時系列データは、信号処理装置内の記憶部ではなく、信号処理装置外のサーバ等に記憶されるようにしてもよい。
【０１５２】
なお、本技術は、以下のような構成もとることができる。
【０１５３】
（１）
第１のコンテンツに含まれる音響信号の周期性情報を第１の周期性情報として検出する第１の周期性検出部と、
第２のコンテンツに含まれる音響信号の前記周期性情報を第２の周期性情報として検出する第２の周期性検出部と、
前記第１の周期性検出部により検出された前記第１の周期性情報と、前記第２の周期性検出部により検出された前記第２の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
を備える信号処理装置。
（２）
前記第１のコンテンツに含まれる音響信号を帯域分割する第１の帯域分割部と、
前記第２のコンテンツに含まれる音響信号を帯域分割する第２の帯域分割部と、
全帯域の前記第１の周期性情報を統合する第１の周期性情報統合部と、
全帯域の前記第２の周期性情報を統合する第２の周期性情報統合部と
をさらに備え、
前記第１の周期性検出部は、前記第１の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第１の周期性情報として検出し、
前記第２の周期性検出部は、前記第２の帯域分割部により帯域分割された前記音響信号の周期性情報を帯域ごとに前記第２の周期性情報として検出し、
前記第１の周期性情報統合部は、前記第１の周期性検出部により検出された帯域ごとの前記第１の周期性情報を全帯域分統合し、
前記第２の周期性情報統合部は、前記第２の周期性検出部により検出された帯域ごとの前記第２の周期性情報を全帯域分統合する
前記（１）に記載の信号処理装置。
（３）
前記第１の周期性検出部により検出された前記第１の周期性情報の強度を検出する第１の周期性強度検出部と、
前記第２の周期性検出部により検出された前記第２の周期性情報の強度を検出する第２の周期性強度検出部と
をさらに備え、
前記第１の周期性情報統合部は、前記第１の周期性強度検出部により検出された前記第１の周期性情報の強度に基づいて、前記第１の周期性情報を全帯域分統合し、
前記第２の周期性情報統合部は、前記第２の周期性強度検出部により検出された前記第２の周期性情報の強度に基づいて、前記第２の周期性情報を全帯域分統合する
前記（２）に記載の信号処理装置。
（４）
前記類似度計算部は、前記第１の周期性情報と前記第２の周期性情報との類似度を時間区間ごとに計算し、
前記同期情報生成部は、前記時間区間ごとの類似度に基づいて、前記時間区間ごとに前記同期情報を生成する
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（５）
前記類似度計算部は、各時間区間の前記第１の周期性情報と前記第２の周期性情報の類似度を表す類似度マトリックスを生成し、
前記同期情報生成部は、前記類似度マトリックス上の最適なパスを表す情報を、前記同期情報として生成する
前記（４）に記載の信号処理装置。
（６）
前記第１の周期性情報は、前記第１のコンテンツに含まれる音響信号の自己相関関数であり、
前記第２の周期性情報は、前記第２のコンテンツに含まれる音響信号の自己相関関数である
前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
信号処理装置が、
第１のコンテンツに含まれる音響信号の周期性情報を第１の周期性情報として検出する第１の周期性検出ステップと、
第２のコンテンツに含まれる音響信号の前記周期性情報を第２の周期性情報として検出する第２の周期性検出ステップと、
前記第１の周期性検出ステップの処理により検出された前記第１の周期性情報と、前記第２の周期性検出ステップの処理により検出された前記第２の周期性情報との類似度を計算する類似度計算ステップと、
前記類似度計算ステップの処理により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成ステップと
を含む信号処理方法。
（８）
コンピュータを、
第１のコンテンツに含まれる音響信号の周期性情報を第１の周期性情報として検出する第１の周期性検出部と、
第２のコンテンツに含まれる音響信号の前記周期性情報を第２の周期性情報として検出する第２の周期性検出部と、
前記第１の周期性検出部により検出された前記第１の周期性情報と、前記第２の周期性検出部により検出された前記第２の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
して機能させるためのプログラム。
（９）
第１のコンテンツに含まれる音響信号の周期性情報を第１の周期性情報として検出する第１の周期性検出部と、
第２のコンテンツに含まれる音響信号の前記周期性情報を第２の周期性情報として検出する第２の周期性検出部と、
前記第１の周期性検出部により検出された前記第１の周期性情報と、前記第２の周期性検出部により検出された前記第２の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
を備える電子機器。
（１０）
第１のコンテンツに含まれる音響信号の周期性情報である第１の周期性情報と、第２のコンテンツに含まれる音響信号の前記周期性情報である第２の周期性情報を受信する受信部と、
前記受信部により受信された前記第１の周期性情報と前記第２の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
を備える信号処理装置。
（１１）
信号処理装置が、
第１のコンテンツに含まれる音響信号の周期性情報である第１の周期性情報と、第２のコンテンツに含まれる音響信号の前記周期性情報である第２の周期性情報を受信する受信ステップと、
前記受信ステップの処理により受信された前記第１の周期性情報と前記第２の周期性情報との類似度を計算する類似度計算ステップと、
前記類似度計算ステップの処理により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成ステップと
を含む信号処理方法。
（１２）
コンピュータを、
第１のコンテンツに含まれる音響信号の周期性情報である第１の周期性情報と、第２のコンテンツに含まれる音響信号の前記周期性情報である第２の周期性情報を受信する受信部と、
前記受信部により受信された前記第１の周期性情報と前記第２の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
して機能させるためのプログラム。
（１３）
第１のコンテンツに含まれる音響信号の周期性情報である第１の周期性情報と、第２のコンテンツに含まれる音響信号の前記周期性情報である第２の周期性情報を受信する受信部と、
前記受信部により受信された前記第１の周期性情報と前記第２の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
を備える電子機器。
（１４）
第１のコンテンツに含まれる音響信号の周期性情報を第１の周期性情報として検出する第１の周期性検出部と、
第２のコンテンツに含まれる音響信号の前記周期性情報を第２の周期性情報として検出する第２の周期性検出部と、
前記第１の周期性検出部により検出された前記第１の周期性情報と、前記第２の周期性検出部により検出された前記第２の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
を備える信号処理システム。
（１５）
信号処理システムが、
第１のコンテンツに含まれる音響信号の周期性情報を第１の周期性情報として検出する第１の周期性検出ステップと、
第２のコンテンツに含まれる音響信号の前記周期性情報を第２の周期性情報として検出する第２の周期性検出ステップと、
前記第１の周期性検出ステップの処理により検出された前記第１の周期性情報と、前記第２の周期性検出ステップの処理により検出された前記第２の周期性情報との類似度を計算する類似度計算ステップと、
前記類似度計算ステップの処理により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成ステップと
を含む信号処理方法。
（１６）
第１のコンテンツに含まれる音響信号を帯域分割する第１の帯域分割部と、
前記第１の帯域分割部により帯域分割された前記音響信号の周期性情報を第１の周期性情報として検出する第１の周期性検出部と、
前記第１の周期性検出部により検出された前記第１の周期性情報の強度を検出する第１の周期性強度検出部と、
前記第１の周期性強度検出部により検出された前記第１の周期性情報の強度に基づいて、前記第１の周期性情報を全帯域分統合する第１の周期性情報統合部と、
第２のコンテンツに含まれる音響信号を帯域分割する第２の帯域分割部と、
前記第２の帯域分割部により帯域分割された前記音響信号の前記周期性情報を第２の周期性情報として検出する第２の周期性検出部と、
前記第２の周期性検出部により検出された前記第２の周期性情報の強度を検出する第２の第２の周期性強度検出部と、
前記第２の周期性強度検出部により検出された前記第２の周期性情報の強度に基づいて、前記第２の周期性情報を全帯域分統合する第２の周期性情報統合部と、
前記第１の周期性情報統合部により統合された前記第１の周期性情報と、前記第２の周期性情報統合部により統合された前記第２の周期性情報との類似度を計算する類似度計算部と、
前記類似度計算部により計算された前記類似度に基づいて、前記第１のコンテンツと前記第２のコンテンツを同期させる際に用いられる同期情報を生成する同期情報生成部と
を備える信号処理装置。
【符号の説明】
【０１５４】
１０  信号処理装置，  １０１  周波数帯域分割部，  １０２−１乃至１０２−４  周期性検出部，  １０３−１乃至１０３−４  周期性強度検出部，  １０４  周期性情報統合部，  １２３  類似度計算部，  １２４  最適パス検索部，  ３７１  信号処理装置，  ３７２  サーバ
【図１】
0006003083.tif 000003
【図２】
0006003083.tif 000004
【図３】
0006003083.tif 000005
【図４】
0006003083.tif 000006
【図５】
0006003083.tif 000007
【図６】
0006003083.tif 000008
【図７】
0006003083.tif 000009
【図８】
0006003083.tif 000010
【図９】
0006003083.tif 000011
【図１０】
0006003083.tif 000012
【図１１】
0006003083.tif 000013
【図１２】
0006003083.tif 000014
【図１３】
0006003083.tif 000015
【図１４】
0006003083.tif 000016