(57)【特許請求の範囲】
【請求項１】
複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換工程と、
時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割工程と、
各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、
上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、
当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価工程と
を有することを特徴とする信号処理方法。
【請求項２】
上記複数の音響信号間の類似する領域を検出する類似領域検出工程をさらに有することを特徴とする請求項１記載の信号処理方法。
【請求項３】
上記類似領域検出工程では、上記集計の結果が最大となる位置における上記変換パラメータと略等しい変換パラメータの抽出された上記小領域を検出することを特徴とする請求項２記載の信号処理方法。
【請求項４】
上記変換パラメータは、各小領域と上記他の音響信号との類似度が最大となる位置までの時間差、又は時間差及び周波数差と、当該位置における拡大率とであることを特徴とする請求項１記載の信号処理方法。
【請求項５】
上記集計工程における上記変換パラメータに対応した類似度に基づく値は、上記変換パラメータに対応した類似度に比例した値であることを特徴する請求項１記載の信号処理方法。
【請求項６】
上記類似度として、各小領域と上記他の音響信号との相関値又は当該相関値の自乗を用いることを特徴する請求項５記載の信号処理方法。
【請求項７】
上記複数の音響信号は、一の音響信号の異なる部分の信号であることを特徴とする請求項１記載の信号処理方法。
【請求項８】
記録手段に記録されている音響信号を再生する再生工程と、
再生されている上記音響信号の中から所望の検索位置を指定する検索位置指定工程と、
上記所望の検索位置の信号と上記記録手段に記録されている検索対象音響信号とを時間周波数分布に変換するスペクトル変換工程と、
時間周波数分布に変換された上記所望の検索位置の信号を複数の小領域に分割する分割工程と、
各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と上記検索対象音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記検索対象音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、
上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、
当該集計の結果に基づき、上記所望の検索位置の信号と上記検索対象音響信号との類似性を評価する類似性評価工程と、
上記所望の検索位置の信号と上記検索対象音響信号とが類似する領域を検出する類似領域検出工程と
を有することを特徴とする信号処理方法。
【請求項９】
ネットワーク又は放送信号から上記検索対象音響信号を取得することを特徴とする請求項８記載の信号処理方法。
【請求項１０】
上記所望の検索位置の信号が放送信号のコマーシャル部分の音響信号又は類似する放送番組群に共通に用いられている音響信号であることを特徴とする請求項９記載の信号処理方法。
【請求項１１】
複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換工程と、
時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割工程と、
各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、
上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、
当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価工程と、
上記複数の音響信号間の類似する領域を検出する類似領域検出工程と、
上記類似領域検出工程で検出された上記複数の音響信号間の類似する領域を符号化する第１の符号化工程と、
上記類似する領域以外を符号化する第２の符号化工程と
を有することを特徴とする信号処理方法。
【請求項１２】
上記第１の符号化工程では、上記類似する領域の位置、拡大率及び当該類似する領域の形状の情報を符号化することを特徴とする請求項１１記載の信号処理方法。
【請求項１３】
複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換手段と、
時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割手段と、
各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出手段と、
上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計手段と、
当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価手段と
を備えることを特徴とする信号処理装置。
【請求項１４】
複数の音響信号が記録されている記録手段と、
上記複数の音響信号を再生する再生手段と、
再生されている上記音響信号の中から所望の検索位置を指定する検索位置指定手段と、
上記所望の検索位置の信号と上記記録手段に記録されている検索対象音響信号とを時間周波数分布に変換するスペクトル変換手段と、
時間周波数分布に変換された上記所望の検索位置の信号を複数の小領域に分割する分割手段と、
各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と上記検索対象音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記検索対象音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出手段と、
上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計手段と、
当該集計の結果に基づき、上記所望の検索位置の信号と上記検索対象音響信号との類似性を評価する類似性評価手段と、
上記所望の検索位置の信号と上記検索対象音響信号とが類似する領域を検出する類似領域検出手段と
を備えることを特徴とする信号処理装置。
【請求項１５】
複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換手段と、
時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割手段と、
各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出手段と、
上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計手段と、
当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価手段と、
上記複数の音響信号間の類似する領域を検出する類似領域検出手段と、
上記類似領域検出手段によって検出された上記複数の音響信号間の類似する領域を符号化する第１の符号化手段と、
上記類似する領域以外を符号化する第２の符号化手段と
を備えることを特徴とする信号処理装置。
【請求項１６】
複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換工程と、
時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割工程と、
各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、
上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、
当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価工程と
を有することを特徴とする信号処理プログラム。
【請求項１７】
記録手段に記録されている音響信号を再生する再生工程と、
再生されている上記音響信号の中から所望の検索位置を指定する検索位置指定工程と、
上記所望の検索位置の信号と上記記録手段に記録されている検索対象音響信号とを時間周波数分布に変換するスペクトル変換工程と、
時間周波数分布に変換された上記所望の検索位置の信号を複数の小領域に分割する分割工程と、
各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と上記検索対象音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記検索対象音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、
上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、
当該集計の結果に基づき、上記所望の検索位置の信号と上記検索対象音響信号との類似性を評価する類似性評価工程と、
上記所望の検索位置の信号と上記検索対象音響信号とが類似する領域を検出する類似領域検出工程と
を有することを特徴とする信号処理プログラム。
【請求項１８】
複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換工程と、
時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割工程と、
各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、
上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、
当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価工程と、
上記複数の音響信号間の類似する領域を検出する類似領域検出工程と、
上記類似領域検出工程で検出された上記複数の音響信号間の類似する領域を符号化する第１の符号化工程と、
上記類似する領域以外を符号化する第２の符号化工程と
を有することを特徴とする信号処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、信号処理方法及び装置、並びに信号処理プログラムに関し、特に、複数の音響信号若しくは一の音響信号の異なる部分区間に同一若しくは類似する音響信号成分が含まれる場合の類似性を評価する信号処理方法及びその装置、並びに信号処理プログラムに関する。
【０００２】
【従来の技術】
一般に音響信号は、幾つかの音響信号成分が同時的或いは継時的に重畳されることで構成されているが、異なる音響信号であっても、同一若しくは類似する音響信号成分が含まれていることがある。例えば、テレビジョン放送やラジオ放送において、異なる会話音声やナレーションであっても、その背景に重畳される音楽は共通のものである場合がよく見受けられる。
【０００３】
また、シリーズで放送される番組の開始時や終了時の音声、音楽又は効果音も共通で用いられることが多い。また、同一会社の提供するコマーシャル中には、異なる商品の宣伝に対しても、何処かに共通の音響信号成分を用いることで、同一会社をイメージさせることがよく行われている。
【０００４】
このように、何らかの関連のあるシーン（映像音声信号中でまとまりのある区間）の間には、背景に共通の音響信号成分が用いられることが多い。従って、このような音響信号中から部分的に同一若しくは類似する信号を検出することができれば、類似する音響信号やそれに付随する映像信号、１つの番組中の関連あるシーン、シリーズ番組中の関連あるシーン、或いは同一会社のコマーシャル等といった、あるシーンと関連のある他のシーンを高速に検索することが可能となる。
【０００５】
【発明が解決しようとする課題】
ところで、従来、入力された信号を予め登録された信号と比較し、それらが同一であるか否かを検出する技術としては、例えば音響信号やそのスペクトルの相関を用いる技術や、特開２０００−３１２３４３号公報に記載されている技術等がある。
【０００６】
この相関を用いる技術では、複数の音響信号やそのスペクトル間の相違する成分が十分に弱い場合には、両信号間の時間をずらしながら相関をとり、最大となる時刻の相関値により類似性を評価することができるものの、相違する成分が十分に弱くない場合には、類似性を適切に評価することができないという問題があった。
【０００７】
また、特開２０００−３１２３４３号公報に記載されている技術では、多少のノイズによる差異を除いて、登録された音響信号とほぼ完全に同一であるものしか検出できないという問題があった。
【０００８】
したがって、これらの技術によっては、上述したように、番組の背景音楽として用いられている音楽や、同一会社の異なるコマーシャルに用いられている音響信号成分を検出することができなかった。
【０００９】
本発明は、このような従来の実情に鑑みて提案されたものであり、異なる信号が重畳されているような状況においても、信号中から類似する信号成分を検出し、その類似性を定量的に評価する信号処理方法及びその装置、並びに信号処理プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る信号処理方法は、複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換工程と、時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割工程と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価工程とを有することを特徴としている。
【００１１】
ここで、本発明に係る信号処理方法は、上記複数の音響信号間の類似する領域を検出する類似領域検出工程をさらに有してもよい。
【００１２】
また、本発明に係る信号処理方法では、各小領域と上記他の音響信号との類似度が最大となる位置までの時間差、又は時間差及び周波数差と、当該位置における拡大率とを変換パラメータとすることができる。
【００１３】
このような信号処理方法では、入力され、時間周波数分布に変換された複数の音響信号の少なくとも１つが複数の小領域に分割され、その小領域毎に他の音響信号との類似度が求められ、それらを集計することによって複数の音響信号間の類似性が評価される。また、その類似性に基づいて、複数の音響信号間の類似する領域が検出される。
【００１４】
また、上述した目的を達成するために、本発明に係る信号処理方法は、記録手段に記録されている音響信号を再生する再生工程と、再生されている上記音響信号の中から所望の検索位置を指定する検索位置指定工程と、上記所望の検索位置の信号と上記記録手段に記録されている検索対象音響信号とを時間周波数分布に変換するスペクトル変換工程と、時間周波数分布に変換された上記所望の検索位置の信号を複数の小領域に分割する分割工程と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と上記検索対象音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記検索対象音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、当該集計の結果に基づき、上記所望の検索位置の信号と上記検索対象音響信号との類似性を評価する類似性評価工程と、上記所望の検索位置の信号と上記検索対象音響信号とが類似する領域を検出する類似領域検出工程とを有することを特徴としている。
【００１５】
このような信号処理方法では、再生されている音響信号の中から所望の検索位置が指定されると、検索位置の信号と記録手段に記録されている検索対象音響信号とが時間周波数分布に変換され、時間周波数分布に変換された所望の検索位置の信号が複数の小領域に分割され、その小領域毎に検索対象音響信号との類似度が求められ、それらを集計することによって所望の検索位置の信号と検索対象音響信号との類似性が評価され、その類似性に基づいて類似する領域が検出される。
【００１６】
また、上述した目的を達成するために、本発明に係る信号処理方法は、複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換工程と、時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割工程と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価工程と、上記複数の音響信号間の類似する領域を検出する類似領域検出工程と、上記類似領域検出工程で検出された上記複数の音響信号間の類似する領域を符号化する第１の符号化工程と、上記類似する領域以外を符号化する第２の符号化工程とを有することを特徴としている。
【００１７】
ここで、上記第１の符号化工程では、上記類似する領域の位置、拡大率及び当該類似する領域の形状の情報を符号化することができる。
【００１８】
このような信号処理方法では、入力され、時間周波数分布に変換された複数の音響信号の少なくとも１つが複数の小領域に分割され、その小領域毎に他の音響信号との類似度が求められ、それらを集計することによって複数の音響信号間の類似性が評価される。そして、その類似性に基づいて、複数の音響信号間の類似する領域が検出され、その類似する領域とそれ以外の領域とが別々に符号化される。
【００１９】
また、上述した目的を達成するために、本発明に係る信号処理装置は、複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換手段と、時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割手段と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出手段と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計手段と、当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価手段とを備えることを特徴としている。
【００２２】
このような信号処理装置は、入力され、時間周波数分布に変換された複数の音響信号の少なくとも１つを複数の小領域に分割し、その小領域毎に他の音響信号との類似度を求め、それらを集計することによって複数の音響信号間の類似性を評価する。
【００２３】
また、上述した目的を達成するために、本発明に係る信号処理装置は、複数の音響信号が記録されている記録手段と、上記複数の音響信号を再生する再生手段と、再生されている上記音響信号の中から所望の検索位置を指定する検索位置指定手段と、上記所望の検索位置の信号と上記記録手段に記録されている検索対象音響信号とを時間周波数分布に変換するスペクトル変換手段と、時間周波数分布に変換された上記所望の検索位置の信号を複数の小領域に分割する分割手段と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と上記検索対象音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出手段と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計手段と、当該集計の結果に基づき、上記所望の検索位置の信号と上記検索対象音響信号との類似性を評価する類似性評価手段と、上記所望の検索位置の信号と上記検索対象音響信号とが類似する領域を検出する類似領域検出手段とを備えることを特徴としている。
【００２４】
このような信号処理装置は、再生されている音響信号の中から所望の検索位置が指定されると、検索位置の信号と記録手段に記録されている検索対象音響信号とを時間周波数分布に変換し、時間周波数分布に変換された所望の検索位置の信号を複数の小領域に分割し、その小領域毎に検索対象音響信号との類似度を求め、それらを集計することによって所望の検索位置の信号と検索対象音響信号との類似性を評価し、その類似性に基づいて類似する領域を検出する。
【００２５】
また、上述した目的を達成するために、本発明に係る信号処理装置は、複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換手段と、時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割手段と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出手段と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計手段と、当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価手段と、上記複数の音響信号間の類似する領域を検出する類似領域検出手段と、上記類似領域検出手段によって検出された上記複数の音響信号間の類似する領域を符号化する第１の符号化手段と、上記類似する領域以外を符号化する第２の符号化手段とを備えることを特徴としている。
【００２７】
このような信号処理装置は、入力され、時間周波数分布に変換された複数の音響信号の少なくとも１つを複数の小領域に分割し、その小領域毎に他の音響信号との類似度を求め、それらを集計することによって複数の音響信号間の類似性を評価する。そして、その類似性に基づいて、複数の音響信号間の類似する領域を検出し、その類似する領域とそれ以外の領域とを別々に符号化する。
【００２８】
また、上述した目的を達成するために、本発明に係る信号処理プログラムは、複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換工程と、時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割工程と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価工程とを有することを特徴としている。
【００３１】
このような信号処理プログラムは、入力され、時間周波数分布に変換された複数の音響信号の少なくとも１つを複数の小領域に分割し、その小領域毎に他の音響信号との類似度を求め、それらを集計することによって複数の音響信号間の類似性を評価する。
【００３２】
また、上述した目的を達成するために、本発明に係る信号処理プログラムは、記録手段に記録されている音響信号を再生する再生工程と、再生されている上記音響信号の中から所望の検索位置を指定する検索位置指定工程と、上記所望の検索位置の信号と上記記録手段に記録されている検索対象音響信号とを時間周波数分布に変換するスペクトル変換工程と、時間周波数分布に変換された上記所望の検索位置の信号を複数の小領域に分割する分割工程と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と上記検索対象音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記検索対象音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、当該集計の結果に基づき、上記所望の検索位置の信号と上記検索対象音響信号との類似性を評価する類似性評価工程と、上記所望の検索位置の信号と上記検索対象音響信号とが類似する領域を検出する類似領域検出工程とを有することを特徴としている。
【００３３】
このような信号処理プログラムは、再生されている音響信号の中から所望の検索位置が指定されると、検索位置の信号と記録手段に記録されている検索対象音響信号とを時間周波数分布に変換し、時間周波数分布に変換された所望の検索位置の信号を複数の小領域に分割し、その小領域毎に検索対象音響信号との類似度を求め、それらを集計することによって所望の検索位置の信号と検索対象音響信号との類似性を評価し、その類似性に基づいて類似する領域を検出する。
【００３４】
また、上述した目的を達成するために、本発明に係る信号処理プログラムは、複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換工程と、時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割工程と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価工程と、上記複数の音響信号間の類似する領域を検出する類似領域検出工程と、上記類似領域検出工程で検出された上記複数の音響信号間の類似する領域を符号化する第１の符号化工程と、上記類似する領域以外を符号化する第２の符号化工程とを有することを特徴としている。
【００３６】
このような信号処理プログラムは、入力され、時間周波数分布に変換された複数の音響信号の少なくとも１つを複数の小領域に分割し、その小領域毎に他の音響信号との類似度を求め、それらを集計することによって複数の音響信号間の類似性を評価する。そして、その類似性に基づいて、複数の音響信号間の類似する領域を検出し、その類似する領域とそれ以外の領域とを別々に符号化する。
【００４６】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、複数の音響信号若しくは一の音響信号の異なる部分区間に同一若しくは類似する音響信号成分が含まれる場合の類似性を評価し、類似部分を抽出する信号処理装置に適用したものである。
【００４７】
従来、入力された信号を予め登録された信号と比較し、それらが同一であるか否かを検出するには、両信号間の時間をずらしながら相関をとり、相関が最大となる時刻の相関値により類似性を評価することが一般的に行われていた。しかし、複数の音響信号やそのスペクトル間の相違する成分が十分に弱くない場合には、類似性を適切に評価することができないという問題があった。以下、具体的に説明する。
【００４８】
３つの音響信号（信号Ａ、信号Ｂ、信号Ｃ）に短時間スペクトル分布、いわゆるスペクトログラムを、それぞれ図１乃至図３に示す。これらは、実際に放送されているコマーシャルの最後の２秒間より得られたものである。なお、信号Ａと信号Ｂとは、同一会社の異なる商品のコマーシャルであり、信号Ｃは、別会社のコマーシャルである。
【００４９】
図１及び図２から分かるように、信号Ａ及び信号Ｂには、その会社をイメージさせるような聴感上よく類似する成分を含んでいるのに対して、図３に示す信号Ｃには、そのような成分は含まれていない。また、図１に示す信号Ａのスペクトル分布と図２に示す信号Ｂのスペクトル分布とは、時間的なずれはあるものの、類似する成分が観察され、同時に、異なる成分が重畳されていることも観察される。
【００５０】
このような３つの音響信号について、信号Ａのスペクトルの一部の区間をテンプレートとし、信号Ｂのスペクトルと信号Ｃのスペクトルとに対して相関演算を行った結果を、それぞれ図２に示す。なお、テンプレートとしては、信号Ａのそれぞれ０．０秒、０．２５秒、０．５秒、０．７５秒、１秒、１．２５秒、１．５秒の位置から始まる長さ０．５秒間の区間を用いる。
【００５１】
信号Ｂのスペクトルに対して相関検出を行った結果を図４（Ａ）に示す。これは、信号Ａのスペクトルの時刻１．５秒から始まるテンプレートを用いたものである。また、信号Ｃのスペクトルに対して相関検出を行った結果を図４（Ｂ）に示す。これは、信号Ａのスペクトルの時刻０．７５秒から始まるテンプレートを用いたものである。
【００５２】
図４（Ａ）、（Ｂ）の矢印で示すように、信号Ａと信号Ｂとの最大相関値は０．６５７であるのに対して、信号Ａと信号Ｃとの最大相関値は０．６４２であり、両者は殆ど変わらない。これは、相関値が０．６５程度しかないため、信号Ａと信号Ｃとが類似しているというよりも、信号Ａと信号Ｂとの間の相違する成分が弱くないことが原因である。
【００５３】
このように、相関法では、必ずしも類似するシーンの検出、分類、検索に対して適するものではない。
【００５４】
そこで、本実施の形態における信号処理装置では、以下に説明するように、複数の音響信号間の局所的な類似性を求め、それらを統合することによって、全体の類似性を評価し、その類似部分を抽出する。
【００５５】
先ず、本実施の形態における信号処理装置の概略構成を図５に示す。図５に示すように、信号処理装置１０は、第１のスペクトル計算部１１と、領域分割部１２と、第２のスペクトル計算部１３と、類似度計算部１４と、投票部１５と、類似判定部１６と、類似領域検出部１７とを備えている。
【００５６】
第１のスペクトル計算部１１は、比較する２つの信号のうち、第１の信号を短時間スペクトル分布に変換する。このスペクトル計算部１１は、フィルタバンク、フーリエ変換、ウェーブレット変換等を用いて構成される。なお、比較する２つの信号は、同一の信号の異なる部分区間の信号であってもよい。
【００５７】
領域分割部１２は、第１の信号のスペクトル分布を小領域に分割する。例えば、図６（Ａ）に示すように、６３個の小領域に分割する。なお、分割数がこれに限定されないことは勿論であり、任意に設定することができる。また、図６（Ａ）では、それぞれの小領域が重ならないように分割しているが、重なりを持たせて小領域をとるようにしても構わない。
【００５８】
第２のスペクトル計算部１３は、比較する２つの信号のうち、第２の信号を短時間スペクトル分布に変換する。また、このスペクトル計算部１３は、上述したスペクトル計算部１１と同様に、フィルタバンク、フーリエ変換、ウェーブレット変換等を用いて構成される。
【００５９】
類似度計算部１４は、領域分割部１２において分割された小領域のそれぞれについて、第２の信号との間で相関を計算する。相関を計算するには、通常は、図６（Ｂ）に示すように、同一の周波数帯で時間差のみを変えながら行えばよい。但し、類似する周波数変化パターンをとるものは基本周波数が違っても類似信号であると考える場合には、周波数方向へのシフトも行うようにしてもよい。そして類似度計算部１４は、得られた相関値の中で最も相関値の高いものを探索し、類似度ｓ、時間差ｔ及び拡大率ａを取得する。ここで、類似度ｓは、相関値の自乗である。また、拡大率ａとは、小領域のパターンが第２の信号のパターンと最も一致するような大きさとなる乗算係数である。
【００６０】
投票部１５は、得られた類似度ｓ、時間差ｔ及び拡大率ａを投票空間に投票する。投票空間は、図６（Ｃ）に示すように、時間差ｔと拡大率ａを変数とし、類似度ｓの積算を値とする特徴空間であり、小領域から得られる時間差ｔ、拡大率ａの位置に類似度ｓを積算する。
【００６１】
第１の信号と第２の信号との間に類似する音響信号成分が含まれている場合、該当する小領域においては、そのパターンが類似するため、類似度ｓは高く、その時間差ｔ及び拡大率ａは他の小領域と概ね一致する。
【００６２】
一方、類似しない部分に該当する小領域では、偶然に最も類似する位置にて最大相関値が取得されるため、概してその類似度ｓは低く、その時間差ｔ及び拡大率ａは他の小領域とは無関係なものとなる。
【００６３】
従って、類似する音響信号成分がある場合には、それに対応する複数の小領域の投票が同じ位置に集中するため、有意な大きさのピークを形成することが期待され、類似する音響信号成分がない場合には、そもそも投票値が小さく、また、全ての投票が異なる位置に分散するため、有意なピークは形成されない。
【００６４】
そこで類似判定部１６は、全ての小領域に関して投票が行われた後、投票空間中の最大類似度ｓｍを探索し、その最大類似度ｓｍを閾値ｓｔｈｓｄと比較することで、類似判定を行う。
【００６５】
類似領域検出部１７は、類似判定部１６において類似していると判定された場合に、類似している領域を検出する。類似領域検出部１７は、例えば、各小領域の時間差ｔ及び拡大率ａがピーク位置の時間差ｔｍ及び拡大率ａｍと十分近いもののみを選択することで、類似領域を検出する。
【００６６】
以下、上述したような構成を有する信号処理装置１０の動作について、図７のフローチャートを用いて説明する。先ずステップＳ１０において、第１の信号及び第２の信号をスペクトルに変換する。
【００６７】
次にステップＳ１１において、第１の信号を上述したように小領域に分割し、続くステップＳ１２において、その小領域の中から１つの小領域を選択する。
【００６８】
ステップＳ１３では、ステップＳ１２において選択された小領域について、第２の信号との相関を計算する。すなわち例えば、選択した小領域について、同一の周波数帯で時間差のみを変えることで、第２の信号との相関を計算する。
【００６９】
ステップＳ１４では、ステップＳ１３において得られた相関値の中で最も相関値の高いものを探索し、類似度ｓ、時間差ｔ及び拡大率ａを取得する。
【００７０】
続くステップＳ１５では、ステップＳ１４において得られた類似度ｓ、時間差ｔ及び拡大率ａを投票空間に投票する。すなわち、小領域から得られる時間差ｔ、拡大率ａの位置に類似度ｓを積算する。
【００７１】
ステップＳ１６では、全ての小領域について処理を終えたか否かが判別される。ステップＳ１６において、処理を終えていない小領域がある場合には、ステップＳ１２に戻って、残りの小領域について上述の処理を繰り返し、全ての小領域の処理を終えている場合には、ステップＳ１７に進む。
【００７２】
ステップＳ１７では、投票空間中の最大類似度ｓｍを探索して取得し、続くステップＳ１８では、その最大類似度ｓｍが所定の閾値ｓｔｈｓｄを超えているか否かが判別される。ステップＳ１８において、最大類似度ｓｍが所定の閾値ｓｔｈｓｄを超えていない場合（No）、有意なピークが形成されていないとしてステップＳ２１に進み、第１の信号と第２の信号とは類似しないと判定して終了する。ステップＳ１８において、最大類似度ｓｍが所定の閾値ｓｔｈｓｄを超えている場合（Yes）、有意なピークが形成されているとしてステップＳ１９に進む。
【００７３】
ステップＳ１９では、第１の信号と第２の信号とは類似していると判定し、その時間差ｔｍ及び拡大率ａｍを取得する。また、第１の信号と第２の信号との類似度をｓｍとする。
【００７４】
ステップＳ２０では、類似している領域を検出する。すなわち、各小領域の時間差ｔ及び拡大率ａがピーク位置の時間差ｔｍ及び拡大率ａｍと十分近いもののみを選択して終了する。
【００７５】
このような信号処理方法を、図１乃至図３に示した信号Ａ、信号Ｂ及び信号Ｃに適用した例を図８に示す。ここで、図８（Ａ）は、上述した信号Ａ（図１）を第１の信号として領域分割し、第２の信号である信号Ｂ（図２）との間で上記処理を行った際の投票結果の分布を示したものである。また、図８（Ｂ）は、同じく信号Ａを領域分割し、第２の信号である信号Ｃ（図３）との間で上記処理を行った際の投票結果の分布を示したものである。なお、これらは、図７のステップＳ１６において、全ての小領域について処理を終えた際に形成される分布である。
【００７６】
図８（Ａ）では、時間差−０．１３秒、拡大率１．０程度の位置で有意なピークを形成しているのに対し、図８（Ｂ）では、投票は分散し、有意なピークを形成しないことが確認される。また、図８（Ａ）の最大ピーク値、すなわち類似度は、０．１８であるのに対し、図８（Ｂ）の最大ピーク値は、０．０１９であり、明らかに大きな差が生じている。
【００７７】
このように、本実施の形態における信号処理装置１０によれば、一般の相関法では有意な差が出ない信号に対しても、有意に類似又は非類似の検出、評価が可能とされる。
【００７８】
また、上述したように、信号処理装置１０は、各小領域の時間差ｔ及び拡大率ａがピーク位置の時間差ｔｍ及び拡大率ａｍと十分近いもののみを選択することで、類似している領域を検出することができる。
【００７９】
そこで、信号Ａの中で信号Ｂと類似する領域を検出した結果を図９に示す。ここで、図中でスペクトログラムが示されている領域が類似すると判定された領域であり、黒で示される領域が類似しないと判定された領域である。図１と比較すると、類似する成分のある領域が検出され、類似しない成分で占められる領域が排除されていることが確認できる。
【００８０】
なお、上述の説明では、小領域毎に第２の信号との相関が最も高くなる１カ所における類似度ｓ、時間差ｔ及び拡大率ａを取得して投票するものとして説明したが、これに限定されるものではなく、相関の高い数カ所の類似度ｓ、時間差ｔ及び拡大率ａを取得して投票するようにしても構わない。
【００８１】
また、上述の説明では、投票空間のピーク位置での最大類似度ｓｍについてのみ閾値sｔｈｓｄと比較し、閾値sｔｈｓｄを超えている場合に、そのピークに投票した小領域を逆に求めたが、これに限定されるものではなく、閾値sｔｈｓｄを超えるピーク全てについて、そのピークに投票した小領域を求めるようにしても構わない。これにより、第２の信号中に第１の信号と類似する領域が複数ある場合にも、それらの全てを抽出することができる。
【００８２】
以上説明した信号処理装置１０は、例えば図１０に示すような音響映像検索装置２０に用いることができる。この音響映像検索装置２０は、録画された音響映像信号、ネットワークを通じて得られる音響映像信号、又は放送される音響映像信号から類似するシーンを検索するものである。
【００８３】
図１０に示すように、音響映像検索装置２０は、記録部２１と、再生／表示部２２と、入力部２３と、類似探索部２４とを備えている。ここで、類似探索部２４は、上述した信号処理装置１０に相当するものである。
【００８４】
このような構成を有する音響映像検索装置２０の動作について、図１１のフローチャートを用いて説明する。ここで、記録部２１には、音響信号が記録されている。なお、この音響信号には、映像や画像、その他の情報が付随していてもよい。
【００８５】
先ずステップＳ３０において、ユーザは、記録部２１に記録されている信号、或いは実時間で放送されている信号を再生／表示部２２にて再生する。
【００８６】
次にステップＳ３１において、その中で検索したい箇所を入力部２３を介して指定する。指定された箇所は、類似探索部２４に通知される。
【００８７】
続いてステップＳ３２において、類似探索部２４は、記録部２１に記録されている検索対象音響信号から類似部分がある音響信号を探索する。
【００８８】
なお、検索対象となる音響信号は、磁気記録媒体等に予め記録されているものに限らず、実時間で放送されている信号やネットワークを介して得られる信号であってもよい。ここで、実時間放送の場合には、受信しながら類似部分がある音響信号を待つことになる。
【００８９】
類似部分が発見されると、ステップＳ３３において、それを再生／表示部２２に表示して終了する。
【００９０】
なお、上述の例では、ユーザが再生されている音響信号の中で検索したい箇所を指定するものとして説明したが、これに限定されるものではなく、例えばユーザが音響信号のファイル名等を指定し、指定されたファイル名の音響信号に類似する音響信号を検索するようにしても構わない。また、上述の例では、ユーザが検索したい個所を直接指定するものとして説明したが、これに限定されるものではなく、例えば他の装置とのインターフェースを介して指定されるようにしても構わない。
【００９１】
このような音響映像検索装置２０によれば、例えば放送のコマーシャル部分の音響信号をユーザが指定した場合、通例、同一会社の提供するコマーシャル等の関連の強いコマーシャルには類似する音響信号成分が含まれているため、そのような関連の強いコマーシャルを検索することができる。また、ユーザが指定した音響信号が類似する放送番組に共通に用いられている場合、そのような類似する放送番組を検索することができる。
【００９２】
また、上述した信号処理装置１０は、図１２に示すような音響信号符号化装置３０に用いることもできる。すなわち、上述した信号処理装置１０を従来の音響符号化装置に設け、予め類似する信号を別途まとめて符号化する前処理を行うことで、符号化効率を向上させることができる。
【００９３】
この音響信号符号化装置３０は、図１２に示すように、類似領域検出部３１と、類似成分分離部３２と、類似成分符号化部３３と、類似成分減算部３４と、信号符号化部３５と、統合部３６とを備える。ここで、類似領域検出部３１は、上述した信号処理装置１０に相当するものである。
【００９４】
以上のような構成を有する音響信号符号化装置３０の動作について、図１３のフローチャート及び図１４を用いて説明する。先ずステップＳ４０において、類似領域検出部３１は、図１４（Ａ）に示すように、入力された第１の信号から適当な長さの第１の部分区間を選択し、続くステップＳ４１において、それとは異なる第２の部分区間を選択する。
【００９５】
続いてステップＳ４２において、類似領域検出部３１は、第２の部分区間の中で第１の部分区間と類似する区間があるか否かを検出する。ステップＳ４２において、類似する区間がある場合（Yes）にはステップＳ４３に進み、類似する区間がない場合にはステップＳ４４に進む。
【００９６】
ステップＳ４３では、図１４（Ｂ）に示すように、類似成分分離部３２がその類似区間の位置、拡大率及び類似形状を抽出し、類似成分符号化部３３がこれらを符号化してステップＳ４２に戻り、さらに類似する区間を検出する。
【００９７】
類似する区間を全て抽出及び符号化した後、ステップＳ４４では、図１４（Ｃ）に示すように、類似成分減算部３４が、第２の部分区間から第１の部分区間と類似する区間を減算する。なお、減算の際には、検出された拡大率を用いて大きさを合わせて減算する。減算後には、それぞれの類似区間で非類似成分が残る。
【００９８】
ステップＳ４５では、信号符号化部３５が第１の部分区間の信号を、一般的な信号符号化方法（例えばサブバンド符号化や変換符号化等）を用いて符号化する。
【００９９】
ステップＳ４６では、統合部３６が、ステップＳ４３で符号化された類似区間の位置等の情報とステップＳ４５で符号化された第１の部分区間の信号とを１つの符号化信号として統合して出力し、図１４（Ｄ）に示すように、新たに第１の部分区間を取り直し、処理を繰り返す。
【０１００】
このように、音響映像検索装置３０によれば、最初の部分区間では、一般的な符号化方法がそのまま適用されるため、符号化効率は、一般的な符号化方法によるものと変わらないが、２番目以降の部分区間では、最初の部分区間の信号と類似する成分が予め減算されており、信号の持つ情報量が減少する。このため、部分的に類似するパターンが繰り返す音響信号について、通常の符号化方法をそのまま適用するよりも符号化効率を向上させることができる。
【０１０１】
以上説明したように、本実施の形態における信号処理装置によれば、入力され、時間周波数分布に変換された音響信号の少なくとも１つを小領域に分割し、その小領域毎に時間周波数分布に変換された他の音響信号との類似性を求め、それらを統合して全体の類似性を評価することにより、従来では検出が困難であった部分的に類似する音響信号について、類似性の評価及び類似領域の検出が可能とされる。
【０１０２】
また、この信号処理装置を音響映像検索装置に設けることにより、再生している音響信号のうち所望の検索位置を指定することで、記録媒体に記録されている音響信号、或いはネットワーク等を介して取得した音響信号の中から、当該所望の検索位置の信号に類似する音響信号を検索することができる。
【０１０３】
また、この信号処理装置を音響信号符号化装置に設け、予め類似する信号を別途まとめて符号化する前処理を行うことにより、音響信号の符号化効率が上昇し、高音質化或いは高圧縮率化が可能とされる。
この他、本実施の形態における信号処理方法は、音響信号に限らず、信号検出、音響処理、画像処理、レーダ技術等のあらゆる信号処理分野において類似信号を検出する際に適用することができる。
【０１０４】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１０５】
例えば、上述の説明では、最も一般的である拡大変換及びシフト変換を行い、拡大率及び時間差を変換パラメータとして用いたが、これに限定されるものではなく、非線形変換を含むあらゆる変換に適用することができる。
【０１０６】
また、上述の説明では、最も一般的な類似性評価量である２次誤差エネルギを最小化する手法、すなわち相関法を用いたが、これに限定されるものではなく、他の類似性評価量に対しても適用することができる。
【０１０７】
【発明の効果】
以上詳細に説明したように、本発明に係る信号処理方法は、複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換工程と、時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割工程と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価工程とを有することを特徴としている。
【０１０８】
ここで、本発明に係る信号処理方法は、上記複数の音響信号間の類似する領域を検出する類似領域検出工程をさらに有してもよい。
【０１０９】
また、本発明に係る信号処理方法では、各小領域と上記他の音響信号との類似度が最大となる位置までの時間差、又は時間差及び周波数差と、当該位置における拡大率とを変換パラメータとすることができる。
【０１１０】
このような信号処理方法では、入力され、時間周波数分布に変換された複数の音響信号の少なくとも１つが複数の小領域に分割され、その小領域毎に他の音響信号との類似度が求められ、それらを集計することによって複数の音響信号間の類似性が評価される。また、その類似性に基づいて、複数の音響信号間の類似する領域が検出される。
【０１１１】
これにより、従来では検出が困難であった部分的に類似する音響信号について、類似性の評価及び類似領域の検出が可能とされる。
【０１１２】
また、本発明に係る信号処理方法は、記録手段に記録されている音響信号を再生する再生工程と、再生されている上記音響信号の中から所望の検索位置を指定する検索位置指定工程と、上記所望の検索位置の信号と上記記録手段に記録されている検索対象音響信号とを時間周波数分布に変換するスペクトル変換工程と、時間周波数分布に変換された上記所望の検索位置の信号を複数の小領域に分割する分割工程と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と上記検索対象音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記検索対象音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、当該集計の結果に基づき、上記所望の検索位置の信号と上記検索対象音響信号との類似性を評価する類似性評価工程と、上記所望の検索位置の信号と上記検索対象音響信号とが類似する領域を検出する類似領域検出工程とを有することを特徴としている。
【０１１３】
このような信号処理方法では、再生されている音響信号の中から所望の検索位置が指定されると、検索位置の信号と記録手段に記録されている検索対象音響信号とが時間周波数分布に変換され、時間周波数分布に変換された所望の検索位置の信号が複数の小領域に分割され、その小領域毎に検索対象音響信号との類似度が求められ、それらを集計することによって所望の検索位置の信号と検索対象音響信号との類似性が評価され、その類似性に基づいて類似する領域が検出される。
【０１１４】
これにより、再生している音響信号のうち所望の検索位置を指定することで、記録媒体に記録されている音響信号の中から、当該所望の検索位置の信号に類似する音響信号を検索することができる。
【０１１５】
また、本発明に係る信号処理方法は、複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換工程と、時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割工程と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価工程と、上記複数の音響信号間の類似する領域を検出する類似領域検出工程と、上記類似領域検出工程で検出された上記複数の音響信号間の類似する領域を符号化する第１の符号化工程と、上記類似する領域以外を符号化する第２の符号化工程とを有することを特徴としている。
【０１１６】
ここで、上記第１の符号化工程では、上記類似する領域の位置、拡大率及び当該類似する領域の形状の情報を符号化することができる。
【０１１７】
このような信号処理方法では、入力され、時間周波数分布に変換された複数の音響信号の少なくとも１つが複数の小領域に分割され、その小領域毎に他の音響信号との類似度が求められ、それらを集計することによって複数の音響信号間の類似性が評価される。そして、その類似性に基づいて、複数の音響信号間の類似する領域が検出され、その類似する領域とそれ以外の領域とが別々に符号化される。
【０１１８】
これにより、通常の符号化方法によって符号化する場合と比較して、符号化効率を向上させることができる。
【０１１９】
また、本発明に係る信号処理装置は、複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換手段と、時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割手段と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出手段と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計手段と、当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価手段とを備えることを特徴としている。
【０１２２】
このような信号処理装置は、入力され、時間周波数分布に変換された複数の音響信号の少なくとも１つを複数の小領域に分割し、その小領域毎に他の音響信号との類似度を求め、それらを集計することによって複数の音響信号間の類似性を評価する。
【０１２３】
これにより、従来では検出が困難であった部分的に類似する音響信号について、類似性の評価及び類似領域の検出が可能とされる。
【０１２４】
また、本発明に係る信号処理装置は、複数の音響信号が記録されている記録手段と、上記複数の音響信号を再生する再生手段と、再生されている上記音響信号の中から所望の検索位置を指定する検索位置指定手段と、上記所望の検索位置の信号と上記記録手段に記録されている検索対象音響信号とを時間周波数分布に変換するスペクトル変換手段と、時間周波数分布に変換された上記所望の検索位置の信号を複数の小領域に分割する分割手段と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と上記検索対象音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記検索対象音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出手段と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計手段と、当該集計の結果に基づき、上記所望の検索位置の信号と上記検索対象音響信号との類似性を評価する類似性評価手段と、上記所望の検索位置の信号と上記検索対象音響信号とが類似する領域を検出する類似領域検出手段とを備えることを特徴としている。
【０１２５】
このような信号処理装置は、再生されている音響信号の中から所望の検索位置が指定されると、検索位置の信号と記録手段に記録されている検索対象音響信号とを時間周波数分布に変換し、時間周波数分布に変換された所望の検索位置の信号を複数の小領域に分割し、その小領域毎に検索対象音響信号との類似度を求め、それらを集計することによって所望の検索位置の信号と検索対象音響信号との類似性を評価し、その類似性に基づいて類似する領域を検出する。
【０１２６】
これにより、再生している音響信号のうち所望の検索位置を指定することで、記録媒体に記録されている音響信号の中から、当該所望の検索位置の信号に類似する音響信号を検索することができる。
【０１２７】
また、本発明に係る信号処理装置は、複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換手段と、時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割手段と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出手段と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計手段と、当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価手段と、上記複数の音響信号間の類似する領域を検出する類似領域検出手段と、上記類似領域検出手段によって検出された上記複数の音響信号間の類似する領域を符号化する第１の符号化手段と、上記類似する領域以外を符号化する第２の符号化手段とを備えることを特徴としている。
【０１２９】
このような信号処理装置は、入力され、時間周波数分布に変換された複数の音響信号の少なくとも１つを複数の小領域に分割し、その小領域毎に他の音響信号との類似度を求め、それらを集計することによって複数の音響信号間の類似性を評価する。そして、その類似性に基づいて、複数の音響信号間の類似する領域を検出し、その類似する領域とそれ以外の領域とを別々に符号化する。
【０１３０】
これにより、通常の符号化方法によって符号化する場合と比較して、符号化効率を向上させることができる。
【０１３１】
また、本発明に係る信号処理プログラムは、複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換工程と、時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割工程と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価工程とを有することを特徴としている。
【０１３４】
このような信号処理プログラムは、入力され、時間周波数分布に変換された複数の音響信号の少なくとも１つを複数の小領域に分割し、その小領域毎に他の音響信号との類似度を求め、それらを集計することによって複数の音響信号間の類似性を評価する。
【０１３５】
これにより、従来では検出が困難であった部分的に類似する音響信号について、類似性の評価及び類似領域の検出が可能とされる。
【０１３６】
また、本発明に係る信号処理プログラムは、記録手段に記録されている音響信号を再生する再生工程と、再生されている上記音響信号の中から所望の検索位置を指定する検索位置指定工程と、上記所望の検索位置の信号と上記記録手段に記録されている検索対象音響信号とを時間周波数分布に変換するスペクトル変換工程と、時間周波数分布に変換された上記所望の検索位置の信号を複数の小領域に分割する分割工程と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と上記検索対象音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記検索対象音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、当該集計の結果に基づき、上記所望の検索位置の信号と上記検索対象音響信号との類似性を評価する類似性評価工程と、上記所望の検索位置の信号と上記検索対象音響信号とが類似する領域を検出する類似領域検出工程とを有することを特徴としている。
【０１３７】
このような信号処理プログラムは、再生されている音響信号の中から所望の検索位置が指定されると、検索位置の信号と記録手段に記録されている検索対象音響信号とを時間周波数分布に変換し、時間周波数分布に変換された所望の検索位置の信号を複数の小領域に分割し、その小領域毎に検索対象音響信号との類似度を求め、それらを集計することによって所望の検索位置の信号と検索対象音響信号との類似性を評価し、その類似性に基づいて類似する領域を検出する。
【０１３８】
これにより、再生している音響信号のうち所望の検索位置を指定することで、記録媒体に記録されている音響信号の中から、当該所望の検索位置の信号に類似する音響信号を検索することができる。
【０１３９】
また、本発明に係る信号処理プログラムは、複数の音響信号を入力し、当該複数の音響信号を時間周波数分布に変換するスペクトル変換工程と、時間周波数分布に変換された上記複数の音響信号のうち、少なくとも１つの音響信号を複数の小領域に分割する分割工程と、各小領域を時間方向、又は時間方向及び周波数方向にシフトさせながら、各小領域と他の音響信号との類似度を計算し、当該類似度に基づいて選択された１つ又は複数の位置までのシフト量である時間差、又は時間差及び周波数差と、当該位置における各小領域と上記他の音響信号との信号強度の比である拡大率とを変換パラメータとして抽出するパラメータ抽出工程と、上記時間差、又は上記時間差及び周波数差と、上記拡大率とを軸とする空間を投票空間とし、当該投票空間中の上記変換パラメータで示される位置に、当該変換パラメータに対応した類似度に基づく値を投票して集計する集計工程と、当該集計の結果に基づき、上記複数の音響信号間の類似性を評価する類似性評価工程と、上記複数の音響信号間の類似する領域を検出する類似領域検出工程と、上記類似領域検出工程で検出された上記複数の音響信号間の類似する領域を符号化する第１の符号化工程と、上記類似する領域以外を符号化する第２の符号化工程とを有することを特徴としている。
【０１４１】
このような信号処理プログラムは、入力され、時間周波数分布に変換された複数の音響信号の少なくとも１つを複数の小領域に分割し、その小領域毎に他の音響信号との類似度を求め、それらを集計することによって複数の音響信号間の類似性を評価する。そして、その類似性に基づいて、複数の音響信号間の類似する領域を検出し、その類似する領域とそれ以外の領域とを別々に符号化する。
【０１４２】
これにより、通常の符号化方法によって符号化する場合と比較して、符号化効率を向上させることができる。
【図面の簡単な説明】
【図１】従来の相関法によって、類似度が適切に求められない例について説明するための図であり、信号Ａの短時間スペクトル分布を示す。
【図２】従来の相関法によって、類似度が適切に求められない例について説明するための図であり、信号Ｂの短時間スペクトル分布を示す。
【図３】従来の相関法によって、類似度が適切に求められない例について説明するための図であり、信号Ｂの短時間スペクトル分布を示す。
【図４】信号Ａのスペクトルの一部の区間をテンプレートとし、信号Ｂのスペクトルと信号Ｃのスペクトルとに対して相関演算を行った結果を説明する図であり、同図（Ａ）は、信号Ｂのスペクトルに対して相関検出を行った結果を示し、同図（Ｂ）は、信号Ｃのスペクトルに対して相関検出を行った結果を示す。
【図５】本実施の形態における信号処理装置の概略構成を説明する図である。
【図６】同信号処理装置の動作の原理を説明する図であり、同図（Ａ）は、第１の信号を小領域に分割する様子を示し、同図（Ｂ）は、信号g(x)中で類似する領域が検出された様子を示し、同図（Ｃ）は、その領域のパラメータを投票空間に投票する様子を示す。
【図７】同信号処理装置の動作を説明するフローチャートである。
【図８】同信号処理装置の信号処理方法を信号Ａ、信号Ｂ及び信号Ｃに適用した例を説明する図であり、図図（Ａ）は、信号Ａを第１の信号とし、信号Ｂを第２の信号とした場合の投票結果の分布を示し、図８（Ｂ）は、信号Ａを第１の信号とし、信号Ｃを第２の信号とした場合の投票結果の分布を示す。
【図９】信号Ａのうち、信号Ｂと類似する領域が抽出された例を示す。
【図１０】同信号処理装置を適用した音響映像検索装置の概略構成を説明する図である。
【図１１】同音響映像検索装置の動作を説明するフローチャートである。
【図１２】同信号処理装置を適用した音響信号符号化装置の概略構成を説明する図である。
【図１３】同音響信号符号化装置の動作を説明するフローチャートである。
【図１４】同音響信号符号化装置の動作を説明する図であり、同図（Ａ）は、第１の部分区間及び第２の部分区間を選択する様子を示し、同図（Ｂ）は、第２の部分区間のうち第２の部分区間と類似する区間が抽出された様子を示し、同図（Ｃ）は、第１の部分区間を符号化する様子を示し、同図（Ｄ）は、新たに第１の部分区間を選択する様子を示す。
【符号の説明】
１０  信号処理装置、１１  第１のスペクトル計算部、１２  領域分割部、１３  第２のスペクトル計算部、１４  類似度計算部、１５  投票部、１６  類似判定部、１７  類似領域検出部、２０  音響映像検索装置、２１  記録部、２２再生／表示部、２３  入力部、２４  類似探索部、３０  音響信号符号化装置、３１  類似領域検出部、３２  類似成分分離部、３３  類似成分符号化部、３４  類似成分減算部、３５  信号符号化部、３６  統合部
【図１】
0003750583.tif 000002
【図２】
0003750583.tif 000003
【図３】
0003750583.tif 000004
【図４】
0003750583.tif 000005
【図５】
0003750583.tif 000006
【図６】
0003750583.tif 000007
【図７】
0003750583.tif 000008
【図８】
0003750583.tif 000009
【図９】
0003750583.tif 000010
【図１０】
0003750583.tif 000011
【図１１】
0003750583.tif 000012
【図１２】
0003750583.tif 000013
【図１３】
0003750583.tif 000014
【図１４】
0003750583.tif 000015