(57)【要約】【課題】課題の一例としては、少ない演算量で簡易に精度よく楽曲の特徴部分を抽出することができる楽曲信号抽出装置、楽曲信号抽出方法および楽曲信号抽出プログラムを提供することにある。【解決手段】入力された楽曲信号に基づいて、前記楽曲信号を統計処理し、楽曲信号の特徴部分の抽出を行なう楽曲信号抽出装置において、前記楽曲信号を予め定められた単位に分割する分割手段と、前記分割手段によって分割された分割信号中における極大値を持つ信号の時間軸上での信号幅を算出する信号幅算出手段と、前記信号幅について前記分割信号毎に統計処理をする統計処理手段と、前記統計処理手段によって統計処理された統計処理値に基づいて、前記楽曲信号の時間軸方向に対して重み付けされたマスクを生成するマスク生成手段と、前記入力された楽曲信号と前記マスクとに基づいて前記楽曲信号の特徴部分を抽出するための演算をする演算手段と、を具備する。【選択図】図１
2008242213.tif 000002
【特許請求の範囲】
【請求項１】
入力された楽曲信号に基づいて、前記楽曲信号を統計処理し、楽曲信号の特徴部分の抽出を行なう楽曲信号抽出装置において、
前記楽曲信号を予め定められた単位に分割する分割手段と、
前記分割手段によって分割された分割信号中における極大値を持つ信号の時間軸の信号幅を算出する信号幅算出手段と、
前記信号幅について前記分割信号毎に統計処理をする統計処理手段と、
前記統計処理手段によって統計処理された統計処理値に基づいて、前記楽曲信号の時間軸方向に対して重み付けされたマスクを生成するマスク生成手段と、
前記入力された楽曲信号と前記マスクとに基づいて前記楽曲信号の特徴部分を抽出するための演算をする演算手段と、
を備えることを特徴とする楽曲信号抽出装置。
【請求項２】
請求項１に記載の楽曲信号抽出装置において、
前記信号幅算出手段は、前記分割信号毎に最大の極大値を検出し、前記最大の極大値から、前記最大の極大値から予め定められた小さい値までの、前記極大値を持つ信号について、前記時間軸方向の信号幅を算出することを特徴とする楽曲信号抽出装置。
【請求項３】
請求項１または２に記載の楽曲信号抽出装置において、
前記統計処理手段は、前記信号幅算出手段によって算出された前記信号幅を、前記分割信号毎に平均化した平均信号幅について統計処理することを特徴とする楽曲信号抽出装置。
【請求項４】
請求項１乃至３のいずれか一項に記載の楽曲信号抽出装置において、
前記統計処理手段は、前記分割信号単位で前記時間軸方向に統計処理を行ない、突発的に大きな信号値を有する分割信号を当該分割信号に時間軸上で隣接する少なくとも一つ以上の他の分割信号との統計処理によって、前記突発的に大きな信号値を有する分割信号の信号値を小さくすることを特徴とする楽曲信号抽出装置。
【請求項５】
請求項１乃至４のいずれか一項に記載の楽曲信号抽出装置において、
前記統計処理手段は、前記分割信号単位で時間軸方向に隣接する複数の前記分割信号に対してメディアンフィルタをかけ、突発的に大きな信号値を有する分割信号の当該信号値を小さくすることを特徴とする楽曲信号抽出装置。
【請求項６】
請求項１乃至５のいずれか一項に記載の楽曲信号抽出装置において、
前記マスク生成手段は、前記統計処理手段によって統計処理された前記分割単位毎の統計処理値と予め定められた値とを比較し、前記予め定められた値より大きな統計処理値を有する分割単位に対応する時間軸上の時間に対しては前記楽曲信号をそのまま通過させるマスク係数を設定し、前記予め定められた値より小さな統計処理値を有する分割単位に対応する時間軸上の時間に対しては前記楽曲信号を通過させないマスク係数を設定することを特徴とする楽曲信号抽出装置。
【請求項７】
請求項１乃至６のいずれか一項に記載の楽曲信号抽出装置において、
前記入力された楽曲信号を遅延させる遅延手段を更に備え、
前記演算部は、前記入力された楽曲信号と前記遅延手段によって遅延された前記楽曲信号とに基づいて前記楽曲信号の特徴部分を抽出するための演算をすることを特徴とする楽曲信号抽出装置。
【請求項８】
入力された楽曲信号に基づいて、前記楽曲信号を統計処理し、楽曲信号の特徴部分の抽出を行なう楽曲信号抽出方法において、
前記楽曲信号を予め定められた単位に分割する分割工程と、
前記分割工程において分割された分割信号中における極大値を持つ信号の時間軸の信号幅を算出する信号幅算出工程と、
前記信号幅について前記分割信号毎に統計処理をする統計処理工程と、
前記統計処理工程において統計処理された統計処理値に基づいて、前記楽曲信号の時間軸方向に対して重み付けされたマスクを生成するマスク生成工程と、
前記入力された楽曲信号と前記マスクとに基づいて前記楽曲信号の特徴部分を抽出するための演算をする演算工程と、
を備えることを特徴とする楽曲信号抽出方法。
【請求項９】
請求項１に記載の楽曲信号抽出装置に含まれるコンピュータを、
前記楽曲信号を予め定められた単位に分割する分割手段、
前記分割手段によって分割された分割信号中における極大値を持つ信号の時間軸の信号幅を算出する信号幅算出手段、
前記信号幅について前記分割信号毎に統計処理をする統計処理手段、
前記統計処理手段によって統計処理された統計処理値に基づいて、前記楽曲信号の時間軸方向に対して重み付けされたマスクを生成するマスク生成手段、
前記入力された楽曲信号と前記マスクとに基づいて前記楽曲信号の特徴部分を抽出するための演算をする演算手段、
として機能させることを特徴とする楽曲信号抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、楽曲の特徴量を抽出して楽曲信号における特徴部分の信号を抽出する楽曲信号抽出装置の技術分野に関する。
【背景技術】
【０００２】
従来から、楽曲の特徴量を抽出して楽曲を分類する技術があり、例えば、楽曲をスペクトラムアナライザにかけ、楽曲の最初と最後の５秒間についてスペクトラムアナライザを用いて周波数分析し、周波数分析された拍手パターンと一致するか否かを判定し、拍手パターンと一致する場合には、その楽曲をライブ曲と判別する技術が知られている（特許文献１参照）。
【０００３】
また、楽曲の特徴量としての楽曲の周波数を抽出するための技術としてＦＦＴ（Fast Fourier Transform）等の周波数解析技術が知られている。
【特許文献１】特開２００１―８５９６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、楽曲信号の特徴部分として聴取者が拍手している部分を周波数特性で特徴付けることはかなり困難である。例えば、拍手部分は広い帯域に渡るスペクトルを示すため、スペクトルだけで比較するとホワイトノイズと区別することが困難な場合がある。また、拍手信号は楽器が演奏されることによる信号のように調波構造を持つわけではないので周波数分析することが妥当であるか疑念があった。さらに、ＦＦＴ等の周波数分析手法を用いると演算量が膨大になるために演算時間がかかり、リアルタイムに楽曲の拍手部分を抽出することが困難であった。
【０００５】
本願は、上記の各問題点に鑑みて為されたもので、その課題の一例としては、少ない演算量で簡易に精度よく楽曲の特徴部分を抽出することができる楽曲信号抽出装置、楽曲信号抽出方法および楽曲信号抽出プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の楽曲種類判別装置は、入力された楽曲信号に基づいて、前記楽曲信号を統計処理し、楽曲信号の特徴部分の抽出を行なう楽曲信号抽出装置において、前記楽曲信号を予め定められた単位に分割する分割手段と、前記分割手段によって分割された分割信号中における極大値を持つ信号の時間軸の信号幅を算出する信号幅算出手段と、前記信号幅について前記分割信号毎に統計処理をする統計処理手段と、前記統計処理手段によって統計処理された統計処理値に基づいて、前記楽曲信号の時間軸方向に対して重み付けされたマスクを生成するマスク生成手段と、前記入力された楽曲信号と前記マスクとに基づいて前記楽曲信号の特徴部分を抽出するための演算をする演算手段と、を備えることを特徴とする。
【０００７】
上記課題を解決するために、請求項８に記載の楽曲信号抽出方法は、入力された楽曲信号に基づいて、前記楽曲信号を統計処理し、楽曲信号の特徴部分の抽出を行なう楽曲信号抽出方法において、前記楽曲信号を予め定められた単位に分割する分割工程と、前記分割工程において分割された分割信号中における極大値を持つ信号の時間軸の信号幅を算出する信号幅算出工程と、前記信号幅について前記分割信号毎に統計処理をする統計処理工程と、前記統計処理工程において統計処理された統計処理値に基づいて、前記楽曲信号の時間軸方向に対して重み付けされたマスクを生成するマスク生成工程と、前記入力された楽曲信号と前記マスクとに基づいて前記楽曲信号の特徴部分を抽出するための演算をする演算工程と、を備えることを特徴とする。
【０００８】
上記課題を解決するために、請求項９に記載の楽曲信号抽出プログラムは、請求項１に記載の楽曲信号抽出装置に含まれるコンピュータを、前記楽曲信号を予め定められた単位に分割する分割手段、前記分割手段によって分割された分割信号中における極大値を持つ信号の時間軸の信号幅を算出する信号幅算出手段、前記信号幅について前記分割信号毎に統計処理をする統計処理手段、前記統計処理手段によって統計処理された統計処理値に基づいて、前記楽曲信号の時間軸方向に対して重み付けされたマスクを生成するマスク生成手段、前記入力された楽曲信号と前記マスクとに基づいて前記楽曲信号の特徴部分を抽出するための演算をする演算手段、として機能させることを特徴とする。
【発明を実施するための最良の形態】
【０００９】
以下、添付図面に基づいて、本願の実施形態について説明する。本実施形態では楽曲の特徴部分として特に聴取者の拍手部分を抽出する方法について説明する。
【００１０】
図１は本実施形態の楽曲信号抽出装置の構成を示すブロック図であり、図２は本実施形態の拍手信号が混在した楽曲信号の一例を示す図であり、図３は本実施形態における平均ピーク間隔とそのヒストグラムを示す図であり、図４は本実施形態におけるピーク除去後の中央ピーク間隔とそのヒストグラムを示す図であり、図５は本実施形態において生成されたマスクと入力楽曲信号から出力である拍手信号が抽出されたことを示す図であり、図６は本実施形態の−２ｄＢ閾値における平均ピーク間隔とそのヒストグラムを示す図であり、図７は本実施形態の−６ｄＢ閾値における平均ピーク間隔とそのヒストグラムを示す図であり、図８は本実施形態のメディアンフィルタにおける最小値の時間変化とヒストグラムであり、図８は本実施形態のメディアンフィルタにおける最小値の時間変化とヒストグラムであり、図１０は本実施形態の動作を示すフローチャートである。
【００１１】
最初に本実施形態の楽曲信号抽出装置Ｓの構成について図１を用いて説明する。
【００１２】
楽曲信号抽出装置Ｓは、分割手段を含む分割部１、信号幅算出手段を含む平均ピーク間隔算出部２、統計処理手段を含むピーク除去部３、マスク生成手段を含むマスク生成部４、遅延手段を含む遅延部５、演算手段を含む演算部６を含んで構成される。
【００１３】
分割部１は、入力された楽曲信号Ｓ（ｎ）（ｎはサンプル時間）の全部または一部毎に、フレーム分割する。例えば、フレーム分割する切り出し長さ（フレーム長）は通常の楽曲におけるビート間隔（ＢＰＭ（Beats Per Minute））の数分の１に設定する。
【００１４】
一例として数千曲の楽曲の平均ビート間隔を示すＢＰＭはおおよそ１３３ＢＰＭであった。通常の楽曲では音の立ち上がり間隔はビート間隔に同期するので切り出し長をビート間隔よりも長くすると、切り出された楽曲のおおよそ全部に楽曲の音の立ち上がり（ピーク）が含まれることになる。このように切り出し長をビート間隔よりも長くすると、楽曲のピーク間隔が大きくなってしまう。また、視聴者の耳が拍手音の複数の立ち上がりを捉えることができる充分な長さで切り出し長を設定する必要がある。
【００１５】
そこで、本実施形態においては、前記１３３ＢＰＭよりも小さいビート間隔である１２０ＢＰＭ（ビート間隔は５００ｍｓ）に相当するビート間隔よりも小さい約２００ｍｓｅｃで楽曲の切り出し（分割）を行なう。拍手は通常、大勢の人によって発せられる打音であるので、２００ｍｓｅｃの区間内であれば楽曲のビート間隔よりも多くの音の立ち上がりが含まれることになる。
【００１６】
入力された楽曲信号Ｓ（ｎ）について、２００ｍｓｅｃで分割（切り出し）が実施された場合には、切り出される系列Ｃ（ｍ）（ｍ：正の整数）は式１で表される。
【００１７】
（数１）
Ｃ（ｍ）=Ｓ（（２００＊ｆｓ／１０００）＊ｍ＋１）〜Ｓ（（２００＊ｆｓ／１０００）＊（ｍ＋１））               ・・・  （式１）
ここで、ｆｓはサンプリング周波数[Ｈｚ]を示す。
【００１８】
本実施形態においてはフレーム間のオーバラップのない場合について説明するが、フレーム間にオーバラップを設けて本実施形態を実施することも可能である。
【００１９】
次に、平均ピーク間隔算出部２の動作について説明する。
【００２０】
平均ピーク間隔算出部２は切り出されたフレームＣ（ｍ）の中で、極大値を持つ信号のなかから最大値（ピーク（最大の極大値））を探す。そして、平均ピーク間隔算出部２は、最大値から予め定められた値である４ｄＢ小さい値をスレッショルド（閾値）Ｔｈｃと設定する。
【００２１】
そして、平均ピーク間隔算出部２は切り出されたフレームＣ（ｍ）の中で、スレッショルド（閾値）Ｔｈｃを超える時間（またはＣ（ｍ）の中で何番目のサンプリング信号になるか（サンプリング周期の何倍か））を記憶し、そのスレッショルド（閾値）Ｔｈｃを超える時間の集合をＮとする。スレッショルド（閾値）Ｔｈを超える時間（またはＣ（ｍ）の中で何番目のサンプリング信号になるか（サンプリング周期の何倍か））がＬ個ある場合には、集合Ｎは下記に示す式２で表現される。
【００２２】
（数２）
Ｎ=（ｎ１、ｎ２、ｎ３、 ．．． ｎＬ）               ・・・  （式２）
ここで、Ｌは自然数（個数）であり、ｎＬはサンプリング周期の整数倍の値を示す。
【００２３】
そして、Ｃ（ｍ）の中で、スレッショルド（閾値）Ｔｈｃを超える値を持つ信号の時間間隔（ピーク（時間）間隔）の集合を、以下のｄＮで示す。
【００２４】
（数３）
ｄＮ＝（ｎ２−ｎ１、ｎ３−ｎ２、ｎ４−ｎ３、...  、ｎＬ−ｎＬ−１）
・・・  （式３）
また、スレッショルド（閾値）Ｔｈｃを超える値を持つ信号の時間間隔（ピーク（時間）間隔）の集合ｄＮの時間間隔の平均値を、平均ピーク（時間）間隔と称し、Ｐ（ｍ）で示す。
【００２５】
（数４）
Ｐ（ｍ）＝平均（ｄＮ）                              ・・・  （式４）
平均ピーク間隔の演算例を図３（Ａ）に示す（詳細は後述する）。
【００２６】
次に、ピーク除去部３の動作について説明する。
【００２７】
ピーク除去部３においては、楽曲中におけるビート間隔に対応する楽曲の立ち上がりによるピークを除去するためにメディアンフィルタを使用している。メディアンフィルタとは設定された窓の中のデータについてヒストグラムを作成し、その中央値を出力するフィルタである。
【００２８】
本実施形態においては、Ｐ（ｍ）を窓幅５サンプルのメディアンフィルタに通す。メディアンフィルタの出力をＤ（ｍ）とする。切り出し区間長が２００ｍｓｅｃでサンプル間のオーバラップがない場合には、５サンプルは１秒に該当する。例えば、ＢＰＭが１２０の楽曲では、１秒間にビートに対応した大きなピーク（ビートに合わせた楽器の演奏による立ち上がり部分）が２つ存在する。ビートに対応するピークが存在する切り出し区間においては、最大値（ピーク）からー４ｄＢ下がった値がスレッショルド（閾値）Ｔｈｄとなるので、その切り出し区間では、スレッショルド（閾値）Ｔｈｄを超えるサンプル数が減少するために平均ピーク間隔が極端に大きくなる傾向にある。
【００２９】
このピーク除去部３におけるピーク除去処理は、音楽中のビート周期で起こるＰ（ｍ）の局所的なピークを取り除く処理である。５サンプル中の中央値が出力されれば（メディアンフィルタ）、一例としてのＢＰＭが１２０の楽曲の場合における１秒間の大きな２つのピークを除去することができ、ＢＰＭに起因する影響を除去することが可能となる。また、その他の楽曲中の突発的な音の立ち上がりによるピークの影響を除去することもできる。
【００３０】
メディアンフィルタの出力Ｄ（ｍ）の一例を図４に示す（詳細は後述する。）
次に、マスク生成部４の動作について説明する。
【００３１】
マスク生成部４は、メディアンフィルタの出力であるＤ（ｍ）に予め定められた値であるスレッショルドＴｈｍを設定して閾値判別を行なう。マスク生成部４は、マスクの値をＭ（ｎ）で表すと、Ｄ（ｍ）の値がスレッショルドＴｈｍを超えている場合にはマスクＭ（ｎ）＝１と設定し、Ｄ（ｍ）の値がスレッショルドＴｈｍよりも小さいときはマスクＭ（ｎ）＝０と設定する。つまり、切り出し長２００ｍｓｅｃのとき、時間ｎに対応する２００ｍｓｅｃの間、マスクＭ（ｎ）は０か１の固定値となる。
【００３２】
マスクＭ（ｎ）を生成するための、メディアンフィルタの出力であるＤ（ｍ）に対するスレッショルドＴｈｍは、Ｄ（ｍ）のうち、過去数十秒間における最大振幅値からー６ｄＢ下がった値などを使う（詳細は図６および図７において説明する）。
【００３３】
本実施形態においては、マスクＭ（ｎ）の値は０又は１としたが、本発明はこれらの値に限定されるわけではない。マスクＭ（ｎ）の値はＤ（ｍ）の出力値に応じて任意の値に設定することができ、Ｄ（ｍ）の出力値に応じて様々な重み付けがされたマスクを設定することができ、楽曲信号Ｓ（ｎ）に対して、任意の成分を重み付けして出力させるマスクを生成することが可能である。
【００３４】
次に、遅延部５について説明する。
【００３５】
分割部１に入力された楽曲信号Ｓ（ｎ）は、分割部１における分割処理、平均ピーク間隔算出部２における平均ピーク間隔算出処理、ピーク除去部３におけるピーク除去処理、マスク生成部４におけるマスク生成処理が行なわれる。したがって、演算部６に入力される時点において各処理部における処理時間を積算した積算時間（τ）だけ、分割部１に入力された楽曲信号Ｓ（ｎ）が遅延している。そこで、遅延部５は、各処理部における演算時間の積算時間（τ）だけ楽曲信号Ｓ（ｎ）を遅延させ、演算部６における演算処理が同期を取れるように（楽曲信号Ｓ（ｎ）の処理が同期を取れるように）する。
【００３６】
次に、演算部６について説明する。
【００３７】
演算部６は、２値（０又は１）で表現されたマスクＭ（ｎ）を、楽曲信号Ｓ（ｎ）と積演算することによって楽曲信号Ｓ（ｎ）中の拍手信号成分Ａ（ｎ）を抽出する。本実施形態では、Ｍ（ｎ）が１である時間に対応する楽曲信号Ｓ（ｎ）部分はそのままの信号成分が演算部６の出力とされ、Ｍ（ｎ）が０である時間に対応する楽曲信号Ｓ（ｎ）部分は演算部６の出力値が０となる。この様子を図５に示す（詳細は後述する）。
【００３８】
次に、図２について説明する。
【００３９】
図２は本実施形態の楽曲信号に拍手信号が混在した一例を示す図である。
【００４０】
図２において、縦軸は楽曲信号Ｓ（ｎ）の振幅の大きさについて、楽曲信号Ｓ（ｎ）の中心付近のレベルを０として正負の記号を使用して表示している。また、図２において、横軸は時間軸を秒（ｓｅｃ）単位で表示している。
【００４１】
図２において時間ｈ１、時間ｈ２、および時間ｈ３は聴取者によって拍手がされている部分であり、拍手信号を示している。また、図２において時間ｇ１、時間ｇ２、および時間ｇ３は楽曲等が演奏されている部分を示している。本実施形態においては、図２における時間ｈ１、時間ｈ２、および時間ｈ３に対応する拍手信号を抽出するのである。
【００４２】
次に図３について説明する。
【００４３】
図３は本実施形態における平均ピーク間隔Ｐ（ｍ）とそのヒストグラムを示す図である。
【００４４】
平均ピーク算出部２は、分割部１において切り出されたフレームＣ（ｍ）の中で、極大値を持つ信号のなかから最大値（ピーク（最大の極大値））を探す。そして、平均ピーク間隔算出部２は、最大値から予め定められた値である４ｄＢ小さい値をスレッショルド（閾値）Ｔｈｃと設定し、スレッショルド（閾値）Ｔｈｃを超える信号を検出する。そして、検出された信号間の時間間隔（信号幅）の平均値（平均ピーク間隔）をフレーム毎に演算する。
【００４５】
図３（Ａ）は上述した、フレーム毎の平均ピーク間隔を棒グラフで表示した図である。図３（Ａ）の横軸は時間を表示し、本実施形態のフレーム長である２００ｍｓｅｃ間隔で棒グラフが表示されている。図３（Ａ）の縦軸はフレーム毎の平均ピーク間隔を時間ごとに表示している。
【００４６】
図３（Ａ）の横軸（時間軸）と図２の横軸（時間軸）とを比較すると、図２における拍手信号期間である時間ｈ１、ｈ２、およびｈ３に対応する図３における時間軸において、フレーム毎の平均ピーク間隔が大きくなっていることが示されている。これは、図３が、聴取者による拍手の間隔が楽曲信号の楽曲の強弱間隔よりも大きいことを、平均ピーク算出部２の演算によって効果的に抽出していることを示している。
【００４７】
また、図３（Ｂ）は、図３（Ａ）の平均ピーク間隔をヒストグラムで表示した図である。図３（Ｂ）の横軸はピーク間隔（ｍｓｅｃ）を示し、縦軸はそのピークが存在する確率を示す。その確率は、図３（Ａ）のピーク間隔を示すＰ（ｍ）の総個数（すなわちｍ個）で、あるピーク間隔を示す個数を除算して算出する。
【００４８】
平均ピーク間隔が３ｍｓｅｃ付近以上の領域に突発的に大きな平均ピーク間隔があり、拍手信号を抽出する場合に、誤判定が発生する可能性があることが示されている。この誤判定を防ぐ方法であるピーク除去処理について以下に説明する。
【００４９】
次に図４について説明する。
【００５０】
図４は本実施形態におけるピーク除去後の中央ピーク間隔とそのヒストグラムを示す図である。
【００５１】
ピーク除去部３においては、楽曲中における楽曲の立ち上がりによるピークを除去するためにメディアンフィルタを使用している。前述したようにメディアンフィルタとは設定された窓の中のデータをソーティングして、その中央値を出力するフィルタである。
【００５２】
ピーク除去部３は、Ｐ（ｍ）を窓幅５サンプルのメディアンフィルタに通す。例えば、図３（Ａ）における平均ピーク間隔Ｐ（ｍ）を示す図において、時間０から１秒までの５つの平均ピーク間隔Ｐ（ｍ）（Ｐ（１）：０〜２００ｍｓｅｃの切り出し長における平均ピーク間隔、Ｐ（２）：２００〜４００ｍｓｅｃの切り出し長における平均ピーク間隔、Ｐ（３）：４００〜６００ｍｓｅｃの切り出し長における平均ピーク間隔、Ｐ（４）：６００〜８００ｍｓｅｃの切り出し長における平均ピーク間隔、Ｐ（５）：８００〜１０００ｍｓｅｃ（１ｓｅｃ（秒））の切り出し長における平均ピーク間隔）についてメディアンフィルタをかけた出力Ｄ（１）が図４（Ａ）の０〜２００ｍｓｅｃにおける棒グラフ（中央ピーク間隔（ｍｓｅｃ））となる。
【００５３】
また、図３（Ａ）における平均ピーク間隔Ｐ（ｍ）を示す図において、時間２００ｍｓｅｃから１２００ｍｓｅｃ（１．２秒）までの５つの平均ピーク間隔Ｐ（ｍ）（Ｐ（２）：２００〜４００ｍｓｅｃの切り出し長における平均ピーク間隔、Ｐ（３）：４００〜６００ｍｓｅｃの切り出し長における平均ピーク間隔、Ｐ（４）：６００〜８００ｍｓｅｃの切り出し長における平均ピーク間隔、Ｐ（５）：８００〜１０００ｍｓｅｃ（１ｓｅｃ（秒））の切り出し長における平均ピーク間隔、Ｐ（６）：１０００ｍｓｅｃ〜１２００ｍｓｅｃの切り出し長における平均ピーク間隔）についてメディアンフィルタをかけた出力Ｄ（２）が図４（Ａ）の２００〜４００ｍｓｅｃにおける棒グラフ（中央ピーク間隔（ｍｓｅｃ））となる。
【００５４】
さらに、図３（Ａ）における平均ピーク間隔Ｐ（ｍ）を示す図において、時間４００ｍｓｅｃから１４００ｍｓｅｃ（１．４秒）までの５つの平均ピーク間隔Ｐ（ｍ）（Ｐ（３）４００〜６００ｍｓｅｃの切り出し長における平均ピーク間隔、Ｐ（４）６００〜８００ｍｓｅｃの切り出し長における平均ピーク間隔、Ｐ（５）８００〜１０００ｍｓｅｃ（１ｓｅｃ（秒）、Ｐ（６）：１０００ｍｓｅｃ〜１２００ｍｓｅｃの切り出し長における平均ピーク間隔、Ｐ（７）：１２００〜１４００ｍｓｅｃの切り出し長における平均ピーク間隔）の切り出し長における平均ピーク間隔）についてメディアンフィルタをかけた出力Ｄ（３）が図４（Ａ）の４００〜６００ｍｓｅｃにおける棒グラフ（中央ピーク間隔（ｍｓｅｃ））となる。
【００５５】
このように、ピーク除去部３は、連続した切り出し部分（フレーム）における平均ピーク間隔について、平均ピーク間隔のヒストグラムを作成し、その中央値を出力Ｄ（ｍ）として出力する（メディアンフィルタ）。
【００５６】
また、Ｄ（ｍ）に対応するＰ（ｍ）のサンプリング方法は任意に変更することができる。例えば、上記一例においては、Ｄ（１）はＰ（１）乃至Ｐ（５）に対してメディアンフィルタをかけた値（Ｄ（２）はＰ（２）乃至Ｐ（６）に対してメディアンフィルタをかけた値であり、Ｄ（３）はＰ（３）乃至Ｐ（７）に対してメディアンフィルタをかけた値）とした（すなわち、Ｄ（ｍ）に対応するＰ（ｍ）は、Ｐ（ｍ）乃至Ｐ（ｍ＋４）に対してメディアンフィルタをかけた値とした）が、Ｄ（ｍ）をＰ（ｍ−２）乃至Ｐ（ｍ＋２）とするなど、Ｄ（ｍ）に対応するＰ（ｍ）は任意の値に設定することができる。
【００５７】
また、本実施形態においては、メディアンフィルタに一度にかける（一つの窓に入る）サンプル数（フレーム長）を連続した５サンプルとしたが、本発明はこれに限定されるわけではなく任意の数をサンプル数とすることができる。
【００５８】
また、メディアンフィルタに一度にかけるサンプル数は、サンプリング周波数に依存した値とすることもできる。
【００５９】
次に図４（Ｂ）について説明する。
【００６０】
図４（Ｂ）は、図４（Ａ）の中央ピーク間隔のヒストグラムを表した図である。図４（Ｂ）の横軸はピーク間隔（ｍｓｅｃ）を示し、縦軸はそのピークが存在する確率を示す。その確率は、図４（Ａ）の中央ピーク間隔を示すＤ（ｍ）の総個数（すなわちｍ個）で、ある中央ピーク間隔を示す個数を除算して算出する。
【００６１】
図３（Ｂ）における、平均ピーク間隔を算出したヒストグラムに比較すると、図４（Ｂ）は、ピーク間隔が３ｍｓｅｃ付近以上の領域にあった突発的に大きな平均ピーク間隔がピーク除去部３によって除去できていることを示しており、拍手信号を抽出する場合に、誤判定の発生する確率が少なくなっていることが示されている。
【００６２】
次に図５について説明する。
【００６３】
図５は、入力楽曲信号Ｓ（ｎ）と本実施形態において生成されたマスクとから拍手信号Ａ（ｎ）が抽出されたことを示す図である。図５（Ａ）は、図２（Ａ）に示された楽曲信号Ｓ（ｎ）と同じ楽曲信号である。
【００６４】
図５（Ｂ）に示されるマスクＭ（ｎ）は、前述したマスク生成部４において生成されたマスクを時間軸によって示した図である。
【００６５】
マスク生成部４は、図４（Ａ）に示される中央ピーク間隔Ｄ（ｍ）について予め定められたスレッショルド（閾値）Ｔｈｍに基づいて、Ｄ（ｍ）がその閾値を超えた時間についてＭ（ｎ）を“１”とし、Ｄ（ｍ）がその閾値を超えない時間についてＭ（ｎ）を“０”とする。例えば、切り出し長２００ｍｓｅｃのとき、マスクＭ（ｎ）の時間ｎは２００ｍｓｅｃ単位で０か１の固定値となる。
【００６６】
スレッショルド（閾値）Ｔｈｍは、Ｄ（ｍ）のうち過去数十秒間の中央ピーク間隔の中で最大のピーク間隔を示す中央ピーク間隔値からおおよそー６ｄＢの値を設定する。このようにして設定されたスレッショルド（閾値）Ｔｈｍに基づいて、図４（Ａ）で示される中央ピーク間隔からマスク生成部４において演算されたマスクＭ（ｎ）が図５（Ｂ）に示されるマスクである。
【００６７】
図５（Ｂ）のマスクＭ（ｎ）は、図５（Ａ）に示される楽曲信号Ｓ（ｎ）における拍手信号部分（ｈ１、ｈ２、およびｈ３）に対応したｎ１、ｎ２、およびｎ３部分が１となっている。したがって、図５（Ａ）における楽曲信号Ｓ（ｎ）と図５（Ｂ）におけるマスクＭ（ｎ）とを演算部６において積演算（掛算）をすると、楽曲信号Ｓ（ｎ）のうち、拍手信号部分が強調された拍手強調信号Ａ（ｎ）が図５（Ｃ）に示すように抽出される。
【００６８】
次に図６および図７を用いて、平均ピーク間隔算出部２において使用されるスレッショルド（閾値）Ｔｈｃを変化させた場合の平均ピーク間隔Ｐ（ｍ）の変化の様子を説明する。
【００６９】
前述したように、平均ピーク間隔算出部２は切り出されたフレームＣ（ｍ）の中で、極大値を持つ信号のなかから最大値（ピーク（最大の極大値））を探す。そして、平均ピーク間隔算出部２は、最大値から予め定められた値である４ｄＢ小さい値をスレッショルド（閾値）Ｔｈｃと設定する。
【００７０】
図６（Ａ）は、予め定められた値を２ｄＢとして、この最大値から予め定められた値である２ｄＢ小さい値をスレッショルド（閾値）Ｔｈｃと設定した場合のピーク間隔Ｐ（ｍ）を示す図である。
【００７１】
図６（Ａ）は、スレッショルドを最大値から４ｄＢ小さい値とした図３（Ａ）と比較すると、ピーク間隔が５ｍｓｅｃ以上の大きなピーク間隔を持つＰ（ｍ）が多数存在していることがわかる。図３（Ａ）においては、ピーク間隔が５ｍｓｅｃ以上の大きなピーク間隔を持つＰ（ｍ）は数個しか存在していない。また、図６（Ａ）において、図２の楽曲信号時間帯（ｇ１、ｇ２、およびｇ３）に対応する時間帯にも大きなピーク間隔Ｐ（ｍ）が存在している（図６（Ａ）中におけるＰ（ｍ）２１乃至Ｐ（ｍ）２８）ことが示されている。
【００７２】
また、図６（Ｂ）におけるピーク間隔Ｐ（ｍ）の存在確率のヒストグラムには、ピーク間隔０ｍｓｅｃから６ｍｓｅｃにかけて、隙間なくピーク間隔Ｐ（ｍ）が分散して存在していることが示されている。したがって、図３（Ｂ）におけるスレッショルドが最大値から４ｄＢ小さくした場合と比較すると、拍手信号部分を抽出するためのマスクＭ（ｎ）の生成が困難であることが示されている。
【００７３】
図７（Ａ）は、予め定められた値を６ｄＢとして、この最大値から予め定められた値である６ｄＢ小さい値をスレッショルド（閾値）Ｔｈｃと設定した場合のピーク間隔Ｐ（ｍ）を示す図である。
【００７４】
図７（Ａ）は、スレッショルドを最大値から４ｄＢ小さい値とした図３（Ａ）と比較すると、ピーク間隔が１ｍｓｅｃ以下の小さなピーク間隔を持つＰ（ｍ）が多数存在していることがわかる。すなわち、ピーク間隔Ｐ（ｍ）に基づいて拍手信号を抽出することが困難であることが示されている。
【００７５】
また、図７（Ｂ）におけるピーク間隔Ｐ（ｍ）の存在確率のヒストグラムには、ピーク間隔０ｍｓｅｃから１ｍｓｅｃにかけて、ピーク間隔Ｐ（ｍ）が集中していることがさらによく分かるように示されており、図３（Ｂ）におけるスレッショルドが最大値から４ｄｂ小さくした場合と比較すると、拍手信号部分を抽出するためのマスクＭ（ｎ）の生成が困難であることが示されている。
【００７６】
以上図３、図６および図７を用いて説明したように、平均ピーク間隔算出部２における閾値は、切り出されたフレームＣ（ｍ）の中で、極大値を持つ信号のなかにおける最大値（ピーク（最大の極大値））から予め定められた値として（２ｄＢから６ｄＢの間の値、最適値の一例として４ｄＢ）をスレッショルド（閾値）Ｔｈｃと設定することによって、楽曲信号Ｓ（ｎ）中の拍手信号部分を誤判定の確率が少なく抽出可能であることが示されている。
【００７７】
次に図８および図９を用いて、ピーク除去部３におけるメディアンフィルタの効果について説明する。
【００７８】
図４は、ピーク除去部において５つのＰ（ｍ）値をソーティングし、その中央値をプロッタした図である。図４では、楽曲信号Ｓ（ｎ）中の拍手信号部分に相当する時間帯（図２におけるｈ１、ｈ２、およびｈ３）に対応するｄ１、ｄ２、およびｄ３が台形状に表示されることによって拍手信号が容易に抽出できることが示されている。
【００７９】
一方、図８（Ａ）は、ピーク除去部３におけるメディアンフィルタの最小値をプロットした図である。図８（Ａ）からわかるように、楽曲信号Ｓ（ｎ）中の拍手信号部分に相当する時間帯（図２におけるｈ１、ｈ２、およびｈ３）に対応するｆｉ１、ｆｉ２、およびｆｉ３において、図４（Ａ）に表示されていた２ｍｓｅｃ前後の中央ピーク間隔Ｄ（ｍ）が消えてしまっており、拍手信号に相当する時間帯における時間軸上の前後の縁部分が不明確になっていることが示されている。
【００８０】
また、図８（Ｂ）におけるヒストグラムを、図４（Ｂ）のメディアンフィルタによるヒストグラムと比較すると、２ｍｓｅｃを越えるピーク間隔部分が消えていることが示されている。
【００８１】
また、図９（Ａ）は、ピーク除去部３におけるメディアンフィルタの最大値をプロットした図である。図９（Ａ）からわかるように、楽楽曲信号Ｓ（ｎ）中の拍手信号部分に相当しない楽曲信号のみの時間帯（図２におけるｇ１、ｇ２、およびｇ３）に対応するｆａ１、ｆａ２、およびｆａ３のうちの時間ｆａ１において大きなピーク間隔（Ｐ１）が発生していることが示されている。従って、このＰ１は拍手信号であると誤判断される可能性が高いことが分かる。図９（Ｂ）は、図９（Ａ）のメディアンフィルタの最大値がプロットされた時間軸方向のグラフのヒストグラムを示した図である。
【００８２】
次に、図１０を用いて、本実施形態に係わる動作のフローを説明する。
【００８３】
ステップＳ１において、分割部１は入力された楽曲信号Ｓ（ｎ）をフレーム分割する。
【００８４】
ステップＳ２において、平均ピーク間隔算出部２は、ステップＳ１において分割された分割部分（フレーム）毎に分割部分中に極大値を持つ信号の中で、最大の極大値から予め定められた値（一例として４ｄＢ）小さい値（閾値）Ｔｈｃ以上の極大値を有する信号の信号幅を検出する。そして、平均ピーク間隔算出部２は、ステップＳ１において分割された分割部分（フレーム）毎に信号振幅の平均値（平均ピーク間隔値）を演算する。
【００８５】
ステップＳ３において、ピーク除去部３は、ステップ２において演算された複数の分割部分（フレーム）の平均ピーク間隔に基づいて統計処理を行ない、突発的な平均ピーク値を持つフレームを除去する。統計処理の一例として、ピーク除去部３は、ステップＳ２において演算された複数のフレームの平均ピーク間隔値をソーティングして、その中央値を中央ピーク間隔（値）Ｄ（ｍ）として出力する。
【００８６】
ステップＳ４において、マスク生成部４は、中央ピーク間隔Ｄ（ｍ）に基づいて、マスクを生成する。一例として、マスク生成部４は、図４（Ａ）に示される中央ピーク間隔Ｄ（ｍ）について予め定められたスレッショルド（閾値）Ｔｈｍに基づいて、Ｄ（ｍ）がその閾値を超えた時間についてＭ（ｎ）を“１”とし、Ｄ（ｍ）がその閾値を超えない時間についてＭ（ｎ）を“０”とする。例えば、切り出し長２００ｍｓｅｃのとき、マスクＭ（ｎ）の時間ｎは２００ｍｓｅｃ単位で０か１の固定値となる。
【００８７】
一例として、スレッショルド（閾値）Ｔｈｍは、Ｄ（ｍ）のうち過去数十秒間の中央ピーク間隔の中で最大のピーク間隔を示す中央ピーク間隔値からおおよそー６ｄＢの値を設定する。
【００８８】
ステップＳ５において、演算部６は、遅延部において各演算処理部において発生する処理時間を加算した時間だけ楽曲信号Ｓ（ｎ）を遅延させた信号と、ステップＳ４において生成されたマスク（信号）との積を演算する。
【００８９】
以上説明したように、本発明によれば、ＦＦＴ等の周波数分析演算を使用しない統計演算処理を用いるので、少ない演算量でかつ正確に楽曲信号中に含まれる拍手信号部分を抽出することが可能となった。
【００９０】
また、本発明によれば、入力信号はフレーム単位（予め定められた単位）に分割されてから演算されるので、演算量が少なく、高速かつ正確に演算を行なうことが可能となった。
【００９１】
さらに、本発明によれば、分割単位は楽曲信号の平均ビート間隔よりも小さい値（例えば数分の１）としているので、ビート信号の影響による抽出精度の劣化を小さくすることができる。
【００９２】
さらに、本発明によれば、時間構造の特徴的な部分について着目しているので、周波数スペクトルによってはその特徴を抽出することができない楽器等のような調波構造を持たない信号（拍手信号など）を効率よく抽出することができる。
【００９３】
さらに、本発明によれば、入力された信号を予め定められた閾値に基づいて信号振幅の演算をしているので、簡易な構成による少ない演算量によって拍手信号の特徴部分を抽出し、拍手信号を抽出することができる。
【００９４】
さらに本発明によれば、分割信号毎に信号幅を平均化しているので、突発的な信号振幅の変化を抑制することができ、楽曲信号の特徴量を効率よく抽出することができる。
【００９５】
さらに、本発明によれば、時間軸上の隣接する分割信号について統計処理を行なっているので、簡易な構造かつ少ない演算量で、突発的に発生する大きな振幅を有する楽曲信号による誤抽出を防ぐことができる。
【００９６】
さらに、本発明によれば、統計処理手段にメディアンフィルタを使用しているので、簡易な構成かつ少ない演算量で、突発的に発生する大きな振幅を有する楽曲信号による誤抽出を防ぐことができる。
【００９７】
さらに本発明によれば、マスクによって時間軸方向に重み付けができるので、必要とされる楽曲信号部分を効率よく抽出することができる。
【００９８】
さらに本発明によれば、各処理部における処理時間による遅延を補償することができる構成としたので、時間軸のずれが発生しないように正確に拍手信号部分を抽出することができる。
【００９９】
さらに本発明によれば、入力信号のレベルおよび入力信号の雑音レベルによる判断ミスを最小限に減少させることが可能となった。
【０１００】
また、本発明は、テレビを含む音響機器の再生処理において、拍手信号を強調再生することによって、ライブ感覚を高めることができる。また楽曲検索システムにおいては、拍手信号部分を検出することによってライブ版を容易に検索することができる。
【０１０１】
また、ＨＤＤレコーダ等の電子情報処理装置において、拍手部分を検知することによって、スポーツのダイジェストシーンを容易に切り出すことが可能となり、再編集も容易になる。また、番組検索をする場合において、拍手部分を検知することによって、お笑い番組やスポーツ番組を容易に検索することが可能となる。
【０１０２】
また、本実施の形態で説明した楽曲信号抽出装置は、家庭（ホーム）、車（カー）またはポータブル機器におけるミュージックサーバに適用できる他に、音楽配信技術、楽曲情報に関するコンピュータプログラムにも適用することができる。さらにホームシアターシステム、ＰＤＰ等の薄型テレビ、ＰＣ、ポータブルＤＶＤ等のパーソナルサラウンドシステムに適用することが可能である。
【０１０３】
なお、図１０における動作手順を、ハードディスク等の記録媒体に予め記録しておき、或いはインターネット等のネットワークを介して予め記録しておき、これを汎用のマイクロコンピュータ等により読み出して実行することにより、当該汎用のマイクロコンピュータ等を実施形態に係わるＣＰＵとして機能させることも可能である。
【図面の簡単な説明】
【０１０４】
【図１】本実施形態の楽曲種類判別装置の構成を示すブロック図である。
【図２】本実施形態の拍手信号が混在した楽曲信号の一例を示す図である。
【図３】本実施形態における平均ピーク間隔とそのヒストグラムを示す図である。（Ａ）は、本実施形態における平均ピーク間隔示す図である。（Ｂ）は、本実施形態の平均ピーク間隔のヒストグラム示す図である。
【図４】本実施形態におけるピーク除去後の中央ピーク間隔とそのヒストグラムを示す図である。（Ａ）は、本実施形態における中央ピーク間隔示す図である。（Ｂ）は、本実施形態の中央ピーク間隔のヒストグラム示す図である。本実施形態の平均正規化残差パワー度数分布の一例を示す図である。
【図５】本実施形態において生成されたマスクと入力楽曲信号から出力である拍手信号が抽出されたことを示す図である。（Ａ）は入力される楽曲信号である。（Ｂ）はマスクである。（Ｃ）は拍手信号が強調され抽出された拍手強調信号である。
【図６】本実施形態の−２ｄＢ閾値における平均ピーク間隔とそのヒストグラムを示す図である。（Ａ）は、本実施形態の−２ｄＢ閾値における平均ピーク間隔示す図である。（Ｂ）は、本実施形態の−２ｄＢ閾値における平均ピーク間隔のヒストグラムを示す図である。
【図７】本実施形態の−６ｄＢ閾値における平均ピーク間隔とそのヒストグラムを示す図である。（Ａ）は、本実施形態の−６ｄＢ閾値における平均ピーク間隔示す図である。（Ｂ）は、本実施形態の−６ｄＢ閾値における平均ピーク間隔のヒストグラムを示す図である。
【図８】本実施形態のメディアンフィルタにおける最小値の時間変化とヒストグラムである。（Ａ）は、本実施形態のメディアンフィルタにおける最小値の時間変化を示す図である。（Ｂ）は、本実施形態のメディアンフィルタにおける最小値の時間変化のヒストグラムである。
【図９】本実施形態のメディアンフィルタにおける最大値の時間変化とヒストグラムである。（Ａ）は、本実施形態のメディアンフィルタにおける最大値の時間変化を示す図である。（Ｂ）は、本実施形態のメディアンフィルタにおける最大値の時間変化のヒストグラムである。
【図１０】本実施形態の動作を示すフローチャートである。
【符号の説明】
【０１０５】
１ … 分割部
２ … 平均ピーク間隔算出部
３ … ピーク除去部
４ … マスク生成部
５ … 遅延部
６ … 演算部
Ｓ（ｎ） … 楽曲信号
【図１】
2008242213.tif 000003
【図２】
2008242213.tif 000004
【図３】
2008242213.tif 000005
【図４】
2008242213.tif 000006
【図５】
2008242213.tif 000007
【図６】
2008242213.tif 000008
【図７】
2008242213.tif 000009
【図８】
2008242213.tif 000010
【図９】
2008242213.tif 000011
【図１０】
2008242213.tif 000012