(57)【特許請求の範囲】
【請求項１】
入力信号を所定時間長のブロック単位に区切り、
当該ブロック内の信号より特徴量を抽出し、
当該特徴量に基づいて上記ブロック単位に信号のカテゴリ分類を行い、
当該カテゴリ分類は、上記ブロック内における信号が切り替わるパターンを含む信号の構造パターンに基づいて行われる
信号分類方法。
【請求項２】
上記ブロック内における信号の音源の種類及び音源の個数に基づくカテゴリ分類を行う請求項１記載の信号分類方法。
【請求項３】
上記ブロック内における信号が持つ音源の種類又は音源の個数の時間的な変化構造を含む構造に基づくカテゴリ分類を行う請求項１記載の信号分類方法。
【請求項４】
上記入力信号はオーディオ信号であり、
上記ブロック内のオーディオ信号の音源の種類に基づくカテゴリとして、無音、音声、男性音声、女性音声、音楽、ボーカル音楽、楽器音楽、雑音、打撃音、環境音、雑踏音、拍手音、歓声の、一つ又は複数を用い、音源的なカテゴリ分類を行う請求項２記載の信号分類方法。
【請求項５】
上記入力信号はオーディオ信号であり、
上記ブロック内のオーディオ信号の音源の構造パターンにもとづくカテゴリとして、上記ブロック中に有意な音が存在しない無音構造、上記ブロック中に一つの音源に関する音のみが存在する単音源構造、上記ブロック中に二つの音源に関する音が存在する二音構造、上記ブロック中に無音を含む音源が一回のみ代わる音源変化構造、上記ブロック中に複数の音源が同時に変化する音源同時変化構造、上記ブロック中に複数の音源のうち一部の音源が変化する音源部分変化構造、上記ブロック中の構造が上記各構造の何れにも該当しない他の構造の、各構造のうち一つ又は複数の構造を用い、構造的なカテゴリ分類を行う請求項３記載の信号分類方法。
【請求項６】
上記ブロック中の信号パワーの平均及び分散、上記ブロック中の信号のバンドパス信号のパワーの平均及び分散、上記ブロック中の信号のスペクトログラムの広がりの平均及び分散、上記ブロック中の信号のピッチ周波数の平均及び分散、上記ブロック中の信号の調波構造の程度の平均及び分散、上記ブロック中の信号の線形予測分析の残差信号の平均及び分散、上記ブロック中の信号の線形予測分析の残差信号のピッチゲインの平均及び分散の、各平均及び分散のうち、一つ又は複数の平均及び分散を、上記特徴量として用いる請求項１記載の信号分類方法。
【請求項７】
上記調波構造の程度の平均は、上記ブロック中の信号のピッチ周波数の整数倍成分のエネルギの全周波数エネルギに対する比率の、上記ブロック内の時間平均であり、
上記調波構造の程度の分散は、上記ブロック中の信号のピッチ周波数の整数倍成分のエネルギの全周波数エネルギに対する比率の、上記ブロック内の時間的な相対標準偏差である請求項６記載の信号分類方法。
【請求項８】
上記カテゴリの分類方法として、ベクトル量子化法を用いる請求項１記載の信号分類方法。
【請求項９】
入力信号を所定時間長のブロック単位に区切るブロック化部と、
当該ブロック内の信号より特徴量を抽出する特徴抽出部と、
当該特徴量に基づいて上記ブロック単位に信号のカテゴリ分類を行うカテゴリ分類部とを有し、
上記カテゴリ分類は、上記ブロック内における信号が切り替わるパターンを含む信号の構造パターンに基づいて行われる
信号分類装置。
【請求項１０】
入力信号を所定時間長のブロック単位に区切り、
当該ブロック内の信号より特徴量を抽出し、
当該特徴量に基づいて上記ブロック単位に信号のカテゴリ分類を行い、
上記カテゴリ分類に応じた記述子を生成し、
上記カテゴリ分類は、上記ブロック内における信号が切り替わるパターンを含む信号の構造パターンに基づいて行われる
記述子生成方法。
【請求項１１】
入力信号を所定時間長のブロック単位に区切るブロック化部と、
当該ブロック内の信号より特徴量を抽出する特徴抽出部と、
当該特徴量に基づいて上記ブロック単位に信号のカテゴリ分類を行うカテゴリ分類部と、
上記カテゴリ分類に応じた記述子を生成する記述子生成部とを有し、
上記カテゴリ分類は、上記ブロック内における信号が切り替わるパターンを含む信号の構造パターンに基づいて行われる
記述子生成装置。
【請求項１２】
入力信号を所定時間長のブロック単位に区切り、
当該ブロック内の信号より特徴量を抽出し、
当該特徴量に基づいて上記ブロック単位に信号のカテゴリ分類を行い、
上記カテゴリ分類結果或いは当該カテゴリ分類結果に応じた記述子を用いて信号検索を行い、
上記カテゴリ分類は、上記ブロック内における信号が切り替わるパターンを含む信号の構造パターンに基づいて行われる
信号検索方法。
【請求項１３】
上記カテゴリ分類結果或いは当該カテゴリ分類結果に応じた記述子を用いて、信号の変化点を検索する請求項１２記載の信号検索方法。
【請求項１４】
入力信号を所定時間長のブロック単位に区切るブロック化部と、
当該ブロック内の信号より特徴量を抽出する特徴抽出部と、
当該特徴量に基づいて上記ブロック単位に信号のカテゴリ分類を行うカテゴリ分類部と、
上記カテゴリ分類結果或いは当該カテゴリ分類に応じた記述子を用いて、信号検索を行う信号検索部とを有し、
上記カテゴリ分類は、上記ブロック内における信号が切り替わるパターンを含む信号の構造パターンに基づいて行われる
信号検索装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像信号やオーディオ信号などのマルチメディア情報を効率良く分類するための信号分類方法及び装置、その分類に応じた記述子（タグ）を生成する記述子作成方法及び装置、さらにその分類結果或いは記述子に基づいて入力信号の検索を行う信号検索方法及び装置に関する。
【０００２】
【従来の技術】
従来より、映像信号やオーディオ信号などのマルチメディア情報を効率良く取り扱うためには、それら映像信号やオーディオ信号をその信号の内容に基づいて分類し、当該信号の内容に基づいた属性情報（タグ）をそれら信号に付与することが必要であるとされている。
【０００３】
【発明が解決しようとする課題】
以下、上記マルチメディア情報のうち、オーディオ信号を例に挙げ、当該オーディオ信号の内容に基づく従来の分類手法について簡単に説明する。
【０００４】
一般に、オーディオ信号は、音声等が存在する音声区間と音声等が存在しない無音区間とからなっている。このため、従来より、オーディオ信号の時々刻々変化する属性を分類する手段の一つとして、当該オーディオ信号の無音区間検出を行うことが多い。上記検出された無音区間の信号には、当該区間が無音区間であることを示すタグが付与され、後段の音声信号処理では、当該タグが付与された無音区間についての信号処理を停止する等の制御が行われる。
【０００５】
また、オーディオ信号の分類手法として、特開平１０−２０７４９１号公報には、背景音と音声を分類する手法が開示されている。当該公報記載の分類手法は、背景音のパワー及びスペクトルを推定し、当該背景音のパワー及びスペクトルと入力信号のパワー及びスペクトルとを比較することで、入力信号から背景音区間と音声区間を分類するものである。
【０００６】
しかしながら、当該公報記載の分類手法は、入力信号が音声信号であり且つ背景音が比較的定常な場合には有効に働くとされているものの、入力信号が例えば音楽，音響信号等の一般的なオーディオ信号を含む場合に、それらの分類を行い得るものではない。
【０００７】
また、入力信号が音声，音楽，音響信号等のオーディオ信号を含む場合にそれらの分類を可能とする技術として、特開平１０−１８７１２８号公報には、映像情報に付随する音情報から映像の種類を判別する映像分類方法が開示されている。当該公報の分類手法では、先ず、入力信号から所定のスペクトル構造を有する信号を音楽信号として分類し、次に、当該入力信号から上記音楽信号の成分を除去し、その残差信号から更に所定のスペクトル構造を有する信号を音声信号として分類し、次に、上記残差信号から上記音声信号の成分を除去し、その残差信号から更に所定のスペクトル構造を有する信号を音響信号として分類するようにしている。
【０００８】
しかしながら、当該公報記載の分類手法は、線スペクトル構造が一定して続く区間のみを音楽信号として取り扱うため、例えば打楽器や歌声などの信号を含む音楽信号に対しては安定して適用することが難しく、また、音声区間は入力信号の原スペクトルと安定した線スペクトル成分（音楽成分）との残差から求めるため、音声及び音響信号の判別精度が十分には高くはなり得ないと推測される。
【０００９】
そこで、本発明はこのような状況に鑑みてなされたものであり、入力信号を正確且つ効率良く取り扱うために、入力信号を迅速且つ正確に分類し、またその分類に応じたタグ（記述子）を生成可能とし、さらにその分類結果或いは記述子に基づいて入力信号の検索をも可能とする、信号分類方法及び装置、記述子生成方法及び装置、信号検索方法及び装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の信号分類方法は、入力信号を所定時間長のブロック単位に区切り、当該ブロック内の信号より特徴量を抽出し、当該特徴量に基づいて上記ブロック単位に信号のカテゴリ分類を行い、当該カテゴリ分類は、上記ブロック内における信号が切り替わるパターンを含む信号の構造パターンに基づいて行われることにより、上述の課題を解決する。
【００１１】
本発明の信号分類装置は、入力信号を所定時間長のブロック単位に区切るブロック化部と、当該ブロック内の信号より特徴量を抽出する特徴抽出部と、当該特徴量に基づいて上記ブロック単位に信号のカテゴリ分類を行うカテゴリ分類部とを有し、上記カテゴリ分類は、上記ブロック内における信号が切り替わるパターンを含む信号の構造パターンに基づいて行われることにより、上述の課題を解決する。
【００１２】
本発明の記述子生成方法は、入力信号を所定時間長のブロック単位に区切り、当該ブロック内の信号より特徴量を抽出し、当該特徴量に基づいて上記ブロック単位に信号のカテゴリ分類を行い、上記カテゴリ分類に応じた記述子を生成し、上記カテゴリ分類は、上記ブロック内における信号が切り替わるパターンを含む信号の構造パターンに基づいて行われることにより、上述の課題を解決する。
【００１３】
本発明の記述子生成装置は、入力信号を所定時間長のブロック単位に区切るブロック化部と、当該ブロック内の信号より特徴量を抽出する特徴抽出部と、当該特徴量に基づいて上記ブロック単位に信号のカテゴリ分類を行うカテゴリ分類部と、上記カテゴリ分類に応じた記述子を生成する記述子生成部とを有し、上記カテゴリ分類は、上記ブロック内における信号が切り替わるパターンを含む信号の構造パターンに基づいて行われることにより、上述の課題を解決する。
【００１４】
本発明の信号検索方法は、入力信号を所定時間長のブロック単位に区切り、当該ブロック内の信号より特徴量を抽出し、当該特徴量に基づいて上記ブロック単位に信号のカテゴリ分類を行い、上記カテゴリ分類結果或いは当該カテゴリ分類結果に応じた記述子を用いて信号検索を行い、上記カテゴリ分類は、上記ブロック内における信号が切り替わるパターンを含む信号の構造パターンに基づいて行われることにより、上述の課題を解決する。
【００１５】
本発明の信号検索装置は、入力信号を所定時間長のブロック単位に区切るブロック化部と、当該ブロック内の信号より特徴量を抽出する特徴抽出部と、当該特徴量に基づいて上記ブロック単位に信号のカテゴリ分類を行うカテゴリ分類部と、上記カテゴリ分類結果或いは当該カテゴリ分類に応じた記述子を用いて、信号検索を行う信号検索部とを有し、上記カテゴリ分類は、上記ブロック内における信号が切り替わるパターンを含む信号の構造パターンに基づいて行われることにより、上述の課題を解決する。
【００１６】
すなわち、本発明は、長時間に渡り連続して入力される信号を所定時間長のブロック単位毎にブロック化し、該ブロック内の信号より特徴量を抽出し、該特徴量に応じて自動的に該ブロック中の信号の分類を行うものである。ここで、本発明は、入力信号がオーディオ信号である場合の分類方式として、音声、音楽、環境音等の音源に関連する音源的な分類と、無音、単一音源音、二音源音、音源変化音等の個別の音源に依存せずにブロック中の音の存在や重なり方、続き方に関連する構造的な分類とを行うようにしている。このように、本発明においては、上記構造的な分類と音源的な分類を併用することで、連続して生じる様々な音響シーンについて、頑強かつ効率的な分類を行うことが可能となっている。なお、上記ブロック化の所定時間長は、上記ブロック内の信号属性が明瞭に識別でき、且つ、上記ブロック内の信号構造がシンプルに分類可能となる時間長であり、例えば１秒とすることが好ましい。もちろん、本発明において上記ブロック化の時間長は当該１秒に限定されず、他の時間長でも良い。また、各ブロックの時間長は上記１秒のような一定の時間長に限らず、ブロック毎に可変の時間長とすること、例えば複数の時間長を切り替えて用いたり、適応的に時間長を可変することなども可能であり、それらも本発明に含まれる。
【００１７】
【発明の実施の形態】
本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００１８】
図１には、本発明の第１の実施の形態として、入力信号（例えばオーディオ信号）の分類を行う信号処理装置の概略構成を示す。
【００１９】
この図１において、入力端子１にはオーディオ信号が入力される。当該オーディオ信号は、バッファメモリ２に一旦蓄えられた後に読み出され、時区間分割部３に送られる。
【００２０】
時区間分割部３では、上記バッファメモリ２から供給されたオーディオ信号を所定時間長のブロック単位毎にブロック化（時区間分割）し、そのブロック化されたオーディオ信号を特徴抽出部４に送る。なお、当該時区間分割部３でのブロック化の詳細については後述する。
【００２１】
特徴抽出部４は、上記ブロック化されたオーディオ信号から、後述するような複数の特徴量を抽出し、それら複数の特徴量をベクトル量子化部５に送る。なお、当該特徴抽出部４での特徴抽出処理の詳細については後述する。
【００２２】
ベクトル量子化部５は、詳細については後述するが、いわゆるベクトル量子化法を使用し、上記特徴抽出ブロック４から供給された複数の特徴量からなるベクトル（以下、特徴ベクトルと呼ぶ）と、予め学習により生成された複数のセントロイド（パターン空間内の重心）の集合であるＶＱ符号帳（ベクトル量子化のコードブック）８との比較（パターンマッチング）を行い、上記特徴ベクトルに最もマハラノビス距離の近いセントロイドを探索し、当該最も近いセントロイドが代表している代表符号を出力する。すなわち本実施の形態の場合、上記ベクトル量子化部５から出力される代表符号は、オーディオ信号を後述する音源的な分類カテゴリと構造的な分類カテゴリに分けた場合における各分類カテゴリに対応した分類ラベルとなっている。言い換えれば、当該ベクトル量子化部５からは、特徴ベクトルに基づいてオーディオ信号を分類した分類結果が出力されることになる。また、本実施の形態の場合、ベクトル量子化部５からは、上記分類ラベルと共に、上記探索されたセントロイドに対する最小距離の逆数をそのカテゴリに対する分類の信頼度を表す指標として出力するようにしている。上述したように、本実施の形態のベクトル量子化部５から出力された上記構造的な分類による分類ラベルとその信頼度、及び、上記音源的な分類による分類ラベルとその信頼度は、端子６から分類結果を表す信号記述子として出力される。
【００２３】
以下、図１の時区間分割部３における入力オーディオ信号のブロック化、特徴抽出部４におけるブロック毎のオーディオ信号の特徴抽出、ベクトル量子化法を用いたベクトル量子化部５におけるブロック毎のオーディオ信号の分類について個々に詳細に説明する。
【００２４】
先ず、図１の時区間分割部３におけるオーディオ信号のブロック化（時区間分割：Time Block Division）から説明する。
【００２５】
時区間分割部３では、以後に行われる分類操作を容易にするために、一般的に長時間に渡り様々な音の時系列として与えられるオーディオ信号を適切な時間区間に区切るようにしている。
【００２６】
ここで、例えば、数十秒にも渡るオーディオ信号を何らかのカテゴリに対応させることは、その信号が内包する音の種類やパターンを非常に複雑化させてしまい、その一方で、音の分類を行う場合、信号の時間変化パターンも重要な要因であるため、例えば数十ミリ秒の信号素片のみから、音声／音楽／雑音などのカテゴリを精度良く判別することは難しい。
【００２７】
そこで、本実施の形態では、信号を分割する際の時間長の要件として、「区切られた信号素片の属性が精度良く識別できること」、「区切られた信号素片の構造が単純に分類可能であること」を考慮し、上記時区間分割部３における分割時間を１秒としている。
【００２８】
また、本実施の形態では、以後に行われる分類操作の精度を高めるために、図２に示すように、分割区間長の半分の時間で各ブロックがオーバーラップするような時区間分割を行うようにしている。すなわち、本実施の形態の時区間分割部３は、図２においてＢ０，Ｂ１，Ｂ２，Ｂ３，・・・にて示す各ブロックの時間長をそれぞれ１秒にすると共に、Ｂ０ブロックの後半にＢ１ブロックの前半がオーバーラップし、Ｂ１ブロックの後半にＢ２ブロックの前半がオーバーラップし、Ｂ２ブロックの後半にＢ３ブロックの前半がオーバーラップし、Ｂ３ブロックの後半にＢ４ブロックの前半がオーバーラップするように、オーディオ信号をそれぞれブロック化するようにしている。
【００２９】
次に、図１の特徴抽出部４における各ブロック毎の信号の特徴抽出（Feature Extraction）について説明する。
【００３０】
特徴抽出部４では、上記時区間分割部３にて分割された各ブロック毎に、そのブロック内の信号から後述する分類に適した特徴量を抽出するようにしている。
【００３１】
以下、当該特徴抽出部４が各ブロック毎に抽出する特徴量について詳細に説明する。なお、以下の説明のために用いる各記号において、ｔは時間を表す変数、Ｔはブロックの長さ（＝１秒）、ｉはブロックの番号、ｓi(t)は第ｉブロックの信号（但し０≦ｔ≦Ｔ）、ωは周波数を表す変数、Ωは周波数上限値（本発明の処理を離散的に実現する場合、サンプリング周波数の半分がこれにあたる）、Ｓi(t,w)は第ｉブロックの信号のスペクトログラム（但し０≦ｔ≦Ｔ、０≦ω≦Ω）、Ｅ[]はブロックに渡る時間平均値、Ｖ[]はブロックに渡る時間的な相対標準偏差（分散の自乗根を平均値で規格化した値）をそれぞれ意味する。
【００３２】
上記特徴抽出部４では、各ブロック毎の信号の特徴量として、以下に述べるように、ブロック中の信号パワーの平均Ｐm及び標準偏差Ｐsd、ブロック中の信号のスペクトログラムの広がりの平均Ｗm及び標準偏差Ｗsd、ブロック中の信号の低周波成分のパワーの平均Ｌm及び標準偏差Ｌsd、ブロック中の信号の中間周波成分のパワーの平均Ｍm及び標準偏差Ｍsd、ブロック中の信号の高周波成分のパワーの平均Ｈm及び標準偏差Ｈsd、ブロック中の信号のピッチ周波数の平均Ｆm及び標準偏差Ｆsd、ブロック中の信号の調波構造の程度（調波構造度）の平均Ａm及び標準偏差Ａsd、ブロック中の信号の線形予測分析（ＬＰＣ）の残差エネルギの平均Ｒm及び標準偏差Ｒsd、ブロック中の信号のＬＰＣの残差信号のピッチゲインの平均Ｇm及び標準偏差Ｇsdの合計１８種類の特徴量を求める。
【００３３】
ここで、上記ブロック中の信号パワーの平均Ｐm及び標準偏差Ｐsdは、下記式（１）、式（２）にて表される。
【００３４】
Ｐm ＝Ｅ[s2(t)]              (1)
Ｐsd＝Ｖ[s2(t)]              (2)
上記ブロック中の信号のスペクトログラムの広がりの平均Ｗm及び標準偏差Ｗsdは、下記式（３）、式（４）にて表される。なお、本実施の形態では、スペクトルとして１６ｋＨｚのサンプリング周波数による５１２点のサンプル（３１．２５ｍ秒毎のサンプル）を用いている。
【００３５】
Ｗm ＝Ｅ[ｗ(t)]              (3)
Ｗsd＝Ｖ[ｗ(t)]              (4)
但し、ｗ(t)は下記式（５）にて表され、スペクトログラムの大きさが一定閾値を越える周波数幅を表す。特に、音楽の場合、上記ｗ(t)で示される周波数幅は広く且つ一定になる傾向が強く、一方、音声の場合、上記ｗ(t)で示される周波数幅は一定せず、バラバラになる傾向が強い。したがって、当該ｗ(t)で示される周波数幅は、音楽と音声とそれ以外の音の一つの特徴量を表すものとして使用できる。
【００３６】
【数１】
0004438144.tif 000002
【００３７】
上記ブロック中の信号の低周波成分のパワーの平均Ｌm及び標準偏差Ｌsdは、下記式（６）、式（７）にて表される。なお、本実施の形態では、上記低周波成分として０〜７０Ｈｚを使用する。
【００３８】
Ｗm ＝Ｅ[ｌ(t)]              (6)
Ｗsd＝Ｖ[ｌ(t)]              (7)
但し、ｌ(t)は下記式（８）にて表され、各時刻での信号の低周波成分の規格化されたパワーを表す。特に、音声は７０Ｈｚ以下の周波数成分を殆ど持たず、ドラム等の打楽器の音は７０Ｈｚ以下の周波数成分を多く含む。したがって、この低周波成分は、音声と打楽器音とそれ以外の音の一つの特徴量を表すものとして使用できる。
【００３９】
【数２】
0004438144.tif 000003
【００４０】
上記ブロック中の信号の中間周波成分のパワーの平均Ｍm及び標準偏差Ｍsdは下記式（９）、式（１０）にて表される。なお、本実施の形態では、上記低周波成分として７０Ｈｚ〜４ｋＨｚを使用する。
【００４１】
Ｍm ＝Ｅ[ｍ(t)]              (9)
Ｍsd＝Ｖ[ｍ(t)]              (10)
但し、ｍ(t)は下記式（１１）にて表され、音声帯域を略々カバーするバンドパス成分の規格化されたパワーを表す。特に、音声の周波数は、殆どが７０Ｈｚ〜４ｋＨｚの周波数帯域内に含まれ、したがって、当該中間周波成分は、音声とそれ以外の一つの特徴量を表すものとして使用できる。
【００４２】
【数３】
0004438144.tif 000004
【００４３】
上記ブロック中の信号の高周波成分のパワーの平均Ｈm及び標準偏差Ｈsdは下記式（１２）、式（１３）にて表される。なお、本実施の形態では、上記低周波成分として４ｋＨｚ〜８ｋＨｚを使用する。
【００４４】
Ｈm ＝Ｅ[ｈ(t)]              (12)
Ｈsd＝Ｖ[ｈ(t)]              (13)
但し、ｈ(t)は下記式（１４）にて表され、信号の高周波成分の規格化されたパワーを表す。特に、音声は４ｋＨｚ以上の周波数成分を殆ど持たず、例えばシンバル音等のパーカッション系の楽器音は４ｋＨｚ〜８ｋＨｚの周波数成分を多く含む。したがって、この高周波成分は、音声とパーカッション系の楽器音とそれ以外の音の一つの特徴量を表すものとして使用できる。
【００４５】
【数４】
0004438144.tif 000005
【００４６】
上記ブロック中の信号のピッチ周波数の平均Ｆm及び標準偏差Ｆsdは下記式（１５）、式（１６）にて表される。
【００４７】
Ｆm ＝Ｅ[ｆ(t)]              (15)
Ｆsd＝Ｖ[ｆ(t)]              (16)
但し、ｆ(t)は時刻ｔにおける信号のピッチ周波数であり、例えばパーソン（Parson）の手法（T.Parson: Separation of Speech from Interfering Speech by ms of Harmonic Selection, J.Acoust. Soc. Am., 60,4,911/918(1976))に従って求める。特に、ピッチ周波数は、後述の調波構造度による特徴抽出に使用すると共に、音楽と音声、さらには男性音性、女性音声などでそれぞれピッチ周波数が一般に異なるため、それらの音の一つの特徴量を表すものとして使用できる。
【００４８】
上記ブロック中の信号の調波構造の程度（本実施の形態では調波構造度ａ(t)と呼んでいる。）の平均Ａm及び標準偏差Ａsdは下記式（１７）、式（１８）にて表される。
【００４９】
Ａm ＝Ｅ[ａ(t)]              (17)
Ａsd＝Ｖ[ａ(t)]              (18)
但し、ａ(t)は下記式（１９）にて表され、これはピッチ周波数の整数倍音成分のエネルギの全周波数エネルギに対する比率である。また、Δは例えば±１５Ｈｚ等の微小周波数を表す。特に、調波構造度はノイズ状の音の時に著しく低くなる。したがって、当該調波構造度は、ノイズ状の音とそれ以外の音の一つの特徴量を表すものとして使用できる。
【００５０】
【数５】
0004438144.tif 000006
【００５１】
上記ブロック中の信号の線形予測分析（ＬＰＣ）の残差エネルギの平均Ｒm及び標準偏差Ｒsdは下記式（２０）、式（２１）にて表される。
【００５２】
Ｒm ＝Ｅ[ｒ2(t)]/Ｅ[s2(t)]              (20)
Ｒsd＝Ｖ[ｒ2(t)]/Ｖ[s2(t)]              (21)
但し、ｒ(t)はＬＰＣ分析（例えば３０msフレーム、１２次で行う）の残差信号である。これは、当該ブロック内のスペクトル構造の複雑さ（ノイズや子音など）に関する評価量であり、原信号パワーの平均及び標準偏差に対する比率として求める。したがって、当該ＬＰＣ残差エネルギは、ノイズや子音とそれ以外の音の一つの特徴量を表すものとして使用できる。
【００５３】
上記ブロック中の信号のＬＰＣの残差信号のピッチゲインの平均Ｇm及び標準偏差Ｇsdは下記式（２２）、式（２３）にて表される。
【００５４】
Ｇm ＝Ｅ[ｇ(t)]              (22)
Ｇsd＝Ｖ[ｇ(t)]              (23)
但し、ｇ(t)はｒ(t)の時刻ｔ近傍における短時間自己相関関数の極大値であり、当該ブロック内のＬＰＣ分析（例えば３０msフレーム、１２次で行う）の残差信号の周期性の程度に関する評価量である。特に、ＬＰＣ残差信号のピッチゲインは、ホワイトノイズや子音などの音では著しく低い値となり、一方、音声や音楽などの音では高い値となる。したがって、当該ＬＰＣ残差信号のピッチゲインは、ノイズや子音と音声や音楽とそれ以外の音の一つの特徴量を表すものとして使用できる。
【００５５】
本実施の形態では、以上説明した１８種類の特徴量を、次式（２４）のようにベクトル化し、次式（２４）て表される当該ブロック（時間区間）の特徴ベクトルＸiとする。
【００５６】
Ｘi＝[Ｐm，Ｐsd，Ｗm，Ｗsd，・・・，Ｇm，Ｇsd]        (24)
図３には、上述したような１８次元の特徴ベクトルを求める特徴抽出部４の具体的構成を示す。
【００５７】
この図３において、端子１０には、図１の時区間分割部３での時区間分割により得られた第ｉブロックのオーディオ信号ｓi(t)が入力される。この第ｉブロック毎のオーディオ信号ｓi(t)は、波形分析部１１、スペクトル分析部１２、ＬＰＣ分析部１３に送られる。
【００５８】
波形分析部１１では、当該第ｉブロックのオーディオ信号ｓi(t)に対して、前記式（１）及び（２）にて説明した信号パワーの平均Ｐm及び標準偏差Ｐsdを求める。上記信号パワーの平均Ｐmと標準偏差Ｐsdは、前記１８次元の特徴ベクトルＸiのうちの２つとして、それぞれ対応する端子２２、２３から後段のベクトル量子化部５へ送られる。
【００５９】
スペクトル分析部１２では、上記第ｉブロックのオーディオ信号ｓi(t)のスペクトル分析を行い、当該第ｉブロックの信号のスペクトログラムＳi(t,w)を生成する。この第ｉブロックの信号のスペクトログラムＳi(t,w)は、スレッショルド処理部１４、低周波成分抽出部１５、中間周波成分抽出部１６、高周波成分抽出部１７、ピッチ抽出部１８、調波構造度抽出部１９に送られる。
【００６０】
上記スレッショルド処理部１４では、当該第ｉブロックの信号のスペクトログラムＳi(t,w)を用い、前記式（３）及び（４）にて説明したスペクトログラムの広がりの平均Ｗm及び標準偏差Ｗsdを求める。上記スペクトログラムの広がりの平均Ｗm及び標準偏差Ｗsdは、前記１８次元の特徴ベクトルＸiのうちの２つとして、それぞれ対応する端子２４、２５から後段のベクトル量子化部５へ送られる。
【００６１】
上記低周波成分抽出部１５では、当該第ｉブロックの信号のスペクトログラムＳi(t,w)を用い、前記式（６）及び（７）にて説明した低周波成分のパワーの平均Ｌm及び標準偏差Ｌsdを求める。上記低周波成分のパワーの平均Ｌm及び標準偏差Ｌsdは、前記１８次元の特徴ベクトルＸiのうちの２つとして、それぞれ対応する端子２６、２７から後段のベクトル量子化部５へ送られる。
【００６２】
上記中間周波成分抽出部１６では、当該第ｉブロックの信号のスペクトログラムＳi(t,w)を用い、前記式（９）及び（１０）にて説明した中間周波成分のパワーの平均Ｍm及び標準偏差Ｍsdを求める。上記中間周波成分のパワーの平均Ｍm及び標準偏差Ｍsdは、前記１８次元の特徴ベクトルＸiのうちの２つとして、それぞれ対応する端子２８、２９から後段のベクトル量子化部５へ送られる。
【００６３】
上記高周波成分抽出部１７では、当該第ｉブロックの信号のスペクトログラムＳi(t,w)を用い、前記式（１２）及び（１３）にて説明した高周波成分のパワーの平均Ｈm及び標準偏差Ｈsdを求める。上記高周波成分のパワーの平均Ｈm及び標準偏差Ｈsdは、前記１８次元の特徴ベクトルＸiのうちの２つとして、それぞれ対応する端子３０、３１から後段のベクトル量子化部５へ送られる。
【００６４】
上記ピッチ抽出部１８では、当該第ｉブロックの信号のスペクトログラムＳi(t,w)を用い、前記式（１５）及び（１６）にて説明したピッチ周波数の平均Ｆm及び標準偏差Ｆsdを求める。上記ピッチ周波数の平均Ｆm及び標準偏差Ｆsdは、前記１８次元の特徴ベクトルＸiのうちの２つとして、それぞれ対応する端子３２、３３から後段のベクトル量子化部５へ送られる。
【００６５】
上記調波構造度抽出部１９では、当該第ｉブロックの信号のスペクトログラムＳi(t,w)を用い、前記式（１８）及び（１９）にて説明した調波構造度の平均Ａm及び標準偏差Ａsdを求める。上記調波構造度の平均Ａm及び標準偏差Ａsdは、前記１８次元の特徴ベクトルＸiのうちの２つとして、それぞれ対応する端子３４、３５から後段のベクトル量子化部５へ送られる。
【００６６】
また、上記ＬＰＣ分析部１３では、上記第ｉブロックのオーディオ信号ｓi(t)のＬＰＣ分析を行い、当該第ｉブロックにおけるＬＰＣ分析の残差信号ｒ(t)を生成する。この第ｉブロックにおけるＬＰＣ分析の残差信号ｒ(t)は、残差エネルギ抽出部２０、ピッチゲイン抽出部２１に送られる。
【００６７】
上記残差エネルギ抽出部２０では、当該第ｉブロックにおけるＬＰＣ分析の残差信号ｒ(t)を用い、前記式（２０）及び（２１）にて説明したＬＰＣ分析の残差エネルギの平均Ｒm及び標準偏差Ｒsdを求める。上記残差エネルギの平均Ｒm及び標準偏差Ｒsdは、前記１８次元の特徴ベクトルＸiのうちの２つとして、それぞれ対応する端子３６、３７から後段のベクトル量子化部５へ送られる。
【００６８】
上記ピッチゲイン抽出部２１では、当該第ｉブロックにおけるＬＰＣ分析の残差信号ｒ(t)を用い、前記式（２２）及び（２３）にて説明したＬＰＣ分析の残差信号のピッチゲインの平均Ｇm及び標準偏差Ｇsdを求める。上記残差信号のピッチゲインの平均Ｇm及び標準偏差Ｇsdは、前記１８次元の特徴ベクトルＸiのうちの２つとして、それぞれ対応する端子３８、３９から後段のベクトル量子化部５へ送られる。
【００６９】
次に、上述したような１８次元の特徴ベクトルが供給されたベクトル量子化部５では、ベクトル量子化法を用い、上記１８次元の特徴ベクトルから各ブロック毎のオーディオ信号を分類することになるが、ここで、上記ブロック毎のオーディオ信号を分類する際の分類クラスについて以下に詳細に説明する。
【００７０】
本実施の形態において、各ブロック毎のオーディオ信号を分類する際には、以下に述べるように、各ブロック毎に構造的な分類クラスと音源的な分類クラスによる分類を行うようにしている。
【００７１】
先ず、上記構造的な分類クラスについて詳細に説明する。
【００７２】
上記構造的な分類クラスとは、音源の種類によらず、ブロック中の信号の構造パターンに基づく分類を意味する。すなわち、本実施の形態では、上記構造的な分類クラスとして、以下に述べる無音構造(silent)、単音源構造(single)、二音源構造(double)、音源変化構造(change)、音源同時変化構造(multiple change)、音源部分変化構造(partial change)、その他の構造（other)の各構造的分類パターンを定義する。なお、図４には、各構造的分類パターンを模式的に示している。
【００７３】
上記無音構造パターンとは、そのブロック中に有意な音が存在せず、無音１００となっているパターンを意味する。
【００７４】
上記単音構造パターンとは、そのブロック中の略々全域に渡り、有意な音１０１が１種類だけ存在するパターンを意味する。
【００７５】
上記二音源構造パターンとは、そのブロック中の略々全域に渡り、有意な音が２種類（音１０２及び１０３）存在するパターンを意味し、例えばＢＧＭ（バックグランドミュージック）の上に音声があるパターンなどである。
【００７６】
上記音源変化構造パターンとは、そのブロック中で音源の種類が切り替わるパターンであり、例えば音声１０４から音楽１０５への切り替わりなどである。但し、有意な音から無音への変化、無音から有意な音への変化も当該音源変化構造パターンに含むことにする。
【００７７】
上記音源同時変化構造パターンとは、そのブロック中で二音源音が同時に他の二音源音に切り替わる（例えば二音源音１０６及び１０８が他の二音源音１０７及び１０９に切り替わる）パターンを意味し、また、単音源音（又は無音）から二音源音へ切り替わる（例えば単音源音１１３が二音源音１１４及び１１５に切り替わる）パターンや、二音源音から単音源音（又は無音）へ切り替わる（例えば二音源１１０及び１１１が単音源１１２に切り替わる）パターンも、当該音源同時変化構造パターンに含まれる。当該音源同時変化構造パターンとしては、例えばＢＧＭと音声が略々同時に終了する場合などを挙げることができる。
【００７８】
上記音源部分変化構造パターンとは、そのブロック中、１種類の音（音１１８）は略々全域に渡り存在し、同時に存在する音が切り替わる（例えば音１１６が音１１７に切り替わる）パターンを意味し、二音源音が単音源音へと切り替わる場合も含む。この音源部分変化構造パターンとしては、例えばＢＧＭ継続中に、同時に存在していた音声のみが終了する場合などを挙げることができる。
【００７９】
上記その他の構造パターンとは、上述の各構造には属さないパターンを意味し、例えば、そのブロック中に３つの音（例えば音１１９，１２０，１２１）が同時に存在するパターンや、そのブロック中に２回以上の音の切り替わり（例えば音１２２が音１２３に切り替わり、さらに音１２４に切り替わる）が存在するパターンなどを挙げることができる。
【００８０】
次に、上記音源的な分類クラスについて詳細に説明する。
【００８１】
上記音源的な分類クラスとは、音源の種類による分類を意味する。すなわち、本実施の形態では、以下に述べる音声、音楽、雑音、打撃音、環境音等の音源の種類によるクラス分類を行うようにしている。
【００８２】
上記音声は、人間の音声の音であり、必要に応じて男性、女性、その他の音声（子供や加工音声など）に詳細分類することもできる。
【００８３】
上記音楽は、いわゆる音楽の音であり、必要に応じて楽器音楽、ボーカル音楽、その他の音楽（ラップ音楽など）に詳細分類することもできる。
【００８４】
上記雑音は、機械等から発生する白色性雑音である。
【００８５】
上記打撃音は、例えばドアノック音、足音、拍手（少人数での拍手）等、主として打撃を発生源とし、その打撃の発生直後に音量が大きくなり、以後、減衰性を持つ音のクラスである。当該打撃音は、必要に応じて、発生源別に詳細分類することもできる。
【００８６】
上記環境音は、雑踏音、拍手音（多人数での拍手）、歓声、エンジン音等、その他の音を全て含むクラスである。当該環境音は、必要に応じて、発生源別に詳細分類することもできる。
【００８７】
図１のベクトル量子化部５では、前記１８次元の特徴ベクトルを用いて、上述したような構造的な分類クラス及び音源的な分類クラスによる分類を行うことになる。
【００８８】
以下、ベクトル量子化部５における上記特徴ベクトルを用いたブロック毎の分類法について詳細に説明する。
【００８９】
本実施の形態では、ブロック毎のオーディオ信号の分類を行う場合に、図５のフローチャートに示すような三段階に分けた分類を行うようにしている。
【００９０】
この図５において、ステップＳ１の処理として、上記第ｉブロックにて求めた１８次元の特徴ベクトルＸiが入力されると、ベクトル量子化部５では、先ず、ステップＳ２の処理として、無音分類（Silent Classification)を行う。すなわち、ベクトル量子化部５は、例えば前記信号パワーの平均Ｐm及び標準偏差Ｐsdを用い、それら信号パワーの平均Ｐm及び標準偏差Ｐsdがそれぞれ一定閾値以下であるか否かを調べることにより、当該第ｉブロックのオーディオ信号が前記構造的な分類クラスのうち無音構造のパターンに分類されるか否かの判定を行う。
【００９１】
当該ステップＳ２の判定処理において、無音構造であると判定した場合、ベクトル量子化部５は、ステップＳ６の処理として、無音構造パターンの分類結果を出力した後、ステップＳ１の処理に戻り、次のブロックについての処理に進む。一方、ステップＳ２の判定処理において、無音構造でないと判定した場合、ベクトル量子化部５の処理は、ステップＳ３の処理に移行する。
【００９２】
ステップＳ３の処理に進むと、ベクトル量子化部５は、変化音分類（Change Classification)を行う。ここでの分類では、ブロック内の信号が変化構造を有するか否か、すなわちブロック内の信号が音源変化構造（change)、音源同時変化構造(multiple change）、音源部分変化構造（partial change)）の何れのパターンであるか、或いはそれら以外の単音源音(single)、二音源音(double)、その他(other)）の無変化音のパターンであるかの二種に分類する。
【００９３】
このような分類を行うため、ベクトル量子化部５では、先ず、分類の対象とする第ｉブロックの前後の第ｉ−１ブロックの特徴ベクトルＸi-1と第ｉ＋１ブロックの特徴ベクトルＸi+1を用いて、新たな特徴ベクトルＹiを生成する。すなわち、下記式（２５）により、上記新たな特徴ベクトルＹiを求める。
【００９４】
Ｙi＝（Ｘi+1−Ｘi-1）／（Ｘi+1＋Ｘi-1）           (25)
なお、この式（２５）での加減算及び除算は、特徴ベクトルＸi-1と特徴ベクトルＸi+1をそれぞれ構成する各特徴量毎に行う。
【００９５】
ベクトル量子化部５は、上述のようにして新たな特徴ベクトルＹｉを求めると、当該新たな特徴ベクトルＹｉと、予め学習してあるＶＱ符号帳８との比較を行い、最もマハラノビス距離の近いセントロイドを探索し、当該最も近いセントロイドが代表しているカテゴリ（この場合は変化構造であるか否か）を求める。当該ステップＳ３の判定処理において、変化構造であると判定した場合、ベクトル量子化部５は、ステップＳ７の処理として、当該第ｉブロック内のオーディオ信号が音源変化構造、音源同時変化構造、音源部分変化構造の何れかのパターンであることを示す分類結果と、上記ベクトル量子化により得られたセントロイドに対する最小距離の逆数（構造的な分類の信頼度）を出力する。その後は、ステップＳ１の処理に戻り、次のブロックについての処理に進む。一方、ステップＳ３の判定処理において、変化構造でない（無変化音である）と判定した場合、ベクトル量子化部５の処理は、ステップＳ４の処理に移行する。
【００９６】
ステップＳ４の処理に進むと、ベクトル量子化部５は、無変化音のパターンすなわち単音源音、二音源音、その他のパターンについての音源分類（source Classification)を行い、次のステップＳ５にて、音声、音楽、雑音、打撃音、環境音等の音源の種類によるクラス分類の分類結果を出力する。すなわち、ベクトル量子化部５は、ベクトル量子化法を用い、第ｉブロックについての１８次の特徴ベクトルＸiと、予め学習してあるＶＱ符号帳８との比較を行い、最もマハラノビス距離の近いセントロイドを探索し、当該最も近いセントロイドが代表している分類ラベルと、このときのセントロイドに対する最小距離の逆数（そのカテゴリに対する分類の信頼度）を、分類結果として出力する。当該ステップＳ５の処理後、ベクトル量子化部５は、ステップＳ１の処理に戻り、次のブロックについての処理に進む。
【００９７】
図６には、図１のベクトル量子化部５及びＶＱ符号帳８において、上記図５に示したフローチャートのステップＳ３及びステップＳ７の処理を実現する場合の機能的な構成を表し、図７には、図１のベクトル量子化部５及びＶＱ符号帳８において、上記図５のフローチャートのステップＳ４及びステップＳ５の処理を実現する場合の機能的な構成を表す。すなわち、上記図５のステップＳ３及びステップＳ７の処理を実現する場合、図１のベクトル量子化部５及びＶＱ符号帳８の機能は、図６のように表すことができ、また、上記図５のステップＳ４及びステップＳ５の処理を実現する場合、図１のベクトル量子化部５及びＶＱ符号帳８の機能は、図７のように表すことができる。なお、図６と図７は、ベクトル量子化部５内の処理を分かり易く説明するために、２つの図として分けて描いているが、実際のベクトル量子化部５の構成は一つであり、図５のフローチャートのステップＳ２やステップＳ３の判定結果に応じて、その内部の機能が図６や図７に示すように動作するものである。
【００９８】
先ず図６において、ベクトル量子化部５の端子５１には、分類の対象とする第ｉブロックの前のブロックである第ｉ−１ブロックの特徴ベクトルＸi-1が供給され、端子５２には第ｉブロックの後のブロックである第ｉ＋１ブロックの特徴ベクトルＸi+1が供給される。これら第ｉ−１ブロックの特徴ベクトルＸi-1と第ｉ＋１ブロックの特徴ベクトルＸi+1は、ベクトル量子化部５内の特徴混合演算部５３に送られる。
【００９９】
当該特徴混合演算部５３は、前記式（２５）に示した特徴混合演算式を用いて、それら第ｉ−１ブロックの特徴ベクトルＸi-1と第ｉ＋１ブロックの特徴ベクトルＸi+1を混合し、新たな特徴ベクトルＹiを生成する。当該新たな特徴ベクトルＹiは、ベクトル量子化部５の主要部としての距離計算比較演算部５４に送られる。
【０１００】
距離計算比較演算部５４では、当該新たな特徴ベクトルＹiと前記ＶＱ符号帳８との比較を行い、上記新たな特徴ベクトルＹiと最もマハラノビス距離が近いセントロイドを探索し、そのセントロイドが代表しているカテゴリを分類結果（変化音か又は無変化音か）として出力する。この分類結果を表す記述子は、当該ベクトル量子化部５の出力端子５５から出力されることになる。
【０１０１】
一方、図７において、ベクトル量子化部５の端子６１には、分類の対象である第ｉブロックの特徴ベクトルＸiが供給される。当該第ｉブロックの特徴ベクトルＸiは、ベクトル量子化部５の主要部としての距離計算比較演算部６２に送られる。
【０１０２】
距離計算比較演算部６２では、当該特徴ベクトルＸiと前記ＶＱ符号帳８との比較を行い、上記特徴ベクトルＸiと最もマハラノビス距離が近いセントロイドを探索し、そのセントロイドが代表しているカテゴリを分類結果（ここでは、音声、音楽、雑音、環境音等）として出力する。この分類結果を表す記述子は、当該ベクトル量子化部５の出力端子６３から出力されることになる。
【０１０３】
以上説明したように、本発明の第１の実施の形態の信号処理装置によれば、長時間に渡り様々な音源が様々なパターンを示す時系列信号であるオーディオ信号、すなわち、音声や音楽、環境音、雑音などの音が同時的若しくは継時的に重畳された音の信号に関して、ブロック毎に信号の音源の種類及び構造の種類を分類することが可能となっている。また、本実施の形態の信号処理装置によれば、音声区間などを特定することができるため、例えば音声認識や音響信号符号化等の前処理として用いることで、任意のオーディオ信号に対して、適切な認識方法や符号化方法を自動的に選択することが可能となる。
【０１０４】
次に、本発明の第２の実施の形態について説明する。
【０１０５】
ここで、蓄積された長いオーディオ信号のストリームから、例えば必要な部分を検索するような場合、一般的には、例えば早送り再生を行いながら試聴し、必要な場所から通常再生を開始するといったことが行われている。しかしながら、このような検索手法を用いたのでは、所望のオーディオ信号を見つけるまでに非常に長時間を要するのみならず、ユーザは早送り再生されている音を聞き続けるといった多大な負担を強いられることになる。
【０１０６】
本発明の第２の実施の形態では、前述した第１の実施の形態にて説明したオーディオ信号の分類手法による分類結果のうち、前記変化構造の分類結果（特に音源変化構造、音源同時変化構造）を用いて、オーディオ信号の切り替わり点（以下、シーンチェンジと呼ぶ）を検出し、当該シーンチェンジを検出した後に無音構造からそれ以外の構造に変化した時点で通常再生を開始することにより、所望のオーディオ信号の検索を容易にする例について説明する。
【０１０７】
図８には、第１の実施の形態のオーディオ信号分類手法による分類結果のうち、前記変化構造の分類結果（特に音源変化構造、音源同時変化構造）を用いて、オーディオ信号のシーンチェンジを検出し、所望のオーディオ信号を容易に検索可能とした、本発明の第２の実施の形態の信号処理装置の概略構成を示す。また、図９には、当該図８の構成における処理の流れを示す。
【０１０８】
以下、これら図８及び図９を用いて第２の実施の形態の信号処理装置の構成及び動作の説明を行う。
【０１０９】
この図８において、再生部７１は、様々な情報記録媒体や通信媒体を介してオーディオ信号を再生し、出力可能であると共に、後述する再生コントロールブロック７７によりその再生動作が制御されるものである。ここで、本実施の形態において所望のオーディオ信号の検索を行う場合には、当該再生部７１から例えば早送り再生によるオーディオ信号が出力され、その早送り再生によるオーディオ信号は前記第１の実施の形態の信号処理装置に対応する分類部７４に入力される。
【０１１０】
分類部７４では、ステップＳ１１の処理として、上記早送り再生によるオーディオ信号に対して、前述したようなブロック化、特徴抽出、ベクトル量子化を用いた分類処理を行い、当該ブロックの分類結果を表す記述子（タグ）を出力する。当該記述子は、後段のシーンチェンジ検出部７５に送られる。
【０１１１】
なお、予めオーディオ信号に対して当該分類部７４における分類処理を行い、オーディオ信号に同期させて上記記述子を付加しておくようにし、当該記述子が付加されたオーディオ信号を上記再生部７１から出力するようなことも可能である。但し、このように予め記述しを付加したオーディオ信号を再生部７１から出力するようにした場合は、上記分類部７４での分類処理はスキップされ、上記記述子が上記シーンチェンジ検出部７５に直接入力されることになる。
【０１１２】
シーンチェンジ検出部７５では、ステップＳ１２の処理として、上記分類部７４から上記ブロックの分類結果を表す記述子を受け取ると、ステップＳ１３の処理として、その記述子に基づいて、当該ブロックのオーディオ信号が前述した音源変化構造（change）、又は音源同時変化構造（multiple change）であるか否かチェックする。
【０１１３】
ここで、当該ステップＳ１３において、当該ブロックの信号が音源変化構造又は音源同時変化構造の何れにも該当しないと判定された場合、シーンチェンジ検出部７５は、再生コントロール部７７に対してその旨の検出結果信号を出力する。この時の検出結果信号を受け取ると、再生コントロール部７７は、上記再生部７１を制御し、上記早送り再生を続けさせる。これにより、当該図８の装置における処理は、ステップＳ１１に戻り、次のブロックのオーディオ信号に対してステップＳ１１からステップＳ１３までの処理が行われる。
【０１１４】
一方、ステップＳ１３において、その時点でのブロックの信号が音源変化構造又は音源同時変化構造の何れかに該当すると判定された場合、シーンチェンジ検出部７５は、再生コントロール部７７に対してその旨の検出結果信号を出力する。この時の検出結果信号を受け取ると、再生コントロール部７７は、上記再生部７１を制御し、上記早送り再生を続けさせる。これにより、分類部７４では、ステップＳ１４の処理として、上記早送り再生による次のブロックのオーディオ信号に対して、前述したようなブロック化、特徴抽出、ベクトル量子化を用いた分類処理を行い、当該次のブロックの分類結果を表す記述子を出力する。
【０１１５】
シーンチェンジ検出部７５では、ステップＳ１５の処理として、上記ステップＳ１４による次のブロックについての記述子を受け取ると、ステップＳ１６の処理として、その記述子に基づいて、当該次のブロックのオーディオ信号が前述した無音構造（silent)であるか否かチェックする。
【０１１６】
ここで、当該ステップＳ１６において、当該次のブロックの信号が無音構造であると判定された場合、シーンチェンジ検出部７５は、再生コントロール部７７に対してその旨の検出結果信号を出力する。この時の検出結果信号を受け取ると、再生コントロール部７７は、上記再生部７１を制御し、上記早送り再生を続けさせる。これにより、当該図８の装置における処理は、ステップＳ１４に戻り、さらに次のブロックのオーディオ信号に対してステップＳ１４からステップＳ１６までの処理が行われる。
【０１１７】
一方、ステップＳ１６において、その時点でのブロックの信号が無音構造に該当しないと判定された場合、シーンチェンジ検出部７５は、再生コントロール部７７に対してその旨の検出結果信号を出力する。この時の検出結果信号を受け取ると、再生コントロール部７７は、上記再生部７１を制御し、上記早送り再生を停止し、通常速度での再生を行わせる。当該通常速度にて再生されたオーディオ信号は、混合部７２を介し、さらに端子７３を介して図示しないディスプレイ装置等のスピーカに送られる。これにより、ディスプレイ装置等のスピーカからは、通常速度で再生されたオーディオ信号に基づく音が放音されることになる。
【０１１８】
すなわち、ステップＳ１６においてその時点でのブロックの信号が無音構造に該当しないと判定された場合、当該ブロックのオーディオ信号は新たなシーンの音の信号であると考えられるため、本実施の形態装置では当該新たなシーンの開始部分のオーディオ信号を通常速度で再生する。これにより、ユーザは当該通常速度で再生された音によりシーンチェンジ後の音が所望の音であるか否か判断できることになる。  また、ステップＳ１６において、ブロックの信号が無音構造に該当しないと判定された場合、シーンチェンジ検出部７５からの検出結果信号は報知信号生成部７６にも送られる。当該報知信号生成部７６は、上記検出結果信号を受けると、シーンチェンジを検出したことをユーザに知らしめるための報知音信号を生成して出力する。当該報知音信号は、混合器７２を介してディスプレイ装置等のスピーカに送られ、したがってスピーカからは上記シーンチェンジの検出に対応する報知音が放音され、これにより、ユーザはシーンチェンジが検出されたことを認識可能となる。なお、報知信号生成部７６が出力する報知信号は、ディスプレイ装置の画面上にシーンチェンジが検出された旨を表す表示信号とすることもできる。但し、当該表示信号としての報知信号を報知信号生成部７６から出力するようにした場合、その報知信号は混合器７２ではなくディスプレイ装置の表示部に送られることになる。
【０１１９】
以上説明したように、本発明の第２の実施の形態の信号処理装置によれば、第１の実施の形態の場合と同様にしてオーディオ信号を分類した分類結果に応じて、オーディオ信号の変化点（シーンチェンジ）を検索できるため、例えば話題の切り替わる部分や、放送番組の切り替わる時刻等の自動検出が可能となり、これにより、マルチメディアデータの検索が容易となる。また、当該第２の実施の形態の信号処理装置によれば、早送り再生等など人間に負担のかかる方法で全ての内容をチェックすることなく、シーンチェンジの開始部分のような検索に必要とされる可能性の高い部分の候補のみを通常速度で試聴し、選択することができることになる。
【０１２０】
さらに、本発明の第２の実施の形態において、例えば映像のカットチェンジ（映像におけるカメラの切り替わり点）検出等と併用することで、いわゆるシーンチェンジ検出（映像上のまとまりを構成する単位に区切ること、一般に複数のカットからなる）の精度を向上させることも可能となる。
【０１２１】
なお、本発明の第１，第２の実施の形態ではオーディオ信号を例に挙げたが、その他の信号、例えばビデオ信号などについても本発明は適用可能であり、それら他の信号についての分類、記述子の作成、検索等が可能となる。
【０１２２】
【発明の効果】
以上の説明で明らかなように、本発明の信号分類方法及び装置においては、入力信号をブロック化してそのブロック内の信号から信号属性に関する特徴量を抽出し、その特徴量に基づいてブロック毎に信号のカテゴリ分類を行うことにより、入力信号を迅速且つ正確に分類可能であり、したがって、例えば長時間に渡り様々な音源が様々なパターンを示す時系列信号であるオーディオ信号を、ブロック毎に音源の種類及び構造の種類に分類することが可能である。
【０１２３】
また、本発明の記述子作成方法及び装置においては、そのカテゴリ分類に応じた記述子を生成することにより、例えば、音声区間などを特定することが容易となり、例えば音声認識や音響信号符号化等の前処理として用いることで、任意のオーディオ信号に対して、適切な認識方法や符号化方法を自動的に選択することが可能となる。
【０１２４】
また、本発明の信号検索方法及び装置においては、そのカテゴリ分類結果或いは記述子に基づいて信号検索を行うことにより、例えば音源の変化点が分類及び検索できるため、例えば話題の切り替わる部分や、放送番組の切り替わる時刻等の自動検出が可能となり、これによってマルチメディアデータの検索が容易となる。さらに、本発明の信号検索方法及び装置によれば、例えば映像をカットチェンジ検出等と併用することで、いわゆるシーンチェンジ検出の精度を向上させることも可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の信号処理装置の概略構成例を示すブロック回路図である。
【図２】オーディオ信号のブロック化の説明に用いる図である。
【図３】特徴抽出部の具体的構成例を示すブロック回路図である。
【図４】構造的な分類カテゴリの説明に用いる図である。
【図５】ベクトル量子化部で行われるブロック毎の分類処理の流れを示すフローチャートである。
【図６】ブロック内のオーディオ信号が変化音又は無変化音の何れであるか分類する際のベクトル量子化部の機能を構成として表す機能ブロック図である。
【図７】ブロック内のオーディオ信号を音声、音楽、雑音、環境音等に分類する際のベクトル量子化部の機能を構成として表す機能ブロック図である。
【図８】本発明の第２の実施の形態の信号処理装置の概略構成例を示すブロック回路図である。
【図９】第２の実施の形態においてオーディオ信号のシーンチェンジを検出して所望のオーディオ信号を検索する際の処理の流れを示すフローチャートである。
【図１】
0004438144.tif 000007
【図２】
0004438144.tif 000008
【図３】
0004438144.tif 000009
【図４】
0004438144.tif 000010
【図５】
0004438144.tif 000011
【図６】
0004438144.tif 000012
【図７】
0004438144.tif 000013
【図８】
0004438144.tif 000014
【図９】
0004438144.tif 000015