(57)【要約】  音響イベントの識別精度を向上させる。  信号処理装置は、音響イベント基底群を格納する基底格納手段と、音響信号のスペクトログラムの時間区間中の音響イベントのスペクトル基底の発現度合いの組み合わせを特徴量とする識別モデルを格納するモデル格納手段と、識別用音響信号のスペクトログラムに対して、音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する識別信号分析手段と、算出された発現度合いの組み合わせを基に、識別モデルを用いて識別用音響信号に含まれる音響イベントを識別する信号識別手段とを備える。
2017217412.tif 000002
【特許請求の範囲】
【請求項１】
検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を格納する基底格納手段と、音響信号のスペクトログラムの時間区間中の音響イベントのスペクトル基底の発現度合いの組み合わせを特徴量として、音響信号に含まれる音響イベントを識別する識別モデルを格納するモデル格納手段と、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する識別信号分析手段と、算出された発現度合いの組み合わせを基に、識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する信号識別手段とを備えたことを特徴とする信号処理装置。
【請求項２】
識別信号分析手段は、識別用音響信号のスペクトログラムに対して、音響イベント基底群を表す所定形式の第１基底行列に未知の音響イベントのスペクトル基底群を表す第２基底行列を加えた第３基底行列のうちの第２基底行列と、第３基底行列の各スペクトル基底の発現度合いを表すアクティベーション行列とを学習させて、当該スペクトログラムを第３基底行列と第３基底行列の各スペクトル基底の発現度合いを表すアクティベーション行列とに分解することにより、第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列を算出し、信号識別手段は、算出された第１アクティベーション行列によって示される識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いの組み合わせを基に、識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する請求項１に記載の信号処理装置。
【請求項３】
基底生成用のスペクトログラムを入力として音響イベント基底群を生成する基底生成手段と、対応する音響イベントを示すラベル付きのスペクトログラムが入力されると、基底生成手段によって生成された音響イベント基底群を用いて、ラベル付きスペクトログラムから音響イベントのスペクトル基底の発現度合いを算出して、識別モデルを学習するモデル学習手段とを備えた請求項１または２に記載の信号処理装置。
【請求項４】
検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納する事前分布格納手段を備え、基底生成手段は、事前分布群に含まれる各事前分布を、対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する請求項３に記載の信号処理装置。
【請求項５】
音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合である請求項１から４のうちのいずれかに記載の信号処理装置。
【請求項６】
音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、モデル学習手段は、対応する音響イベントを示すラベル付きスペクトログラムを、音響イベント基底群を表す第１基底行列と第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列とに分解する処理において、グループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を課して分解することにより、第１アクティベーション行列を算出して、算出された第１アクティベーション行列によって示される識別用音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として、識別モデルを学習する請求項３に記載の信号処理装置。
【請求項７】
音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、事前分布群に含まれる各事前分布を、対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する請求項４に記載の信号処理装置。
【請求項８】
音響イベント基底群に含まれる音響イベントごとのサブ集合には、当該音響イベントを構成する音の代表的なスペクトル形状に対して異なるバリエーションまたは揺らぎが表現された２以上のスペクトル基底が含まれる請求項５から７のうちのいずれかに記載の信号処理装置。
【請求項９】
識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出し、算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別することを特徴とする信号処理方法。
【請求項１０】
コンピュータに、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する処理、および算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する処理を実行させるための信号処理プログラムを格納したコンピュータ読み取り可能記録媒体。
【請求項１１】
検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納する事前分布格納手段と、基底生成用のスペクトログラムを入力として、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を生成する基底生成手段とを備え、基底生成手段は、事前分布群に含まれる各事前分布を対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成することを特徴とする信号処理装置。
【請求項１２】
音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、事前分布群に含まれる各事前分布を対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する請求項１１に記載の信号処理装置。
【請求項１３】
音響イベント基底群に含まれる音響イベントごとのサブ集合には、当該音響イベントを構成する音の代表的なスペクトル形状に対して異なるバリエーションまたは揺らぎが表現された２以上のスペクトル基底が含まれる請求項１１に記載の信号処理装置。
【請求項１４】
検知対象とされる音響イベントが、特定音源の音の発生であり、分布格納手段は、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納し、特定音源の音のみを含む音響信号のスペクトログラムを入力として、事前分布群を生成する分布解析手段と、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、基底生成手段によって生成された音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行う音源分離手段と、音源分離の結果得られる、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成する音源再構築手段とを備えた請求項１１から１３のうちのいずれかに記載の信号処理装置。
【請求項１５】
音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、前分布群に含まれる各事前分布を、対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成し、音源分離手段は、音源分離用音響信号のスペクトログラムを、音響イベント基底群を表す第１基底行列と第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列とに分解する処理において、グループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を課して分解する請求項１４に記載の信号処理装置。
【請求項１６】
音源分離手段は、音源分離用音響信号のスペクトログラムに対して、音響イベント基底群に特定音源以外の音に対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの音響イベント基底群のスペクトル基底は事前分布群に含まれる各事前分布を制約として用いて学習させ、未知のスペクトル基底は制約なしで学習させて音源分離を行う請求項１４または１５に記載の信号処理装置。
【請求項１７】
基底生成用のスペクトログラムが入力されると、検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群に含まれる各事前分布を対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を生成することを特徴とする信号処理方法。
【請求項１８】
コンピュータに、基底生成用のスペクトログラムが入力されると、検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群に含まれる各事前分布を対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を生成する処理を実行させるための信号処理プログラムを格納したコンピュータ読み取り可能記録媒体。
【請求項１９】
特定音源の音のみを含む音響信号のスペクトログラムを入力として、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を生成し、基底生成用のスペクトログラムが入力されると、事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、特定音源のスペクトル基底の集合である音響イベント基底群を生成し、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行い、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを算出し、算出された音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成することを特徴とする信号処理方法。
【請求項２０】
コンピュータに、特定音源の音のみを含む音響信号のスペクトログラムを入力として、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を生成する処理、基底生成用のスペクトログラムが入力されると、事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、特定音源のスペクトル基底の集合である音響イベント基底群を生成する処理、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行い、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを算出する処理、および算出された音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成する処理を実行させるための信号処理プログラムを格納したコンピュータ読み取り可能記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号を処理する信号処理装置、信号処理方法およびコンピュータ読み取り可能記録媒体に関する。
【背景技術】
【０００２】
音響信号から予め定めた音響イベントを検知したり、音響信号を音源別の信号に分離する技術がある。ここで、音響イベントは、物理イベントに対応する音響信号のパターンであり、物理イベントが引き起こす物理状態と対応する区間の音響信号パターンとを対応づけたものである。例えば、検知対象として「ガラスの破砕」という音響イベントを定義したい場合、該音響イベントは、ガラスが割れた際に生じる音響信号パターンと「ガラスが割れる」という物理状態を対応づけたものである。【０００３】
例えば、非特許文献１には、非負値行列因子分解（ＮＭＦ：Nonnegative Matrix Factorization）を用いて音響信号のスペクトログラムから音響イベントの基底行列の発現度合いを算出し、それを特徴量として音響信号に含まれる音響イベントを検知する方法が記載されている。非特許文献１に記載の方法は、より具体的には、音響信号のスペクトログラムに対して、あらかじめ学習データから算出した基底行列を教師基底とするＮＭＦを用いて該基底行列に含まれる各スペクトル基底の発現度合いを算出する。そして、該方法は、算出された発現度合いの組み合わせを基に音響信号に特定の音響イベントが含まれるか否かを識別することにより、音響イベントを検知する。【０００４】
また、ＮＭＦは、複数の音源からの音を含む音響信号に対する音源分離にも多く用いられている。例えば、ＮＭＦを用いて分離対象とされる音響信号のスペクトルを、各音源のスペクトル基底を表す基底行列とその発現度合いを表すアクティベーション行列とに分離する。これにより、音源ごとのスペクトルが得られる。非特許文献１に記載の方法では、所定の音源による音響信号も、検知対象の音響イベントとして指定可能とする。すなわち、音響イベントには、所定音源からの音の発生という物理イベントに対応する音響信号のパターンも含まれるものとする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−０４５２２１号公報
【特許文献２】特開２０１４−１６４１２６号公報
【非特許文献】
【０００６】
【非特許文献１】Courtenay V. Cotton and Daniel P. W. Ellis, ‘SPECTRAL VS. SPECTRO-TEMPORAL FEATURES FOR ACOUSTIC EVENT DETECTION’, 2011 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、非特許文献１に記載の方法は、音響イベントの識別精度が十分でないという問題があった。例えば、非特許文献１に記載の方法は、未知の環境下などにおいて、学習データから作成した基底行列では表現できないような未知の音が存在する場合、本来検知対象でない未知の音も検知対象の音響イベントとして誤って識別してしまうという問題があった。また、例えば、非特許文献１に記載の方法では、基底行列を生成するためのＮＭＦの解に多くの局所解が存在する。このため、非特許文献１に記載の方法は、学習データから基底行列を精度よく推定できず、正確な基底行列の抽出に失敗してしまうという問題があった。正確な基底行列が抽出されない場合、音響イベントを精度よく検知すること困難である。なお、音源分離の場合も、検知対象とされる音源のスペクトル基底を表す基底行列をＮＭＦにより得る際に、上記と同様、局所解の問題が生じる。【０００８】
そこで、本発明は、音響イベントの識別精度を向上できる信号検知装置、そのための信号処理装置、信号処理方法およびコンピュータ読み取り可能記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明による信号処理装置は、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を格納する基底格納手段と、音響信号のスペクトログラムの時間区間中の音響イベントのスペクトル基底の発現度合いの組み合わせを特徴量として、音響信号に含まれる音響イベントを識別する識別モデルを格納するモデル格納手段と、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する識別信号分析手段と、算出された発現度合いの組み合わせを基に、識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する信号識別手段とを備えたことを特徴とする。【００１０】
本発明による信号処理方法は、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出し、算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別することを特徴とする。【００１１】
本発明によるコンピュータ読み取り可能記録媒体は、コンピュータに、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する処理、および算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する処理を実行させる信号処理プログラムを非一時的に格納することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、音響イベントの識別精度を向上できる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態の信号処理装置１１０の構成例を示すブロック図である。
【図２】第１の実施形態の動作の一例を示すフローチャートである。
【図３】第２の実施形態の信号処理装置２００の構成例を示すブロック図である。
【図４】第２の実施形態の全体動作の一例を示すフローチャートである。
【図５】第２の実施形態の基底生成処理の処理フローの一例を示すフローチャートである。
【図６】第２の実施形態のモデル学習処理の処理フローの一例を示すフローチャートである。
【図７】第３の実施形態の信号処理装置１００の構成例を示すブロック図である。
【図８】第３の実施形態の動作の一例を示すフローチャートである。
【図９】第４の実施形態の信号処理装置４００の構成例を示すブロック図である。
【図１０】第４の実施形態の全体動作の一例を示すフローチャートである。
【図１１】第５の実施形態の信号処理装置５００の構成例を示すブロック図である。
【図１２】第６の実施形態の信号処理装置６００の構成例を示すブロック図である。
【図１３】第６の実施形態の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を、図面を参照して説明する。
【００１５】
まず、本発明の前提となる技術であるＮＭＦによる音源分離動作について簡単に説明する。
【００１６】
ＮＭＦは、入力された音響信号のスペクトログラムＶを、以下の式（１）に示すように、Ｋ行Ｒ列の基底行列Ｗ（ｋ，ｒ）とＲ行Ｊ列のアクティベーション行列Ｈ（ｒ，ｊ）の積で近似を行う行列分解手法である。
【００１７】
Ｖ≒ＷＨ  ・・・（１）
【００１８】
ＮＭＦに入力される音響信号のスペクトログラムＶは、例えば、音響時系列信号ｘ（ｔ）に対して短時間フーリエ変換を行って得られる、Ｋ行Ｊ列の強度数値データからなる行列Ｖ（ｋ，ｊ）であってもよい。音響時系列信号ｘ（ｔ）は、例えば、マイクロフォン等で収録したアナログ信号をＡＤ変換（Analog Digital Convert）して得られるデジタル信号であってもよい。
【００１９】
ここで、ｔは時間のインデックスを表す。また、Ｋは周波数ビン数を表し、ｋは周波数ビンのインデックスを表す。また、Ｊは短時間フーリエ変換時の時間フレーム数を表し、ｊは短時間フーリエ変換時の時間フレームのインデックスを表す。以下、他の行列表記においても同様とする。
【００２０】
また、Ｒは基底数を表し、ｒは基底のインデックスを表す。スペクトル基底行列Ｗ（ｋ，ｒ）は、スペクトル形状を表すベクトルとして表現されるスペクトル基底を列方向にＲ個結合したものとして解釈できる。同様に、アクティベーション行列Ｈ（ｒ，ｊ）は、各スペクトル基底に対応する発現度合いを表すアクティベーションを行方向にＲ個結合したものとして解釈できる。以下、他の行列表記においても同様とする。なお、各スペクトル基底および各スペクトル基底の発現度合い（発現タイミングとその大きさ）の表現方法は上記の例に限定されない。以下、ＷとＨとを、簡便に基底ＷとアクティベーションＨと表現する場合がある。
【００２１】
基底ＷおよびアクティベーションＨは、所要のコスト関数を最小化するように求められる。以下の実施形態では、コスト関数に、以下の式（２）で示されるような一般化ＫＬダイバージェンス（Kullback-Leibler divergence）を用いた場合を例に説明する。
【００２２】
【数１】
2017217412.tif 000003
【００２３】
ここで、○記号は行列の要素ごとの積を表す。また、分数表記は行列の要素ごとの除算を表す。
【００２４】
コスト関数（式（２）に示すＤＫＬ）を所定の閾値以下の回数、又は所定の回数更新する基底ＷおよびアクティベーションＨは、例えば、以下の式（３）と式（４）を交互に繰り返し用いて算出する。
【００２５】
【数２】
2017217412.tif 000004
【００２６】
ここで、ＡＴは行列Ａの転置を表す。また、行列ＯはＶと同じ形で要素がすべて１の行列を表す。また、基底ＷおよびアクティベーションＨの初期値には、一般に乱数で生成したものが用いられる。上記の２式を、コスト関数が閾値以下になる、または設定した繰り返し回数に達するまで更新する。なお、学習データから識別モデルに用いる特徴量としてのアクティベーションＨを得る場合などに用いられる教師有りＮＭＦの場合、基底Ｗは既に得られているものとして、アクティベーションＨのみを更新する。
【００２７】
例えば、非特許文献１に記載の音響イベントの検知方法は、前処理として、検知したい音響イベントを含む音響信号をつなぎ合わせたスペクトログラムに対してＮＭＦを行い、各音響イベントに対応したスペクトル基底群（基底Ｗ）を生成する。そして、未知の音響信号のスペクトログラムに対して、基底Ｗを用いた教師有りＮＭＦを行い、各スペクトル基底の発現度合い（アクティベーションＨ）を算出する。そして、各スペクトル基底の発現度合いの組み合わせから、未知の音響信号に検知対象の音響イベントが含まれているか否かを識別することで、音響イベントを検知している。
【００２８】
ところで、検知対象とされる音響イベントのスペクトログラムをＮＭＦにより分解することで得られる基底Ｗは、当該音響イベントを構成する物理的要素に対応する音のスペクトルを表すと考えられる。例えば、「ガラスが割れる音」とラベル付けされた音響イベントが、ガラスが割れる瞬間の衝撃音とガラスの破片が飛び散る音とを含む場合、該音響イベントのスペクトログラムをＮＭＦにより分解すると、ガラスが割れる瞬間の衝撃音と割れたガラスの破片が飛び散る音の２つの物理現象に対応する要素に対応する音のスペクトルを表す基底Ｗが得られると考えられる。
【００２９】
このため、未知の音響信号のスペクトログラムを、そのようなスペクトル基底の組み合わせを用いた教師有りＮＭＦにより分解した結果、上記の２つの物理現象に対応するスペクトル基底のアクティベーション（発現度合い）が、所定のタイミングで大きい値を示すなど、ラベル「ガラスが割れる音」に対して予め学習されたパターンを示した場合には、該音響信号は「ガラスが割れる音」という音響イベントを含んでいると識別される。
【００３０】
実施形態１．
次に、本発明の第１の実施形態を説明する。図１は、第１の実施形態の信号処理装置１１０の構成例を示すブロック図である。図１に示す信号処理装置１１０は、検知対象とされる音響信号のスペクトログラムである識別用スペクトログラムＶを入力とし、該スペクトログラムＶに含まれる音響イベントの識別結果を示す音響イベントラベルを出力する音響イベント識別装置として機能する装置である。なお、いずれの音響イベントも含まれていない場合は、その旨を示す識別結果が出力される。
【００３１】
図１に示すように、信号処理装置１１０は、基底格納部１１１と、識別信号分析部１１２と、モデル格納部１１３と、信号識別部１１４とを備える。
【００３２】
基底格納部１１１は、検知対象とされる音響イベントの周波数パターンを示すスペクトル基底群（後述する基底Ｗｅ）を格納する。
【００３３】
モデル格納部１１３は、基底Ｗｅに含まれる各スペクトル基底の発現度合いであるアクティベーション（後述するアクティベーションＨｅ）を基に音響イベントを識別するための識別モデルを記憶する。識別モデルの詳細は特に限定されないが、サポートベクトルマシン（ＳＶＭ）や、隠れマルコフモデルや混合ガウシアンモデルやニューラルネットワークなどが一例として挙げられる。例えば、識別モデルとしてＳＶＭを用いる場合、モデル格納部１１３には、識別面を表す行列Ａｅと切片ベクトルｂｅとが格納される。
【００３４】
識別信号分析部１１２は、識別用スペクトログラムＶを入力とし、基底格納部１１１に格納された基底Ｗｅを教師基底として用いた半教師有りＮＭＦを行い、基底Ｗｅに含まれる各スペクトル基底に対する重みにより発現度合いを表すアクティベーションＨｅを算出する。
【００３５】
識別信号分析部１１２が用いる半教師有りＮＭＦは、音源分解に用いるスペクトル基底として、検知対象として予め定義された音響イベントに対応するスペクトル基底だけでなく、未知すなわち予め定義された音響イベント以外の音源に対応するスペクトル基底を用いる。より具体的には、上記の基底行列Ｗに代えて、予め定義された音響イベントに対応する基底行列Ｗｅに、未知の音響イベントに対応する基底行列Ｗｕを加えた基底行列Ｗｓｅｍｉ［Ｗｅ  Ｗｕ］を用いる。また、それに伴って、基底Ｗｅに対応するアクティベーション行列Ｈｅに、基底Ｗｕに対応するアクティベーション行列Ｈｕを加えたアクティベーション行列Ｈｓｅｍｉ［Ｈｅ  Ｈｕ］を用いる。以下、Ｗｅを音響イベント基底、Ｗｕを未知イベント基底、Ｈｅを音響イベントアクティベーション、Ｈｕを未知イベントアクティベーションという場合がある。
【００３６】
例えば、ＲｅをＷｅの基底数、ＲｕをＷｕの基底数とすると、音響イベント基底ＷｅはＫ行Ｒｅ列の行列で表され、未知イベント基底ＷｕはＫ行Ｒｕ列の行列で表され、基底ＷｓｅｍｉはＫ行（Ｒｅ＋Ｒｕ）列の行列で表される。同様に、アクティベーションＨｅはＲｅ行Ｊ列の行列で表され、アクティベーションＨｕはＲｕ行Ｊ列の行列で表され、アクティベーションＨｓｅｍｉは（Ｒｅ＋Ｒｕ）行Ｊ列のアクティベーション行列で表される。
【００３７】
識別信号分析部１１２は、半教師有りＮＭＦにおいて、以下の式（ａ−１）に示すように、入力される識別用スペクトログラムＶを、Ｗｓｅｍｉ［Ｗｅ  Ｗｕ］とＨｓｅｍｉ［Ｈｅ  Ｈｕ］の積で近似することにより、Ｖにおける音響イベントアクティベーションＨｅを算出する。
【００３８】
Ｖ≒ＷｓｅｍｉＨｓｅｍｉ  ・・・（ａ−１）
【００３９】
半教師有りＮＭＦでは、入力されたスペクトログラムＶに応じて、Ｗｕ，Ｈｓｅｍｉ［Ｈｅ  Ｈｕ］の値が最適化される。換言すると、識別信号分析部１１２は、入力されたスペクトログラムＶにマッチするように、Ｗｕ，Ｈｓｅｍｉ［Ｈｅ  Ｈｕ］の値を更新する。より具体的には、識別信号分析部１１２は、半教師有りＮＭＦにおいて、下記の式（ａ−２）および式（ａ−３）に示すように、ＨｓｅｍｉとＷｕを交互に更新することで、最適なＷｕ，Ｈｅ，Ｈｕを算出する。Ｗｕ，Ｈｅ，Ｈｕの初期値は特に問わないが、一般には乱数が用いられる。
【００４０】
【数３】
2017217412.tif 000005
【００４１】
このような更新処理により、未知イベント基底Ｗｕは、スペクトログラムＶに含まれるスペクトル成分のうち、音響イベント基底Ｗｅでは表現できないような成分を表す基底として学習される。
【００４２】
なお、音響イベント基底Ｗｅは、予め定義された各音響イベントに対応する周波数成分に対応する周波数パターンを表現するスペクトル基底の集合であればよく、表現方法は上記に限定されない。同様に、未知イベント基底Ｗｕは、既知の音響イベントに対応する周波数成分以外の周波数成分に対応する周波数パターンを表現するスペクトル基底の集合であればよく、表現方法は上記に限定されない。また、音響イベントアクティベーションＨｅは、Ｖ中の、Ｗｅに含まれる各スペクトル基底の発現度合いを表現するものであればよく、表現方法は上記に限定されない。同様に、未知イベントアクティベーションＨｕは、Ｖ中の、Ｗｕに含まれる各スペクトル基底の発現度合いを表現するものであればよく、表現方法は上記に限定されない。
【００４３】
このとき、未知イベント基底Ｗｕにおける基底数Ｒｕは、固定値であってもよいし、最初に初期値を与えた上で更新処理の過程で増えていくような可変値であってもよい。
【００４４】
信号識別部１１４は、識別信号分析部１１２から出力される音響イベントアクティベーションＨｅを基に、モデル格納部１１３に格納された識別モデルを用いて、入力されたスペクトログラムＶに含まれる音響イベントを識別する。
【００４５】
次に、本実施形態の動作を説明する。図２は、本実施形態の動作の一例を示すフローチャートである。本例では、まず信号処理装置１１０に識別用スペクトログラムＶが入力される（ステップＳ１１）。
【００４６】
識別用スペクトログラムＶが入力されると、識別信号分析部１１２が、Ｖに対して、基底格納部１１１に格納されている音響イベント基底Ｗｅを教師基底に用いた半教師有りＮＭＦを実施する（ステップＳ１２）。
【００４７】
ステップＳ１２において、識別信号分析部１１２は、まずＶをＷｓｅｍｉ［Ｗｅ  Ｗｕ］とＨｓｅｍｉ［Ｈｅ  Ｈｕ］の積で表現される近似式に適用する（ステップＳ１２１）。次いで、識別信号分析部１１２は、ＷｕおよびＨｓｅｍｉの更新が所定の更新回数以上またはコスト関数が所定の閾値以下かを判定する（ステップＳ１２２）。ここで、所定の更新回数以上でなく、かつコスト関数が所定の閾値以下でない場合（ステップＳ１２２のＮｏ）、識別信号分析部１１２は、ＷｕとＨｓｅｍｉのいずれかまたは両方の更新を行う（ステップＳ１２３）。
【００４８】
一方、所定の更新回数以上、またはコスト関数が所定の閾値以下の場合（ステップＳ１２２のＹｅｓ）、識別信号分析部１１２は、近似式中のアクティベーションＨｅを出力する（ステップＳ１２４）。
【００４９】
ＶについてのアクティベーションＨｅが出力されると、信号識別部１１４が、該アクティベーションＨｅを基に、モデル格納部１１３に格納された識別モデルを用いて、Ｖに含まれる音響イベントを識別する（ステップＳ１３）。
【００５０】
以上のように、本実施形態によれば、未知の音が存在する環境下で採取された音響信号であっても、そのスペクトログラム（識別用スペクトログラムＶ）中に含まれる音響イベントを精度よく識別できる。なぜなら、入力されたスペクトログラムＶをスペクトル単位に分解する際の基底として未知の音を表現する未知イベント基底Ｗｕを含むＷｓｅｍｉを新たに導入し、半教師有りＮＭＦにおいて該Ｗｕを適宜更新することにより、音響イベント基底Ｗｅに対応する成分のみを正確に算出できるからである。すなわち、本実施形態では、スペクトログラムＶから物理現象に対応したスペクトルを抽出する特徴抽出の際に半教師有りＮＭＦを用いることにより、既知の基底では分解できない要素をその場で学習することができるので、未知の音源の存在に頑健な特徴抽出ができる。
【００５１】
例えば、基底Ｗｕを導入せずに基底Ｗｅのみを用いた教師有りＮＭＦの場合、Ｖを、基底Ｗｅのみを用いて分解する。このため、Ｖ中に、基底Ｗｅに含まれないような未知のスペクトルが含まれている場合、ＶのアクティベーションＨｅが予期せぬ値を持ってしまい誤った特徴量として識別器に入力されるおそれがあった。一方、基底Ｗｕを導入した半教師有りＮＭＦの場合、Ｖを、基底Ｗｓｅｍｉ［Ｗｅ  Ｗｕ］を用いて分解する。これにより、Ｖに含まれるスペクトル成分のうち基底Ｗｅで表現できないような成分をすべて基底Ｗｕが請け負うことができるので、ＶのアクティベーションＨｅを高精度に算出することができる。したがって、そのようにして得られたアクティベーションＨｅを特徴量として識別器に入力することで、Ｖ中に含まれる音響イベントを精度よく識別できる。
【００５２】
実施形態２．
次に、本発明の第２の実施形態について説明する。図３は、第２の実施形態の信号処理装置２００の構成例を示すブロック図である。図３に示す信号処理装置２００は、第１の実施形態の信号処理装置１１０の構成に加えて、基底生成部１０と、学習データ分析部１２と、モデル学習部１３とをさらに備えている。なお、図３には、信号処理装置２００が、第１の実施形態の信号処理装置１１０が備える各要素（符号１１１〜１１４）を、音響イベント識別部１１の各要素として含む例が示されている。
【００５３】
本実施形態の信号処理装置２００は、基底生成用スペクトログラムＶｂａｓｅを入力して音響イベント基底Ｗｅを生成し、ラベル付きスペクトログラムＶｌｂｌを入力して識別モデルを学習し、識別用スペクトログラムＶを入力して、該識別用スペクトログラムＶに含まれている音響イベントを識別して、音響イベントを検知する。
【００５４】
基底生成部１０は、基底生成用スペクトログラムＶｂａｓｅが入力されると、音響イベント基底Ｗｅを生成して、基底格納部１１１に格納する。音響イベント基底Ｗｅの生成方法は特に問わない。基底生成部１０は、例えば、基底生成用のスペクトログラムＶｂａｓｅとして、検知対象とされる音響イベントを含む音響信号をつなぎ合わせたスペクトログラムを入力させ、該Ｖｂａｓｅに対して、以下の式（ｂ−１）で示す近似式によるＮＭＦを行うことにより、音響イベント基底Ｗｅを得てもよい。該ＮＭＦにおいて、基底生成部１０は、ＷｅおよびＨｅを最適化（更新）する。
【００５５】
Ｖｂａｓｅ≒ＷｅＨｅ  ・・・（ｂ−１）
【００５６】
該ＮＭＦは、上記の式（１）で示した一般的なＮＭＦにおけるＶ，ＷおよびＨを、Ｖｂａｓｅ，ＷｅおよびＨｅに置き換えただけであり、コスト関数および更新式についても上記と同様である。
【００５７】
なお、基底生成用スペクトログラムＶｂａｓｅは、実際の信号から学習データに含まれる各音響イベントに対応したスペクトルを抽出できるものであればよく、上記の例に限られない。
【００５８】
基底生成部１０により生成された音響イベント基底Ｗｅは基底格納部１１１に格納されるとともに、後段の学習データ分析部１２に出力される。なお、学習データ分析部１２が基底格納部１１１に格納されている音響イベント基底Ｗｅを参照する構成であってもよい。その場合、学習データ分析部１２への出力は省略される。
【００５９】
学習データ分析部１２は、ラベル付きスペクトログラムＶｌｂｌを入力として、基底生成部１０により生成された音響イベント基底Ｗｅを基に、音響イベントラベルに対応づける音響イベントアクティベーションＨｅを算出する。ここで、ラベル付きスペクトログラムＶｌｂｌは、ある音響イベントのスペクトログラムに、該音響イベントを表すラベル（音響イベントラベル）が付与された学習データである。
【００６０】
ラベル付きスペクトログラムＶｌｂｌは、例えば、検知対象の全Ｅ個の音響イベントのスペクトログラムのそれぞれに対応する音響イベントラベルが付与されたスペクトログラムであってもよい。
【００６１】
例えば、「悲鳴」と「ガラスが割れた音」とを検知対象とする場合、「悲鳴」に対応する音響イベントラベルがつけられた悲鳴のスペクトログラムと、「ガラスが割れた音」に対応する音響イベントラベルがつけられたガラスが割れた音のスペクトログラムとを、それぞれラベル付きスペクトログラムＶｌｂｌとして入力する。なお、１つのラベル付きスペクトログラムＶｌｂｌは、Ｋ行Ｊｌｂｌ列の行列Ｖｌｂｌ（ｋ，ｊ）であればよい。
【００６２】
ここで、ラベル付きスペクトログラムＶｌｂｌにおける時間フレーム数Ｊｌｂｌは、各音響イベントの音響信号パターンを過不足なく含むような（例えば、「ガラスが割れる音」音響イベントの場合、ガラスが割れる瞬間の衝撃音から始まり、破片が飛び散る音で終わるとして、それらの音を過不足なく含む）長さで設定される。
【００６３】
なお、一方の基底生成用スペクトログラムＶｂａｓｅは、検知したい音響イベントを構成する周波数パターンを基底として生成するためのスペクトログラムであるので、検知したい全ての音響イベントの周波数パターンを含んでいることが望ましい。一例として、基底生成用スペクトログラムＶｂａｓｅは、ラベル付きスペクトログラムＶｌｂｌをラベルの区別なく連結したＫ行Ｊｂａｓｅ行の行列Ｖｂａｓｅ（ｋ，ｊ）＝［Ｖｌｂｌ_１（ｋ，ｊ），Ｖｌｂｌ_２（ｋ，ｊ），・・・，Ｖｌｂｌ_Ｅ（ｋ，ｊ）］であってもよい。この場合、基底生成用スペクトログラムＶｂａｓｅにおける時間フレーム数Ｊｂａｓｅは、ラベル付きスペクトログラムＶｌｂｌにおける時間フレーム数Ｊｌｂｌの総和となる。
【００６４】
学習データ分析部１２は、例えば、入力されたラベル付きスペクトログラムＶｌｂｌに対して、基底生成部１０により生成された音響イベント基底Ｗｅを教師基底として用いた教師有りＮＭＦを行い、音響イベントラベルに対応づける音響イベントアクティベーションＨｅを算出してもよい。以下の式（ｃ−１）は、当該教師有りＮＭＦで用いる近似式である。また、以下の式（ｃ−２）は、当該教師有りＮＭＦで用いる更新式の例である。教師有りＮＭＦでは、学習データ分析部１２は、音響イベントアクティベーションＨｅのみを最適化（更新）する。
【００６５】
Ｖｌｂｌ≒ＷｅＨｅ  ・・・（ｃ−１）
【００６６】
【数４】
2017217412.tif 000006
【００６７】
モデル学習部１３は、学習データ分析部１２により算出された音響イベントアクティベーションＨｅを特徴量として、音響イベントアクティベーションＨｅと音響イベントラベルとの関係を表す識別モデルを学習する。モデル学習部１３により学習された識別モデルは、モデル格納部１１３に格納される。
【００６８】
他の点に関しては第１の実施形態と同様である。
【００６９】
次に、本実施形態の動作を説明する。図４〜図６は、本実施形態の動作の一例を示すフローチャートである。なお、図４は、本実施形態の全体動作の一例を示すフローチャートである。図４に示すように、本実施形態の動作は、基底生成処理（ステップＳ２１）と、モデル学習処理（ステップＳ２２）と、音響イベント識別処理（ステップＳ２３）とに大別される。
【００７０】
図５は、本実施形態の基底生成処理の処理フローの一例を示すフローチャートである。
本例の基底生成処理では、まず信号処理装置２００に基底生成用スペクトログラムＶｂａｓｅが入力される（ステップＳ２１１）。
【００７１】
基底生成用スペクトログラムＶｂａｓｅが入力されると、基底生成部１０が、Ｖｂａｓｅに対してＮＭＦを実施する（ステップＳ２１２）。
【００７２】
ステップＳ２１２において、基底生成部１０は、まずＶｂａｓｅをＷｅとＨｅの積で表現される近似式に適用する（ステップＳ２１２１）。次いで、基底生成部１０は、ＷｅおよびＨｅの更新が所定の更新回数以上またはコスト関数が所定の閾値以下かを判定する（ステップＳ２１２２）。ここで、所定の更新回数以上でなく、かつコスト関数が所定の閾値以下でない場合（ステップＳ２１２２のＮｏ）、基底生成部１０は、ＷｅおよびＨｅのいずれかまたは両方の更新を行う（ステップＳ２１２３）。
【００７３】
一方、所定の更新回数以上、またはコスト関数が所定の閾値以下の場合（ステップＳ２１２２のＹｅｓ）、基底生成部１０は、近似式中の基底Ｗｅを出力し、基底格納部１１１に格納する（ステップＳ２１２４，ステップＳ２１３）。
【００７４】
また、図６は、本実施形態のモデル学習処理の処理フローの一例を示すフローチャートである。基底生成処理が終了すると、モデル学習処理が開始される。本例のモデル学習処理では、まず、信号処理装置２００にラベル付きスペクトログラムＶｌｂｌが入力される（ステップＳ２２１）。
【００７５】
ラベル付きスペクトログラムＶｌｂｌが入力されると、学習データ分析部１２が、Ｖｌｂｌに対して、基底格納部１１１に格納されている音響イベント基底Ｗｅを教師基底に用いた教師有りＮＭＦを実施する（ステップＳ２２２）。
【００７６】
ステップＳ２２２において、学習データ分析部１２は、まずＶｌｂｌをＷｅとＨｅの積で表現される近似式に適用する（ステップＳ２２２１）。次いで、学習データ分析部１２は、Ｈｅの更新が所定の更新回数以上またはコスト関数が所定の閾値以下かを判定する（ステップＳ２２２２）。ここで、所定の更新回数以上でなく、かつコスト関数が所定の閾値以下でない場合（ステップＳ２２２２のＮｏ）、学習データ分析部１２は、Ｈｅの更新を行う（ステップＳ２２２３）。
【００７７】
一方、所定の更新回数以上、またはコスト関数が所定の閾値以下の場合（ステップＳ２２２２のＹｅｓ）、学習データ分析部１２は、近似式中のアクティベーションＨｅを、Ｖｌｂｌに付された音響イベントラベルとともにモデル学習部１３に出力する（ステップＳ２２２４）。
【００７８】
次に、モデル学習部１３は、出力されたラベル毎の音響イベントアクティベーションＨｅを特徴量として、音響イベントアクティベーションＨｅと音響イベントラベルとの関係を表す識別モデルを学習する（ステップＳ２２３）。そして、モデル学習部１３は、学習の結果得られた識別モデルを、モデル格納部１１３に格納する（ステップＳ２２４）。
【００７９】
モデル学習処理が終了すると、音響イベント識別処理が開始される。本実施形態の音響イベント識別処理は、第１の実施形態の音響イベント識別処理（図２のステップＳ１１〜ステップＳ１３）と同様でよい。
【００８０】
以上のように、本実施形態では、検知対象とされる音響イベントに合わせて基底の生成および識別モデルの学習を行った上で、識別用スペクトログラムＶに対して音響イベントの識別を行う。このため、任意の音響イベントを検知対象にして、未知の音が存在する環境下で採取された音響信号であっても、そのスペクトログラム（識別用スペクトログラムＶ）中に含まれる音響イベントを精度よく識別できる。
【００８１】
実施形態３．
次に、本発明の第３の実施形態について説明する。図７は、第３の実施形態の信号処理装置１００の構成例を示すブロック図である。図７に示す信号処理装置１００は、基底生成用スペクトログラムＶｂａｓｅを入力とし、予め保持されている事前分布Ｗ０を制約として、Ｖｂａｓｅを構成するスペクトル基底行列Ｗを生成する基底生成装置として機能する機能である。
【００８２】
図７に示すように、信号処理装置１００は、事前分布格納部１０１と、基底信号分析部１０２とを備える。
【００８３】
事前分布格納部１０１は、後段の基底信号分析部１０２で行う基底生成用のＮＭＦが局所解に陥らないような制約として用いられる事前分布Ｗ０を格納する。
【００８４】
例えば「ガラスの割れる音」という音響イベントを考える。ガラスが割れた瞬間はパルス性の強い衝撃音が発生し、続いて割れた破片が飛び散る純音に近い音が発生する。このとき、衝撃音はフラットな周波数構造になり、破片の飛び散る音は周波数のピークが鋭いような周波数構造になると考えられる。
【００８５】
したがって、基底生成処理で、そのようなフラットな周波数構造を持つスペクトル基底と鋭いピークを持つ基底の２つのスペクトル基底が得られるのが好ましい。しかし、ＮＭＦの更新式には局所解という問題があり、必ずしも所望のスペクトル基底が得られるとは限らない。
【００８６】
そこで、本実施形態では、局所解を避けて所望のスペクトル基底を得るために、事前分布Ｗ０を導入する。事前分布Ｗ０は、後段の基底信号分析部１０２で行う基底生成用のＮＭＦで学習される基底Ｗが、当該事前分布Ｗ０との類似度が高くなる（所定の閾値以上となる）ような制約のパラメータとして用いる。このため、基底信号分析部１０２により生成される基底Ｗは、事前分布Ｗ０との類似度が低いほど制約が強まり、予期せぬ局所解に陥ることがなくなる。このような事前分布Ｗ０の導入により、どのような基底Ｗを学習するかをコントロールすることができる。上記の例の場合、事前分布Ｗ０は、フラットな周波数構造と鋭いピークを持つ周波数構造の２種のスペクトル基底が得られるような制約となればよい。
【００８７】
事前分布Ｗ０の生成方法としては、手作業で基底とされるスペクトル形状を表すＲ個の主要なスペクトル成分を抽出し、事前分布格納部１０１に格納してもよいし、予め用意しておいた分布生成用スペクトログラムＶ０に対して、以下に示すような方法でＲ個のスペクトル成分を抽出してもよい。すなわち、ｋ−ｍｅａｎｓ法を用いてＲクラスのクラスタリングを行うことによって抽出してもよいし、主成分分析を用いて寄与率の高いＲ個の主要なスペクトル成分のみを取得してもよい。
【００８８】
事前分布Ｗ０は、例えば、生成したい基底Ｗと同じ型のＫ行Ｒ列の行列であってもよい。
【００８９】
分布生成用スペクトログラムＶ０は、生成したい基底Ｗの代表的なスペクトルを示すものであってもよい。分布生成用スペクトログラムＶ０は、例えば、基底生成用スペクトログラムＶｂａｓｅと同じであってもよいし、基底生成用スペクトログラムＶｂａｓｅから代表的なスペクトログラムを抽出したものであってもよい。
【００９０】
基底信号分析部１０２は、基底生成用スペクトログラムＶｂａｓｅを入力して、Ｖｂａｓｅを構成するスペクトル基底を表す基底Ｗを生成する。基底信号分析部１０２は、基底生成用スペクトログラムＶｂａｓｅに対して、事前分布格納部１０１に格納された事前分布Ｗ０を制約項のパラメータとして用いた制約付きＮＭＦを行い、基底Ｗを生成する。
【００９１】
基底生成用スペクトログラムＶｂａｓｅの形式は特に問わないが、基底として取り出したいスペクトルを含むものとする。なお、音響イベント基底Ｗｅを生成する場合には、検知したい全ての音響イベントの周波数パターンを含むスペクトログラムを入力すればよい。
【００９２】
制約付きＮＭＦで、基底信号分析部１０２は、例えば、Ｖｂａｓｅを以下の式（ｄ−１）に示す近似式に適用させ、以下の式（ｄ−２）および式（ｄ−３）に示す更新式を用いて、基底ＷとアクティベーションＨを交互に更新して最適化する。
【００９３】
Ｖｂａｓｅ≒ＷＨ  ・・・（ｄ−１）
【００９４】
【数５】
2017217412.tif 000007
【００９５】
ここで、上記の２つの更新式は、入力されたスペクトログラムＶｂａｓｅに対して、以下の式（ｄ−４）に示すコスト関数を最小化するような基底ＷとアクティベーションＨを求めるものとして導出したものである。
【００９６】
Ｄ（Ｖ，Ｗ，Ｈ，Ｗ０）＝Ｄｋｌ（Ｖ，ＷＨ）＋ηＤｋｌ（Ｗ０，Ｗ）  ・・・（ｄ−４）
【００９７】
上記のコスト関数の第２項は、事前分布Ｗ０と基底Ｗとの距離が離れるほど罰則を与える制約項である。当該コスト関数によれば、第１項によりＶｂａｓｅとＷＨの間のコスト関数を最小化しつつも、第２項により、基底Ｗは局所解に陥らず事前分布Ｗ０と似たスペクトル構造を持つことができる。
【００９８】
ここで、ηは、第２項を制御するパラメータであり、例えば、０．１や１０などのスカラー値をとる。
【００９９】
次に、本実施形態の動作を説明する。図８は、本実施形態の動作の一例を示すフローチャートである。本例では、まず信号処理装置１００に基底生成用スペクトログラムＶｂａｓｅが入力される（ステップＳ０１）。
【０１００】
基底生成用スペクトログラムＶｂａｓｅが入力されると、基底信号分析部１０２は、事前分布格納部１０１に格納された事前分布Ｗ０を読み出す（ステップＳ０２）。そして、基底信号分析部１０２は、Ｖｂａｓｅに対して、事前分布Ｗ０を制約として用いた制約付きＮＭＦを実施する（ステップＳ０３）。
【０１０１】
ステップＳ０３において、基底信号分析部１０２は、まずＶｂａｓｅをＷとＨの積で表現される近似式に適用する（ステップＳ０３１）。次いで、基底信号分析部１０２は、ＷおよびＨの更新が所定の更新回数以上またはコスト関数が所定の閾値以下かを判定する（ステップＳ０３２）。ここで、所定の更新回数以上でなく、かつコスト関数が所定の閾値以下でない場合（ステップＳ０３２のＮｏ）、基底信号分析部１０２は、ＷおよびＨのいずれかまたは両方の更新を行う（ステップＳ０３３）。なお、Ｗの更新式にはＷ０を用いた制約項が含まれている。
【０１０２】
一方、所定の更新回数以上、またはコスト関数が所定の閾値以下の場合（ステップＳ０３２のＹｅｓ）、基底信号分析部１０２は、近似式中の基底Ｗを出力する（ステップＳ０３４）。
【０１０３】
以上のように、本実施形態によれば、基底生成時のＮＭＦにおいて、基底Ｗがあらかじめ用意した事前分布Ｗ０に近くなるような制約を用いることで、局所解に陥らずに所望の基底Ｗを生成することができる。
【０１０４】
例えば、本実施形態の信号処理装置１００によれば、基底生成用スペクトログラムＶｂａｓｅとして、検知したい全ての音響イベントの周波数パターンを含むスペクトログラムを入力することにより、局所解に陥らない高精度な音響イベント基底Ｗｅを生成できる。
したがって、例えば、第２の実施形態の構成において、基底生成部１０に代えて本実施形態の信号処理装置１００を用いれば、音響イベントに対応するアクティベーションＨｅを精度よく推定でき、音響イベントの識別精度を向上できる。
【０１０５】
実施形態４．
次に、本発明の第４の実施形態について説明する。図９は、第４の実施形態の信号処理装置４００の構成例を示すブロック図である。図９に示す信号処理装置４００は、第２の実施形態の構成における基底生成部１０に代えて、基底生成部４０を含む。なお、基底生成部４０の構成は、図７に示す第３の実施形態の信号処理装置１００の構成に、さらに分布解析部１０３を加えたものと同様である。
【０１０６】
本実施形態の信号処理装置４００は、分布生成用スペクトログラムＶ０を入力して事前分布Ｗ０を生成し、基底生成用スペクトログラムＶｂａｓｅを入力して、事前分布Ｗ０を制約とする音響イベント基底Ｗｅを生成し、ラベル付きスペクトログラムＶｌｂｌを入力して識別モデルを学習した上で、識別用スペクトログラムＶを入力して、Ｖに含まれる音響イベントを識別して、音響イベントを検知する。
【０１０７】
以下、第２の実施形態と異なる部分を主に説明する。
【０１０８】
事前分布格納部１０１は、後段の基底信号分析部１０２で行う基底生成用のＮＭＦが局所解に陥らないような制約として用いられる事前分布Ｗ０を格納する。本実施形態の事前分布格納部１０１は、分布解析部１０３が生成した音響イベントの各スペクトル基底の制約とされる事前分布Ｗ０を格納する。
【０１０９】
基底信号分析部１０２は、基底生成用スペクトログラムＶｂａｓｅを入力して、Ｖｂａｓｅを構成するスペクトル基底を表す基底Ｗを生成する。基底の生成方法としては、第３の実施形態と同様、事前分布格納部１０１に格納された事前分布Ｗ０を制約項のパラメータとして用いた制約付きＮＭＦを用いる。
【０１１０】
なお、本実施形態の基底信号分析部１０２は、検知したい全ての音響イベントの周波数パターンを含む基底生成用スペクトログラムＶｂａｓｅを入力して、音響イベント基底Ｗｅを生成する。
【０１１１】
分布解析部１０３は、分布生成用スペクトログラムＶ０を入力とし、音響イベント基底Ｗｅの事前分布Ｗ０を生成する。分布解析部１０３は、例えば、音響イベント基底Ｗｅと同じ形のＫ行Ｒｅ列の行列Ｗ０（ｋ，ｒ）を事前分布として生成してもよい。
【０１１２】
分布解析部１０３は、例えば、分布生成用スペクトログラムＶ０に対してｋ−ｍｅａｎｓ法を用いてＲクラスのクラスタリングを行うことによって事前分布Ｗ０を生成してもよい。また、分布解析部１０３は、例えば、Ｖ０に対して主成分分析を行い、寄与率の高いＲ個の主要なスペクトル成分のみを取り出すことにより事前分布Ｗ０を取得してもよい。
【０１１３】
次に、本実施形態の動作を説明する。図１０は、本実施形態の全体動作の一例を示すフローチャートである。図１０に示すように、本実施形態の動作は、事前分布生成処理（ステップＳ４０）と、基底生成処理（ステップＳ４１）と、モデル学習処理（ステップＳ２２）と、音響イベント識別処理（ステップＳ２３）とに大別される。
【０１１４】
ステップＳ４０の事前分布生成処理では、分布解析部１０３が、分布生成用スペクトログラムＶ０から事前分布Ｗ０を生成して、事前分布格納部１０１に格納する。
【０１１５】
ステップＳ４１の基底生成処理では、基底信号分析部１０２が、図８に示した第３の実施形態の基底生成処理（ステップＳ０１〜ステップＳ０３４）と同様の処理を行い、生成された基底Ｗを音響イベント基底Ｗｅとして基底格納部１１１に格納する。
【０１１６】
なお、モデル学習処理（ステップＳ２２）と音響イベント識別処理（ステップＳ２３）とは、第２の実施形態と同様でよい。
【０１１７】
本実施形態の信号処理装置４００によれば、局所解に陥らない高精度な音響イベント基底Ｗｅを生成できるので、学習フェーズで音響イベントに対応するアクティベーションＨｅを精度よく推定できる。加えて、本実施形態の信号処理装置４００によれば、未知の音が存在する環境下で採取された音響信号であっても、検知対象でない音響イベントの誤検知を抑制し、そのスペクトログラム（識別用スペクトログラムＶ）中に含まれる音響イベントを精度よく識別できる。
【０１１８】
実施形態５．
次に、本発明の第５の実施形態を説明する。図１１は、本実施形態の信号処理装置５００の構成例を示すブロック図である。図１１に示す信号処理装置５００は、基底生成部５０と、学習データ分析部５２と、モデル学習部５３と、音響イベント識別部５１とを備える。
【０１１９】
また、基底生成部５０は、分布解析部５０３と、事前分布格納部５０１と、基底信号分析部５０２とを含む。また、音響イベント識別部５１は、基底格納部５１１と、識別信号分析部５１２と、モデル格納部５１３と、信号識別部５１４とを含む。
【０１２０】
なお、本実施形態の信号処理装置５００の入出力は、第４の実施形態の信号処理装置と同様である。また、分布解析部５０３、事前分布格納部５０１、モデル学習部５３、モデル格納部５１３および信号識別部５１４は、第４の実施形態の分布解析部１０３、事前分布格納部１０１、モデル学習部１３、モデル格納部１１３および信号識別部１１４と同様である。以下、第４の実施形態と異なる部分を主に説明する。
【０１２１】
基底信号分析部５０２は、基底生成用スペクトログラムＶｂａｓｅを入力とし、事前分布格納部５０１に格納されている事前分布Ｗ０を制約項に用いた制約付きＮＭＦにより、Ｖｂａｓｅを構成するスペクトル基底がグループ化されて表現される基底Ｗｇを生成する。
【０１２２】
基底信号分析部５０２は、例えば、ＶｂａｓｅとしてＫ行Ｊｂａｓｅ列のスペクトル行列が入力されると、Ｋ行Ｒ列の行列である事前分布Ｗ０（ｋ，ｒ）＝［ｗ０（１），．．．，ｗ０（ｒ），．．．，ｗ０（Ｒ）］を制約項のパラメータとして用いた制約付きＮＭＦにより、Ｋ行（Ｇ×Ｒ）列の基底行列Ｗｇ（ｋ，ｒ）＝［Ｗ（１）（ｋ，ｇ），．．．，Ｗ（ｒ）（ｋ，ｇ），．．．，Ｗ（Ｒ）（ｋ，ｇ）］を算出してもよい。
【０１２３】
ここで、ｗ０（ｒ）は事前分布Ｗ０のｒ番目の列ベクトル、すなわちｒ番目のスペクトル基底の制約を表している。また、Ｗ（ｒ）（ｋ，ｇｒ）は、ｗ０（ｒ）を制約として生成されるＧ個のスペクトル基底からなるグループ（スペクトル基底行列）を表わす。また、ｇｒは、ｒで指定される基底グループ内のＧ個のスペクトル基底のうちｇ番目のスペクトル基底を示すインデックスである。なお、基底グループごとに含まれるスペクトル基底の数（グループ内要素数）Ｇは可変であってもよい。
【０１２４】
当該制約付きＮＭＦで、基底信号分析部５０２は、Ｗ（ｒ）（ｋ，ｇ）に対応するアクティベーション行列Ｈ（ｒ）（ｇ，ｊ）＝［ｈ１（ｒ），．．．，ｈｊ（ｒ），．．．，ｈＪ（ｒ）］として、以下の式（ｅ−１）、式（ｅ−２）および式（ｅ−３）を、１回の更新によるＷ（ｒ）およびＨ（ｒ）の変化量が閾値以下となる、または設定した繰り返し回数に達するまで順番に繰り返すことで同時に最適化を行う。
【０１２５】
【数６】
2017217412.tif 000008
【０１２６】
ここで、ｈｊ（ｒ）は、グループｒの基底行列Ｗ（ｒ）に対応するアクティベーションであり、Ｗ（ｒ）の各スペクトル基底の時間インデックスｊにおける発現度合いを表す列ベクトルである。
【０１２７】
上記の式（ｅ−３）は、グループｒの基底行列Ｗ（ｒ）のアクティベーションｈｊ（ｒ）に対するスパース制約である。当該制約は、値の大きなｈｊ（ｒ）は更新するにつれ大きな値を取りやすく，値の小さなｈｊ（ｒ）は更新していくにつれ小さくなる制約となっており、より特徴的なＷ（ｒ）を抽出できるようになっている。
【０１２８】
第３および第４の実施形態では、一つの事前分布ｗ０（ｒ）に対して一つのスペクトル基底ｗ（ｒ）が対応していた。本実施形態では、一つの事前分布ｗ０（ｒ）に対して複数の（Ｇ個の）スペクトル基底ｗｇ（ｒ）がグループ化されて対応づけられる。
【０１２９】
以下、基底信号分析部５０２が生成する基底行列Ｗｇ（ｋ、ｇｒ）をグループ基底Ｗｇと呼ぶ場合がある。
【０１３０】
これは、例えば「ガラスの割れる音」の音響イベントを考えた時に、第３および第４の実施形態では、ガラスが割れる瞬間の衝撃音および割れたガラスの破片が飛び散る音をそれぞれ１つのスペクトル基底で表現していたのに対し、本実施形態では、各音についてバリエーションや揺らぎをグループとして表現することができる。このように表現されたグループ基底Ｗｇを用いてＮＭＦを行うことにより、より高い精度での音源分解が可能となる。
【０１３１】
本実施形態では、基底生成用スペクトログラムＶｂａｓｅは、検知したい全ての音響イベントの周波数パターンについて２以上のバリエーションを含む、または揺らぎを含むようなスペクトログラムが望ましい。一例として、基底生成用スペクトログラムＶｂａｓｅは、音響イベントごとに複数のサンプルから得たラベル付きスペクトログラムＶｌｂｌをラベルの区別なく連結したＫ行Ｊｂａｓｅ行の行列Ｖｂａｓｅ（ｋ，ｊ）＝［Ｖｌｂｌ_１１（ｋ，ｊ），Ｖｌｂｌ_１２（ｋ，ｊ），．．．，Ｖｌｂｌ_１Ｇ（ｋ，ｊ），Ｖｌｂｌ_２１（ｋ，ｊ），．．．，Ｖｌｂｌ_ＥＧ（ｋ，ｊ）］であってもよい。
【０１３２】
基底信号分析部５０２により生成されたグループ基底Ｗｇは、基底格納部５１１に格納される。
【０１３３】
学習データ分析部５２は、ラベル付きスペクトログラムＶｌｂｌを入力とし、ラベル毎にグループ基底Ｗｇに対応するアクティベーションＨｇを算出する。
【０１３４】
学習データ分析部５２は、例えば、ラベル付きスペクトログラムＶｌｂｌとして、Ｋ行Ｊｌｂｌ列の行列が入力されると、基底信号分析部５０２により生成されたグループ基底Ｗｇ（ｋ，ｇｒ）を教師基底として用いた教師有りＮＭＦを行い、ＶｌｂｌをＷｇとＨｇの積で近似させることにより、音響イベントラベルに対応づけられるグループ音響イベントアクティベーションＨｇを算出してもよい。
【０１３５】
例えば、グループ基底Ｗｇ（ｋ，ｇｒ）が、Ｋ行（Ｇ×Ｒ）列の行列の場合、グループ音響イベントアクティベーションＨｇ（ｇｒ，ｊ）は、（Ｇ×Ｒ）行Ｊ列の行列となる。
ここで、Ｈｇ（ｇｒ，ｊ）の列ベクトルｈｊは、ｈｊ（ｒ）におけるｒ＝１〜Ｒとして各ｈｊ（ｒ）を列方向に連結したものに相当する。
【０１３６】
学習データ分析部５２で行うのは教師有りＮＭＦであるので、以下の式（ｆ−１）に示すように、Ｈｇに対してのみ更新を行う。ただし、当該Ｈｇの更新においても、各ｈｊ（ｒ）に対して上述した式（ｅ−３）に示すスパース制約が適用される。学習データ分析部５２は、例えば、式（ｆ−１）と式（ｅ−３）の２式を交互に更新する。
【０１３７】
【数７】
2017217412.tif 000009
【０１３８】
モデル学習部５３は、学習データ分析部５２が算出した、音響イベントラベルに対応づけられたアクティベーションＨｇを特徴量として、該アクティベーションＨｇと音響イベントラベルとの関係を表す識別モデルを学習する。なお、アクティベーション行列の行数が異なるだけであり、識別モデルの学習方法はモデル学習部１３と同様でよい。
【０１３９】
識別信号分析部５１２は、識別用スペクトログラムＶを入力とし、基底格納部５１１に格納されたグループ基底Ｗｇを教師基底として用いて半教師有りＮＭＦを行い、グループ基底Ｗｇの各スペクトル基底に対する重みにより発現度合いを表すアクティベーションＨｇを算出する。
【０１４０】
識別信号分析部５１２は、例えば、音源分解に用いるスペクトル基底として、分離対象として予め定義された各音源の音に対応するグループ基底行列Ｗｇに、未知の音源の音に対応するグループ基底行列Ｗｕを加えた基底行列Ｗｇｓｅｍｉ［Ｗｇ  Ｗｕ］を用いた半教師有りＮＭＦを用いてもよい。半教師有りＮＭＦの方法は第１の実施形態の識別信号分析部１１２による方法と基本的に同様である。すなわち、Ｗｓｅｍｉ［Ｗｅ  Ｗｕ］およびＨｓｅｍｉ［Ｈｅ  Ｈｕ］がＷｇｓｅｍｉ［Ｗｇ  Ｗｕ］およびＨｇｓｅｍｉ［Ｈｇ  Ｈｕ］に代わっているだけで、半教師有りＮＭＦの方法は基本的に識別信号分析部１１２と同様でよい。ただし、Ｈｇｓｅｍｉの更新において、Ｈｇの各ｈｊ（ｒ）に対して上記の式（ｅ−３）に示すスパース制約が適用される。識別信号分析部５１２は、例えば、式（ａ−２）、式（ａ−３）および式（ｅ−３）の３式を交互に更新することにより、Ｈｇ、ＨｕおよびＷｕを算出する。
【０１４１】
なお、識別信号分析部５１２は、Ｗｕを用いずに、Ｗｇだけを用いて通常の教師有りＮＭＦを行ってＨｇを算出してもよいが、未知の環境下で採取された音響信号から音響イベントを検知する場合には、Ｗｕを用いた半教師有りＮＭＦを用いるのが好ましい。
【０１４２】
以上のように、本実施形態によれば、スペクトル基底をグループ化することにより、音を構成する要素のバリエーションや揺らぎを表現した基底行列を用いて識別用スペクトログラムを分解することができる。このため、識別用スペクトログラムに含まれる音響イベントを構成する周波数パターンが少し異なっていたり揺らぎを含んでいる場合であっても、より高い精度で識別用スペクトログラムを構成する成分を算出することができる。
【０１４３】
実施形態６．
次に、本発明の第６の実施形態を説明する。図１２は、本実施形態の信号処理装置６００の構成例を示すブロック図である。図１２に示す信号処理装置６００は、分布解析部６１と、事前分布格納部６２と、音源分離部６３と、音源再構築部６４とを備える。
【０１４４】
本実施形態の信号処理装置６００は、分離したい各音源の分布生成用スペクトログラムＶ０を入力として事前分布を生成し、音源分離用スペクトログラムＶｍｉｘを入力として、生成された事前分布を制約としたＮＭＦにより音源分離を行う音源分離装置として機能する装置である。
【０１４５】
以下では、音声と環境雑音とが混ざった音響信号を、音声のみの信号である音声信号と環境雑音のみの信号である雑音信号とに分離する場合を例に説明する。
【０１４６】
本実施形態の分布生成用スペクトログラムＶ０は、分離対象の音源のみを含む音響信号から作られたスペクトログラムである。例えば、音響信号を音声信号と環境雑音信号とに分離する場合には、音声信号のスペクトログラムＶ０＿ｓと、環境雑音信号のスペクトログラムＶ０＿ｎとで構成されるスペクトログラムＶ０［Ｖ０＿ｓ  Ｖ０＿ｎ］である。
【０１４７】
一方、音源分離用スペクトログラムＶｍｉｘは，音声と環境雑音とが混ざった音響信号から算出されたスペクトログラムである。
【０１４８】
分布解析部６１は、分布生成用スペクトログラムＶ０を入力として、Ｖ０を構成しているスペクトル基底の事前分布Ｗ０［Ｗ０＿ｓ  Ｗ０＿ｎ］を生成し、事前分布格納部６２に格納する。
【０１４９】
分布解析部６１は、例えば、分布生成用スペクトログラムＶ０に含まれるＶ０＿ｓおよびＶ０＿ｎのそれぞれに対してｋ−ｍｅａｎｓ法を用いて所定個のクラスのクラスタリングを行うことによって事前分布Ｗ０＿ｓおよびＷ０＿ｎを生成してもよい。また、分布解析部１０３は、例えば、Ｖ０＿ｓおよびＶ０＿ｎのそれぞれに対して主成分分析を行い、寄与率の高い主要なスペクトル成分を取り出すことにより事前分布Ｗ０＿ｓおよびＷ０＿ｎを取得してもよい。
【０１５０】
ここで、Ｒｓを音声信号の基底数とし、Ｒｎを環境雑音信号の基底数とすると、Ｗ０は、Ｋ行Ｒｓ列の行列Ｗ０＿ｓと、Ｋ行Ｒｎ列の行列Ｗ０＿ｎとを列方向に連結したＫ行（Ｒｓ＋Ｒｎ）列の行列であってもよい。
【０１５１】
音源分離部６３は、音源分離用スペクトログラムＶｍｉｘを入力とし、事前分布格納部６２に格納された、分離対象とされる各音源に対応する事前分布Ｗ０［Ｗ０＿ｓ  Ｗ０＿ｎ］を制約として用いた制約付きＮＭＦを行い、Ｖｍｉｘを、Ｗｓｅｐａ［Ｗｓ  Ｗｎ］とそのアクティベーションＨｓｅｐａ［Ｈｓ  Ｈｎ］に分解する。
【０１５２】
Ｖｍｉｘ≒ＷｓｅｐａＨｓｅｐａ  ・・・（ｇ−１）
【０１５３】
式（ｇ−１）は、上記の例の制約付きＮＭＦにおけるＶｍｉｘの近似式である。ここで、Ｗｓｅｐａは、音声信号の基底Ｗｓと環境雑音信号の基底Ｗｎとを列方向に連結させたＫ行（Ｒｓ＋Ｒｎ）列の基底行列である。Ｗｓｅｐａの各列インデックスは、Ｗ０［Ｗ０＿ｓ  Ｗ０＿ｎ］のインデックスに対応したものとなる。また、Ｈｓｅｐａは、基底Ｗｓに対応するアクティベーションＨｓと基底Ｗｓに対応するアクティベーションＨｓとを行方向に連結させた（Ｒｓ＋Ｒｎ）行Ｊｍｉｘ列のアクティベーション行列である。Ｈｓｅｐａの各行インデックスは、Ｗｓｅｐａの列インデックスに対応したものとなる。
【０１５４】
本例の基底ＷｓはＫ行Ｒｓ列の行列であり、ＷｎはＫ行Ｒｎ列の行列である。また、アクティベーションＨｓはＲｓ行Ｊｍｉｘ列の行列であり、ＨｎはＲｓ行Ｊｍｉｘ列の行列である。ここで、Ｊｍｉｘは、音源分離用スペクトログラムＶｍｉｘの時間インデックス数である。
【０１５５】
制約付きＮＭＦには、第３の実施形態の基底信号分析部１０２で用いた制約付きＮＭＦや、第５の実施形態の基底信号分析部５０２で用いた制約付きＮＭＦを用いることができる。
【０１５６】
前者の場合、上記の式（ｄ−２）および式（ｄ−３）におけるＶｂａｓｅ，ＷおよびＨを、Ｖｍｉｘ，ＷｓｅｐａおよびＨｓｅｐａに置き換えればよい。後者の場合、各音源ｉに対応する事前分布に対して学習される基底行列ＷｉおよびそのアクティベーションＨｉが、グループ基底行列Ｗ（ｒ）およびそのアクティベーションＨ（ｒ）となる。このとき、Ｗ０とＷｓｅｐａの間の各音源の基底インデックスの対応付けとして、Ｗ０の列ベクトルのインデックスｒに対して、Ｗｓｅｐａの列ベクトルにはグループ化に対応したインデックスｇｒを用いればよい。
【０１５７】
音源分離部６３は、事前分布を制約として用いた制約付きＮＭＦを行うことにより、通常の制約がないＮＭＦを用いた際に問題となる局所解に陥ることなく、各音源の基底とそのアクティベーションを算出することができる。なお、音源分離部６３は、音源分離の際に、未知の音源に対応する基底をさらに追加した制約付き半教師有りＮＭＦを行ってもよい。その場合、分離対象の音源に対応するスペクトル基底に対しては事前分布を制約として用いて学習させ、未知の音源に対応するスペクトル基底に対しては制約なしで学習させて、音源分離を行ってもよい。
【０１５８】
音源分離部６３は、このようにして得られたＷｓｅｐａ［Ｗｓ  Ｗｎ］、Ｈｓｅｐａ［Ｈｓ  Ｈｎ］を出力する。なお、音源分離部６３は、ＷｓｅｐａおよびＨｓｅｐａをそれぞれ音源ごとに分解した基底行列およびアクティベーション行列を出力してもよい。
【０１５９】
音源再構築部６４は、音源分離部６３から出力される各音源に対応するスペクトル基底を含む基底行列Ｗｓｅｐａとアクティベーション行列Ｈｓｅｐａとを入力とし、各音源の基底インデックスに対応する部分の積をとることで、Ｖｍｉｘに含まれる各音源のスペクトログラムを推定する。音源再構築部６４は、例えば、以下の式（ｇ−２）および式（ｇ−３）に示すように、Ｖｍｉｘに含まれる各音源のスペクトログラムの推定値として、音声信号のスペクトログラムＶｓと、環境雑音信号のスペクトログラムＶｎを算出する。
【０１６０】
Ｖｓ＝ＷｓＨｓ  ・・・（ｇ−２）
Ｖｎ＝ＷｎＨｎ  ・・・（ｇ−３）
【０１６１】
これは、Ｗｓｅｐａ中のＷｓが音声信号のスペクトル成分を表し、Ｈｓｅｐａ中のＨｓが音声信号のスペクトル成分の各時間インデックスにおける発現度合いを表すため、ＷｓとＨｓの成分のみを用いて積をとることで、Ｖｍｉｘのうち音声信号の成分のみに対応するスペクトログラムＶｓを抽出することができるからである。なお、環境雑音信号のスペクトログラムについても同様である。以下、このようにして推定された各音源のスペクトログラムの推定値を、Ｖｓｅｐａ＿ｉと表現する場合がある。ここで、ｉは音源の識別子である。
【０１６２】
音源再構築部６４は、推定された各音源のスペクトログラムＶｓｅｐａ＿ｉをそれぞれ逆フーリエ変換して時系列音響信号とすることにより、分離信号ｘｉ（ｔ）を生成する。
【０１６３】
なお、今回の例では、音声と環境雑音の２種の音源を分離する場合を例に用いて説明したが、例えば、音声と環境雑音と背景音楽など、２種以上の所望の音源に分離することも可能である。その場合、事前分布Ｗ０、基底行列Ｗｓｅｐａ、アクティベーション行列Ｈｓｅｐａは、音源数に応じて各音源に対応する要素を連結させればよい。より具体的には、事前分布Ｗ０は、各音源の事前分布Ｗ０＿ｉを列方向に連結すればよい。また、基底行列Ｗｓｅｐａは、各音源のスペクトル基底行列Ｗｉを列方向に連結すればよい。また、アクティベーション行列Ｈｓｅｐａは、各音源のスペクトル基底行列Ｗｉに対応するアクティベーション行列Ｈｉを行方向に連結すればよい。なお、分離信号は、上述したように、各音源に対応する基底行列Ｗｉとそのアクティベーション行列Ｈｉの積を取ることにより、得られる。
【０１６４】
図１３は、本実施形態の動作の一例を示すフローチャートである。図１３に示す例では、まず分布解析部６１が、分布生成用スペクトログラムＶ０を入力として、Ｖ０を構成している各音源のスペクトル基底の事前分布Ｗ０［Ｗ０＿１，．．．，Ｗ０＿ｉ，．．．］を生成し、事前分布格納部６２に格納する（ステップＳ６０）。
【０１６５】
次いで、音源分離部６３が、音源分離用スペクトログラムＶｍｉｘに対して、各音源に対応する事前分布Ｗ０を制約として用いた制約付きＮＭＦを行い、Ｖｍｉｘを、Ｗｓｅｐａ［Ｗ１，．．．，Ｗｉ，．．．］とそのアクティベーションＨｓｅｐａ［Ｈ１，．．．，Ｈｉ，．．．］に分解する（ステップＳ６１）。
【０１６６】
次いで、音源再構築部６４が、Ｗｓｅｐａ中の指定された音源のスペクトル基底ＷｊとそのアクティベーションＨｊとを用いて、該音源のみの時系列音響信号である分離信号を生成する（ステップＳ６２）。
【０１６７】
以上のように、本実施形態によれば、ＮＭＦで各音源に対応する基底行列Ｗｉを学習する際に、別途入力される分布生成用スペクトログラムＶ０から求まる事前分布Ｗ０＿ｉに近づくような制約を用いることにより、局所解に陥らずに所望の基底行列Ｗ０＿ｉを算出することができる。そのため，より高精度に音源分離ができる。 
【０１６８】
なお、図１２および図１３の例では、分布生成用スペクトログラムＶ０を入力して、分布解析部６１が各音源のスペクトル基底に対応する事前分布を生成する例を示したが、事前分布は予め事前分布格納部６２に格納されていてもよい。その場合、分布解析部６１は省略される。
【０１６９】
なお、上記の各実施形態では、ＮＭＦにおいてすべて基底は時間幅を考えないものとして説明したが、Ｃｏｎｖｏｌｕｔｉｖｅ−ＮＭＦを用いて時間構造を含んだ基底を作ることもできる。
【０１７０】
また、上記の各実施形態は、単体の装置により実現されるだけでなく、複数の機器から構成されるシステムによって実装することも可能である。さらに、上記の各実施形態は、各実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給されることによって実現されてもよい。したがって、上記の各実施形態の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ（World Wide Web）サーバ等も本発明の範疇に含まれる。特に、少なくとも、上記の各実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
【０１７１】
なお、上記の各実施形態は以下の付記のようにも記載できる。
【０１７２】
（付記１）検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を格納する基底格納手段（例えば、基底格納部１１１，５１１）と、音響信号のスペクトログラムの時間区間中の音響イベントのスペクトル基底の発現度合いの組み合わせを特徴量として、音響信号に含まれる音響イベントを識別する識別モデルを格納するモデル格納手段（例えば、モデル格納部１１３，５１３）と、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する識別信号分析手段（例えば、識別信号分析部１１２，５１２）と、算出された発現度合いの組み合わせを基に、識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する信号識別手段（例えば、信号識別部１１４，５１４）とを備えたことを特徴とする信号処理装置。
【０１７３】
（付記２）識別信号分析手段は、識別用音響信号のスペクトログラムに対して、音響イベント基底群を表す所定形式の第１基底行列に未知の音響イベントのスペクトル基底群を表す第２基底行列を加えた第３基底行列のうちの第２基底行列と、第３基底行列の各スペクトル基底の発現度合いを表すアクティベーション行列とを学習させて、当該スペクトログラムを第３基底行列と第３基底行列の各スペクトル基底の発現度合いを表すアクティベーション行列とに分解することにより、第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列を算出し、信号識別手段は、算出された第１アクティベーション行列によって示される識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いの組み合わせを基に、識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する付記１に記載の信号処理装置。
【０１７４】
（付記３）基底生成用のスペクトログラムを入力として音響イベント基底群を生成する基底生成手段（例えば、信号識別部１１４，５１４）と、対応する音響イベントを示すラベル付きのスペクトログラムが入力されると、基底生成手段によって生成された音響イベント基底群を用いて、ラベル付きスペクトログラムから音響イベントのスペクトル基底の発現度合いを算出して、識別モデルを学習するモデル学習手段（例えば、学習データ分析部１２およびモデル学習部１３）とを備えた付記１または付記２に記載の信号処理装置。
【０１７５】
（付記４）検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納する事前分布格納手段（例えば、事前分布格納部１０１，５０１）を備え、基底生成手段は、事前分布群に含まれる各事前分布を、対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する付記３に記載の信号処理装置。
【０１７６】
（付記５）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合である付記１から付記４のうちのいずれかに記載の信号処理装置。
【０１７７】
（付記６）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、モデル学習手段は、対応する音響イベントを示すラベル付きスペクトログラムを、音響イベント基底群を表す第１基底行列と第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列とに分解する処理において、グループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を課して分解することにより、第１アクティベーション行列を算出して、算出された第１アクティベーション行列によって示される識別用音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として、識別モデルを学習する付記３に記載の信号処理装置。
【０１７８】
（付記７）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、事前分布群に含まれる各事前分布を、対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する付記４に記載の信号処理装置。
【０１７９】
（付記８）音響イベント基底群に含まれる音響イベントごとのサブ集合には、当該音響イベントを構成する音の代表的なスペクトル形状に対して異なるバリエーションまたは揺らぎが表現された２以上のスペクトル基底が含まれる付記５から付記７のうちのいずれかに記載の信号処理装置。
【０１８０】
（付記９）識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出し、算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別することを特徴とする信号処理方法。
【０１８１】
（付記１０）コンピュータに、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する処理、および算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する処理を実行させるための信号処理プログラムを格納したコンピュータ読み取り可能記録媒体。
【０１８２】
（付記１１）検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納する事前分布格納手段と、基底生成用のスペクトログラムを入力として、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を生成する基底生成手段とを備え、基底生成手段は、事前分布群に含まれる各事前分布を対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成することを特徴とする信号処理装置。
【０１８３】
（付記１２）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、事前分布群に含まれる各事前分布を対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する付記１１に記載の信号処理装置。
【０１８４】
（付記１３）音響イベント基底群に含まれる音響イベントごとのサブ集合には、当該音響イベントを構成する音の代表的なスペクトル形状に対して異なるバリエーションまたは揺らぎが表現された２以上のスペクトル基底が含まれる付記１１に記載の信号処理装置。
【０１８５】
（付記１４）検知対象とされる音響イベントが、特定音源の音の発生であり、分布格納手段は、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納し、特定音源の音のみを含む音響信号のスペクトログラムを入力として、事前分布群を生成する分布解析手段と、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、基底生成手段によって生成された音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行う音源分離手段と、音源分離の結果得られる、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成する音源再構築手段とを備えた付記１１から付記１３のうちのいずれかに記載の信号処理装置。
【０１８６】
（付記１５）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、前分布群に含まれる各事前分布を、対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成し、音源分離手段は、音源分離用音響信号のスペクトログラムを、音響イベント基底群を表す第１基底行列と第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列とに分解する処理において、グループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を課して分解する付記１４に記載の信号処理装置。
【０１８７】
（付記１６）音源分離手段は、音源分離用音響信号のスペクトログラムに対して、音響イベント基底群に特定音源以外の音に対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの音響イベント基底群のスペクトル基底は事前分布群に含まれる各事前分布を制約として用いて学習させ、未知のスペクトル基底は制約なしで学習させて音源分離を行う付記１４または付記１５に記載の信号処理装置。
【０１８８】
（付記１７）基底生成用のスペクトログラムが入力されると、検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群に含まれる各事前分布を対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を生成することを特徴とする信号処理方法。
【０１８９】
（付記１８）コンピュータに、基底生成用のスペクトログラムが入力されると、検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群に含まれる各事前分布を対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を生成する処理を実行させるための信号処理プログラムを格納したコンピュータ読み取り可能記録媒体。
【０１９０】
（付記１９）特定音源の音のみを含む音響信号のスペクトログラムを入力として、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を生成し、基底生成用のスペクトログラムが入力されると、事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、特定音源のスペクトル基底の集合である音響イベント基底群を生成し、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行い、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを算出し、算出された音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成することを特徴とする信号処理方法。
【０１９１】
（付記２０）コンピュータに、特定音源の音のみを含む音響信号のスペクトログラムを入力として、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を生成する処理、基底生成用のスペクトログラムが入力されると、事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、特定音源のスペクトル基底の集合である音響イベント基底群を生成する処理、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行い、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを算出する処理、および算出された音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成する処理を実行させるための信号処理プログラムを格納したコンピュータ読み取り可能記録媒体。
【０１９２】
以上、本実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１９３】
この出願は、２０１６年６月１６日に出願された日本出願特願２０１６−１２０１２６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１９４】
本発明は、音の発生を伴う所定の物理イベントの発生を検知する用途や、未知の環境下において採取された音源信号から所定の音源の音を分離する用途にも好適に適用可能である。
【符号の説明】
【０１９５】
１００、１１０、２００、４００、５００、６００  信号処理装置
１０、４０、５０  基底生成部
１０１、５０１  事前分布格納部
１０２、５０２  基底信号分析部
１０３、５０３  分布解析部
１１、５１  音響イベント識別部
１１１、５１１  基底格納部
１１２、５１２  識別信号分析部
１１３、５１３  モデル格納部
１１４、５１４  信号識別部
１２、５２  学習データ分析部
１３、５３  モデル学習部
６１  分布解析部
６２  事前分布格納部
６３  音源分離部
６４  音源再構築部
【図１】
2017217412.tif 000010
【図２】
2017217412.tif 000011
【図３】
2017217412.tif 000012
【図４】
2017217412.tif 000013
【図５】
2017217412.tif 000014
【図６】
2017217412.tif 000015
【図７】
2017217412.tif 000016
【図８】
2017217412.tif 000017
【図９】
2017217412.tif 000018
【図１０】
2017217412.tif 000019
【図１１】
2017217412.tif 000020
【図１２】
2017217412.tif 000021
【図１３】
2017217412.tif 000022
【手続補正書】
【提出日】平成30年12月13日(2018.12.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群を格納する基底格納手段と、
音響信号のスペクトログラムの時間区間中の音響イベントのスペクトル基底の発現度合いの組み合わせを特徴量として、前記音響信号に含まれる音響イベントを識別する識別モデルを格納するモデル格納手段と、
識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、前記音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの前記未知のスペクトル基底のみを学習させて音源分離を行い、前記識別用音響信号のスペクトログラムにおける前記音響イベントのスペクトル基底の発現度合いを算出する識別信号分析手段と、
算出された前記発現度合いの組み合わせを基に、前記識別モデルを用いて、前記識別用音響信号に含まれる音響イベントを識別する信号識別手段と
を備えたことを特徴とする信号処理装置。
【請求項２】
前記識別信号分析手段は、識別用音響信号のスペクトログラムに対して、音響イベント基底群を表す所定形式の第１基底行列に未知の音響イベントのスペクトル基底群を表す第２基底行列を加えた第３基底行列のうちの前記第２基底行列と、前記第３基底行列の各スペクトル基底の発現度合いを表すアクティベーション行列とを学習させて、当該スペクトログラムを前記第３基底行列と前記第３基底行列の各スペクトル基底の発現度合いを表すアクティベーション行列とに分解することにより、前記第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列を算出し、
前記信号識別手段は、算出された前記第１アクティベーション行列によって示される前記識別用音響信号のスペクトログラムにおける前記音響イベントのスペクトル基底の発現度合いの組み合わせを基に、識別モデルを用いて、前記識別用音響信号に含まれる音響イベントを識別する請求項１に記載の信号処理装置。
【請求項３】
基底生成用のスペクトログラムを入力として音響イベント基底群を生成する前記基底生成手段と、
対応する音響イベントを示すラベル付きのスペクトログラムが入力されると、前記基底生成手段によって生成された音響イベント基底群を用いて、前記ラベル付きスペクトログラムから前記音響イベントのスペクトル基底の発現度合いを算出して、識別モデルを学習するモデル学習手段と
を備えた請求項１または２に記載の信号処理装置。
【請求項４】
検知対象とされる音響イベントのスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納する事前分布格納手段を備え、
前記基底生成手段は、前記事前分布群に含まれる各事前分布を、対応する音響イベントのスペクトル基底の制約として用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する
請求項３に記載の信号処理装置。
【請求項５】
音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合である
請求項１から４のうちのいずれか１つに記載の信号処理装置。
【請求項６】
音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、
前記モデル学習手段は、対応する音響イベントを示すラベル付きスペクトログラムを、音響イベント基底群を表す第１基底行列と前記第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列とに分解する処理において、グループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を課して分解することにより、前記第１アクティベーション行列を算出し、算出された前記第１アクティベーション行列によって示される前記識別用音響信号のスペクトログラムの時間区間中の前記音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として、識別モデルを学習する請求項３に記載の信号処理装置。
【請求項７】
音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、
前記基底生成手段は、前記事前分布群に含まれる各事前分布を、対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成する請求項４に記載の信号処理装置。
【請求項８】
音響イベント基底群に含まれる音響イベントごとのサブ集合には、当該音響イベントを構成する音の代表的なスペクトル形状に対して異なるバリエーションまたは揺らぎが表現された２以上のスペクトル基底が含まれる請求項５から７のうちのいずれかに記載の信号処理装置。
【請求項９】
識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの前記未知のスペクトル基底のみを学習させて音源分離を行い、前記識別用音響信号のスペクトログラムにおける前記音響イベントのスペクトル基底の発現度合いを算出し、
算出された前記発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として前記音響信号に含まれる音響イベントを識別する識別モデルを用いて、前記識別用音響信号に含まれる音響イベントを識別することを特徴とする信号処理方法。
【請求項１０】
コンピュータに、
識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの前記未知のスペクトル基底のみを学習させて音源分離を行い、前記識別用音響信号のスペクトログラムにおける前記音響イベントのスペクトル基底の発現度合いを算出する処理、および
算出された前記発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の前記音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として前記音響信号に含まれる音響イベントを識別する識別モデルを用いて、前記識別用音響信号に含まれる音響イベントを識別する処理
を実行させるための信号処理プログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、音響信号を処理する信号処理装置、信号処理方法および信号処理プログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
そこで、本発明は、音響イベントの識別精度を向上できる信号検知装置、そのための信号処理装置、信号処理方法および信号処理プログラムを提供することを目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明による信号処理プログラムは、コンピュータに、識別用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、検知対象とされる音響イベントのスペクトル基底の集合である音響イベント基底群に検知対象とされる音響イベント以外の音響イベントである未知の音響イベントに対応するスペクトル基底を加えたスペクトル基底集合を用い、かつそのうちの未知のスペクトル基底のみを学習させて音源分離を行い、識別用音響信号のスペクトログラムにおける音響イベントのスペクトル基底の発現度合いを算出する処理、および算出された発現度合いの組み合わせを基に、音響信号のスペクトログラムの時間区間中の音響イベント基底群に含まれる各スペクトル基底の発現度合いの組み合わせを特徴量として音響信号に含まれる音響イベントを識別する識別モデルを用いて、識別用音響信号に含まれる音響イベントを識別する処理を実行させることを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
なお、一方の基底生成用スペクトログラムＶｂａｓｅは、検知したい音響イベントを構成する周波数パターンを基底として生成するためのスペクトログラムであるので、検知したい全ての音響イベントの周波数パターンを含んでいることが望ましい。一例として、基底生成用スペクトログラムＶｂａｓｅは、ラベル付きスペクトログラムＶｌｂｌをラベルの区別なく連結したＫ行Ｊｂａｓｅ列の行列Ｖｂａｓｅ（ｋ，ｊ）＝［Ｖｌｂｌ_１（ｋ，ｊ），Ｖｌｂｌ_２（ｋ，ｊ），・・・，Ｖｌｂｌ_Ｅ（ｋ，ｊ）］であってもよい。この場合、基底生成用スペクトログラムＶｂａｓｅにおける時間フレーム数Ｊｂａｓｅは、ラベル付きスペクトログラムＶｌｂｌにおける時間フレーム数Ｊｌｂｌの総和となる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
実施形態３．
次に、本発明の第３の実施形態について説明する。図７は、第３の実施形態の信号処理装置１００の構成例を示すブロック図である。図７に示す信号処理装置１００は、基底生成用スペクトログラムＶｂａｓｅを入力とし、予め保持されている事前分布Ｗ０を制約として、Ｖｂａｓｅを構成するスペクトル基底行列Ｗを生成する基底生成装置として機能する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１２９
【補正方法】変更
【補正の内容】
【０１２９】
以下、基底信号分析部５０２が生成する基底行列Ｗｇ（ｋ、ｇｒ）をグループ基底Ｗｇと呼ぶ場合がある。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１３１
【補正方法】変更
【補正の内容】
【０１３１】
本実施形態では、基底生成用スペクトログラムＶｂａｓｅは、検知したい全ての音響イベントの周波数パターンについて２以上のバリエーションを含む、または揺らぎを含むようなスペクトログラムが望ましい。一例として、基底生成用スペクトログラムＶｂａｓｅは、音響イベントごとに複数のサンプルから得たラベル付きスペクトログラムＶｌｂｌをラベルの区別なく連結したＫ行Ｊｂａｓｅ列の行列Ｖｂａｓｅ（ｋ，ｊ）＝［Ｖｌｂｌ_１１（ｋ，ｊ），Ｖｌｂｌ_１２（ｋ，ｊ），．．．，Ｖｌｂｌ_１Ｇ（ｋ，ｊ），Ｖｌｂｌ_２１（ｋ，ｊ），．．．，Ｖｌｂｌ_ＥＧ（ｋ，ｊ）］であってもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１３５
【補正方法】変更
【補正の内容】
【０１３５】
例えば、グループ基底Ｗｇ（ｋ，ｇｒ）が、Ｋ行（Ｇ×Ｒ）列の行列の場合、グループ音響イベントアクティベーションＨｇ（ｇｒ，ｊ）は、（Ｇ×Ｒ）行Ｊ列の行列となる。
ここで、Ｈｇ（ｇｒ，ｊ）の列ベクトルｈｊは、ｈｊ（ｒ）におけるｒ＝１〜Ｒとして各ｈｊ（ｒ）を行方向に連結したものに相当する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１４０
【補正方法】変更
【補正の内容】
【０１４０】
識別信号分析部５１２は、例えば、音源分解に用いるスペクトル基底として、分離対象として予め定義された各音源の音に対応するグループ基底行列Ｗｇに、未知の音源の音に対応するグループ基底行列Ｗｕを加えた基底行列Ｗｇｓｅｍｉ［Ｗｇ  Ｗｕ］を用いた半教師有りＮＭＦを用いてもよい。半教師有りＮＭＦの方法は第１の実施形態の識別信号分析部１１２による方法と基本的に同様である。すなわち、Ｗｓｅｍｉ［Ｗｅ  Ｗｕ］およびＨｓｅｍｉ［Ｈｅ  Ｈｕ］がＷｇｓｅｍｉ［Ｗｇ  Ｗｕ］およびＨｇｓｅｍｉ［Ｈｇ  Ｈｕ］に代わっているだけで、半教師有りＮＭＦの方法は基本的に識別信号分析部１１２と同様でよい。ただし、Ｈｇｓｅｍｉの更新において、Ｈｇの各ｈｊ（ｒ）に対して上記の式（ｅ−３）に示すスパース制約が適用される。識別信号分析部５１２は、例えば、式（ａ−２）、式（ａ−３）および式（ｅ−３）の３式を交互に更新することにより、Ｈｇ、ＨｕおよびＷｕを算出する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１５３
【補正方法】変更
【補正の内容】
【０１５３】
式（ｇ−１）は、上記の例の制約付きＮＭＦにおけるＶｍｉｘの近似式である。ここで、Ｗｓｅｐａは、音声信号の基底Ｗｓと環境雑音信号の基底Ｗｎとを列方向に連結させたＫ行（Ｒｓ＋Ｒｎ）列の基底行列である。Ｗｓｅｐａの各列インデックスは、Ｗ０［Ｗ０＿ｓ  Ｗ０＿ｎ］のインデックスに対応したものとなる。また、Ｈｓｅｐａは、基底Ｗｓに対応するアクティベーションＨｓと基底Ｗｎに対応するアクティベーションＨｎとを行方向に連結させた（Ｒｓ＋Ｒｎ）行Ｊｍｉｘ列のアクティベーション行列である。Ｈｓｅｐａの各行インデックスは、Ｗｓｅｐａの列インデックスに対応したものとなる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１５４
【補正方法】変更
【補正の内容】
【０１５４】
本例の基底ＷｓはＫ行Ｒｓ列の行列であり、ＷｎはＫ行Ｒｎ列の行列である。また、アクティベーションＨｓはＲｓ行Ｊｍｉｘ列の行列であり、ＨｎはＲｎ行Ｊｍｉｘ列の行列である。ここで、Ｊｍｉｘは、音源分離用スペクトログラムＶｍｉｘの時間インデックス数である。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１６７
【補正方法】変更
【補正の内容】
【０１６７】
以上のように、本実施形態によれば、ＮＭＦで各音源に対応する基底行列Ｗｉを学習する際に、別途入力される分布生成用スペクトログラムＶ０から求まる事前分布Ｗ０＿ｉに近づくような制約を用いることにより、局所解に陥らずに所望の基底行列Ｗｉを算出することができる。そのため，より高精度に音源分離ができる。 
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１７４
【補正方法】変更
【補正の内容】
【０１７４】
（付記３）基底生成用のスペクトログラムを入力として音響イベント基底群を生成する基底生成手段（例えば、基底生成部１０）と、対応する音響イベントを示すラベル付きのスペクトログラムが入力されると、基底生成手段によって生成された音響イベント基底群を用いて、ラベル付きスペクトログラムから音響イベントのスペクトル基底の発現度合いを算出して、識別モデルを学習するモデル学習手段（例えば、学習データ分析部１２およびモデル学習部１３）とを備えた付記１または付記２に記載の信号処理装置。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１８５
【補正方法】変更
【補正の内容】
【０１８５】
（付記１４）検知対象とされる音響イベントが、特定音源の音の発生であり、事前分布格納手段は、特定音源のスペクトル基底の代表的なスペクトル形状を示す事前分布の集合である事前分布群を格納し、特定音源の音のみを含む音響信号のスペクトログラムを入力として、事前分布群を生成する分布解析手段と、音源分離用音響信号のスペクトログラムが入力されると、当該スペクトログラムに対して、基底生成手段によって生成された音響イベント基底群を表す第１基底行列を用い、かつ事前分布群に含まれる各事前分布を対応する特定音源のスペクトル基底の制約として用いて第１基底行列を学習させて音源分離を行う音源分離手段と、音源分離の結果得られる、音源分離用音響信号のスペクトログラムにおける特定音源のスペクトル基底および該スペクトル基底の発現度合いを基に、音源分離用音響信号から特定音源の音のみの信号を生成する音源再構築手段とを備えた付記１１から付記１３のうちのいずれかに記載の信号処理装置。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１８６
【補正方法】変更
【補正の内容】
【０１８６】
（付記１５）音響イベント基底群は、音響イベントを構成する音の代表的なスペクトル形状ごとに２以上のスペクトル基底がグループ化されたサブ集合の集合であり、基底生成手段は、事前分布群に含まれる各事前分布を、対応する代表的なスペクトル形状のグループに含まれるスペクトル基底の制約として用い、かつグループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を用いて、基底生成用のスペクトログラムに対して音源分離を行い、音響イベント基底群を生成し、音源分離手段は、音源分離用音響信号のスペクトログラムを、音響イベント基底群を表す第１基底行列と第１基底行列の各スペクトル基底の発現度合いを表す第１アクティベーション行列とに分解する処理において、グループごとに、当該グループに含まれるスペクトル基底の発現度合いの集合を表すアクティベーション群に対して、更新の際に更新前の値が大きければ更新後の値も大きく、更新前の値が小さければ更新後の値も小さくなるようなスパース制約を課して分解する付記１４に記載の信号処理装置。
【国際調査報告】
2017217412.tif 000023
2017217412.tif 000024
2017217412.tif 000025
2017217412.tif 000026