(57)【要約】【課題】本発明は、信号処理方法及び情報処理装置を提供する。【解決手段】情報処理装置は処理器を含み、処理器は、音声信号に基づいて得られた時間周波数領域信号に対して周波数方向上の複数のサブバンドに従って分割を行い、各サブバンドに対応するサブバンド信号を取得し；取得されたサブバンド信号を訓練済みの分類モデルに入力し；及び、分類モデルを用いて音声信号に含まれる音声イベントのクラスを確定するように構成される。【選択図】図１
2020126227.tif 000002
【特許請求の範囲】
【請求項１】
処理器を含む情報処理装置であって、
前記処理器は、
音声信号に基づいて得られた時間周波数領域信号に対して、周波数方向上の複数のサブバンドに従って分割を行い、各サブバンドに対応するサブバンド信号を取得し；
取得されたサブバンド信号を訓練済みの分類モデルに入力し；及び
前記分類モデルを用いて、音声信号に含まれる音声イベントのクラスを確定するように構成され、
前記分類モデルは、各サブバンドにそれぞれ対応する複数のサブバンドモデルを含み、各サブバンドモデルは、訓練により取得された、対応するサブバンドの音声イベント分類への影響に基づいて、入力されたサブバンド信号に重みを付け、重みが付けられたサブバンド信号に基づいて、音声イベントに関する初期分類結果を出力し、
前記分類モデルは、前記複数のサブバンドモデルの初期分類結果に基づいて、前記音声イベントに関する最終分類結果を出力する、装置。
【請求項２】
請求項1に記載の情報処理装置であって、
前記音声信号に基づいて得られた時間周波数領域信号がスペクトログラムを含む、装置。
【請求項３】
請求項1又は2に記載の情報処理装置であって、
各サブバンドモデルが、訓練により取得される活性化関数を用いて、対応するサブバンドの音声イベント分類への影響を表し、
前記活性化関数の入力が、対応するサブバンド信号の強度であり、前記活性化関数の出力が、該サブバンド信号の重みである、装置。
【請求項４】
請求項1又は2に記載の情報処理装置であって、
前記処理器は、さらに、音声信号に基づいて得られた時間周波数領域信号全体を前記分類モデルに入力するように構成され、
前記分類モデルは、さらに、時間周波数領域信号全体に対応する全体モデルを含み、該全体モデルは、入力された時間周波数領域信号全体に基づいて、音声イベントに関する初期分類結果を出力し、
前記分類モデルは、前記複数のサブバンドモデルの初期分類結果及び前記全体モデルの初期分類結果に基づいて、前記音声イベントに関する最終分類結果を出力する、装置。
【請求項５】
請求項1又は2に記載の情報処理装置であって、
前記複数のサブバンドが周波数方向上で均一に分割される、装置。
【請求項６】
請求項1又は2に記載の情報処理装置であって、
前記複数のサブバンドが周波数方向上で音声イベントの周波数についての先験的知識に基づいて分割される、装置。
【請求項７】
請求項1又は2に記載の情報処理装置であって、
前記分類モデルでは、各初期分類結果に重みを付けることで最終分類結果を取得する、装置。
【請求項８】
請求項1又は2に記載の情報処理装置であって、
前記分類モデルが畳み込みニューラルネットワークに基づくモデルを含む、装置。
【請求項９】
請求項1又は2に記載の情報処理装置であって、
予めラベルが付けられた訓練音声データの時間周波数領域信号を用いて、訓練により前記分類モデルを取得し、
前記ラベルが音声イベントのクラスを表す、装置。
【請求項１０】
信号処理方法であって、
音声信号に基づいて得られた時間周波数領域信号に対して、周波数方向上の複数のサブバンドに従って分割を行い、各サブバンドに対応するサブバンド信号を取得し；
取得されたサブバンド信号を訓練済みの分類モデルに入力し；及び
前記分類モデルを用いて、音声信号に含まれる音声イベントのクラスを確定することを含み、
前記分類モデルは、各サブバンドにそれぞれ対応する複数のサブバンドモデルを含み、各サブバンドモデルは、訓練により取得された、対応するサブバンドの音声イベント分類への影響に基づいて、入力されたサブバンド信号に重みを付け、重みが付けられたサブバンド信号に基づいて、音声イベントに関する初期分類結果を出力し、
前記分類モデルは、前記複数のサブバンドモデルの初期分類結果に基づいて、前記音声イベントに関する最終分類結果を出力する、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理分野に関し、特に、音声イベント検出に用いる信号処理方法及び該信号処理方法を実現し得る情報処理装置に関する。
【背景技術】
【０００２】
音声には、日常生活の環境における各種の異なるイベントの情報が大量に含まれる。音声により、所在するシーン（例えば、騒がしい街道、オフィスなど）を感知し、及び／又は、幾つかの特定のイベント（例えば、歩行者の足跡、自動車の通過など）を識別することができる。このようなシーン及びイベントの認識は、音声イベント検出と総称することができる。
【０００３】
実際には、音声イベントの自動検出の応用が多くある。例えば、音声イベント検出は、インテリジェント装置、インテリジェントロボット、環境感知、監視システムなどの応用又はシーンに用いることができる。
【０００４】
今のところ、音声イベント検出は、一般的に、分類アルゴリズムにより実現される。しかし、従来の音声イベント分類のためのアルゴリズムは、検出待ちシーンが複雑である（例えば、認識待ち音声イベントの種類が複数存在する）場合における検出の正確度が比較的低い。よって、複雑なシーンにおいても依然として音声イベントを正確に検出し得る方法又は装置の提供が望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の音声イベント検出方法に対して改善を行うニーズに鑑み、本発明の目的の１つは、複雑なシーンにおいても依然として音声イベントを正確に検出し得る信号処理方法、及び該信号処理方法を実現し得る情報処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一側面によれば、信号処理方法が提供され、それは、
音声信号に基づいて得られた時間周波数領域信号に対して、周波数方向上の複数のサブバンドに従って分割を行い、各サブバンドに対応するサブバンド信号を取得し；
取得されたサブバンド信号を訓練済みの分類モデルに入力し；及び
分類モデルを用いて、音声信号に含まれる音声イベントのクラスを確定することを含み、
そのうち、分類モデルは、各サブバンドにそれぞれ対応する複数のサブバンドモデルを含み、各サブバンドモデルは、訓練により取得された、対応するサブバンドの音声イベント分類への影響に基づいて、入力されたサブバンド信号に重みを付け、そして、重みが付けられたサブバンド信号に基づいて、音声イベントに関する初期分類結果を出力し、
そのうち、分類モデルは、複数のサブバンドモデルの初期分類結果に基づいて、音声イベントに関する最終分類結果を出力する。
【０００７】
本発明の他の側面によれば、情報処理装置が提供され、それは、処理器を含み、前記処理器は、次のように構成され、即ち、音声信号に基づいて得られた時間周波数領域信号に対して、周波数方向上の複数のサブバンドに従って分割を行い、各サブバンドに対応するサブバンド信号を取得し；取得されたサブバンド信号を訓練済みの分類モデルに入力し；及び、分類モデルを用いて、音声信号に含まれる音声イベントのクラスを確定するように構成される。そのうち、分類モデルは、各サブバンドにそれぞれ対応する複数のサブバンドモデルを含み、各サブバンドモデルは、訓練により取得された、対応するサブバンドの音声イベント分類への影響に基づいて、入力されたサブバンド信号に重みを付け、重みが付けられたサブバンド信号に基づいて、音声イベントに関する初期分類結果を出力し、分類モデルは、複数のサブバンドモデルの初期分類結果に基づいて、音声イベントに関する最終分類結果を出力する。
【０００８】
本発明の他の側面によれば、コンピュータに、上述のような信号処理方法を実現させるためのプログラムがさらに提供される。
【０００９】
本発明の他の側面によれば、対応する記憶媒体がさらに提供され、その中には、マシン可読指令コードが記憶されており、前記指令コードは、マシンにより読み出されて実行されるときに、マシンに、上述のような信号処理方法を実行させることができる。
【００１０】
本発明の上述した各側面によれば、少なくとも次のような利点を得ることができ、即ち、本発明による信号処理方法、情報処理装置、プログラム及び記憶媒体を用いることにより、周波数サブバンドの音声イベント分類への影響に基づいて、各サブバンドについて、音声信号の周波数領域の特徴に対して強化（enhancement）を行い、強化された特徴に基づいて、より正確な分類結果を取得することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例における信号処理方法のフローチャートである。
【図２】図1に示す信号処理方法に実行される処理の説明図である。
【図３】図1に示す信号処理方法に応用される分類モデルを示す図である。
【図４】本発明の実施例における信号処理方法の他のフローチャートである。
【図５】図4に示す信号処理方法に応用される分類モデルを示す図である。
【図６】本発明の実施例における信号処理装置の構成図である。
【図７】本発明の実施例における信号処理装置の他の構成図である。
【図８】本発明の実施例における信号処理方法及び装置を実現し得るハードウェアの構成図である。
【発明を実施するための形態】
【００１２】
以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本発明を限定するものでない。
【００１３】
本発明の一側面では、信号処理方法が提供される。図1は、本発明の実施例における信号処理方法100の例示的なフローチャートである。
【００１４】
図1に示すように、信号処理方法100は、以下のようなステップを含んでも良い。
【００１５】
サブバンド分割ステップS101：音声信号に基づいて得られた時間周波数領域信号に対して、周波数方向上の複数のサブバンドに従って分割を行い、各サブバンドに対応するサブバンド信号を取得し；
サブバンド信号入力ステップS103：取得されたサブバンド信号を訓練済みの分類モデルに入力し；
音声イベント分類ステップS105：分類モデルを用いて、音声信号に含まれる音声イベントのクラス（種類）を確定する。
【００１６】
本実施例における信号処理方法では、採用される分類モデルが、各サブバンドにそれぞれ対応する複数のサブバンドモデルを含み、そのうち、各サブバンドモデルが、訓練により取得された、対応するサブバンドの音声イベント分類への影響に基づいて、入力されたサブバンド信号に重みを付け、そして、重みが付けられたサブバンド信号に基づいて、音声イベントに関する初期分類結果を出力する。それ相応に、分類モデルは、複数のサブバンドモデルの初期分類結果に基づいて、音声イベントに関する最終分類結果を出力する。
【００１７】
一例として、本実施例における信号処理方法により処理される音声イベント／シーンのクラスは、例えば、大人の男性の話し、大人の女性の話し、子供の話し、街道のシーン、オフィスのシーン、歩行者の通過、貨車の通過、自転車の通過などを含む。
【００１８】
本発明の発明者が次のようなことを発見した。即ち、異なる音声シーン又はイベントに係る異なる対象が発する音声が各自対応する周波数を有する。例えば、女性が話すときに音声の周波数が通常男性よりも高く；荷物満載のトラックのような大きな物体の通過による振動の音の周波数が自転車のような小さな物体よりも低く；コウモリが周波数20000Hz超の超音波を発することができるが、地震時に20Hz未満の低周波音しか生じないなどである。
【００１９】
よって、本実施例における信号処理方法では、異なる周波数サブバンドについて、音声信号の周波数領域の特徴に対して強化を行う。具体的には、訓練により取得された、周波数サブバンドの音声イベント分類への影響に基づいて、入力されたサブバンド信号（それは、音声信号の周波数領域の特徴と見なすことができる）に重み（weight）を付けて強化を行うことで、強化されたサブバンド信号に基づいて正確な分類結果を得ることができる。
【００２０】
以下、図2及び図3に基づいて、図1に示す情報処理方法に実行される例示的な処理を説明する。そのうち、図2は、図1に示す信号処理方法におけるサブバンド分割ステップの例示的な処理の説明図であり、図3は、図1に示す信号処理方法に採用される分類モデルの例示的な構成を示す図である。
【００２１】
一例として、本実施例では、音声信号に基づいて得られた時間周波数領域信号がスペクトログラム（声紋）を含んでも良い。図2に示すように、時間領域の音声信号xt（0≦t≦Tであり、Tは音声信号の時間の長さである）を例とする場合、関連する分野における従来の変換により、該信号のスペクトログラムui,jを得ることができ、そのうち、0≦i≦I、0≦j≦Jであり、Iは、スペクトログラムの幅であり、且つ音声信号の時間の長さに対応し、Jは、スペクトログラムの高さであり、且つ音声信号の周波数範囲全体に対応し、ui,jは、時間i及び周波数jのところにおける周波数領域信号の値（例えば、短時間フーリエ変換などの方式で取得されるパワースペクトル密度など）である。
【００２２】
上述の形式を有するスペクトログラムui,jについて、サブバンド分割ステップS101では、図2の下方に示すように、それを周波数方向上のN個のサブバンドに従って分割を行い、N個のサブバンド信号ui,j1（0≦i≦I、0≦j1≦J1）、…，ui,jn-2（0≦i≦I、0≦jn-2≦JN-2）、ui,jn-1（0≦i≦I、0≦jn-1≦JN-1）、ui,jn（0≦i≦I、0≦jn≦JN）を取得することができ、そのうち、Nは、1よりも大きい自然数であり、J1、…、JN-2、JN-1、JNは、各サブバンドの境界における周波数である。
【００２３】
好ましくは、N個のサブバンドのような複数のサブバンドが周波数方向上で均一に分割されても良い。Nの値が大きいほど、サブバンドの分割が細かく、各サブバンド信号に、周波数サブバンドの音声イベント分類への影響を表す重みを正確に付けることができる。なお、当業者が理解すべきは、具体的な応用に当たって、処理速度、システムパフォーマンスなどのファクターのバランスを総合的に考慮することで、Nの適切な数を選択しても良いということである。
【００２４】
オプションとして、N個のサブバンドのような複数のサブバンドが周波数方向上で音声イベントの周波数についての先験的知識に基づいて分割されても良い。例えば、音声イベントの検出を必要とするシーンに含まれる各音声イベント各自の周波数範囲に基づいて、音声信号に基づいて得られた時間周波数領域信号に対して周波数方向上の複数のサブバンドに従って初期分割を行うことで、各サブバンドが、できるだけ、検出される可能性のある１つの音声イベントの周波数範囲に対応するようにさせることができる。
【００２５】
続いて、サブバンド信号入力ステップS103では、取得されたサブバンド信号ui,j1、…、ui,jn-2、ui,jn-1、ui,jnを訓練済みの分類モデルに入力し、音声イベント分類ステップS105では、分類モデルを用いて、音声信号に含まれる音声イベントのクラスを確定する。
【００２６】
図3は、分類モデルの例示的な構成を示しており、該分類モデルは、例えば、畳み込みニューラルネットワークに基づくモデルを含んでも良い。図3に示すように、分類モデルは、各サブバンドにそれぞれ対応する複数のサブバンドモデルM1、M2、…、MNを含んでも良く、そのうち、各サブバンドモデルは各自、若干個の畳み込み層、プーリンング層などを含む畳み込みニューラルネットワークの一般的な構成の簡単なニューラルネットワークにより実現することができる。本実施例では、スペクトログラム形式のような時間周波数領域信号を採用するので、一例として、各サブバンドモデルが、画像処理のための、畳み込みニューラルネットワークに基づく分類器を用いて、画像信号を分類する方式に似た方式でスペクトログラム形式の時間領域信号に対して分類を行っても良い。音声信号を処理するための従来の一般的なベイズ分類器などに比べ、本実施例で採用する畳み込みニューラルネットワークに基づく分類器は、数が比較的多いクラスの処理にとってより有利であり、複雑な音声シーンの検出において分類の正確度を改善することができる。
【００２７】
図3の左側に示すように、各サブバンドモデルM1、M2、…、MNは、訓練により取得された、対応するサブバンドの音声イベント分類への影響に基づいて、入力されたサブバンド信号ui,j1、ui,j2、…、ui,jnに重みs1、s2、…、sNを付け、そして、以下の公式（1）により、重みが付けられた第c個目のサブバンド信号を取得することができる。
【数１】
2020126227.tif 000003
【００２８】
そのうち、cは、1≦c≦Nであり、サブバンドの順番号を表す。
【００２９】
１つの好適な実施例では、活性化関数を用いて公式（1）における重みscを得ることができる。即ち、各サブバンドモデルMcは、訓練により取得される活性化関数fexcを用いて、対応するサブバンドcの音声イベント分類への影響を示すことができ、そのうち、活性化関数fexcの入力が、対応するサブバンド信号ui,jcの強度Zcであり、活性化関数の出力が、該サブバンド信号の重みscである。活性化関数fexc自身が、例えば、パラメータ行列の形式又は簡単なニューラルネットワークの形式であっても良く、また、その具体的なパラメータが分類モデル訓練時に一緒に取得されても良い。
【００３０】
一例として、サブバンド信号の全ての情報の周波数方向上及び時間方向上の累積結果を以て該サブバンド信号の強度を表すことができる。例えば、各サブバンドcのサブバンド強度Zcが以下の公式（2）により取得されても良い。
【数２】
2020126227.tif 000004
【００３１】
上述の公式（2）により示されるサブバンド強度Zc、及び訓練により取得される活性化関数fexcを用いて、各サブバンドの活性化重みsc=fexc（Zc）を得ることができる。取得された重みs1、s2、…、sNを公式（1）に応用することにより、重みが付けられたサブバンド信号
（外１）
2020126227.tif 000005
を取得し、分類用のサブバンドモデルに入力することができる。各サブバンドモデルに入力されるサブバンド信号が重みを付けることにより特徴強化されるので、分類モデルにより、分類結果を改善することができる。
【００３２】
図3の右側に示すように、重みが付けられたサブバンド信号
（外２）
2020126227.tif 000006
に基づいて、各サブバンドモデルM1、M2、…、MNは各自、音声イベントに関する初期分類結果Class1、Class2、…、ClassNを出力し、分類モデルは、これに基づいて最終分類結果Classを出力することができる。一例として、畳み込みニューラルネットワークにより実現される分類モデルを用いて取得された各初期分類結果及び最終分類結果は、音声イベントが各所定イベントクラスに属する確率を示す１次元ベクトルであっても良い。例えば、サブバンドモデルMcの初期分類結果がClassc={pc1，pc2，…，pcK}であり，そのうち、pc1、pc2、…、pcKは、それぞれ、入力されたサブバンド信号
（外３）
2020126227.tif 000007
が、予め設定されたK個のクラスのうちの各クラスに属する確率を示す。
【００３３】
例えば、各初期分類結果に重みを付けることで、最終分類結果を、以下の公式（3）に示すように得ることができる。
Class=w1Class1+w2Class2+…+wNClassN    公式（3）
【００３４】
公式（3）に使用される各重み係数w1、w2、…、wNは、分類モデル訓練時に一緒に取得することができる。なお、分類モデルを訓練する例示的な方法について、後述する。ここで、各初期分類結果に重みを付けるなどの方式で最終分類結果を取得する処理は、例えば、畳み込みニューラルネットワークモデルの全結合層により実現することができる。
【００３５】
上述のように、最終分類結果Classは、初期分類結果Classcと同様の、音声イベントが各所定イベントクラスに属する確率を示す１次元ベクトルの形式を有しても良い。それ相応に、例えば、最終分類結果の各確率のうち、所定閾値よりも大きい確率のイベントクラスを入力信号に対しての分類の最終クラスとしても良い。また、最終分類結果Classの各確率が全て所定閾値よりも小さいときに、入力された信号をノイズ又は未知クラスとして認識しても良い。
【００３６】
以上、図1乃至図3を基に、本発明の実施例における信号処理方法の１つの例示的な処理フローを説明した。本実施例における信号処理方法を用いることにより、周波数サブバンドの音声イベント分類への影響に基づいて、各サブバンドについて、音声信号の周波数領域の特徴に対して強化を行うことで、強化された特徴に基づいて、より正確な分類結果を得ることができる。
【００３７】
続いて、図3に示す分類モデルの訓練プロセスを簡単に説明する。なお、当業者が理解すべきは、分類モデルの訓練がその応用プロセスと一対一対応するということである。よって、ここでは、両者の相違点のみについて説明を行う。
【００３８】
一例として、音声イベントのクラスを表すラベルが付けられた訓練音声データの時間周波数領域信号を用いて、訓練により分類モデルを取得しても良い。例えば、L個の訓練音声データの時間周波数領域信号が、それぞれ、分類待ちの音声信号に基づいて取得されたスペクトログラムui,jと同様の形式を有するスペクトログラムvli,jを採用しても良く、そのうち、lは、1≦l≦Lであり、訓練データの順番号を示し、Lは、訓練データの総数でり、また、各訓練データには、各自の音声イベントのクラスを示すLabellが付けられている。
【００３９】
図1乃至図3に基づいて説明した処理と類似した方式で、訓練音声データのスペクトログラムvli,jに対して、周波数方向上のN個のサブバンドに従って分割を行うこで、N個のサブバンドに対応する訓練サブバンド信号vli,j1（0≦i≦I、0≦j1≦J1）、…，vli,jn-2（0≦i≦I、0≦jn-2≦JN-2）、vli,jn-1（0≦i≦I、0≦jn-1≦JN-1）、vli,jn（0≦i≦I、0≦jn≦JN）を得ることができ、そのうち、Nは、1よりも大きい自然数であり、J1、…、JN-2、JN-1、JNは、各サブバンドの境界における周波数である。
【００４０】
好ましくは、N個のサブバンドのような複数のサブバンドが周波数方向上で均一に分割されても良い。オプションとして、N個のサブバンドのような複数のサブバンドが周波数方向上で音声イベントの周波数についての先験的知識に基づいて分割されても良い。なお、当業者が理解すべきは、訓練音声データに用いられるサブバンド分割と、分類待ち音声データに用いられるサブバンド分割とが一致するということである。
【００４１】
続いて、取得された訓練音声データのサブバンド信号vli,j1、…、vli,jn-2、vli,jn-1、vli,jnを分類モデルに入力し、分類モデルを用いて音声信号に含まれる音声イベントのクラスを確定し、そして、分類モデルにより確定されたクラスと、真のクラスとの間の差を最小化することで、分類モデルの各パラメータ、例えば、サブバンド信号に重みを付けるための活性化関数のパラメータ、各サブバンドモデルの初期分類結果の重みなどのパラメータをを取得する。
【００４２】
より具体的には、訓練される分類モデルでは、各サブバンドモデルMcが、活性化関数fexcを用いて、対応するサブバンドcの音声イベント分類への影響を示し、そのうち、活性化関数fexcの入力が、対応する訓練サブバンド信号vli,jcの強度Zlc（例えば、公式（2）と類似した方式で取得され得る）であり、出力が、該訓練サブバンド信号の重みslcであり、これにより、公式（1）と同様の方式で重み付け済みの訓練サブバンド信号
【数３】
2020126227.tif 000008
を得ることができる。
【００４３】
重みが付けられた訓練サブバンド信号
（外４）
2020126227.tif 000009
に基づいて、各サブバンドモデルM1、M2、…、MNは各自、音声イベントに関する初期分類結果Classl1、Classl2、…、ClasslNを出力し、また、分類モデルは、公式（3）と類似した方式で最終分類結果Classl=w1Classl1+w2Classl2+…+wNClasslNを出力することができる。
【００４４】
トータルでL個の訓練データについて、L個の最終分類結果Classl（1≦l≦L）と、これらのデータの分類ラベルLabellとの間の差に基づいて損失関数を構築し、該損失関数を最小化することで分類モデルにおける各パラメータ、例えば、活性化関数fexcにおける具体的なパラメータ、公式（3）における各重みw1、w2、…、wNなどのパラメータを得ることができる。もちろん、本発明の内容を基に、当業者が各種の適切な方式で損失関数を構築してモデルにおけるパラメータの好ましい値を取得しても良いが、ここでは、その詳しい説明を省略する。
【００４５】
続いて、図4及び図5を参照しながら、本発明の実施例における信号処理方法のもう１つの例示的な処理フローを説明する。そのうち、図4は、信号処理方法の該例示的な処理フローのフローチャートであり、図5は、図4に示す信号処理方法に応用される分類モデルを示す図である。
【００４６】
図4に示すように、本実施例における信号処理方法400と、図1の信号処理方法100との相違点は、信号処理方法400が図1におけるステップS101乃至S105にそれぞれ対応するサブバンド分割ステップS401、サブバンド信号入力ステップS403、音声イベント分類ステップS405の他に、音声信号に基づいて得られた時間周波数領域信号を全体として分類モデルに入力するための信号全体入力ステップS404をさらに含むことにある。図5に示すように、本実施例に採用される分類モデルと、図3に示す分類モデルとの相違点は、時間周波数領域信号全体に対応する全体モデルM0をさらに含むことにあり、該全体モデルM0は、全体として入力された時間周波数領域信号ui,jに基づいて、音声イベントに関する初期分類結果Class0を出力し、分類モデルは、複数のサブバンドモデルM1、M2、…、MNの初期分類結果Class1、Class2、…、ClassN及び全体モデルM0の初期分類結果Class0に基づいて、音声イベントに関する最終分類結果Class’を出力する。分類モデルに全体モデルを増設することにより、本実施例は、サブバンド特徴の強化を行うと同時に、各サブバンド間の互いに相関する情報を保留し、分類モデルの分類正確度をより一層向上させることができる。
【００４７】
上述の相違点以外に、本実施例に係る画像処理方法400における他のステップS401、S403、S405が、図2に示す画像処理方法100の対応するステップS101、S103、S105とほぼ同じであり又は類似しており、また、採用される図5の分類モデルにおける各サブバンドモデルも、図3に示す対応するサブバンドモデルとほぼ同様である。よって、以下、図1乃至図3を参照して説明した実施例の基に、本実施例中の異なる点のみについて説明する。
【００４８】
一例として、本実施例に採用される全体モデルM0は、サブバンドモデルM1、M2、…、MNと同様に、若干個の畳み込み層、プーリンング層などを含む畳み込みニューラルネットワークの一般的な構成の簡単なニューラルネットワークにより実現することができる。換言すると、分割されない全体としてのスペクトログラム形式のような全体としての時間周波数領域信号を処理するための全体モデルは、画像処理のための、畳み込みニューラルネットワークに基づく分類器を採用し、画像信号を分類する方式と同様の方式で、スペクトログラム形式の時間領域信号に対して分類を行うことができる。図5に示すように、全体モデルM0とサブバンドモデルM1、M2、…、MNとの相違点は、全体モデルM0が直接、重みが付けられないスペクトログラムに基づいて初期分類結果Class0を出力し得ることにある。
【００４９】
図5に示すような分類モデルでは、以下の公式（4）を用いて最終分類結果を得ることができる。
Class’=w1Class1+w2Class2+…+wNClassN+w0Class0    公式（4）
【００５０】
公式（4）では、公式（3）に比べ、全体モデルM0の初期分類結果Class0及び対応する重み係数w0が追加されている。
【００５１】
図5に示すような分類モデルについて、図3に示す分類モデルと類似した訓練方式を採用しても良く、即ち、共同訓練より、全体モデルM0及びサブバンドモデルM1、M2、…、MNを含む全体としての分類モデルにおける各パラメータを取得することができる。
【００５２】
オプションとして、以下の公式（5）により最終分類結果を得ることができる。
Class’’=Class+λClass0    公式（5）
【００５３】
そのうち、Classは、図3を基に説明した公式（3）により取得された分類結果であり、即ち、最終分類結果は、以下の公式（6）により表すことができる。
【００５４】
Class’’=w1Class1+w2Class2+…+wNClassN+λClass0    公式（6）
これにより、一方では、図3を参照して説明した方式で、全体モデルM0を含まないモデルの部分を単独で訓練することができ、他方では、全体モデルM0を単独で訓練することができる。最後に、２つの部分の各自の出力結果を融合し、訓練により、全体モデルM0のこの時の重み係数λ（即ち、全体モデルM0の、分類モデル中で全体モデルM0を含まないモデルの部分に対しての重み係数）を得ることができるが、ここでは、その詳細な説明を省略する。
【００５５】
以上、図4及び図5に基づいて本発明の実施例における信号処理方法のもう１つの例示的な処理フローを説明した。本実施例における信号処理方法により、分類モデルに全体モデルを増やすことで、サブバンド特徴の強化を行うと同時に、各サブバンド間の互いに相関する情報を保留し、分類モデルの分類正確度をより一層向上させることができる。
【００５６】
本発明のもう１つの側面では、信号処理装置が提供される。図6は、本発明の実施例における信号処理装置の１つの例示的な構成図である。
【００５７】
図6に示すように、信号処理装置600は、以下のものを含んでも良い。
【００５８】
サブバンド分割ユニット601：音声信号に基づいて得られた時間周波数領域信号に対して、周波数方向上の複数のサブバンドに従って分割を行い、各サブバンドに対応するサブバンド信号を取得し；
サブバンド信号入力ユニット603：取得されたサブバンド信号を訓練済みの分類モデルに入力し；
音声イベント分類ユニット605：分類モデルを用いて、音声信号に含まれる音声イベントのクラスを確定する。
【００５９】
本実施例における信号処理装置では、採用される分類モデルは、各サブバンドにそれぞれ対応する複数のサブバンドモデルを含み、そのうち、各サブバンドモデルは、訓練により取得された、対応するサブバンドの音声イベント分類への影響に基づいて、入力されたサブバンド信号に重みを付け、そして、重みが付けられたサブバンド信号に基づいて音声イベントに関する初期分類結果を出力する。それ相応に、分類モデルは、複数のサブバンドモデルの初期分類結果に基づいて、音声イベントに関する最終分類結果を出力する。
【００６０】
上述の信号処理装置及びその各ユニットは、例えば、図1乃至図3を基に説明した信号処理方法及びその各ステップの操作及び／又は処理を実行して同様の効果を実現することができる。ここでは、重複説明を省略する。
【００６１】
図7は、本発明の実施例における信号処理装置のもう１つの例示的な構成図である。
【００６２】
図7に示すように、本実施例における信号処理装置700と、図6の信号処理装置600との相違点は、信号処理装置700が図6に示すユニット601乃至605にそれぞれ対応するサブバンド分割ユニット701、サブバンド信号入力ユニット703、音声イベント分類ユニット705の他に、音声信号に基づいて得られた時間周波数領域信号を全体として分類モデルに入力するための信号全体入力ユニット704をさらに含むことにある。それ相応に、本実施例に採用される分類モデルは、時間周波数領域信号全体に対応する全体モデルをさらに含み、該全体モデルは、全体として入力された時間周波数領域信号に基づいて、音声イベントに関する初期分類結果を出力し、分類モデルは、複数のサブバンドモデルの初期分類結果及び全体モデルの初期分類結果に基づいて、音声イベントに関する最終分類結果を出力する。
【００６３】
上述の信号処理装置及びその各ユニットは、例えば、図4及び図5に基づいて説明した信号処理方法及びその各ステップの操作及び／又は処理を実行して同様の効果を達成することができる。ここでは、重複説明を省略する。
【００６４】
本発明の他の側面では、情報処理装置が提供される。該情報処理装置は、本発明の実施例における信号処理方法を実現することができ、それは、処理器を含み、該処理器は、次のように構成され、即ち、音声信号に基づいて得られた時間周波数領域信号に対して、周波数方向上の複数のサブバンドに従って分割を行い、各サブバンドに対応するサブバンド信号を取得し；取得されたサブバンド信号を訓練済みの分類モデルに入力し；及び、分類モデルを用いて、音声信号に含まれる音声イベントのクラスを確定するように構成される。そのうち、分類モデルは、各サブバンドにそれぞれ対応する複数のサブバンドモデルを含み、各サブバンドモデルは、訓練により取得された、対応するサブバンドの音声イベント分類への影響に基づいて、入力されたサブバンド信号に重みを付け、そして、重みが付けられたサブバンド信号に基づいて、音声イベントに関する初期分類結果を出力し、また、分類モデルは、複数のサブバンドモデルの初期分類結果に基づいて、音声イベントに関する最終分類結果を出力する。
【００６５】
情報処理装置の処理器は、例えば、図1乃至図7を基に説明した信号処理方法及びその各ステップの操作及び／又は処理を実行して同様の効果を実現することができる。ここでは、重複説明を省略する。
【００６６】
一例として、音声信号に基づいて得られた時間周波数領域信号は、スペクトログラムを含んでも良い。
【００６７】
好ましくは、各サブバンドモデルは、訓練により取得される活性化関数を用いて、対応するサブバンドの音声イベント分類への影響を表し、そのうち、前記活性化関数の入力が、対応するサブバンド信号の強度であり、前記活性化関数の出力が、該サブバンド信号の重みである。
【００６８】
好ましくは、複数のサブバンドは、周波数方向上で均一に分割される。
【００６９】
オプションとして、複数のサブバンドは、周波数方向上で音声イベントの周波数について先験的知識に基づいて分割される。
【００７０】
一例として、分類モデルでは、各初期分類結果に重みを付けることで、最終分類結果を取得する。
【００７１】
一例として、分類モデルは、畳み込みニューラルネットワークに基づくモデルを含んでも良い。
【００７２】
一例として、音声イベントのクラスを表すラベルが付けられた訓練音声データの時間周波数領域信号を用いて、訓練により分類モデルを取得することができる。
【００７３】
１つの好適な実施例では、該処理器は、さらに、音声信号に基づいて得られた時間周波数領域信号全体を前記分類モデルに入力するように構成されて良く、そのうち、前記分類モデルは、さらに、時間周波数領域信号全体に対応する全体モデルを含み、該全体モデルは、全体として入力される時間周波数領域信号に基づいて、音声イベントに関する初期分類結果を出力し、また、前記分類モデルは、複数のサブバンドモデルの初期分類結果及び全体モデルの初期分類結果に基づいて、音声イベントに関する最終分類結果を出力する。
【００７４】
図8は、本発明の実施例における信号処理方法及び装置を実現し得るハードウェアの構成図である。
【００７５】
図8では、中央処理装置（CPU）801は、ROM  802に記憶されているプログラム、又は、記憶部808からRAM  803にロードされているプログラムに基づいて、各種の処理を行う。RAM  803には、必要に応じて、CPU  801が各種の処理を実行するときに必要なデータを記憶しても良い。なお、CPU  801、ROM  802及びRAM  803は、バス804を経由して接続される。また、入力／出力インターフェース805も、バス804に接続される。
【００７６】
次のような部品は、入力／出力インターフェース805に接続され、即ち、入力部806（キーボード、マウスなどを含む）、出力部807（表示器、例えば、CRT、LCDなど、及びスピーカーなどを含む）、記憶部808（ハードディスクなどを含む）、及び通信部809（ネットワーク・インターフェース・カード、例えば、LANカード、モデムなどを含む）というような部品である。通信部809は、ネットワーク、例えば、インターネットを経由して通信処理を行う。なお、必要に応じて、ドライブ810を入力／出力インターフェース805に接続させても良い。取り外し可能な媒体811、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などは、必要に応じて、ドライブ810にセットされ、その中から読み出されたコンピュータプログラムが必要に応じて記憶部808にインスタールされるようにさせることができる。
【００７７】
ソフトウェアにより上述の一連の処理を実現する場合、ネットワーク、例えば、インターネット、又は記憶媒体、例えば、取り外し可能な媒体811から、ソフトウェアを構成するプログラムをインストールすることができる。
【００７８】
なお、当業者が理解すべきは、このような記憶媒体が図8に示すような取り外し可能な媒体811に限定されないということである。取り外し可能な媒体811は、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、ディスク（CD-ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶器を含む。又はいは、記憶媒体は、ROM  802、記憶部808中のハードディスクなどであっても良い。
【００７９】
また、本発明の実施例などによる装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行されるときに、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フレッシュメモリなどにも関する。
【００８０】
本発明は、さらに、記憶媒体を提供し、その中には、マシン可読指令コードが記憶されており、前記指令コードは、マシンにより読み出されて実行されるときに、マシンに、上述の実施例における信号処理方法を実行させることができる。前記指令コードは、指令コード部分を含み、それは、次のような処理を行うために用いられ、即ち、所定の素材集における要素からなる認証シーケンスをランダムに生成し；テスト待ちユーザが語音方式で認証シーケンスを入力するように促し、認証待ち語音シーケンスを取得し；認証待ち語音シーケンスから語音特徴を抽出し；及び、抽出された語音特徴を判別モデルに入力し、テスト待ちユーザが所定の登録ユーザであるかを判断する。そのうち、判別モデルは、登録モデルベースから選択された、それぞれ認証シーケンスの各要素に対応する複数の登録語音モデルに基づくものであり、そのうち、登録モデルベースは、それぞれ所定の素材集における各要素に対応する登録語音モデルを含み、各要素の登録語音モデルは、該要素に対応する所定のユーザの語音入力から抽出される語音特徴に基づいて単独で訓練されたものである。
【００８１】
また、以上の実施例などに関し、さらに以下のように付記を開示する。
【００８２】
（付記1）
処理器を含む情報処理装置であって、
前記処理器は、
音声信号に基づいて得られた時間周波数領域信号に対して、周波数方向上の複数のサブバンドに従って分割を行い、各サブバンドに対応するサブバンド信号を取得し；
取得されたサブバンド信号を訓練済みの分類モデルに入力し；及び
分類モデルを用いて、音声信号に含まれる音声イベントのクラスを確定するように構成され、
分類モデルは、各サブバンドにそれぞれ対応する複数のサブバンドモデルを含み、各サブバンドモデルは、訓練により取得された、対応するサブバンドの音声イベント分類への影響に基づいて、入力されたサブバンド信号に重みを付け、そして、重みが付けられたサブバンド信号に基づいて、音声イベントに関する初期分類結果を出力し、
分類モデルは、複数のサブバンドモデルの初期分類結果に基づいて、音声イベントに関する最終分類結果を出力する、装置。
【００８３】
（付記2）
付記1に記載の情報処理装置であって、
音声信号に基づいて得られた時間周波数領域信号がスペクトログラムを含む、装置。
【００８４】
（付記3）
付記1又は2に記載の情報処理装置であって、
各サブバンドモデルが、訓練により取得される活性化関数を用いて、対応するサブバンドの音声イベント分類への影響を表し、
活性化関数の入力が、対応するサブバンド信号の強度であり、活性化関数の出力が、該サブバンド信号の重みである、装置。
【００８５】
（付記4）
付記1又は2に記載の情報処理装置であって、
前記処理器は、さらに、音声信号に基づいて得られた時間周波数領域信号全体を分類モデルに入力するように構成され、
分類モデルは、さらに、時間周波数領域信号全体に対応する全体モデルを含み、該全体モデルは、全体として入力される時間周波数領域信号に基づいて、音声イベントに関する初期分類結果を出力し、前記分類モデルは、複数のサブバンドモデルの初期分類結果及び全体モデルの初期分類結果に基づいて、音声イベントに関する最終分類結果を出力する、装置。
【００８６】
（付記5）
付記1又は2に記載の情報処理装置であって、
複数のサブバンドが周波数方向上で均一に分割される、装置。
【００８７】
（付記6）
付記1又は2に記載の情報処理装置であって、
複数のサブバンドが、周波数方向上で音声イベントの周波数についての先験的知識に基づいて分割される、装置。
【００８８】
（付記7）
付記1又は2に記載の情報処理装置であって、
分類モデルでは、各初期分類結果に重みを付けることで最終分類結果を取得する、装置。
【００８９】
（付記8）
付記1又は2に記載の情報処理装置であって、
分類モデルが畳み込みニューラルネットワークに基づくモデルを含む、装置。
【００９０】
（付記9）
付記1又は2に記載の情報処理装置であって、
音声イベントのクラスを表すラベルが付けられた訓練音声データの時間周波数領域信号を用いて、訓練により分類モデルを取得する、装置。
【００９１】
（付記10）
信号処理方法であって、
音声信号に基づいて得られた時間周波数領域信号に対して、周波数方向上の複数のサブバンドに従って分割を行い、各サブバンドに対応するサブバンド信号を取得し；
取得されたサブバンド信号を訓練済みの分類モデルに入力し；及び
分類モデルを用いて、音声信号に含まれる音声イベントのクラスを確定することを含み、
分類モデルは、各サブバンドにそれぞれ対応する複数のサブバンドモデルを含み、各サブバンドモデルは、訓練により取得された、対応するサブバンドの音声イベント分類への影響に基づいて、入力されたサブバンド信号に重みを付け、重みが付けられたサブバンド信号に基づいて、音声イベントに関する初期分類結果を出力し、
分類モデルは、複数のサブバンドモデルの初期分類結果に基づいて音声イベントに関する最終分類結果を出力する、方法。
【００９２】
（付記11）
付記10に記載の信号処理方法であって、
音声信号に基づいて得られた時間周波数領域信号がスペクトログラムを含む、方法。
【００９３】
（付記12）
付記10又は11に記載の信号処理方法であって、
各サブバンドモデルが、訓練により取得される活性化関数を用いて、対応するサブバンドの音声イベント分類への影響を表し、
活性化関数の入力が、対応するサブバンド信号の強度であり、活性化関数の出力が、該サブバンド信号の重みである、方法。
【００９４】
（付記13）
付記10又は11に記載の信号処理方法であって、
音声信号に基づいて得られた時間周波数領域信号全体を分類モデルに入力することをさらに含み、
分類モデルは、さらに、時間周波数領域信号全体に対応する全体モデルを含み、該全体モデルは、全体として入力される時間周波数領域信号に基づいて、音声イベントに関する初期分類結果を出力し、分類モデルは、複数のサブバンドモデルの初期分類結果及び全体モデルの初期分類結果に基づいて、音声イベントに関する最終分類結果を出力する、方法。
【００９５】
（付記14）
付記10又は11に記載の信号処理方法であって、
複数のサブバンドが周波数方向上で均一に分割される、方法。
【００９６】
（付記15）
付記10又は11に記載の信号処理方法であって、
複数のサブバンドが周波数方向上で音声イベントの周波数についての先験的知識に基づいて分割される、方法。
【００９７】
（付記16）
付記10又は11に記載の信号処理方法であって、
分類モデルでは、各初期分類結果に重みを付けることで最終分類結果を取得する、方法。
【００９８】
（付記17）
付記10又は11に記載の信号処理方法であって、
分類モデルが畳み込みニューラルネットワークに基づくモデルを含む、方法。
【００９９】
（付記18）
付記10又は11に記載の信号処理方法であって、
音声イベントのクラスを示すラベルが付けられた訓練音声データの時間周波数領域信号を用いて、訓練により分類モデルを取得する、方法。
【０１００】
（付記19）
マシン（コンピュータ）可読指令コードが記憶されている記憶媒体であって、
前記指令コードは、マシンにより読み出されて実行されるときに、マシンに、信号処理方法を実行させることができ、この信号処理方法は、付記１に記載の信号処理方法である、記憶媒体。
【０１０１】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。
【図１】
2020126227.tif 000010
【図２】
2020126227.tif 000011
【図３】
2020126227.tif 000012
【図４】
2020126227.tif 000013
【図５】
2020126227.tif 000014
【図６】
2020126227.tif 000015
【図７】
2020126227.tif 000016
【図８】
2020126227.tif 000017