(57)【要約】【課題】本発明は、語音を分離する方法を提供する。【解決手段】かかる方法は、少なくとも１つの畳み込みフィルターを用いて、語音データに対して第一畳み込み演算を行い；第一畳み込み演算後のデータに対してダウンサンプリングを行い；活性化関数を用いて、ダウンサンプリング後のデータを処理し；活性化関数により処理された後のデータに対して第二畳み込み演算を行い；少なくとも１つのディープニューラルネットワークモデルを用いて、第二畳み込み演算後のデータとスピーカーとの間の対応関係を認識し；対応関係に基づいて、スピーカーに対応するデータを抽出し；全結合層を用いて、抽出されたデータを処理し；及び、全結合層により処理された後のデータに対してそれぞれ第二畳み込み演算の逆演算及び第一畳み込み演算の逆演算を行い、スピーカーに対応する語音データを生成することを含む。【選択図】図２
2020071482.tif 000002
【特許請求の範囲】
【請求項１】
語音を分離する方法であって、
カーネルに基づく少なくとも１つの畳み込みフィルターを用いて、語音データに対して第一畳み込み演算を行い；
前記第一畳み込み演算が行われた後のデータに対してダウンサンプリングを行い；
活性化関数を用いて、前記ダウンサンプリングが行われた後のデータを処理し;
前記活性化関数により処理された後のデータに対して第二畳み込み演算を行い;
少なくとも１つのディープニューラルネットワークモデルを用いて、前記第二畳み込み演算が行われた後のデータと、スピーカーとの間の対応関係を認識し；
前記対応関係に基づいて、前記スピーカーに対応するデータを抽出し；
全結合層を用いて、抽出されたデータを処理し；及び
前記全結合層により処理されたデータに対して、それぞれ、前記第二畳み込み演算の逆演算及び前記第一畳み込み演算の逆演算を行い、前記スピーカーに対応する語音データを生成する、方法。
【請求項２】
請求項1に記載の方法であって、
前記ダウンサンプリング処理は、プーリングである、方法。
【請求項３】
請求項1に記載の方法であって、
前記活性化関数は、整流線形関数である、方法。
【請求項４】
請求項1に記載の方法であって、
２つのディープニューラルネットワークモデルを順次用い、前記第二畳み込み演算後のデータとスピーカーとの間の対応関係を認識する、方法。
【請求項５】
請求項1〜4のうちの任意の1項に記載の方法であって、
前記ディープニューラルネットワークモデルは、長・短期記憶ネットワークである、方法。
【請求項６】
請求項1〜4のうちの任意の1項に記載の方法であって、
前記対応関係は、前記第二畳み込み演算後のデータと、複数のスピーカーとの複数の対応関係を含む、方法。
【請求項７】
請求項1〜4のうちの任意の1項に記載の方法であって、
前記スピーカーの語音の特性に基づいて、使用される畳み込みフィルターの数及びカーネルを確定する、方法。
【請求項８】
語音分離モデルを訓練する方法であって、
前記語音分離モデルは、ディープニューラルネットワークモデル及びカーネルに基づく少なくとも１つの畳み込みフィルターを含み、
前記方法は、
スピーカーに対応する第一語音データを取得し；
少なくとも前記スピーカーを音源として含む第二語音データを合成し；及び
前記語音分離モデルの入力としての前記第一語音データと、前記語音分離モデルの出力としての第二語音データとを用いて、前記ディープニューラルネットワークモデル及び前記カーネルに基づく少なくとも１つの畳み込みフィルターに対して訓練を行うことを含み、
前記カーネルに基づく少なくとも１つの畳み込みフィルターは、前記第二語音データに対してフィルタリング処理を行うために用いられ、前記ディープニューラルネットワークモデルは、前記スピーカーに対応する中間データを認識するために用いられる、方法。
【請求項９】
請求項8に記載の方法であって、
前記スピーカーの語音の特性に基づいて、前記畳み込みフィルターの数及びカーネルを確定する、方法。
【請求項１０】
コンピュータに、請求項1〜9の任意の1項に記載の方法を実行させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、語音分離方法、語音分離モデル訓練方法及びコンピュータ可読媒体に関する。
【背景技術】
【０００２】
語音分離の目標がターゲット語音を、干渉する背景から分離することである。信号処理では、語音分離が基本的なタスク類型に属し、応用範囲が広く、例えば、補聴器設計、移動通信、音声情報検索、自動語音、スピーカー（話す人）識別などが挙げられる。人類の聴覚システムは、ある人の音声と他の人の音声とを簡単に分離することができる。たとえ非常にうるさい環境であっても、人の話し声及び環境の騒音の中で、特定人物の話す内容を識別することができる。よって、語音分離問題が通常、カクテルパーティー問題（cocktail  party  problem）と称される。マシンに基づく語音分離とは、コンピュータ及び他の装置を用いてターゲット語音と、背景騒音による干渉とを分ける問題を指す。１つのマイクホン又は他のソースを用いて行われる入力により実現されるモノラル語音分離は、多くのリアル世界での応用の核心である。しかし、数十年努力しても、モノラル語音分離は、依然として、信号及び語音処理における最も重要な挑戦の１つである。
【０００３】
従来の語音分離アルゴリズムが、語音強調及びビームフォーミングの２種類に分けられる。語音強調は、主に信号処理に基づく方法であり、それは、語音及び騒音の広範囲統計に基づいてターゲット語音を推定し、ビームフォーミングは、センサー又はマイクホンアレイを使用することにより実現される。
【０００４】
近年、ニューラルネットワークの流行に伴って、ニューラルネットワークを用いた語音分離の試みもなされている。実験の結果によれば、ニューラルネットワークは、他の代替案よりも良い効果を有する。
【０００５】
しかし、ニューラルネットワークを採用する従来の語音分離案は、非常に複雑な騒音がある環境について言えば、往々にして、ターゲット語音の正確な分離を行うことができず、また、通常、複雑度が高いため、例えば、エンドツーエンド（end  to  end）応用のリアルタイムの要求を満たすことができない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、良好な語音分離効果を有する新しい語音分離方法、語音分離モデル訓練方法及びコンピュータ可読媒体を提供することにある。従来技術に比べ、本発明による新しい語音分離案は、エンドツーエンド応用のリアルタイムの要求を満足することができ、且つ高い分離正確度を有する。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、本発明の一側面によれば、語音分離方法が提供され、それは、カーネルに基づく少なくとも１つの畳み込みフィルターを用いて、語音データに対して第一畳み込み演算を行い；第一畳み込み演算が行われた後のデータに対してダウンサンプリングを行い；活性化関数を用いて、ダウンサンプリングが行われた後のデータを処理し；活性化関数により処理された後のデータに対して第二畳み込み演算を行い；少なくとも１つのディープニューラルネットワークモデルを用いて、第二畳み込み演算が行われた後のデータと、スピーカー（話す人）との間の対応関係を認識し；対応関係に基づいて、スピーカーに対応するデータを抽出し；全結合層を用いて、抽出されたデータを処理し；及び、全結合層により処理された後のデータに対して、それぞれ、第二畳み込み演算の逆演算及び第一畳み込み演算の逆演算を行うことで、スピーカーに対応する語音データを生成することを含む。
【０００８】
本発明の他の側面によれば、語音分離モデルの訓練方法が提供され、該語音分離モデルは、ディープニューラルネットワークモデル及びカーネルに基づく少なくとも１つの畳み込みフィルターを含み、該方法は、スピーカーに対応する第一語音データを取得し；少なくともスピーカーを音源として含む第二語音データを合成し；及び、語音分離モデルの入力としての第一語音データ、及び、語音分離モデルの出力としての第二語音データを用いて、前記ディープニューラルネットワークモデル及びカーネルに基づく少なくとも１つの畳み込みフィルターに対して訓練を行うことを含み、そのうち、カーネルに基づく少なくとも１つの畳み込みフィルターは、第二語音データに対してフィルタリング処理を行うために用いられ、ディープニューラルネットワークモデルは、スピーカーに対応する中間データを認識するために用いられる。
【０００９】
本発明の他の側面によれば、コンピュータ可読プログラム指令を記憶したコンピュータ可読媒体がさらに提供され、前記プログラム指令は、コンピュータにより実行されるときに、上述のような語音分離方法又は語音分離モデルの訓練方法を実現することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例におけるエンドツーエンドの語音分離システムを示す図である。
【図２】本発明の実施例における語音分離モデルの訓練システムを示す図である。
【図３】本発明の実施例における語音分離方法のフローチャートである。
【図４】本発明の実施例における語音分離モデルの訓練方法のフローチャートである。
【図５】図1に示すような語音分離システム及び図2に示すような語音分離モデルの訓練システムにおけるLSTMを示すブロック図である。
【図６】本発明の実施例による情報処理装置及び情報処理方法を実現し得る汎用マシンの概略構成図である。
【発明を実施するための形態】
【００１１】
以下、添付した図面を参照しながら、本開示を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本開示を限定するものでない。
【００１２】
図1は、本発明の実施例におけるエンドツーエンドの語音分離システムを示す図である。
【００１３】
まず、エンドツーエンドの意味について説明する。語音分離に類似した語音認識システムを例とし、訓練のレベルでは、従来の語音識別システムは、例えば、音響モデル、発音辞書、言語モデルなどの複数のモデルからなる。そのうち、音響モデル及び言語モデルは、訓練により得られたものである。これらのモデルの訓練は、通常、独立して行われるが、各モデルは、異なる目的関数を有し、例えば、音響モデルの訓練目的は、訓練語音の認識の確率を最大化することにあり、言語モデルの訓練目的は、語音間のコンフュージョン（confusion）を最小化することにある。異なる訓練目的を実現するための各モデルが訓練時に情報を共用することができず、また、訓練される目的関数と、システム全体のパフォーマンス指標との間に偏差があるので、このように訓練されたネットワークは、往々にして、最適なパフォーマンスを達成することができない。また、各モデルが独立してワーキングするため、訓練時及び認識時に往々にして遅延が存在する。このような問題を解決するための方法は、エンドツーエンド訓練を含み、語音認識について言えば、エンドツーエンド訓練とは、言語モデルを訓練した後に、例えば、音響モデルと言語モデルとを組み合せてから、目的関数を以て音響モデルを訓練することを指す。音響モデル訓練時にシステム全体の出力を計算する必要があるので、エンドツーエンド訓練と称する。これで分かるように、このような方法により問題を完全に解決することができず、何故なら、言語モデルが依然として独立して訓練されるからである。そこで、エンドツーエンドモデルが現れ、エンドツーエンドモデルについて言えば、システム中で独立した音響モデル、発音辞書、言語モデルなどのモデルが存在せず、入力端（語音波形又は特徴シーケンス）から出力端（シーケンス）までは、１つのニューラルネットワークにより直接接続され、ニューラルネットワークにより、元の全てのモデルの全部の機能を実現する。
【００１４】
図1に示すように、本発明の実施例における語音分離案は、エンドツーエンドの技術案であり、入力される語音データが訓練済みのトータルモデルを経た後に、分離される語音データが得られる。なお、該トータルモデルが同時に訓練される各モデルを含むから、モデル訓練の角度から言えば、本発明の実施例における語音分離モデルは、エンドツーエンドモデルである。
【００１５】
また、応用の角度から見ると、例えば、会議の場面を例とし、会議中でそれぞれマイクホンを持つ複数の人が同時に話す場合があり、採集された、複数の人の語音を含む語音データが、図1に示すようなシステムの入力端から入力され、トータルモデルにより処理された後に、出力端で、分離された、複数の人にそれぞれ属する語音データを得ることができる。よって、応用のレベルから言えば、図1に示す語音分離システムは、エンドツーエンドのリアルタイムな語音分離を実現することができ、エンドツーエンドの語音分離システムである。
【００１６】
以下、図1に示す語音分離システムに用いる語音分離モデルの構成について説明する。そのうち、100は、入力される、少なくとも１つのスピーカーの語音を含む語音データである。101は、カーネルに基づくP個の畳み込みフィルターであり、入力された語音データに対して第一畳み込み演算を行うために用いられ、そのうち、Pは、1よりも大きい整数である。102は、第一畳み込み演算後に得られた中間データである。103は、ダウンサンプリング及び活性化層であり、ここに示されるダウンサンプリング処理は、Pooling処理であり、活性化関数は、整流線形関数Reluである。もちろん、図1に示す処理は、例示に過ぎず、当業者は、同じ又は類似機能を実現し得る他の方法を採用しても良い。104は、第二畳み込み演算処理である。105及び106は、２つの長・短期記憶ネットワークLSTMを示している。なお、本発明の実施例における語音分離方法及び語音分離システムは、２つの長・短期記憶ネットワークLSTMを採用することに限られず、１つ又は３つ以上のLSTMを採用しても良い。もちろん、図1に示す処理は、例示に過ぎず、また、長・短期記憶ネットワークLSTMを採用することに限定されず、類似又は同じ機能を実現し得る他の類型のディープニューラルネットワークを採用しても良い。107は、全結合層（fully  connected  layers、FC）であり、それは、ネットワーク全体の中で分類器の作用（役割）を果たし、訓練により学習された分散的特徴表現をサンプル空間にマッピングするために用いられる。108及び109は、２つの逆畳み込み層であり、そのうち、108中の逆畳み込み演算は、104の第二畳み込み演算に対応する逆演算であり、109中の逆畳み込み演算は、101の第一畳み込み演算に対応する逆演算である。101〜109を含む語音分離モデルを経た後に、分離後の語音110及び111が出力される。なお、本発明の実施例における語音分離方法及び語音分離システムは、図1に示すような２人の語音を出力することに限られず、１人又は３人以上の語音を出力しても良い。もちろん、図１に示す処理は、例示に過ぎない。112は、P個のシーケンスからなるフレーム表現である。なお、該フレーム表現は、P個のシーケンスのうちの各シーケンス間の相違点を示すためだけのものであり、後続の処理に用いられない。
【００１７】
図2は、本発明の実施例における語音分離モデルの訓練システムを示す図である。図2に示すような語音分離モデルの訓練システムにより訓練されたモデルは、図1に示すような語音分離システムに用いてエンドツーエンドの語音分離を実現することができる。
【００１８】
以下、図2に示す語音分離モデルの訓練システムにおける語音分離モデル訓練の構成について説明する。そのうち、語音データ212及び213は、予め採集された、異なるスピーカーからの語音データである。語音データ212及び213の一部をサンプルとして切り取る。なお、該切り取り操作を経た語音データは、後続の損失値の計算のために用いられる。語音データ214は、語音データ212及び213を合成して得られた語音データである。語音データ200は、語音データ212及び213に対して切り取り操作を行うときに使用される時間窓と同じ切り取り時間窓を用いて、合成された語音データ214に対して切り取り操作を行うことで得られたデータである。フィルターグループ201は、カーネルに基づくP個の畳み込みフィルターを含み、入力待ちの語音データ200に対して第一畳み込み演算を行うために用いられる。中間データ202は、第一畳み込み演算後に得られた中間データである。203は、ダウンサンプリング及び活性化層であり、ここに示されるダウンサンプリング処理は、Pooling処理であり、活性化関数は、整流線形関数Reluである。もちろん、図2に示す処理は、例示に過ぎず、当業者は、同じ又は類似機能を実現し得る他の方法を採用しても良い。204は、第二畳み込み演算処理を行うための畳み込み層である。205及び206は、２つの長・短期記憶ネットワークLSTMを示している。なお、本発明の実施例における語音分離方法及び語音分離システムは、２つの長・短期記憶ネットワークLSTMを採用することに限られず、１つ又は３つ以上のLSTMを採用しても良い。もちろん、図1に示す処理は、例示に過ぎず、また、長・短期記憶ネットワークLSTMを採用することに限定されず、類似又は同じ機能を実現し得る他の類型のネットワークを採用しても良い。207は、全結合層（fully  connected  layers、FC）であり、それは、ネットワーク全体の中で分類器の作用（役割）を果たし、訓練により学習された分散的特徴表現をサンプル空間にマッピングするために用いられる。208及び209は、２つの逆畳み込み層であり、そのうち、208中の逆畳み込み演算は、204の第二畳み込み演算に対応する逆演算であり、209中の逆畳み込み演算は、フィルターグループ201に用いられる第一畳み込み演算に対応する逆演算である。201〜209を含む語音分離モデルを経た後に、初期分離後の語音210及び211が出力される。なお、本発明の実施例における語音分離訓練方法及びシステムは、図2に示すような２人の語音を訓練することに限られず、１人又は３人以上の語音を訓練しても良い。もちろん、図2に示す処理は、例示に過ぎない。初期分離後の語音210と211、及び予め採集された、異なるスピーカーからの語音データ212と213に基づいて、損失関数215により出力される損失値を計算し、反復法で該損失値を減少させて該語音分離モデルを訓練することにより、図1に示すような語音分離システムに用いてエンドツーエンドの語音分離を実現する語音分離モデルを得ることができる。
【００１９】
図3は、本発明の実施例における語音分離方法のフローチャートである。
【００２０】
ステップ301では、分離待ちのスピーカーの音声の語音データを受信し、この語音データは、リアルタイムに受信されたデータ、予め採集されて記憶されたデータ、通信を経由してリアルタイムに得られたデータ、通信により伝送されて記憶されたデータなどを含んでも良いが、これに限定されない。採集の場合、該語音データは、例えば、マイクホンのような語音採集装置により採集され、音声処理（例えば、AD変換、圧縮）された後に得られたサンプリングデータであっても良く、そのうち、サンプリング後のデータは、時間上で離散したものであっても良い。該ステップでは、連続した長時間の語音を受信し、その後、その中の語音内容の特性に基づいて、該語音に対して適切に切り取っても良く、例えば、話す必要がない人と区別するための語音特徴が十分に含まれるかどうかに基づく。或いは、語音を採集し、それに対して切り取り操作を行わなくても良い。
【００２１】
ステップ302では、カーネルに基づく少なくとも１つの畳み込みフィルターを用いて、ステップ301における処理により得られた語音データに対して第一畳み込み演算を行う。通常の場合、語音分離は、時間周波数分析後の語音スペクトルに基づいて行われ、そのうち、語音スペクトルは、構造的特徴を有する。語音分離の正確率を向上させるために、語音信号の多様性、例えば、スピーカーの多様性(スピーカー自身及びスピーカー間)、環境の多様性などを克服する必要がある。カーネルに基づく畳み込みフィルターが時間及び空間上の移動不変性畳み込みを提供し得るので、畳み込みフィルターを用いることにより、畳み込みの不変性を用いて語音信号自身の多様性を克服することができる。この角度から見れば、語音信号全体を分析することで得られた語音スペクトルを１つの画像とし、処理を行うと見なしても良く、画像に広範囲に応用されるカーネルに基づく畳み込みフィルターを採用してそれを認識することが有効である。なお、畳み込みフィルターのカーネル及び畳み込みフィルターの数は、反復法に基づく学習により確定され得る。発明者が次のようなことを発見した。即ち、畳み込みフィルターを含むトータルモデルに対して訓練を行い、特に、LSTMを訓練すると同時に畳み込みフィルターのカーネル及び数に対して訓練を行うことで語音分離の正確率を向上させることができ、これも、本発明の利点の１つである。ステップ302では、入力される語音データがM個のサンプリング点を有し、畳み込みフィルターの畳み込みカーネルがN×Nであるとする場合、P個の畳み込みフィルターの処理後に図1に示すようなP個のシーケンスを取得することができ、各シーケンスがM〜N+1個の要素を含み、図1における112は、このP個の時間領域シーケンスからなるフレーム表現を示している。なお、該フレーム表現は、P個のシーケンスのうちの各シーケンス間の相違点を示すためだけのものであり、後続の処理に用いられない。
【００２２】
ステップ303では、畳み込みフィルタリング処理が行われた後のデータに対してダウンサンプリングを行い、また、活性化関数を用いて、ダウンサンプリングが行われた後のデータを処理する。本発明の一実施例によれば、ダウンサンプリングは、Pooling処理であっても良く、活性化関数は、整流線形関数Reluであっても良い。以下、Pooling処理及びReluについて簡単に説明する。畳み込みにより特徴を得た後に、その後、これらの特徴を用いて分類を行うことが望まれる。理論上は、抽出された全ての特徴を用いて分類器を訓練することができるが、実際には、計算量が膨大になってしまう問題がある。大量の特徴の入力を有する分類器を学習することが容易ではなく、また、過剰適合(over‐fitting)も生じやすい。このような問題を解決するとともに、データ量が比較的大きい語音を表現するために、異なる位置の特徴に対して集約統計を行うことが考えられ、例えば、１つの領域上のある特定特徴の平均値(又は最大値)を計算しても良い。これらの概略統計特徴は、(抽出された全ての特徴を用いる場合に比べ)比較的低い次元を有するとともに結果を改善することもできる(過剰適合が生じにくい)。このような集約の操作は、プーリングであり、平均プーリング又は最大プーリング(プーリング計算方法による)と称される場合もある。整流線形関数（Rectified  Linear  Unit、Relu）は、修正線形ユニットとも言い、人工ニューラルネットワークに良く用いられる活性化関数であり、通常、ランプ関数及びその変種を代表とする非線形関数を指す。従来のニューラルネットワーク活性化関数、例えば、論理関数やtanhなどの双曲線関数に比べ、整流線形関数は、次のような優れた点を有し、即ち、生物模倣の原理に合致しており；効率がより良い勾配下降及びバックプロパゲーションを有し、勾配消失などの問題を避けることができ；計算プロセスを簡略化することができ、他の複雑な活性化関数のうちの例えば指数関数の影響がなく、また、活躍度の分散性によりニューラルネットワーク全体の計算コストを低減することができる。ステップ303における上述のような処理を経た後に、ステップ304では、活性化関数により処理された後のデータに対して第二畳み込み演算を行い、そして、その結果をLSTMの入力とする。
【００２３】
ステップ305では、少なくとも１つのディープニューラルネットワークモデル例えばLSTMを用いて、第二畳み込み演算が行われた後のデータと、スピーカーとの間の対応関係を認識し、そして、対応関係に基づいて、スピーカーに対応するデータを抽出する。
【００２４】
その後、ステップ306では、全結合層を用いて、抽出されたデータを処理する。
【００２５】
ステップ307では、全結合層により処理された後のデータに対して、それぞれ、第二畳み込み演算の逆演算及び第一畳み込み演算の逆演算を行い、推定される、スピーカーに対応する語音データを生成する。
【００２６】
図4は、本発明の実施例における語音分離モデルの訓練方法のフローチャートである。
【００２７】
ステップ401では、複数のスピーカーからの語音データを取得し、訓練の正確度を保証するために、取得される語音データは、背景の噪音ができるだけ少ない語音データを選択し、これにより、訓練されるモデルが異なる場面のスピーカーの語音分離に適するようにさせることができる。
【００２８】
ステップ402では、ステップ401において得られた、複数のスピーカーからの語音データに対して混合を行い、ここで、混合は、同一期間内で複数の語音データに対しての重ね合わせ処理であっても良いが、複数の語音データのつなぎ合わせ処理ができるだけ行われない（このような処理がモデル訓練に不利である）。
【００２９】
ステップ403では、所定の時間窓を用いて、ステップ402において得られた合成語音データに対して切り取り操作を行い、そして、切り取った語音データを訓練待ちの語音分離モデルに入力する。
【００３０】
ステップ404では、カーネルに基づく少なくとも１つの畳み込みフィルターを用いて、入力された合成語音データに対して第一畳み込み演算を行う。通常の場合、語音分離の正確率を向上させるために、語音信号の多様性、例えば、スピーカーの多様性(スピーカー自身及びスピーカー間)、環境の多様性などを克服する必要がある。カーネルに基づく畳み込みフィルターが時間及び空間上の移動不変性畳み込みを提供し得るため、畳み込みフィルターにより、畳み込みの不変性を用いて語音信号自身の多様性を克服することができる。この角度から見ると、語音信号全体を分析することで得られた語音スペクトルを１つの画像とし、処理を行うと見なしことができ、画像に広範囲に応用されるカーネルに基づく畳み込みフィルターを用いてそれを認識することが有効である。なお、畳み込みフィルターのカーネル及び畳み込みフィルターの数は、反復法に基づく学習により確定され、また、LSTMモデルと同時に訓練される。発明者が次のようなことを発見した。即ち、畳み込みフィルターを含むトータルモデルに対して訓練を行い、特に、LSTMを訓練すると同時に畳み込みフィルターのカーネル及び数に対して訓練を行うことにより、語音分離の正確率を向上させることができ、これも、本発明の利点の１つである。ステップ405では、入力される語音データがM個のサンプリング点を有し、畳み込みフィルターの畳み込みカーネルがN×Nであるとする場合、P個の畳み込みフィルターの処理後に図2に示すようなP個のシーケンスを得ることができ、各シーケンスは、M〜N+1個の要素を含み、図2における216は、このP個の時間領域シーケンスからなるフレーム表現を示している。なお、該フレーム表現は、例示に過ぎず、P個のシーケンスのうちの各シーケンス間の相違点を示すためだけのものであり、後続の処理に用いられない。
【００３１】
ステップ405では、畳み込みフィルタリング処理後のデータに対してダウンサンプリングを行い、また、活性化関数を用いて、ダウンサンプリングが行われた後のデータを処理する。本発明の一実施例によれば、ダウンサンプリングは、プーリング（Pooling）処理であっても良く、活性化関数は、整流線形関数Reluであっても良い。畳み込みにより特徴を得た後に、その後、これらの特徴を用いて分類を行うことが望ましい。理論上は、抽出された全ての特徴を用いて分類器を訓練することができるが、実際には、計算量が膨大になってしまう問題がある。大量の特徴の入力を有する分類器を学習することがとても不便であり、また、過剰適合も生じやすい。このような問題を解決するとともに、データ量が比較的大きい語音を表現するために、異なる位置の特徴に対して集約統計を行うことが考えられ、例えば、１つの領域上のある特定特徴の平均値(又は最大値)を計算しても良い。これらの概略統計特徴は、(抽出された全ての特徴を用いる場合に比べ)比較的低い次元を有し、また、結果を改善することもできる(過剰適合が生じにくい)。このような集約の操作は、プーリングと称され、平均プーリング又は最大プーリング(プーリング計算方法による)と称される場合もある。整流線形関数は、修正線形ユニットとも言い、人工ニューラルネットワークに良く用いられる活性化関数であり、通常、ランプ関数及びその変種を代表とする非線形関数を指す。従来のニューラルネットワーク活性化関数、例えば、論理関数やtanhなどの双曲線関数に比べ、整流線形関数は、次のような利点を有し、即ち、生物模倣の原理に合致しており；効率がより良い勾配下降及びバックプロパゲーションを有し、勾配消失などの問題を避けることができ；計算プロセスを簡略化することができ、他の複雑な活性化関数のうちの例えば指数関数の影響がなく、また、活躍度の分散性によりニューラルネットワーク全体の計算コストを低減することができる。ステップ405における上述のような処理を経た後に、ステップ406では、活性化関数により処理された後のデータに対して第二畳み込み演算を行い、その結果をLSTMの入力とする。
【００３２】
ステップ407では、少なくとも１つのディープニューラルネットワークモデル例えばLSTMを用いて、第二畳み込み演算が行われた後のデータと、スピーカーとの間の対応関係を認識し、そして、対応関係に基づいて、スピーカーに対応するデータを抽出する。
【００３３】
その後に、ステップ408では、全結合層を用いて、抽出されたデータを処理する。
【００３４】
ステップ409では、全結合層により処理された後のデータに対して、それぞれ、第二畳み込み演算の逆演算及び第一畳み込み演算の逆演算を行い、推定される、スピーカーに対応する語音データを生成する。
【００３５】
ステップ410では、語音分離モデルの入力としてのステップ401における複数のスピーカーからの語音データと、語音分離モデルの出力としてのステップ409において生成された語音データとに基づいて、LSTM及びカーネルに基づくP個の畳み込みフィルターを含む語音分離モデルに対して訓練を行い、そのうち、訓練プロセスは、スピーカーの語音の特性に基づいて、畳み込みフィルターの数P及びカーネルを確定することを含む。
【００３６】
ステップ410では、LSTM及びカーネルに基づくP個の畳み込みフィルターを含む語音分離モデルに対して訓練を行うことは、具体的には、ステップ410において得られた、初期分離後の語音と、予め採集された、異なるスピーカーからのターゲット語音データとに基づいて、損失関数により出力される損失値を計算し、そして、該損失値に基づいて語音分離モデルを更新する。なお、ニューラルネットワークに対しての訓練時に採用される損失関数は、周知の損失関数を採用しても良いので、ここでは、その詳しい説明を省略する。
【００３７】
上述のステップ403〜410を反復して次第に損失関数の損失値を減少させることで該語音分離モデルを訓練し、損失値が所定の閾値以下に達しているときに、語音分離モデルの訓練を終了しても良い。
【００３８】
図4に示すような語音分離モデルの訓練方法により得られた語音分離モデルは、図1に示すような語音分離システムに用いてエンドツーエンドの語音分離を実現することができる。
【００３９】
以下、本発明の実施例におけるディープニューラルネットワークLSTMについて説明する。
【００４０】
図5は、図1に示すような語音分離システム及び図2に示すような語音分離モデルの訓練システムにおけるLSTMのブロック図である。長・短期記憶ネットワークLSTMは、回帰型ニューラルネットワーク（Recurrent  Neuron  Network）の一種であり、回帰型ニューラルネットワークRNNは、シーケンスデータに対してモデリングしたニューラルネットワークである。従来のニューラルネットワークモデルでは、入力層→隠れ層→出力層であり、層と層との間は、全接合であり、各層間のノードは、結合無しである。しかし、このような一般的なニューラルネットワークは、多くの問題の解決に無力である。例えば、ある文の次の１つの単語を予測するときに、一般的に、その前の単語を用いる必要があり、何故なら、１つの文における前後する単語が独立したものでないからである。RNNが回帰型ニューラルネットワークと称される理由は、１つのシーケンスの現在の出力がその前の出力にも関係があるということである。具体的な表現形式は、ネットワークが、その前の情報を記憶することで現在の出力の計算に用い、即ち、隠れ層間のノードは、結合無しでなく、互いに結合されるようになり、隠れ層の入力は、入力層の出力のみならず、その前の時刻の隠れ層の出力をも含む。
【００４１】
全ての  RNNは、重複した、ニューラルネットワークモジュールのチェーンの形式を有する。標準的なRNNでは、このような重複したモジュールが１つのみの簡単な構造を有し、例えば、１つのtanh層を有する。LSTMも、同様に、このような構造であるが、重複したモジュールは、１つの異なる構造を有する。単一のニューラルネットワーク層とは異なり、特定の方式でインタラクションを行うものである。
【００４２】
LSTMニューラルネットワークは、時間回帰型ニューラルネットワーク（RNN）であり、それは、時間シーケンスにおける間隔及び遅延が非常に長い重要なイベントの処理及び予測に適する。LSTMニューラルネットワークは、当業者にとって周知であるため、本文では、本発明の実施例における応用について説明するが、その原理についての更なる詳細な説明を省略する。
【００４３】
本発明の各実施例中でLSTMが採用される理由は、LSTMはRNNの優れた変種モデルの１つであり、大部分のRNNモデルの特性を継続しており、また、勾配逆伝播過程で徐々に減少することによる勾配消失の問題を解決することができる。よって、LSTMは、時間シーケンスに係る問題の処理に非常に適し、実験の結果によれば、LSTMは、本発明の各実施例中でトータルモデルの一部とすることで、分離の正確度を向上させることができた。なお、本発明の実施例では、２つのLSTMを用いて、リアルタイムの保証及び分離の正確度の向上を実現しているが、２つのLSTMに限られず、１つ又は３つ以上のLSTMを使用しても良い。
【００４４】
図6は、本発明の実施例による情報処理装置及び情報処理方法を実現し得る汎用マシン00の概略構造図である。汎用マシン700は、例えば、コンピュータシステムであっても良い。なお、汎用マシン700は、例示に過ぎず、本発明による方法及び装置の使用範囲又は機能について限定するものでない。
【００４５】
図6では、中央処理装置（CPU）701は、ROM  702に記憶されているプログラム又は記憶部708からRAM  703にロードされているプログラムに基づいて各種の処理を行う。RAM  703では、さらに、CPU  701が各種の処理などを実行するときに必要なデータを記憶しても良い。CPU  701、ROM  702、及びRAM  703は、バス704により互いに接続される。入力／出力インターフェーズ705がバス704に接続される。
【００４６】
また、次のような部品も入力／出力インターフェース705に接続され、即ち、入力部606（キーボード、マウスなどを含む）、出力部707（表示器、例えば、CRT、LCDなど、及びスピーカーなどを含む）、記憶部708（ハードディスクなどを含む）、及び通信部709（ネットワーク・インターフェース・カード、例えば、LANカード、モデムなどを含む）というような部品である。通信部709は、ネットワーク、例えば、インターネットを経由して通信処理を行う。なお、必要に応じて、ドライブ710を入力／出力インターフェース705に接続させても良い。取り外し可能な媒体711、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などは、必要に応じて、ドライブ710にセットされ、その中から読み出されたコンピュータプログラムが必要に応じて記憶部708にインスタールされるようにさせることができる。
【００４７】
また、本開示は、さらに、マシン可読指令コードを含むプログラムプロダクトを提供する。このような指令コードは、マシンにより読み取られて実行されるときに、上述の本開示の実施形態における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリー（carry）する、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（CD〜ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶器などの各種記憶媒体も、本開示に含まれる。
【００４８】
上述の記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。
【００４９】
また、本開示の上述の方法における各操作（処理）は、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムの方式で実現することもできる。
【００５０】
なお、以上、本開示の実施例における方法の機能配置について説明したが、これは、例示に過ぎず、当業者は、本開示の原理に基づいて上述の実施例に対して変更・変形を行っても良い。例えば、各実施例中の機能ブロックに対して追加、削除又は組み合わせを行っても良いが、これらは、全て、本開示の範囲に属する。
【００５１】
また、本開示は、さらに、記憶媒体及びプログラムプロダクトを提供する。本開示の実施例における記憶媒体及びプログラムプロダクト中のマシン実行可能な指令は、上述のような方法を実行するように構成されても良い。よって、ここで詳細に説明されない内容は、上述の対応する部分の記載を参照することができ、ここでは、その重複記載を省略する。
【００５２】
さらに、本開示の目的は、次のような方式で実現されても良く、即ち、上述の実行可能なプログラムコードを含む記憶媒体を直接又は間接的にシステム又は機器に提供し、該システム又は機器中のコンピュータ又は中央処理ユニット（CPU）は、上述のプログラムコードを読み取って実行することである。このときに、該システム又は機器はプログラムを実行し得る機能を有すれば良い。なお、本開示の実施例は、プログラムに限定されず、また、該プログラムは、任意の形式のものであっても良く、例えば、オブジェクトプログラム、インタプリタ実行のプログラム、又は、オペレーティングシステムに提供するスクリプトプログラムなどであっても良い。
【００５３】
これらのマシン可読記憶媒体は、各種の記憶デバイス、記憶ユニット、半導体記憶装置、ディスクユニット、例えば、光、磁気、及び光磁気ディスク、並びに、記憶情報を記憶し得る他の媒体などを含んでも良いが、これに限定されない。
【００５４】
また、コンピュータがインターネット上のウェブサイトにアクセスし、本開示によるコンピュータプログラムコードをダウンロードしてインストールし、その後、該プログラムを実行することにより、本開示による技術案を実現することもできる。
【００５５】
なお、上述の一連の処理は、ソフトウェア及び／又はファームウェアにより実現されても良い。ソフトウェア及び／又はファームウェアにより実現される場合、記憶媒体又はネットワークから、専用ハードウェアを有するコンピュータ、例えば、図6に示す汎用マシン600に、該ソフトウェアを構成するプログラムをインストールし、該コンピュータは、各種のプログラムがインストールされているときに、各種の機能を実行することができる。
【００５６】
また、以上の実施例などに関し、さらに以下のように付記として開示する。
【００５７】
（付記1）
語音分離方法であって、
カーネルに基づく少なくとも１つの畳み込みフィルターを用いて、語音データに対して第一畳み込み演算を行い；
前記第一畳み込み演算が行われた後のデータに対してダウンサンプリングを行い；
活性化関数を用いて、前記ダウンサンプリングが行われた後のデータを処理し;
前記活性化関数により処理された後のデータに対して第二畳み込み演算を行い;
少なくとも１つのディープニューラルネットワークモデルを用いて、前記第二畳み込み演算が行われた後のデータと、スピーカーとの間の対応関係を認識し；
前記対応関係に基づいて、前記スピーカーに対応するデータを抽出し；
全結合層を用いて、抽出されたデータを処理し；及び
前記全結合層により処理されたデータに対して、それぞれ、前記第二畳み込み演算の逆演算及び前記第一畳み込み演算の逆演算を行い、前記スピーカーに対応する語音データを生成する、方法。
【００５８】
（付記2）
付記1に記載の方法であって、
前記ダウンサンプリング処理は、プーリング（Pooling）である、方法。
【００５９】
（付記3）
付記1に記載の方法であって、
前記活性化関数は、整流線形関数（Relu）である、方法。
【００６０】
（付記4）
付記1に記載の方法であって、
２つのディープニューラルネットワークモデルを順次用い、前記第二畳み込み演算後のデータとスピーカーとの間の対応関係を認識する、方法。
【００６１】
（付記5）
付記1〜4のうちの任意の1項に記載の方法であって、
前記ディープニューラルネットワークモデルは、長・短期記憶ネットワーク（LSTM）である、方法。
【００６２】
（付記6）
付記1〜4のうちの任意の1項に記載の方法であって、
前記対応関係は、前記第二畳み込み演算後のデータと、複数のスピーカーとの複数の対応関係を含む、方法。
【００６３】
（付記7）
付記1〜4のうちの任意の1項に記載の方法であって、
スピーカーの語音の特性に基づいて、使用される畳み込みフィルターの数及びカーネルを確定する、方法。
【００６４】
（付記8）
付記1〜4のうちの任意の1項に記載の方法であって、
前記語音データは、時間上で離散したデータである、方法。
【００６５】
（付記9）
付記5に記載の方法であって、
前記LSTMの数が2以上である、方法。
【００６６】
（付記10）
語音分離モデルを訓練する方法であって、
前記語音分離モデルは、ディープニューラルネットワークモデル及びカーネルに基づく少なくとも１つの畳み込みフィルターを含み、
前記方法は、
スピーカーに対応する第一語音データを取得し；
少なくとも前記スピーカーを音源として含む第二語音データを合成し；及び
前記語音分離モデルの入力としての前記第一語音データと、前記語音分離モデルの出力としての第二語音データとを用いて、前記ディープニューラルネットワークモデル及び前記カーネルに基づく少なくとも１つの畳み込みフィルターに対して訓練を行うことを含み、
前記カーネルに基づく少なくとも１つの畳み込みフィルターは、前記第二語音データに対してフィルタリング処理を行うために用いられ、前記ディープニューラルネットワークモデルは、前記スピーカーに対応する中間データを認識するために用いられる、方法。
【００６７】
（付記11）
付記10に記載の方法であって、
前記スピーカーの語音の特性に基づいて、前記畳み込みフィルターの数及びカーネルを確定する、方法。
【００６８】
（付記12）
付記10に記載の方法であって、
次第に損失関数の損失値を減少することで前記語音分離モデルを訓練する、方法。
【００６９】
（付記13）
付記12に記載の方法であって、
前記損失値が所定の閾値以下に達しているときに、前記語音分離モデルに対しての訓練を終了する、方法。
（付記14）
コンピュータ可読プログラムを記憶したコンピュータ可読媒体であって、
前記プログラムは、コンピュータに、付記1〜13のうちの任意の1項に記載の方法を実行させる、コンピュータ可読媒体。
【００７０】
以上、本開示の好ましい実施形態を説明したが、本開示はこの実施形態に限定されず、本開示の趣旨を離脱しない限り、本開示に対するあらゆる変更は、本開示の技術的範囲に属する。
【図１】
2020071482.tif 000003
【図２】
2020071482.tif 000004
【図３】
2020071482.tif 000005
【図４】
2020071482.tif 000006
【図５】
2020071482.tif 000007
【図６】
2020071482.tif 000008