(57)【要約】【課題】音声分離装置、方法及び記憶媒体を提供する。【解決手段】該音声分離装置は、所定数の音声信号を混合して得られた混合音声信号に対して前処理を行い、混合表現を取得する前処理部と、複数のブランチを有するマルチブランチネットワークであって、各ブランチは、異なる受容野を用いて該混合表現を処理し、異なる時間スケールの情報を取得する、マルチブランチネットワークと、該混合音声信号に基づいて該マルチブランチネットワークにおける各ブランチの結果に重みを割り当てるブランチ重みネットワークであって、該マルチブランチネットワークは、取得された異なる時間スケールの情報及び各ブランチの結果に割り当てられた重みに基づいて推定特徴を取得する、ブランチ重みネットワークと、該推定特徴に基づいて、該所定数の音声信号のそれぞれについてマスクを生成するマスク生成部と、該マスク及び該混合表現に基づいて、分離された音声信号を生成する分離部と、を含む。【選択図】図１
2020149044.tif 000002
【特許請求の範囲】
【請求項１】
所定数の音声信号を混合して得られた混合音声信号に対して前処理を行い、混合表現を取得する前処理部と、
複数のブランチを有するマルチブランチネットワークであって、各ブランチは、異なる受容野を用いて前記混合表現を処理し、異なる時間スケールの情報を取得する、マルチブランチネットワークと、
前記混合音声信号に基づいて前記マルチブランチネットワークにおける各ブランチの結果に重みを割り当てるブランチ重みネットワークであって、前記マルチブランチネットワークは、取得された異なる時間スケールの情報及び各ブランチの結果に割り当てられた重みに基づいて推定特徴を取得する、ブランチ重みネットワークと、
前記推定特徴に基づいて、前記所定数の音声信号のそれぞれについてマスクを生成するマスク生成部と、
前記マスク及び前記混合表現に基づいて、分離された音声信号を生成する分離部と、を含む、音声分離装置。
【請求項２】
前記前処理部は、前記混合音声信号に対して１次元畳み込み演算及び正規化線形演算を実行して前記混合表現を取得する、請求項１に記載の音声分離装置。
【請求項３】
前記前処理部は、前記混合音声信号に対して１次元畳み込み演算、正規化線形演算、正規化演算及び１×１畳み込み演算を実行して前記混合表現を取得する、請求項１に記載の音声分離装置。
【請求項４】
前記マルチブランチネットワークにおける各ブランチは、異なる数の畳み込み分離層を含む、請求項１に記載の音声分離装置。
【請求項５】
前記マルチブランチネットワークにおける各ブランチは、所定数の畳み込み分離層を共有する、請求項４に記載の音声分離装置。
【請求項６】
前記マルチブランチネットワークは、４つのブランチを有し、
前記４つのブランチは、６個、５個、４個及び３個の畳み込み分離層をそれぞれ含む、請求項５に記載の音声分離装置。
【請求項７】
前記畳み込み分離層は、前記混合表現に対して拡張畳み込み演算を実行する、請求項６に記載の音声分離装置。
【請求項８】
前記畳み込み分離層は、前記混合表現に対してゲート付き畳み込み分離演算を実行する、請求項７に記載の音声分離装置。
【請求項９】
所定数の音声信号を混合して得られた混合音声信号に対して前処理を行い、混合表現を取得するステップと、
マルチブランチネットワークの各ブランチが、異なる受容野を用いて前記混合表現を処理し、異なる時間スケールの情報を取得するステップと、
ブランチ重みネットワークが前記混合音声信号に基づいて前記マルチブランチネットワークにおける各ブランチの結果に重みを割り当てるステップであって、前記マルチブランチネットワークは、取得された異なる時間スケールの情報及び各ブランチの結果に割り当てられた重みに基づいて推定特徴を取得する、ステップと、
前記推定特徴に基づいて、前記所定数の音声信号のそれぞれについてマスクを生成するステップと、
前記マスク及び前記混合表現に基づいて、分離された音声信号を生成するステップと、を含む、音声分離方法。
【請求項１０】
機器読み取り可能な命令コードを含むプログラムプロダクトを記録した機器読み取り可能な記憶媒体であって、前記命令コードがコンピュータにより読み取られて実行される際に、前記コンピュータに請求項９に記載の音声分離方法を実行させることができる、記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、音声処理の技術分野に関し、具体的には、音声分離装置及び音声分離方法に関する。
【背景技術】
【０００２】
この部分は、本開示に関連する背景情報を提供するが、必ずしも従来技術ではない。
【０００３】
複数の人間の声がある複雑な環境では、人間は、聴覚選択の注意力メカニズムにより、複数の音源から関心のある内容を選択し、該内容を聞き、理解し、異なる音源の間で注意力を容易に逸らすことができる。これは「カクテルパーティー効果」と称される。
【０００４】
深層学習に基づく音声分離技術は、人間のように多人数の会話のモノラル音声から会話に参加している各話者の明瞭な音声を抽出することができる。しかし、この技術を実際に使用する際に、会話が終了した後に処理することではなく、スライディングウィンドウの技術を用いて会話の音声をブロックに分割し、音声信号をリアルタイムで分離する必要がある。ここで、ブロックの長さは、数百ミリ秒から数秒である。一方、ブロック分割の処理により、前後の２つのブロックの分離結果では話の並びが一致しておらず、「話者の並び問題」と称される問題が発生してしまう。
【０００５】
２人の話者の混合音声の分離を一例にすると、１番目のブロックの分離結果では話者Ａの音声がチャネル１に位置し、話者Ｂの音声がチャネル２に位置するが、２番目のブロックの分離結果では話者Ａの音声がチャネル２に位置し、話者Ｂの音声がチャネル１に位置する。よって、このような並びの問題は、この技術の実用化に深刻な影響を与える。この問題の原因として、各ブロックには１人又は複数の話者の無言（ｓｉｌｅｎｃｅ）部分が存在する可能性があり、無言部分の長さは略ランダムである。一方、従来方法では、該ブロックから各時点において取得された情報の全てに対して重みの等しい処理を行う。よって、無言部分の情報が分離結果に大きい干渉を与えるため、結果における話者のチャネル位置が変動してしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
この部分は、本開示の一般的な概要を提供し、その全範囲又はその全ての特徴を完全に開示するものではない。
【０００７】
本開示は、上記の問題を解決するための技術を提供することを目的とする。具体的には、本開示は、マルチブランチネットワーク、ブランチ重みネットワーク及びゲート付き畳み込み部を中核とするエンドツーエンドの分離ニューラルネットワークを提供し、該分離ニューラルネットワークは、複数の時間スケールの情報を抽出すると共に、自己適応的な重みを追加することで、前後のブロックの分離結果における話者の順序が固定されることを実現することができる。
【課題を解決するための手段】
【０００８】
本開示の１つの態様では、所定数の音声信号を混合して得られた混合音声信号に対して前処理を行い、混合表現を取得する前処理部と、複数のブランチを有するマルチブランチネットワークであって、各ブランチは、異なる受容野を用いて前記混合表現を処理し、異なる時間スケールの情報を取得する、マルチブランチネットワークと、前記混合音声信号に基づいて前記マルチブランチネットワークにおける各ブランチの結果に重みを割り当てるブランチ重みネットワークであって、前記マルチブランチネットワークは、取得された異なる時間スケールの情報及び各ブランチの結果に割り当てられた重みに基づいて推定特徴を取得する、ブランチ重みネットワークと、前記推定特徴に基づいて、前記所定数の音声信号のそれぞれについてマスクを生成するマスク生成部と、前記マスク及び前記混合表現に基づいて、分離された音声信号を生成する分離部と、を含む、音声分離装置を提供する。
【０００９】
本開示のもう１つの態様では、所定数の音声信号を混合して得られた混合音声信号に対して前処理を行い、混合表現を取得するステップと、マルチブランチネットワークの各ブランチが、異なる受容野を用いて前記混合表現を処理し、異なる時間スケールの情報を取得するステップと、ブランチ重みネットワークが前記混合音声信号に基づいて前記マルチブランチネットワークにおける各ブランチの結果に重みを割り当てるステップであって、前記マルチブランチネットワークは、取得された異なる時間スケールの情報及び各ブランチの結果に割り当てられた重みに基づいて推定特徴を取得する、ステップと、前記推定特徴に基づいて、前記所定数の音声信号のそれぞれについてマスクを生成するステップと、前記マスク及び前記混合表現に基づいて、分離された音声信号を生成するステップと、を含む、音声分離方法を提供する。
【００１０】
本開示のもう１つの態様では、機器読み取り可能な命令コードを記憶しているプログラムプロダクトであって、前記命令コードがコンピュータにより読み取られて実行される際に、前記コンピュータに本開示の音声処理方法を実行させることができる、プログラムプロダクトを提供する。
【００１１】
本開示のもう１つの態様では、本開示のプログラムプロダクトを記録した機器読み取り可能な記憶媒体を提供する。
【００１２】
本開示は、マルチブランチネットワーク、ブランチ重みネットワーク及びゲート付き畳み込み部を中核とするエンドツーエンドの分離ニューラルネットワークを提供し、該分離ニューラルネットワークは、複数の時間スケールの情報を抽出すると共に、自己適応的な重みを追加することで、前後のブロックの分離結果における話者の順序が固定されることを実現することができる。
【００１３】
ここで行われる説明により、本開示の適用可能な範囲はより明確になる。この部分における説明及び特定の例は、単なる例示するためのものであり、本開示の範囲を限定するものではない。
【図面の簡単な説明】
【００１４】
ここで説明される図面は、好ましい実施例を例示するためのものであり、全ての可能な実施例ではなく、本開示の範囲を限定するものではない。
【図１】本開示の１つの実施例に係る音声分離装置を示すブロック図である。
【図２】本開示の１つの実施例に係る分離ニューラルネットワークの全体的な構造を示す図である。
【図３】本開示の１つの実施例に係るマルチブランチネットワーク及びブランチ重みネットワークの動作フローを示す図である。
【図４】本開示の１つの実施例に係る畳み込み分離層の動作フローを示す図である。
【図５】本開示の１つの実施例に係る音声分離方法を示すフローチャートである。
【図６】本開示の実施例に係る音声分離装置及び音声分離方法を実現可能な汎用パーソナルコンピュータの例示的な構成を示すブロック図である。  本開示に対して各種の変更及び代替を行うことができるが、その特定の実施例は図面を参照しながら詳細に説明される。なお、特定の実施例の説明は本開示を開示の具体的な態様に限定するものではなく、本開示の主旨及び範囲内で各種の変更、均等的なものへの変形、代替を行ってもよい。なお、図面において、同一の構成部は同一の符号で示されている。
【発明を実施するための形態】
【００１５】
以下は、図面を参照しながら本開示の例示的な実施例を詳細に説明する。以下の説明は単なる例示的なものであり、本開示、応用及び用途を限定するものではない。
【００１６】
以下は、本開示を詳細に説明し、当業者が本開示の範囲を十分に理解するために、例示的な実施例を提供する。本開示の実施例を詳細に理解させるために、多くの特定の細部、例えば特定の手段、装置及び方法の例を説明する。なお、当業者が分かるように、特定の細部を用いる必要がなく、異なる方式を用いて例示的な実施例を実施してもよく、これらの実施例は本開示の範囲を制限するものではない。一部の例示的な実施例では、周知のプロセス、周知の構成及び周知の技術が詳細に説明されていない。
【００１７】
本開示の１つの実施例は、所定数の音声信号を混合して得られた混合音声信号に対して前処理を行い、混合表現を取得する前処理部と、複数のブランチを有するマルチブランチネットワークであって、各ブランチは、異なる受容野を用いて該混合表現を処理し、異なる時間スケールの情報を取得する、マルチブランチネットワークと、該混合音声信号に基づいて該マルチブランチネットワークにおける各ブランチの結果に重みを割り当てるブランチ重みネットワークであって、該マルチブランチネットワークは、取得された異なる時間スケールの情報及び各ブランチの結果に割り当てられた重みに基づいて推定特徴を取得する、ブランチ重みネットワークと、該推定特徴に基づいて、該所定数の音声信号のそれぞれについてマスクを生成するマスク生成部と、該マスク及び該混合表現に基づいて、分離された音声信号を生成する分離部と、を含む、音声分離装置を提供する。
【００１８】
図１に示すように、本開示に係る音声分離装置１００は、前処理部１０１、マルチブランチネットワーク１０２、ブランチ重みネットワーク１０３、マスク生成部１０４、及び分離部１０５を含んでもよい。
【００１９】
本開示の１つの実施例では、前処理部１０１は、所定数の音声信号を混合して得られた混合音声信号に対して前処理を行い、混合表現を取得してもよい。例えば、前処理部１０１は、２人の音声を混合して得られた混合音声に対して前処理を行ってもよい。該前処理は、混合音声信号を変換して得られた非負の高次元の変換結果を含んでもよく、このような非負の高次元の変換結果は「混合表現」と称されてもよい。ここで、該混合音声信号は、単一チャネルの混合音声の時間領域信号であってもよい。なお、２人の混合信号は単なる一例であり、本開示はこれに限定されない。本開示は、複数の人の混合音声又は他の種類の混合音声に適用されてもよい。説明の便宜上、以下は、２人の混合音声を一例にして本開示の実施例を具体的に説明する。
【００２０】
そして、マルチブランチネットワーク１０２は複数のブランチを有してもよく、各ブランチは、異なる受容野を用いて該混合表現を処理して、異なる時間スケールの情報を取得してもよい。畳み込みニューラルネットワーク（ＣＮＮ）では、１つの層の出力結果における１つの要素に対応する入力層の領域の大きさ（マッピング）を決定するものは、受容野（ｒｅｃｅｐｔｉｖｅ  ｆｉｅｌｄ）と称される。例えば、該マルチブランチネットワークにおける各ブランチは、異なる受容野を用いて、学習により該混合表現から、音声分離のためのそれぞれの時間スケール特徴を取得してもよい。
【００２１】
そして、ブランチ重みネットワーク１０３は、該混合音声信号に基づいて該マルチブランチネットワークにおける各ブランチの結果に重みを割り当ててもよい。ここで、該マルチブランチネットワークは、取得された異なる時間スケールの情報及び各ブランチの結果に割り当てられた重みに基づいて推定特徴を取得する。
【００２２】
そして、マスク生成部１０４は、該推定特徴に基づいて、該所定数の音声のそれぞれについてマスクを生成してもよい。ここで、本開示の実施例では、２つのマスクを生成してもよく、各マスクは２人のそれぞれの音声に対応する。該マスクの内容は例えば「１」及び「０」であり、「１」は特徴行列におけるそのブロック領域に対応する「混合表現」が１人に属することを表し、「０」は特徴行列におけるそのブロック領域に対応する「混合表現」が１人に属さないことを表す。なお、該マスクの数及び内容は単なる一例であり、本開示はこれに限定されない。
【００２３】
そして、分離部１０５は、該マスク及び該混合表現に基づいて、分離された音声信号を生成してもよい。本開示の実施例では、２人のそれぞれの音声に対応するマスクと該混合表現とを乗算することで、理論的に１人に属する「混合表現」を取得することができ、最後に、変換により分離後の１次元の音声信号を取得してもよい。
【００２４】
本開示の実施例に係る音声分離装置によれば、マルチブランチネットワーク、ブランチ重みネットワーク及びゲート付き畳み込み部を中核とするエンドツーエンドの分離ニューラルネットワークを提供し、該分離ニューラルネットワークは、複数の時間スケールの情報を抽出すると共に、自己適応的な重みを追加することで、前後のブロックの分離結果における所定数の音声の並び順序が固定されることを実現することができる。
【００２５】
本開示の１つの実施例では、前処理部１０１は、混合音声信号に対して変換を行い、非負の高次元の変換結果を取得してもよい。このような変換により時間領域信号を新たな変換領域に変換し、該変換領域によれば、分離処理のための特徴をより効率的に抽出することができる。この変換は、１次元畳み込み及び正規化線形演算（ＲｅＬＵ）を含んでもよいが、これに限定されない。即ち、前処理部１０１は、該混合音声信号に対して１次元畳み込み演算及び正規化線形演算を実行してもよい。なお、ここで、１次元畳み込み及び正規化線形演算の変換は単なる一例であり、本開示はこれに限定されない。
【００２６】
本開示の１つの実施例では、前処理部１０１は、該混合音声信号に対して正規化演算及び１×１畳み込み演算を実行して該混合表現を取得してもよい。正規化演算は、訓練速度を向上させるために混合表現に対して正規化処理を行うことである。１×１畳み込み演算は、該混合表現の最後の１つの次元のサイズを変更するために用いられる。即ち、１×１畳み込み演算により処理された混合表現は、一致するサイズを維持することができる。なお、同様に、正規化演算及び１×１畳み込み演算の変換も単なる一例であり、本開示はこれに限定されない。
【００２７】
例えば、図２に示すように、入力された混合音声信号が１次元畳み込み演算及び正規化線形演算により処理され、該混合音声信号の第１混合表現が生成されてもよい。一方、入力された混合音声信号が１次元畳み込み演算、正規化線形演算、正規化演算及び１×１畳み込み演算により処理された後に、該混合音声信号の第２混合表現が生成されてもよい。そして、該第２混合表現がマルチブランチネットワークに入力されると共に、該入力された混合音声信号がブランチ重みネットワークにより処理された後に各ブランチの結果に割り当てられた重みが該マルチブランチネットワークに入力される。そして、該マルチブランチネットワークは、各ブランチの結果に割り当てられた重みに基づいて該第２混合表現から特徴を抽出する。そして、抽出された特徴が１×１畳み込み演算及びｓｏｆｔｍａｘ演算により処置された後に、該入力された混合音声のそれぞれについてマスクが生成される。そして、第１混合表現と生成されたマスクとを１対１で乗算して１次元の音声信号が取得される。最後に、該１次元の音声信号が全結合ネットワーク（ＦＣ）により処理された後に、分離された音声信号が取得される。
【００２８】
本開示の１つの実施例では、マルチブランチネットワーク及びブランチ重みネットワークの詳細は図３に示されており、右側部分はマルチブランチネットワークを示し、左側部分はブランチ重みネットワークを示す。右側部分のマルチブランチネットワークは、異なる時間長さの情報から分離のための特徴を学習するために用いられる。左側部分のブランチ重みネットワークは、「入力された混合音声信号」から対応する「マルチブランチネットワーク」における各ブランチの重みを学習するために用いられる。
【００２９】
本開示の１つの実施例では、マルチブランチネットワークにおける各ブランチは、異なる数の畳み込み分離層を含んでもよい。ここで、各畳み込み分離層の構造は一致し、即ち各畳み込み分離層は同一の受容野を有する。
【００３０】
図３に示すように、本開示の実施例では、該マルチブランチネットワークは、ブランチ１、ブランチ２、ブランチ３及びブランチ４という４つのブランチを有する。該４つのブランチは、黒枠で示す６個、５個、４個及び３個の畳み込み分離層をそれぞれ含む。なお、本開示に係る４つのブランチ及び各ブランチの有する畳み込み分離層の数は単なる一例であり、本開示はこれに限定されない。当業者は、実際のデータの需要及び経験に応じて、ブランチ及び畳み込み分離層の数を設定してもよい。
【００３１】
本開示の１つの実施例では、該マルチブランチネットワークにおける各ブランチは、所定数の畳み込み分離層を共有する。例えば、図３に示すように、マルチブランチネットワークにおける各ブランチは、２つの畳み込み分離層を共有する。なお、共有される２つの畳み込み分離層は単なる一例であり、本開示は図３に示す２つの畳み込み分離層に限定されない。当業者は、経験及び実際の需要に応じて、より多く、又はより少ない共有の畳み込み分離層を設定してもよい。
【００３２】
本開示の１つの実施例では、畳み込み分離層の数が大きいほど、ブランチの受容野が大きくなる。１つの層の受容野がＴであると仮定すると、ｎ層を有する場合、受容野はｎＴである。例えば、図３に示すように、本開示の実施例では、ブランチ１〜ブランチ４のそれぞれの受容野は６Ｔ、５Ｔ、４Ｔ及び３Ｔであるため、本開示のマルチブランチネットワークは、異なる時間長さの情報により、分離のための特徴、即ちマルチ時間スケール特徴を学習することができる。
【００３３】
本開示の１つの実施例では、ブランチ重みネットワークは、入力された混合音声信号に対して１次元畳み込み演算、正規化線形演算、正規化演算、１×１畳み込み演算、多層畳み込み演算及びｓｏｆｔｍａｘ演算を実行し、各ブランチの結果の重みを取得してもよい。
【００３４】
本開示の１つの実施例では、多層の畳み込み構造は、畳み込みニューラルネットワーク（ＣＮＮ）及び最大プーリング層を含んでもよい。なお、ブランチ重みネットワークの構造は単なる一例であり、本開示は図３に示す構造に限定されなく、当業者が実際の需要に応じてブランチ重みネットワークの構造を設定してもよい。
【００３５】
最後に、マルチブランチネットワークの各ブランチは、それぞれのブランチで学習した特徴を出力する。そして、各ブランチの特徴とブランチ重みネットワークにより出力された対応する重みとを乗算して累積してマルチブランチネットワークの出力、即ち抽出された特徴を取得する。
【００３６】
本開示の１つの実施例では、該畳み込み分離層は、該混合表現に対して拡張畳み込み演算を実行してもよい。
【００３７】
具体的には、図４に示すように、該畳み込み分離層は、多層の畳み分離部により構成される。該多層の畳み込み分離部の構造は拡張畳み込みと同様であり、拡張畳み込みにおける各円が左から右の順に時点、即ち時系列を表し、各層の畳み込み部は拡張率を有する。拡張率は、畳み込み層が十分な時間長さの情報を取得できるように、指数関数的に大きくなる。例えば、Ｍ個の畳み込み分離部を有する場合、拡張率は１、２、４、…、２Ｍ−１であってもよい。例えば、図４に示すように、本開示では、４つの畳み込み分離層が示され、１層目の拡張率ｄ＝１、２層目の拡張率ｄ＝２、３層目の拡張率ｄ＝４、１層目の拡張率ｄ＝８となる。該拡張率は、混合表現の時間スケールの情報量を表す。なお、図４に示す畳み込み分離層及び畳み込み分離部は単なる一例であり、本開示はこれに限定されない。
【００３８】
各畳み込み分離部の時系列情報に対する学習能力を向上させるために、本開示の１つの実施例では、該畳み込み分離部は、該混合表現に対してゲート付き（ｇａｔｅｄ）畳み込み分離演算を実行してもよい。
【００３９】
具体的には、図４に示すように、畳み込み分離部における各畳み込み演算、例えば第１畳み込み演算及び第２畳み込み演算にゲート構造を追加し、該畳み込み演算により出力された情報を制御し、即ち１つの自己適応的なフィルタを追加する。ここで、第１畳み込み演算は１×１畳み込み演算であってもよい。このため、時間の次元から見ると、ゲート構造はこの畳み込み演算に時間記憶の特性を提供する。ゲート構造は、畳み込み演算及び「ｓｉｇｍｏｉｄ」により構成され、畳み込み演算はゲート構造付き畳み込み演算と同様であるが、パラメータが異なる。「ｓｉｇｍｏｉｄ」は、ｓｉｇｍｏｉｄ関数を用いて変数を０〜１の範囲にマッピングし、ゲート構造により出力された重みを取得する。ゲート構造の重みとゲート付き畳み込み演算の結果との乗算（非行列乗算）により、ゲートの制御機能を実現する。
【００４０】
本開示は、マルチブランチネットワーク、ブランチ重みネットワーク及びゲート付き畳み込み部を中核とするエンドツーエンドの分離ニューラルネットワークを提供し、該分離ニューラルネットワークは、複数の時間スケールの情報を抽出すると共に、自己適応的な重みを追加することで、前後のブロックの分離結果における話者の順序が固定されることを実現することができる。
【００４１】
以下は図５を参照しながら本開示の実施例に係る音声分離方法を説明する。図５に示すように、本開示の実施例に係る音声分離方法はステップＳ５１０から開始する。
【００４２】
ステップＳ５１０において、所定数の音声信号を混合して得られた混合音声信号に対して前処理を行い、混合表現を取得する。
【００４３】
次に、ステップＳ５２０において、マルチブランチネットワークの各ブランチは、異なる受容野を用いて該混合表現を処理し、異なる時間スケールの情報を取得する。
【００４４】
次に、ステップＳ５３０において、ブランチ重みネットワークは、該混合音声信号に基づいて該マルチブランチネットワークにおける各ブランチの結果に重みを割り当てる。ここで、該マルチブランチネットワークは、取得された異なる時間スケールの情報及び各ブランチの結果に割り当てられた重みに基づいて推定特徴を取得する。
【００４５】
次に、ステップＳ５４０において、該推定特徴に基づいて、該所定数の音声信号のそれぞれについてマスクを生成する。
【００４６】
最後に、ステップＳ５５０において、該マスク及び該混合表現に基づいて、分離された音声信号を生成する。
【００４７】
本開示の１つの実施例に係る音声分離方法では、該混合音声信号に対して１次元畳み込み演算及び正規化線形演算を実行して該混合表現を取得するステップ、をさらに含む。
【００４８】
本開示の１つの実施例に係る音声分離方法では、該混合音声信号に対して１次元畳み込み演算、正規化線形演算、正規化演算及び１×１畳み込み演算を実行して該混合表現を取得するステップ、をさらに含む。
【００４９】
本開示の１つの実施例に係る音声分離方法では、該ブランチ重みネットワークが前記混合音声信号に対して１次元畳み込み演算、正規化線形演算、正規化演算、１×１畳み込み演算、多層畳み込み演算及びｓｏｆｔｍａｘ演算を実行し、各ブランチの結果の重みを取得するステップ、をさらに含む。
【００５０】
本開示の１つの実施例に係る音声分離方法では、該マルチブランチネットワークにおける各ブランチは、異なる数の畳み込み分離層を含む。
【００５１】
本開示の１つの実施例に係る音声分離方法では、該マルチブランチネットワークにおける各ブランチは、所定数の畳み込み分離層を共有する。
【００５２】
本開示の１つの実施例に係る音声分離方法では、該マルチブランチネットワークにおける各ブランチは、２つの畳み込み分離層を共有する。
【００５３】
本開示の１つの実施例に係る音声分離方法では、該マルチブランチネットワークは、４つのブランチを有し、該４つのブランチは、６個、５個、４個及び３個の畳み込み分離層をそれぞれ含む。
【００５４】
本開示の１つの実施例に係る音声分離方法では、該畳み込み分離層は、同一の受容野を有する。
【００５５】
本開示の１つの実施例に係る音声分離方法では、該畳み込み分離層は、該混合表現に対して拡張畳み込み演算を実行する。
【００５６】
本開示の１つの実施例に係る音声分離方法では、該畳み込み分離層は、該混合表現に対してゲート付き畳み込み分離演算を実行する。
【００５７】
本開示は、マルチブランチネットワーク、ブランチ重みネットワーク及びゲート付き畳み込み部を中核とするエンドツーエンドの分離ニューラルネットワークを提供し、該分離ニューラルネットワークは、複数の時間スケールの情報を抽出すると共に、自己適応的な重みを追加することで、前後のブロックの分離結果における話者の順序が固定されることを実現することができる。
【００５８】
本開示の実施例に係る音声分離方法の上記ステップの各具体的な実施形態は既に詳細に説明されているため、ここでその説明を省略する。
【００５９】
なお、本開示の音声分離方法の各処理は、各種の機器が読み取り可能な記憶媒体に記憶されたコンピュータ実行可能なプログラムにより実現されてもよい。
【００６０】
また、本開示の目的は、上記実行可能なプログラムコードを記憶した記憶媒体をシステム又は装置に直接的又は間接的に提供し、該システム又は装置におけるコンピュータ又は中央処理装置（ＣＰＵ）が該プログラムコードを読み出して実行することによって実現されてもよい。この場合は、該システム又は装置はプログラムを実行可能な機能を有すればよく、本開示の実施形態はプログラムに限定されない。また、該プログラムは任意の形であってもよく、例えばオブジェクトプログラム、インタプリタによって実行されるプログラム、又はオペレーティングシステムに提供されるスクリプトプログラム等であってもよい。
【００６１】
上記の機器が読み取り可能な記憶媒体は、各種のメモリ、記憶部、半導体装置、光ディスク、磁気ディスク及び光磁気ディスクのようなディスク、並びに情報を記憶可能な他の媒体等を含むが、これらに限定されない。
【００６２】
また、コンピュータがインターネット上の対応するウェブサイトに接続され、本開示のコンピュータプログラムコードをコンピュータにダウンロード、インストール、そして実行することによって、本開示の実施形態を実現することができる。
【００６３】
図６は本開示の実施例に係る音声分離装置及び音声分離方法を実現可能な汎用パーソナルコンピュータ１３００の例示的な構成を示すブロック図である。
【００６４】
図６に示すように、ＣＰＵ１３０１は、読み出し専用メモリ（ＲＯＭ）１３０２に記憶されているプログラム、又は記憶部１３０８からランダムアクセスメモリ（ＲＡＭ）１３０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ１３０３には、必要に応じて、ＣＰＵ１３０１が各種の処理を実行するに必要なデータが記憶されている。ＣＰＵ１３０１、ＲＯＭ１３０２、及びＲＡＭ１３０３は、バス１３０４を介して互いに接続されている。入力／出力インターフェース１３０５もバス１３０４に接続されている。
【００６５】
入力部１３０６（キーボード、マウスなどを含む）、出力部１３０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部１３０８（例えばハードディスクなどを含む）、通信部１３０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース１３０５に接続されている。通信部１３０９は、ネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライバ１３１０は、入力／出力インターフェース１３０５に接続されてもよい。取り外し可能な媒体１３１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライバ１３１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部１３０８にインストールされている。
【００６６】
ソフトウェアにより上記処理を実施する場合、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体１３１１を介してソフトウェアを構成するプログラムをインストールする。
【００６７】
なお、これらの記憶媒体は、図６に示されている、プログラムを記憶し、機器と分離してユーザへプログラムを提供する取り外し可能な媒体１３１１に限定されない。取り外し可能な媒体１３１１は、例えば磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（光ディスク−読み出し専用メモリ（ＣＤ−ＲＯＭ）、及びデジタル多目的ディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ）（登録商標））及び半導体メモリを含む。或いは、記憶媒体は、ＲＯＭ１３０２、記憶部１３０８に含まれるハードディスクなどであってもよく、プログラムを記憶し、それらを含む機器と共にユーザへ提供される。
【００６８】
なお、本開示のシステム及び方法では、各ユニット又は各ステップを分解且つ、或いは再組み合わせてもよい。これらの分解及び／又は再組み合わせは、本開示と同等であると見なされる。また、本開示の方法は、明細書に説明された時間的順序で実行するものに限定されず、他の時間的順序で順次、並行、又は独立して実行されてもよい。このため、本明細書に説明された方法の実行順序は、本開示の技術的な範囲を限定するものではない。
【００６９】
以上は図面を参照しながら本開示の実施例を詳細に説明しているが、上述した実施形態及び実施例は単なる例示的なものであり、本開示を限定するものではない。当業者は、特許請求の範囲の主旨及び範囲内で本開示に対して各種の修正、変更を行ってもよい。これらの修正、変更は本開示の保護範囲に含まれるものである。
【００７０】
また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
所定数の音声信号を混合して得られた混合音声信号に対して前処理を行い、混合表現を取得する前処理部と、
複数のブランチを有するマルチブランチネットワークであって、各ブランチは、異なる受容野を用いて前記混合表現を処理し、異なる時間スケールの情報を取得する、マルチブランチネットワークと、
前記混合音声信号に基づいて前記マルチブランチネットワークにおける各ブランチの結果に重みを割り当てるブランチ重みネットワークであって、前記マルチブランチネットワークは、取得された異なる時間スケールの情報及び各ブランチの結果に割り当てられた重みに基づいて推定特徴を取得する、ブランチ重みネットワークと、
前記推定特徴に基づいて、前記所定数の音声信号のそれぞれについてマスクを生成するマスク生成部と、
前記マスク及び前記混合表現に基づいて、分離された音声信号を生成する分離部と、を含む、音声分離装置。
（付記２）
前記前処理部は、前記混合音声信号に対して１次元畳み込み演算及び正規化線形演算を実行して前記混合表現を取得する、付記１に記載の音声分離装置。
（付記３）
前記前処理部は、前記混合音声信号に対して１次元畳み込み演算、正規化線形演算、正規化演算及び１×１畳み込み演算を実行して前記混合表現を取得する、付記１に記載の音声分離装置。
（付記４）
前記ブランチ重みネットワークは、前記混合音声信号に対して１次元畳み込み演算、正規化線形演算、正規化演算、１×１畳み込み演算、多層畳み込み演算及びｓｏｆｔｍａｘ演算を実行し、各ブランチの結果の重みを取得する、付記１に記載の音声分離装置。
（付記５）
前記マルチブランチネットワークにおける各ブランチは、異なる数の畳み込み分離層を含む、付記１に記載の音声分離装置。
（付記６）
前記マルチブランチネットワークにおける各ブランチは、所定数の畳み込み分離層を共有する、付記５に記載の音声分離装置。
（付記７）
前記マルチブランチネットワークにおける各ブランチは、２つの畳み込み分離層を共有する、付記６に記載の音声分離装置。
（付記８）
前記マルチブランチネットワークは、４つのブランチを有し、
前記４つのブランチは、６個、５個、４個及び３個の畳み込み分離層をそれぞれ含む、付記５に記載の音声分離装置。
（付記９）
前記畳み込み分離層は、同一の受容野を有する、付記５に記載の音声分離装置。
（付記１０）
前記畳み込み分離層は、前記混合表現に対して拡張畳み込み演算を実行する、付記５に記載の音声分離装置。
（付記１１）
前記畳み込み分離層は、前記混合表現に対してゲート付き畳み込み分離演算を実行する、付記１０に記載の音声分離装置。
（付記１２）
所定数の音声信号を混合して得られた混合音声信号に対して前処理を行い、混合表現を取得するステップと、
マルチブランチネットワークの各ブランチが、異なる受容野を用いて前記混合表現を処理し、異なる時間スケールの情報を取得するステップと、
ブランチ重みネットワークが前記混合音声信号に基づいて前記マルチブランチネットワークにおける各ブランチの結果に重みを割り当てるステップであって、前記マルチブランチネットワークは、取得された異なる時間スケールの情報及び各ブランチの結果に割り当てられた重みに基づいて推定特徴を取得する、ステップと、
前記推定特徴に基づいて、前記所定数の音声信号のそれぞれについてマスクを生成するステップと、
前記マスク及び前記混合表現に基づいて、分離された音声信号を生成するステップと、を含む、音声分離方法。
（付記１３）
前記混合音声信号に対して１次元畳み込み演算及び正規化線形演算を実行して前記混合表現を取得するステップ、をさらに含む、付記１２に記載の音声分離方法。
（付記１４）
前記混合音声信号に対して１次元畳み込み演算、正規化線形演算、正規化演算及び１×１畳み込み演算を実行して前記混合表現を取得するステップ、をさらに含む、付記１２に記載の音声分離方法。
（付記１５）
前記ブランチ重みネットワークは、前記混合音声信号に対して１次元畳み込み演算、正規化線形演算、正規化演算、１×１畳み込み演算、多層畳み込み演算及びｓｏｆｔｍａｘ演算を実行し、各ブランチの結果の重みを取得する、付記１に記載の音声分離装置。
（付記１６）
前記マルチブランチネットワークにおける各ブランチは、異なる数の畳み込み分離層を含む、付記１２に記載の音声分離方法。
（付記１７）
前記マルチブランチネットワークにおける各ブランチは、所定数の畳み込み分離層を共有する、付記１６に記載の音声分離方法。
（付記１８）
前記マルチブランチネットワークは、４つのブランチを有し、
前記４つのブランチは、６個、５個、４個及び３個の畳み込み分離層をそれぞれ含む、付記１７に記載の音声分離方法。
（付記１９）
前記畳み込み分離層は、前記混合表現に対して拡張畳み込み演算を実行し、
前記畳み込み分離層は、前記混合表現に対してゲート付き畳み込み分離演算を実行する、付記１７に記載の音声分離方法。
（付記２０）
機器読み取り可能な命令コードを記憶しているプログラムプロダクトであって、前記命令コードがコンピュータにより読み取られて実行される際に、前記コンピュータに付記１２乃至１９の何れかに記載の音声分離方法を実行させることができる、プログラムプロダクト。
【図１】
2020149044.tif 000003
【図２】
2020149044.tif 000004
【図３】
2020149044.tif 000005
【図４】
2020149044.tif 000006
【図５】
2020149044.tif 000007
【図６】
2020149044.tif 000008