(57)【要約】【課題】背景音とスピーチ音とに分離する処理の端末装置における負荷を抑えることができる情報処理装置を提供すること。【解決手段】人が発声するスピーチ音と背景音とが混合された音声信号を取得する音声信号取得部と、スピーチ音を構成する音素を表す音素情報を参照して、音声信号に含まれる音素の成分を表す音素成分情報を算出する音素成分情報算出部と、音素成分情報を、前記音声信号におけるスピーチ音と背景音との比率を調整する装置に通知する通知部とを備える。【選択図】図１
2016001235.tif 000002
【特許請求の範囲】
【請求項１】
人が発声するスピーチ音と背景音とが混合された音声信号を取得する音声信号取得部と、
スピーチ音を構成する音素を表す音素情報を参照して、前記音声信号に含まれる前記音素の成分を表す音素成分情報を算出する音素成分情報算出部と、
前記音素成分情報を、前記音声信号におけるスピーチ音と背景音との比率を調整する装置に通知する通知部と
を備えることを特徴とする情報処理装置。
【請求項２】
前記音素成分情報算出部は、前記音素情報を参照して、短時間フーリエ変換された音声信号である第１の非負値行列を、前記音素情報である第２の非負値行列と、前記音素成分情報である第３の非負値行列と、前記音声信号が表す音のうち、前記音素以外の成分に関する第４の非負値行列と第５の非負値行列とに分解することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
人が発声するスピーチ音を構成する音素を表す音素情報を記憶する音素情報記憶部と、
スピーチ音と背景音とが混合された音声信号を取得する音声信号取得部と、
前記音声信号に含まれる前記音素の成分を表す音素成分情報を取得する音素成分情報取得部と、
前記音素情報と前記音素成分情報とを参照して、前記音声信号に含まれている、スピーチ音と背景音とを分離する分離部と、
前記分離部が分離した人が発声する音声と背景音との比率を調整して混合する混合部と
を備えることを特徴とする端末装置。
【請求項４】
前記分離部は、
前記音素情報と前記音素成分情報とを参照して、前記音声信号に含まれているスピーチ音を表す情報を生成するスピーチ音生成部と、
前記音声信号から、前記スピーチ音生成部が生成した情報が表す音を差し引いて、前記背景音を示す情報を生成する背景音分離部と
を備えることを特徴とする請求項３に記載の端末装置。
【請求項５】
コンピュータを、
人が発声するスピーチ音を構成する音素を表す音素情報を記憶する音素情報記憶部、
スピーチ音と背景音とが混合された音声信号を取得する音声信号取得部、
前記音声信号に含まれる前記音素の成分を表す音素成分情報を取得する音素成分情報取得部、
前記音素情報と前記音素成分情報とを参照して、前記音声信号に含まれている、スピーチ音と背景音とを分離する分離部、
前記分離部が分離した人が発声する音声と背景音との比率を調整して混合する混合部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、端末装置およびプログラムに関する。
【背景技術】
【０００２】
従来、背景音と、人が発声した音声（以降、スピーチ音という）とが混合された音声信号から、それぞれの音を強調／抑圧するには、音源分離と呼ばれる信号処理技術が用いられている。この技術は、複数の音源に由来する音声信号が混合された信号を、個々の音源に由来する信号に分離するものである。しかし、混合過程によっては、分離が困難なことがある。例えば、テレビジョンやラジオなどで、スピーチ音に音楽などが混合されている場合は、音楽の種類により楽器の数は様々であるから、音源の数が分からないうえに、ステレオ放送では、左／右の２チャンネルのみの混合信号から分離しなければならない。
【０００３】
このような音源分離問題は、多くの場合で混合信号の数より音源数の方が多い不良設定問題となっている。そのため、厳密解を求めることができず、音源に関する何らかの事前知識などを用いることで、近似解を得るものがある。例えば、ステレオ放送においては、スピーチ音は、中心に定位させるために、左／右それぞれのチャンネルに同じレベルとなるように混合されることが多い性質を利用して、背景音成分と、スピーチ音成分とを分離した後、混合比率を再調整する方法がある（特許文献１参照）。また、非負値行列因子分解という手法を用いて、背景音とスピーチ音とに分離した後、混合比率を再調整する方法もある（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０２５５００号公報
【非特許文献】
【０００５】
【非特許文献１】広畑誠、外２名、“多様な映像コンテンツに対応した遅延なし音源分離技術”、日本音響学会、２０１３年春季日本音響学会講演論文集、発表番号３−１０−１８、ｐ．７９９−８０２、２０１３年３月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の方法においては、放送などを受信する端末装置に用いると、背景音とスピーチ音とに分離する処理の負荷が大きいことがあるという問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、背景音とスピーチ音とに分離する処理の端末装置における負荷を抑えることができる情報処理装置、端末装置およびプログラムを提供する。
【課題を解決するための手段】
【０００８】
この発明は上述した課題を解決するためになされたもので、本発明の一態様は、人が発声するスピーチ音と背景音とが混合された音声信号を取得する音声信号取得部と、スピーチ音を構成する音素を表す音素情報を参照して、前記音声信号に含まれる前記音素の成分を表す音素成分情報を算出する音素成分情報算出部と、前記音素成分情報を、前記音声信号におけるスピーチ音と背景音との比率を調整する装置に通知する通知部とを備えることを特徴とする情報処理装置である。
【０００９】
また、本発明の他の態様は、上述の情報処理装置であって、前記音素成分情報算出部は、前記音素情報を参照して、短時間フーリエ変換された音声信号である第１の非負値行列を、前記音素情報である第２の非負値行列と、前記音素成分情報である第３の非負値行列と、前記音声信号が表す音のうち、前記音素以外の成分に関する第４の非負値行列と第５の非負値行列とに分解することを特徴とする。
【００１０】
また、本発明の他の態様は、人が発声するスピーチ音を構成する音素を表す音素情報を記憶する音素情報記憶部と、スピーチ音と背景音とが混合された音声信号を取得する音声信号取得部と、前記音声信号に含まれる前記音素の成分を表す音素成分情報を取得する音素成分情報取得部と、前記音素情報と前記音素成分情報とを参照して、前記音声信号に含まれている、スピーチ音と背景音とを分離する分離部と、前記分離部が分離した人が発声する音声と背景音との比率を調整して混合する混合部とを備えることを特徴とする端末装置である。
【００１１】
また、本発明の他の態様は、上述の端末装置であって、前記分離部は、前記音素情報と前記音素成分情報とを参照して、前記音声信号に含まれているスピーチ音を表す情報を生成するスピーチ音生成部と、前記音声信号から、前記スピーチ音生成部が生成した情報が表す音を差し引いて、前記背景音を示す情報を生成する背景音分離部とを備えることを特徴とする。
【００１２】
また、本発明の他の態様は、コンピュータを、人が発声するスピーチ音を構成する音素を表す音素情報を記憶する音素情報記憶部、スピーチ音と背景音とが混合された音声信号を取得する音声信号取得部、前記音声信号に含まれる前記音素の成分を表す音素成分情報を取得する音素成分情報取得部、前記音素情報と前記音素成分情報とを参照して、前記音声信号に含まれている、スピーチ音と背景音とを分離する分離部、前記分離部が分離した人が発声する音声と背景音との比率を調整して混合する混合部として機能させるためのプログラムである。
【発明の効果】
【００１３】
この発明によれば、背景音とスピーチ音とに分離する処理の端末装置における負荷を抑えることができる。
【図面の簡単な説明】
【００１４】
【図１】この発明の一実施形態による音声配信システムの構成を示す概略ブロック図である。
【図２】同実施形態による音素情報配信装置１１の構成を示す概略ブロック図である。
【図３】同実施形態による音素成分情報配信装置１２の構成を示す概略ブロック図である。
【図４】同実施形態による端末装置３１の構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による音声配信システムの構成を示す概略ブロック図である。音声配信システムは、音素情報配信装置１１、音素成分情報配信装置１２、音声信号配信装置１３、ネットワーク２１、複数の端末装置３１を含む。音素情報配信装置１１は、背景音を含まず、スピーチ音のみからなる大量の音声信号Ｓから、スピーチ音を構成する音である音素各々を表す音素情報Ｕｓを抽出する。ここで、音素情報Ｕｓは、音素各々のスペクトル分布である。音素情報配信装置１１は、抽出した音素情報Ｕｓを、ネットワーク２１を介して端末装置３１各々に配信する。また、音素情報配信装置１１は、抽出した音素情報Ｕｓを、音素成分情報配信装置１２に通知する。なお、音素情報配信装置１１による音素情報Ｕｓの抽出と配信とは、端末装置３１への音声の配信に先立って行われる。
【００１６】
音素成分情報配信装置１２（情報処理装置）は、音素情報配信装置１１から通知された音素情報Ｕｓを参照して、配信対象の音声信号Ｐのうち、音素情報Ｕｓが表す音素各々の成分を示す音素成分情報Ｈｐを算出する。音素成分情報配信装置１２は、算出した音素成分情報Ｈｐを、ネットワーク２１を介して端末装置３１各々に配信する。この音素成分情報配信装置１２による音素成分情報Ｈｐの算出と配信は、音声信号Ｐの配信と同時に並行して行われる。
【００１７】
音声信号配信装置１３は、スピーチ音と背景音からなる音声信号Ｐを、ネットワーク２１を介して、端末装置３１各々に配信する。音声信号配信装置１３は、音声信号Ｐをそのまま配信してもよいし、圧縮符号化してから配信してもよい。
【００１８】
ネットワーク２１は、例えば、インターネットのようなパケット交換ネットワークであってもよいし、放送波によるネットワークであってもよい。なお、音素情報配信装置１１、音素成分情報配信装置１２、音声信号配信装置１３の各々が端末装置３１に対する配信を行う際のネットワーク２１は、それぞれ異なっていてもよい。例えば、音素情報配信装置１１と音素成分情報配信装置１２とは、インターネットで端末装置３１への配信を行い、音声信号配信装置１３は、放送波で端末装置３１への配信を行うようにしてもよい。
【００１９】
端末装置３１は、ネットワーク２１を介して予め配信された音素情報Ｕｓを受信し、記憶している。端末装置３１は、音声信号Ｐと、音素成分情報Ｈｐとを受信すると、予め記憶している音素情報Ｕｓと、受信した音素成分情報Ｈｐとを参照して、音声信号Ｐに混合されている背景音とスピーチ音との比率を調整し、比率を調整した音声を出力する。
【００２０】
図２は、音素情報配信装置１１の構成を示す概略ブロック図である。音素情報配信装置１１は、音声信号取得部１１１、短時間フーリエ変換部１１２、音素情報生成部１１３を含む。音声信号取得部１１１は、スピーチ音のみからなる音声信号Ｓを取得する。短時間フーリエ変換部１１２は、音声信号Ｓを短時間フーリエ変換する。
【００２１】
短時間フーリエ変換とは、以下のような変換である。１）音声の時間波形から、先頭から順番に一定の時間間隔でシフトさせながら、一定の時間幅の区間を切り出す。２）切り出した各区間を離散フーリエ変換する。３）離散フーリエ変換の結果の絶対値の２乗をとる。これにより、各区間について、周波数成分ごとの振幅の大きさを表すスペクトログラムが得られる。
【００２２】
信号ｇ（ｔ）の短時間フーリエ変換は、式（１）で表されるＧ（ｆ、ｎ）を用いて、式（２）で表される。なお、式（１）においてΔｔは、シフトの時間間隔である。ｎ＝１、２、…、Ｎは、シフトのインデックスである。Ｔは、切り出す区間の時間幅である。ＤＦＴ（）は、離散フーリエ変換である。ｆ＝１、２、…、Ｆは、離散フーリエ変換で得られる各周波数ビンのインデックスである。
【００２３】
【数１】
2016001235.tif 000003
【００２４】
【数２】
2016001235.tif 000004
【００２５】
以降、式（１）におけるｇ（ｔ）が、音声信号Ｓであるときの式（２）のスペクトログラム行列Ｘ、すなわち短時間フーリエ変換部１１２による音声信号Ｓの変換結果を、スペクトログラム行列Ｘｓという。
【００２６】
音素情報生成部１１３は、短時間フーリエ変換部１１２による変換結果、すなわちスペクトログラム行列Ｘｓに対して、非負値行列因子分解を施す。これにより、音素情報生成部１１３は、音素情報Ｕｓを生成する。非負値行列因子分解とは、観測データなど、全ての要素が非負値である行列（非負値行列という）を、２つの非負値行列の積に分解することである。非負値行列因子分解の演算方法は、公知のものがいくつかあり、いずれを用いてもよいが、ここでは、ＫＬ−Ｄｉｖｅｒｇｅｎｃｅ（カルバック・ライブラー情報量）を用いる方法を説明する。
【００２７】
行列Ｕｓ、Ｈｓの積と、スペクトログラム行列Ｘｓとの間のＫＬ−Ｄｉｖｅｒｇｅｎｃｅは、式（３）で表される。式（３）のＫＬ−Ｄｉｖｅｒｇｅｎｃｅを最小にする行列Ｕｓ、Ｈｓは、式（４）、（５）の演算を繰り返すことにより得られることが知られている。なお、ｘＳｉｊ、ｕＳｉｊ、ｈＳｉｊ、は、それぞれ行列Ｘｓ、Ｕｓ、Ｈｓのｉ行ｊ列の要素である。
【００２８】
【数３】
2016001235.tif 000005
【００２９】
【数４】
2016001235.tif 000006
【００３０】
そこで、音素情報生成部１１３は、式（３）によるＫＬ−Ｄｉｖｅｒｇｅｎｃｅの算出と、式（４）、（５）の演算とを、交互に繰り返し行う。そして、音素情報生成部１１３は、式（４）、（５）の演算の前後で、式（３）によるＫＬ−Ｄｉｖｅｒｇｅｎｃｅの減少量が一定値以下になったときに、この繰り返しを終了し、そのときの行列Ｕｓを、音素情報Ｕｓとする。スピーチ音のみからなる音声信号Ｓのスペクトログラム行列Ｘｓを、このように非負値行列因子分解することで、行列Ｕｓには、スピーチ音に特徴的に現れるスペクトルパターンが学習されることが知られている（例えば、非特許文献１参照）。音素情報生成部１１３は、音素情報Ｕｓを、ネットワーク２１を介して、端末装置３１に配信する。また、音素情報生成部１１３は、音素情報Ｕｓを、音素成分情報配信装置１２に通知する。
【００３１】
図３は、音素成分情報配信装置１２の構成を示す概略ブロック図である。音素成分情報配信装置１２は、音素情報記憶部１２１、音声信号取得部１２２、短時間フーリエ変換部１２３、音素成分情報算出部１２４、音素成分情報配信部１２５を含む。音素情報記憶部１２１は、音素情報配信装置１１により通知された音素情報Ｕｓを受信し、記憶する。音声信号取得部１２２は、端末装置３１に配信される音声信号Ｐを取得する。短時間フーリエ変換部１２３は、音声信号取得部１２２が取得した音声信号Ｐに対して、短時間フーリエ変換を施す。なお、短時間フーリエ変換部１２３は、音声信号Ｐを、時間幅Ｌ毎に分割し、分割した各区間に対して、図２の短時間フーリエ変換部１１２と同様の演算を行う。なお、以降、時刻ｔから時刻ｔ＋Ｌまでの区間に対して、短時間フーリエ変換をして得られるスペクトログラム行列を、スペクトログラム行列Ｘｐ（ｔ）という。
【００３２】
音素成分情報算出部１２４は、音素情報記憶部１２１が記憶する音素情報Ｕｓ（第２の非負値行列）を参照して、スペクトログラム行列Ｘｐ（ｔ）（第１の非負値行列）が表す音声の各時刻において含まれるスピーチ音の比率を表す行列Ｈｐ（ｔ）（第３の非負値行列）と、スピーチ音以外の音、すなわち背景音の比率を表す行列Ｈｎ（ｔ）（第４の非負値行列）を算出する。これらの行列Ｈｐ（ｔ）、Ｈｎ（ｔ）の算出は、式（６）で表されるＫＬ−Ｄｉｖｅｒｇｅｎｃｅを最小にするＨｐ（ｔ）、Ｕｎ（ｔ）、Ｈｎ（ｔ）を求める問題に相当する。この問題は、式（７）、（８）、（９）を繰り返し演算することで求めることができることが知られている。
【００３３】
【数５】
2016001235.tif 000007
【００３４】
【数６】
2016001235.tif 000008
【００３５】
【数７】
2016001235.tif 000009
【００３６】
そこで、音素成分情報算出部１２４は、式（６）によるＫＬ−Ｄｉｖｅｒｇｅｎｃｅの算出と、式（７）、（８）、（９）の演算とを、交互に繰り返し行う。そして、音素成分情報算出部１２４は、式（７）、（８）、（９）の演算の前後で、式（６）によるＫＬ−Ｄｉｖｅｒｇｅｎｃｅの減少量が一定値以下になったときに、この繰り返しを終了し、そのときの行列Ｈｐ（ｔ）を、音素成分情報Ｈｐに含める。同様にして、音素成分情報算出部１２４は、行列Ｈｐ（ｔ＋Ｌ）、Ｈｐ（ｔ＋２×Ｌ）、・・・を算出し、音素成分情報Ｈｐに含める。
音素成分情報配信部１２５（通知部）は、音素成分情報算出部１２４が算出した音素成分情報Ｈｐを、ネットワーク２１を介して、端末装置３１に配信する。
【００３７】
図４は、端末装置３１の構成を示す概略ブロック図である。端末装置３１は、音素情報取得部３０１、音素情報記憶部３０２、音素成分情報取得部３０３、スピーチ音生成部３０４、音声信号取得部３０５、短時間フーリエ変換部３０６、背景音分離部３０７、スピーチ音・背景音混合部３０８、逆短時間フーリエ変換部３０９、音声出力部３１０を含む。なお、スピーチ音生成部３０４、短時間フーリエ変換部３０６、背景音分離部３０７とで、分離部３２０として機能する。
【００３８】
音素情報取得部３０１は、音素情報配信装置１１によりネットワーク２１を介して配信された音素情報Ｕｓを受信する。音素情報記憶部３０２は、音素情報取得部３０１が受信した音素情報Ｕｓを記憶する。音素成分情報取得部３０３は、音素成分情報配信装置１２によりネットワーク２１を介して配信された音素成分情報Ｈｐを受信する。スピーチ音生成部３０４は、音素成分情報取得部３０３が受信した音素成分情報Ｈｐに含まれている行列Ｈｐ（ｔ）に、音素情報Ｕｓ（行列Ｕｓ）を乗じる。これにより、スピーチ音のスペクトログラム行列が算出される。
【００３９】
音声信号取得部３０５は、音声信号配信装置１３によりネットワーク２１を介して配信された音声信号Ｐを受信する。短時間フーリエ変換部３０６は、図３の短時間フーリエ変換部１２３と同様にして、音声信号Ｐに対して、短時間フーリエ変換を施す。これにより、スペクトログラム行列Ｘｐ（ｔ）が算出される。背景音分離部３０７は、スペクトログラム行列Ｘｐ（ｔ）から、スピーチ音生成部３０４が算出したスペクトログラム行列を引いて、背景音のスペクトログラム行列を算出する。このとき、スピーチ音生成部３０４が算出したスペクトログラム行列と、音声信号Ｐのスペクトログラム行列Ｘｐ（ｔ）とは時刻が同期していなければならない。例えば、音素成分情報配信装置１２は音素成分情報Ｈｐにタイムスタンプを付加して配信し、音声信号配信装置１３は音声信号Ｐにタイムスタンプを付加して配信し、背景音分離部３０７は、これらのタイムスタンプを用いて同期させる。
【００４０】
スピーチ音・背景音混合部３０８は、スピーチ音生成部３０４が算出したスピーチ音のスペクトログラム行列に、予め設定された係数αを乗じる。同様に、スピーチ音・背景音混合部３０８は、背景音分離部３０７が算出した背景音のスペクトログラム行列に、予め設定された係数βを乗じる。スピーチ音・背景音混合部３０８は、係数αを乗じたスピーチ音のスペクトログラム行列と、係数βを乗じた背景音のスペクトログラム行列との和をとる。これにより、スピーチ音と背景音との比率を調整したスペクトログラム行列Ｙ（ｔ）が算出される。なお、係数α、βは、例えば、端末装置３１のユーザにより設定されてもよい。スピーチ音生成部３０４、背景音分離部３０７、スピーチ音・背景音混合部３０８による処理は、式（１０）で表される。
【００４１】
【数８】
2016001235.tif 000010
【００４２】
逆短時間フーリエ変換部３０９は、スピーチ音・背景音混合部３０８が算出したスペクトログラム行列Ｙ（ｔ）に対して、逆短時間フーリエ変換を行い、スピーチ音と背景音の比率が調整された音声信号ｙを生成する。なお、この逆短時間フーリエ変換では、逆短時間フーリエ変換部３０９は、式（１１）、（１２）に示すように、スペクトログラム行列Ｙ（ｔ）のｉ行ｊ列の要素ｙｉｊ各々の平方根をとって、スペクトログラム行列Ｘｐ（ｔ）のｉ行ｊ列の位相θ（ｉ，ｊ）を与えた行列Ｙ’の列毎に逆離散フーリエ変換することで、音声信号ｙを生成する。
【００４３】
【数９】
2016001235.tif 000011
【００４４】
なお、式（１２）において、ＩＤＦＴ（）は、逆離散フーリエ変換である。
音声出力部３１０は、音声信号ｙに従い、音声を出力するスピーカである。
なお、本実施形態における音声配信システムは、音声信号Ｐを端末装置３１に配信しているが、音声信号Ｐだけでなく、映像信号も配信してもよい。
また、音声配信システムは、音素情報配信装置１１を有しておらず、音素成分情報配信装置１２と、端末装置３１とが、同一の音素情報Ｕｓを予め記憶していてもよい。
【００４５】
また、音声信号配信装置１３は、音声信号Ｐを、例えば、ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）などの非可逆圧縮方式あるいは可逆圧縮方式にて符号化して配信してもよい。また、音素成分情報配信装置１２は、音素成分情報Ｈｐを非可逆圧縮にて符号化して配信してもよい。
【００４６】
このように、音素成分情報配信装置１２は、スピーチ音を構成する音素を表す音素情報Ｕｓを参照して、音声信号Ｐに含まれる音素の成分を表す音素成分情報Ｈｐを算出する音素成分情報算出部１２４と、その音素成分情報Ｈｐを、端末装置３１に通知する音素成分情報配信部１２５とを備える。
【００４７】
これにより、端末装置３１における背景音とスピーチ音とに分離する処理の負荷を抑えることができる。
また、スピーチ音と背景音とを別々に配信するよりも、配信する情報量を抑えることができる。サンプリング周波数４８ｋＨｚ、モノラルの音声信号を配信する場合を例に説明する。短時間フーリエ変換の時間シフトが、５１２０サンプル（約１００ｍｓ）であり、音素情報Ｕｓの行列の列数が１００であるときには、音素成分情報Ｈｐとして、１００ｍｓおきに、１００個の要素を持つ行列Ｈｐ（ｔ）を送信する。各要素が、単精度浮動小数点数（４ｂｙｔｅ）であれば、このビットレートは、１００×４ｂｙｔｅ×８ｂｉｔ／０．１ｓｅｃ＝３２ｋｂｐｓとなる。可逆圧縮により、その半分１６ｋｂｐｓ程度とすることができる。
【００４８】
一方、符号化方式としてＡＡＣを用いている地上デジタル放送では、音声のビットレートは、７２ｋｂｐｓである。したがって、スピーチ音と背景音とを別々に配信すると、７２ｋｂｐｓ×２＝１４４ｋｂｐｓであるが、一つの音声と音素成分情報とを配信すると７２ｋｂｓ＋１６ｋｂｐｓ＝８８ｋｂｐｓとなり、別々に配信する場合よりも、合計のビットレートを低くすることができる。
【００４９】
さらに、音素成分情報算出部１２４は、音素情報Ｕｓを参照して、短時間フーリエ変換された音声信号である第１の非負値行列Ｘｐを、音素情報である第２の非負値行列Ｕｓと、音素成分情報である第３の非負値行列Ｈｐと、音声信号Ｐが表す音のうち、音素以外の成分に関する第４の非負値行列Ｈｎと第５の非負値行列Ｕｎとに分解する。
これにより、音素成分情報配信装置１２は、音声信号Ｐに含まれるスピーチ音と背景音とを分離するための音素成分情報Ｈｐを算出することができる。
【００５０】
このように、端末装置３１は、人が発声するスピーチ音を構成する音素を表す音素情報Ｕｓを記憶する音素情報記憶部３０２と、音声信号Ｐに含まれる音素の成分を表す音素成分情報Ｈｐを取得する音素成分情報取得部３０３と、音素情報Ｕｓと音素成分情報Ｈｐとを参照して、音声信号Ｐに含まれている、スピーチ音と背景音とを分離する分離部３２０と、分離部３２０が分離した人が発声する音声と背景音との比率を調整して混合するスピーチ音・背景音混合部３０８とを備える。
これにより、端末装置３１における背景音とスピーチ音とに分離する処理の負荷を抑えることができる。
【００５１】
また、図１における音素情報配信装置１１、音素成分情報配信装置１２、音声信号配信装置１３、端末装置３１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各装置を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００５２】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００５３】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００５４】
１１…音素情報配信装置
１２…音素成分情報配信装置
１３…音声信号配信装置
２１…ネットワーク
３１…端末装置
１１１…音声信号取得部
１１２…短時間フーリエ変換
１１３…音素情報生成部
１２１…音素情報記憶部
１２２…音素成分情報取得部
１２３…短時間フーリエ変換部
１２４…音素成分情報算出部
１２５…音素成分情報配信部
３０１…音素情報取得部
３０２…音素情報記憶部
３０３…音素成分情報取得部
３０４…スピーチ音生成部
３０５…音声信号取得部
３０６…短時間フーリエ変換部
３０７…背景音分離部
３０８…スピーチ音・背景音混合部
３０９…逆短時間フーリエ変換部
３１０…音声出力部
【図１】
2016001235.tif 000012
【図２】
2016001235.tif 000013
【図３】
2016001235.tif 000014
【図４】
2016001235.tif 000015