(57)【要約】  学習用音声データ生成装置は、第三雑音データに基づく雑音データである第四雑音データと音声データとを用いて、第四雑音データに対応する雑音環境下で音声データが明瞭に聴こえるように、音声データを変換する音声変換部と、第三雑音データと変換後の音声データとを重畳し、学習用音声データとする雑音重畳部とを含む。
2019176830.tif 000002
【特許請求の範囲】
【請求項１】
第三雑音データに基づく雑音データである第四雑音データと音声データとを用いて、前記第四雑音データに対応する雑音環境下で前記音声データが明瞭に聴こえるように、前記音声データを変換する音声変換部と、
前記第三雑音データと変換後の前記音声データとを重畳し、学習用音声データとする雑音重畳部とを含む、
学習用音声データ生成装置。
【請求項２】
請求項１記載の学習用音声データ生成装置であって、
前記第三雑音データの音量を小さくして、前記第四雑音データを求める音声変換用雑音変換部を含む、
学習用音声データ生成装置。
【請求項３】
第三雑音データに基づく雑音データである第四雑音データと音声データとを用いて、前記第四雑音データに対応する雑音環境下で前記音声データが明瞭に聴こえるように、前記音声データを変換する音声変換ステップと、
前記第三雑音データと変換後の前記音声データとを重畳し、学習用音声データとする雑音重畳ステップとを含む、
学習用音声データ生成方法。
【請求項４】
請求項３記載の学習用音声データ生成方法であって、
前記第三雑音データの音量を小さくして、前記第四雑音データを求める音声変換用雑音変換ステップを含む、
学習用音声データ生成方法。
【請求項５】
請求項１または請求項２の学習用音声データ生成装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力信号から発話区間を検出する技術に関する。
【背景技術】
【０００２】
入力音声信号から発話区間（音声区間）のみを検出し、発話していない区間（非音声区間）を除外する発話区間検出技術として非特許文献１が知られている。発話区間検出技術は、音声認識の事前処理として、不要な信号（非音声）を除外する役割を持っており、認識精度の低下を防いでいる。発話区間検出技術は、事前に音声と非音声の音響的な特徴を学習データとして構築した統計的な音声・非音声モデルを用いて、発話区間（音声区間）と非発話区間（非音声区間）を検出する手法が存在する(非特許文献１参照)。【０００３】
音声・非音声モデルに基づく発話区間検出技術では、入力音声信号の各フレームに対して音声尤度、非音声尤度を算出し、それらの尤度比などを閾値処理することで音声区間と判定している。【０００４】
さまざまな雑音環境下で頑健に発話区間を検出するためには、音声・非音声モデルをさまざまな雑音環境下での音声データで学習させる必要がある。しかしながらモデル構築に必要な雑音環境下での音声データを大量に用意することは難しい。そのため、音声データに擬似的に雑音を重畳させ、学習データとしている。このとき、雑音重畳にあたっては想定利用シーンに合わせて適当な重畳条件（SN比）を人手で調整している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】藤本雅清, “音声区間検出の基礎と最近の研究動向”, IEICE Technical Report., SP2010-23（2010-06）,p.7-12
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術では、擬似的に雑音環境下の音声データを生成しているため、実利用シーンではありえないような音声データが生成されることがある。そのような音声データにより誤った特徴に基づき、音声・非音声モデルを学習すると、誤検出(非音声区間を誤って音声区間として検出する)や誤棄却（音声区間を誤って非音声区間として棄却する）の原因となる。例えば、高雑音環境下で小さな声で話す音声データに基づき学習すると、誤検出を生じやすくしてしまうことがある。【０００７】
本発明は、雑音環境下において人間が発話する音声に近い雑音環境下の音声データを生成する学習用音声データ生成装置、その方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様によれば、学習用音声データ生成装置は、第三雑音データに基づく雑音データである第四雑音データと音声データとを用いて、第四雑音データに対応する雑音環境下で音声データが明瞭に聴こえるように、音声データを変換する音声変換部と、第三雑音データと変換後の音声データとを重畳し、学習用音声データとする雑音重畳部とを含む。
【発明の効果】
【０００９】
本発明により生成した雑音環境下の音声データを学習用音声データとして学習した音声・非音声モデルを用いることで、雑音環境下の音声データに対して精度良く発話区間を検出することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】第一実施形態及び第二実施形態に係る音声・非音声モデル学習装置の機能ブロック図。
【図２】第一実施形態及び第二実施形態に係る音声・非音声モデル学習装置の処理フローの例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１２】
＜第一実施形態＞
図１は第一実施形態に係る音声・非音声モデル学習装置の機能ブロック図を、図２はその処理フローを示す。
【００１３】
本実施形態では、雑音データを音声データに重畳させるだけではなく、重畳させる雑音データに応じて、音声データに対して雑音環境下でも適切に聞こえるように音声変換を行い、変換後の音声データに雑音データを重畳させたものを学習データとする。
【００１４】
音声・非音声モデル学習装置１００は、雑音変換部１０１、音声変換用雑音変換部１０２、音声変換部１０３、雑音重畳部１０４及び音声・非音声モデル学習部１０５を含む。
【００１５】
音声・非音声モデル学習装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。音声・非音声モデル学習装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。音声・非音声モデル学習装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。音声・非音声モデル学習装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。音声・非音声モデル学習装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
【００１６】
音声・非音声モデル学習装置１００は、学習用雑音データ(以下、単に「雑音データ」ともいう)v1と学習用音声データ(以下、単に「音声データ」ともいう)s1とを入力とし、これらのデータを用いて、音声・非音声モデルを学習し、学習後の音声・非音声モデルを出力する。以下、各部の処理内容について説明する。
【００１７】
＜雑音変換部１０１＞
雑音変換部１０１は、さまざまな雑音環境での学習データを作成するために、雑音データの音量（ゲイン）を変化させる。
【００１８】
例えば、雑音変換部１０１は、雑音データv1を入力とし、この雑音データv1の音量を正規化して、雑音データv2を得、正規化レベルから所定の範囲内で雑音データv2の音量を変化させ、雑音データv3を得（Ｓ１０１）、出力する。所定の範囲としては、雑音として想定する音量の範囲を設定すればよく、正規化レベルとして、その代表値を用いればよい。一般的な雑音の音量の範囲と平均値を用いてもよいし、実際の雑音データを用いて設定してもよい。例えば、実際の雑音データの取り得る範囲や、実際の雑音データの四分位範囲等を所定の範囲として設定し、実際の雑音データの音量の代表値(平均値、中央値、最頻値等)を正規化レベルとしてもよい。
【００１９】
例えば、正規化レベルを-26dBovとし、±15dBovの範囲内で音量を変化させ、-41dBov〜-11dBov程度のレンジで雑音データの音量を変化させることで、さまざまな雑音環境を再現することができる。例えば、5dBov毎に音量を変化させ、-41dBov,-36dBov,-31dBov,-26dBov,-21dBov,-16dBov,-11dBovの7つの雑音データv3を得、出力してもよい。7つの雑音データv3を用意したとしても、各雑音データv3に対して行う処理に代わりはないため、以下では、ある1つの雑音データv3について処理を行うものとして説明する。
【００２０】
＜音声変換用雑音変換部１０２＞
音声変換用雑音変換部１０２は、雑音データv3を受け取り、雑音データv3の音量を小さくして、雑音データv4を求め(Ｓ１０２)、出力する。
【００２１】
つまり、雑音データv3に対して、音量を小さくする方向に音量調整を行う。例えば、0〜10dB程度のレンジで調整するとよい。
【００２２】
＜音声変換部１０３＞
音声変換部１０３は、雑音データv4と音声データs1とを受け取り、雑音データv4に対応する雑音環境下で音声データs1が明瞭に聴こえるように、音声データs1を変換し（Ｓ１０３）、変換後の音声データs2を出力する。
【００２３】
雑音環境下では、人間は自然と声を張り上げ、聞き取りやすい発声を行うことが知られている。この現象はロンバート効果と呼ばれる。ロンバート効果の特性を模倣し、音声データ(雑音無しクリーン音声データ)を雑音環境下で聞き取りやすい音声データに変換する技術が知られている(参考文献１参照)。
（参考文献１）Antti Suni, et al. “Lombard Modified Text-to-Speech Synthesis for Improved Intelligibility: Submission for the Hurricane Challenge 2013”, INTERSPEECH 2013
【００２４】
例えば、音声変換部１０３は、参考文献１を用いて、雑音データv4から、雑音データv4に対応する雑音環境下で明瞭に聞こえるように音声データs1を変換する。参考文献１を適応することで、雑音環境下でも音声データが明瞭に聞こえるように、音声データを変換する。音声データを変換するとは、例えば、音量や音素継続長、話速などの音声パラメータを変換することを意味する。参考文献１では、音素継続長を長くし、基本周波数を高くし、スペクトル傾斜を小さくし、高調波対雑音比を大きくし、音声フォルマントを強調する。
【００２５】
ここで、音声データs1を変換するために参照する雑音データとして、雑音変換部１０１の出力値である雑音データv3ではなく、音声変換用雑音変換部１０２の出力値である雑音データv4を用いる。参考文献１では、明瞭性を最大にすることを目的に音声データの変換を行っているが、本実施形態では、音声・非音声モデル構築のための学習用データを生成することを目的に音声データの変換を行っている。そのため、ある程度不明瞭な発話も学習用データとして生成するために、重畳させる雑音データv3よりも音量を抑えた雑音データv4を用いる。より詳しく説明すると、音量の大きい雑音データv3を用いて、音声データを変換すると、音量の大きい雑音データv3に対して明瞭に聞き取れるように音声データを変換する。そのため、明瞭になり過ぎてしまい、音声・非音声モデル構築のための学習用データとしてはかえって不自然となる。そこで、音声データの変換時には、音量を抑えた雑音データv4を用い、後述する雑音重畳部１０４において雑音を重畳する際には音量の大きい雑音データv3を用いる。
【００２６】
＜雑音重畳部１０４＞
雑音重畳部１０４は、雑音データv3と音声データs2とを受け取り、雑音データv3と音声データs2とを重畳し（Ｓ１０４）、音声データs3として出力する。なお、非音声（雑音）と音声を識別するモデルを構築するために利用するため、音声長の前後に雑音のみの区間を付与して重畳させるのがよい。
【００２７】
＜音声・非音声モデル学習部１０５＞
音声・非音声モデル学習部１０５は、音声データs3を受け取り、音声データs3から、非音声（雑音）と音声を識別する音声・非音声モデルを学習し、学習後の音声・非音声モデルを出力する。音声・非音声モデルの学習方法としては、公知の学習技術、例えば、深層学習技術を用いることができる(参考文献２参照)。
（参考文献２） Hinton et al., "Deep Neural Networks for Acoustic Modeling in Speech Recognition", IEEE SP magazine, Nov. 2012
長時間の時系列情報も考慮可能なLSTM(Long short-term memory)などでモデル化すると良い。
【００２８】
＜効果＞
以上の構成により、雑音環境下の音声データに対して精度良く音声区間と非音声区間を検出することができる音声・非音声モデルを構築することができる。例えば、背景雑音に音声・非音声区間の検出対象以外の人物の発話が含まれる場合でも、検出対象の人物は自身の発話が聞き取りやすくなるように発話を行うと考えられるため、その発話の特徴を考慮した音声・非音声モデルを構築し、用いることで、従来よりも精度よく発話区間を検出することができる。
【００２９】
＜変形例＞
本実施形態では、音声・非音声モデル学習装置は雑音変換部１０１を含むが、予め所定の音量の雑音データを入力とすることができるのであれば、雑音変換部１０１を含まなくともよい。
【００３０】
また、音声変換用雑音変換部１０２、音声変換部１０３、雑音重畳部１０４(さらに必要に応じて雑音変換部１０１)を含む学習用音声データ生成装置として機能させてもよい。学習用音声データ生成装置は、雑音データv1と音声データs1とを入力とし、これらのデータを用いて、音声データs4を生成し、出力する。この学習用音声データ生成装置は、雑音環境下において人間が発話する音声に近い雑音環境下の音声データを生成し、生成した音声データを学習用音声データとすることができる。この学習用音声データを用いることで、第一実施形態の音声・非音声モデルを学習することができる。
【００３１】
音声変換部１０３において、音声データの変換方法は、参考文献１に限られるものではなく、雑音データに対応する雑音環境下で音声データが明瞭に聴こえるように、音声データを変換するものであればどのような変換方法を用いてもよい。
【００３２】
＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。
【００３３】
図１は第一実施形態に係る音声・非音声モデル学習装置の機能ブロック図を、図２はその処理フローを示す。
【００３４】
音声・非音声モデル学習装置２００は、雑音変換部１０１、音声変換部１０３、雑音重畳部１０４及び音声・非音声モデル学習部１０５を含む。つまり、音声・非音声モデル学習装置２００は、音声変換用雑音変換部１０２を含まず、Ｓ１０２を行わない。
【００３５】
音声変換部１０３は、雑音データv3と音声データs1とを受け取り、雑音データv3に対応する雑音環境下で音声データs1が明瞭に聴こえるように、音声データs1を変換し（Ｓ１０３）、変換後の音声データs2を出力する。
【００３６】
なお、音声変換部１０３において用いる雑音データを「第三雑音データに基づく雑音データである第四雑音データ」とも言う。第一実施形態では第三雑音データはv3であり第四雑音データはv4であり、第二実施形態では第四雑音データは第三雑音データそのものでありv3である。
【００３７】
第一実施形態で説明した通り、音量の大きい雑音データv3を用いて、音声データを変換すると、音量の大きい雑音データv3に対して明瞭に聞き取れるように音声データを変換するため、明瞭になり過ぎてしまうという問題がある。そのため、明瞭な発話のみを精度良く識別可能な音声・非音声モデルを構築したい場合などにこの形態を採用すると良い。
【００３８】
＜効果＞
このような構成とすることで、第一実施形態と同様の効果を得ることができる。第一実施形態の音声・非音声モデルよりも明瞭な発話に対する検出精度が向上し、不明瞭な発話に対する検出精度は落ちる。本実施形態と第一実施形態の変形例を組合せてもよい。
【００３９】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００４０】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００４１】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００４２】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００４３】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００４４】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2019176830.tif 000003
【図２】
2019176830.tif 000004
【国際調査報告】
2019176830.tif 000005
2019176830.tif 000006
2019176830.tif 000007