(57)【要約】【課題】精度向上に寄与するデータを効率的に集めることができる学習データ選択技術を提供する。【解決手段】学習データ選択装置は、Nを２以上の所定の正の整数として、ラベルを付与するための互いに異なるN個のモデルが記憶されたモデル記憶部１と、モデル記憶部１から読み込んだN個のモデルのそれぞれを用いて、入力された音声データに含まれる各音声区間にラベルを付与することにより、各音声区間についてのN個のモデルに対応するN個のラベルを得るラべリング部２と、MをN未満の所定の正の整数として、N個のラベルの中の共通するラベルの数がM個以下である音声区間をラベル付与対象として選択するラベル付与対象選択部３と、を備えている。【選択図】図１
2019045667.tif 000002
【特許請求の範囲】
【請求項１】
Nを２以上の所定の正の整数として、ラベルを付与するための互いに異なるN個のモデルが記憶されたモデル記憶部と、
上記モデル記憶部から読み込んだ上記N個のモデルのそれぞれを用いて、入力された音声データに含まれる各音声区間にラベルを付与することにより、各上記音声区間についてのN個のモデルに対応するN個のラベルを得るラべリング部と、
MをN未満の所定の正の整数として、上記N個のラベルの中の共通するラベルの数がM個以下である音声区間をラベル付与対象として選択するラベル付与対象選択部と、
を含む学習データ選択装置。
【請求項２】
請求項１の学習データ選択装置において、
上記ラべリング部は、各上記音声区間にラベル及びそのラベルの確からしさを表す指標を付与することにより、各上記音声区間にN個のモデルに対応するN個のラベル及び確からしさを表す指標を得るものであり、
上記ラベル付与対象選択部は、上記N個のラベルの中に、各上記音声区間に付与されたラベルの確からしさを表す指標が所定の第一閾値以上であるラベル及び上記所定の第一閾値より小さい所定の第二閾値以下であるラベルの少なくとも一方が含まれる音声区間を選択しない、
学習データ選択装置。
【請求項３】
請求項１又は２の学習データ選択装置において、
上記ラベル付与対象選択部は、ラベルの種類が複数あるとして、各種類のラベルの音声区間の個数が所定の個数の範囲内となるように、音声区間を選択する、
学習データ選択装置。
【請求項４】
請求項３の学習データ選択装置において、
上記ラべリング部は、各上記音声区間にラベル及びそのラベルの確からしさを表す指標を付与することにより、各上記音声区間にN個のモデルに対応するN個のラベル及び確からしさを表す指標を得るものであり、
上記学習データ選択装置は、上記ラベル付与対象として選択された音声区間の音声データ及び人手により付与されたラベルを用いて、上記モデル記憶部に記憶されたN個のモデルのそれぞれを更新することによりN個の更新後モデルを生成するモデル更新部を更に含み、
上記ラベル付与対象選択部は、上記N個の更新後モデルのそれぞれを用いて各上記音声区間にラベル及びそのラベルの確からしさを表す指標が付与された場合に、そのラベルの確からしさを表す指標から更新前のN個のモデルを用いて付与されたラベルの確からしさを表す指標を減算した値が大きくなるように音声区間を選択する、
学習データ選択装置。
【請求項５】
モデル記憶部には、Nを２以上の所定の正の整数として、ラベルを付与するための互いに異なるN個のモデルが記憶されているとして、
ラべリング部が、上記モデル記憶部から読み込んだ上記N個のモデルのそれぞれを用いて、入力された音声データに含まれる各音声区間にラベルを付与することにより、各上記音声区間についてのN個のモデルに対応するN個のラベルを得るラべリングステップと、
ラベル付与対象選択部が、MをN未満の所定の正の整数として、上記N個のラベルの中の共通するラベルの数がM個以下である音声区間をラベル付与対象として選択するラベル付与対象選択ステップと、
を含む学習データ選択方法。
【請求項６】
請求項１から４の何れかの学習データ選択装置の各部としてコンピュータを機能させるためのコンピュータ読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音響モデルを作成するための学習データを選択する技術に関する。
【背景技術】
【０００２】
音声信号に含まれる非言語・パラ言語情報を推定するためには、音声信号とそれに対応する非言語・パラ言語のラベルを含む学習データを大量に集める必要がある。非言語情報は、性別、年齢等の意識的に付与することができない情報である。パラ言語情報は、感情（怒り、満足等）、意図等の意識的に付与することができる情報である。そもそもラベルが付与されたデータが非常に少ない場合、学習データを充分に準備する事ができないため、この学習データで学習したモデルでは、精度が非常に低い事になり、いわゆるself-trainingでモデルを抽出するのは困難となる。また、特徴的なラベルが表れる頻度が非常に少ない場合、(例えば、音声中に含まれる怒りや満足といった感情を含むデータは、感情を含まない平静データに比べ少ない事が想定される)、人手で集めようとしても、頻度が少ないため、非常に効率が悪い。
【０００３】
したがって、大量のコーパスから、ラベルを付与できる学習データを効率的に抽出する方法が必要である。特許文献１には、学習データが十分に集まったモデルで抽出したデータを学習データに追加する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２４８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載されているように、学習データが充分に集まったモデルで抽出したデータを学習データに追加しても、既に学習されるものに近いものが集まるだけで、精度向上はあまり期待できない。このため、精度向上に寄与するデータを効率的に集めることが必要である。
【０００６】
この発明の目的は、精度向上に寄与するデータを効率的に集めることができる学習データ選択装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
この発明の一態様による学習データ選択装置は、Nを２以上の所定の正の整数として、ラベルを付与するための互いに異なるN個のモデルが記憶されたモデル記憶部と、モデル記憶部から読み込んだN個のモデルのそれぞれを用いて、入力された音声データに含まれる各音声区間にラベルを付与することにより、各音声区間についてのN個のモデルに対応するN個のラベルを得るラべリング部と、MをN未満の所定の正の整数として、N個のラベルの中の共通するラベルの数がM個以下である音声区間をラベル付与対象として選択するラベル付与対象選択部と、を備えている。
【発明の効果】
【０００８】
精度向上に寄与するデータを効率的に集めることができる。
【図面の簡単な説明】
【０００９】
【図１】学習データ選択装置の例を説明するためのブロック図。
【図２】学習データ選択方法の例を説明するための流れ図。
【発明を実施するための形態】
【００１０】
［学習データ選択装置及び方法］
図１に示すように、学習データ選択装置は、モデル記憶部１、ラべリング部２、ラベル付与対象データ記憶部４、ラベル付与不要データ記憶部５及びモデル更新部６を例えば備えている。
【００１１】
学習データ選択方法は、学習データ選択装置が、図２及び以下に説明するステップＳ１からステップＳ６の処理を行うことにより例えば実現される。
【００１２】
＜モデル記憶部１＞
モデル記憶部１には、ラベルを付与するための互いに異なるN個のモデルが記憶されている。Nは、２以上の所定の正の整数である。
【００１３】
例えば、N個のモデルは、用いている特徴量が互いに異なる。例えば、N=3であり、３個のモデルがある場合には、１個目のモデルは特徴量として基本周波数を用いており、２個目のモデルは特徴量としてパワーを用いており、３個目のモデルは特徴量として基本周波数及びパワーを用いているとする。
【００１４】
また、N個のモデルは、モデルリング方式が互いに異なっていてもよい。異なるモデリング方式の例として、SVM(Support Vector Machine),GP(Gaussian Process),LSTM(Long Short-Term Memory)等を挙げることができる。
【００１５】
＜ラべリング部２＞
ラべリング部２には、音声データが入力される。
【００１６】
ラべリング部２は、モデル記憶部１から読み込んだN個のモデルのそれぞれを用いて、入力された音声データに含まれる各音声区間にラベルを付与することにより、各音声区間についてのN個のモデルに対応するN個のラベルを得る（ステップＳ２）。得られたN個のラベルについての情報は、ラベル付与対象選択部３に出力される。
【００１７】
具体的には、i=1,…,Nとして、ラべリング部２は、入力された音声データに対して、モデル記憶部１から読み込んだモデルiで用いられている特徴量と同じ特徴量を抽出する処理を行う。そして、ラべリング部２は、抽出された特徴量を用いて、入力された音声データに含まれる各音声区間を検出する。そして、ラべリング部２は、抽出された特徴量を用いて、検出された各音声区間にラベルを付与する。ラべリング部２は、この処理を、モデル1,…,Nのそれぞれに対して行う。
【００１８】
なお、ラべリング部２は、各音声区間に付与したラベルに加えて、そのラベルの確からしさを表す指標を付与してもよい。確からしさを表す指標の例は、尤度、事後確率である。この場合、ラべリング部２は、各音声区間に付与したラベルについての情報に加えて、そのラベルの確からしさを表す指標をラベル付与対象選択部３に出力する。
【００１９】
なお、モデルのモデリング方式によっては、確からしさを表す指標として確率値とは異なるオーダーになるものが得られる場合がある。この場合、ラべリング部２は、この異なるオーダーになる値を線形変換等で確率値に変換し、変換された確率値を確からしさを表す指標として用いてもよい。例えば、モデリング方式がSVMである場合には、境界面からの距離値を確率値に変換し、この変換された確率値を確からしさを表す指標として用いてもよい。
【００２０】
また、ラべリング部２は、ラベルを付与した各音声区間の始端時間と終端時間についての情報をラベル付与対象選択部３に更に出力してもよい。なお、使用するモデルにより各音声区間の始端時間と終端時間は異なる場合があるが、始端時間と終端時間の両方が所定の時間以内の音声区間は、同一の音声区間とする。所定の時間の例は、0.2秒である。
【００２１】
＜ラベル付与対象選択部３＞
ラベル付与対象選択部３は、MをN未満の所定の正の整数として、N個のラベルの中の共通するラベルの数がM個以下である音声区間をラベル付与対象として選択する（ステップＳ３）。選択された音声区間についての情報は、ラベル付与対象データ記憶部４に記憶される。選択されなかった音声区間についての情報は、ラベル付与不要データ記憶部５に記憶される。
【００２２】
Mは例えばM=1である。M=1の場合には、ラベル付与対象選択部３は、付与されたN個のラベルがモデル毎に異なる音声区間を選択する。
【００２３】
また、例えばM=2の場合には、ラベル付与対象選択部３は、N個のラベルの中の共通するラベルの数が２個以下である音声区間を選択する。言い換えれば、ラベル付与対象選択部３は、N個のラベルの中の共通するラベルの数が３個以上の音声区間を選択しない。
【００２４】
ラベル付与対象選択部３は、N個のラベルの中に、各音声区間に付与されたラベルの確からしさを表す指標が所定の第一閾値以上であるラベル及び所定の第一閾値より小さい所定の第二閾値以下であるラベルの少なくとも一方が含まれる音声区間は選択しなくてもよい。第一閾値の例は0.95であり、第二閾値の例は0.05である。
【００２５】
また、ラベル付与対象選択部３は、ラベルの種類が複数あるとして、各種類のラベルの音声区間の個数が所定の個数の範囲内となるように音声区間を選択してもよい。すなわち、ラベル付与対象選択部３は、ラべリング部２で付与された各ラベルが含まれている割合がほぼ同じになるように音声区間を選択してもよい。
【００２６】
例えば、あるラベルが付与された音声区間の個数が相対的に多い場合には、ラベル付与対象選択部３は、そのあるラベルが付与された音声区間の中から、音声区間の長さがランダムになるように音声区間を選択してもよい。
【００２７】
また、ラベル付与対象選択部３は、N個の更新後モデルのそれぞれを用いて各音声区間にラベル及びそのラベルの確からしさを表す指標が付与された場合に、そのラベルの確からしさを表す指標から更新前のN個のモデルを用いて付与されたラベルの確からしさを表す指標を減算した値が大きくなるように音声区間を選択してもよい。N個の更新後モデルは、後述するモデル更新部６により生成されるモデルである。
【００２８】
言い換えれば、ラベル付与対象選択部３は、N個の更新後モデルのそれぞれを用いて各音声区間にラベル及びそのラベルの確からしさを表す指標が付与された場合に、そのラベルの確からしさを表す指標から更新前のN個のモデルを用いて付与されたラベルの確からしさを表す指標を減算した値が大きい音声区間を優先的に選択してもよい。
【００２９】
また、ラベル付与対象選択部３は、選択される音声区間の長さがランダムになるように音声区間を選択してもよい。また、ラベル付与対象選択部３は、選択される音声区間の音声ファイル内の出現位置がランダムになるように音声区間を選択してもよい。
【００３０】
＜ラベル付与対象データ記憶部４＞
ラベル付与対象データ記憶部４には、ラベル付与対象選択部３で選択された音声区間についての情報が記憶される。
【００３１】
ラベル付与対象データ記憶部４に記憶された音声区間に対して、人手によるラベル付与がされるとする。
【００３２】
＜ラベル付与不要データ記憶部５＞
ラベル付与不要データ記憶部５には、ラベル付与対象選択部３で選択されなかった音声区間についての情報が記憶される。
【００３３】
なお、ラベル付与不要データ記憶部５に記憶されている、ラベル付与対象選択部３で選択されなかった音声区間については、ラべリング部２により付与されたラベルがそのまま採用される。
【００３４】
＜モデル更新部６＞
モデル更新部６は、ラベル付与対象データ記憶部４から読み込んだラベル付与対象として選択された音声区間の音声データ及び人手により付与されたラベルを用いて、モデル記憶部１に記憶されたN個のモデルのそれぞれを更新することによりN個の更新後モデルを生成する（ステップＳ６）。生成されたN個の更新後モデルは、モデル記憶部１に記憶される。
【００３５】
その後、必要に応じて、ステップＳ１からステップＳ５の処理が繰り返される。
【００３６】
このように、N個のラベルの中の共通するラベルの数がM個以下である音声区間をラベル付与対象として選択することにより、既存のモデルでラベルを付与することができないデータを選択することができるため、精度向上に寄与するするデータを効率的に集めることができる。また、学習データ収集にかける時間も短くなる。また、効率的に質の良いデータを集める事が出来るので精度改善のスピードも加速する事が期待できる。さらに、この選択された音声区間についてのみ人手でラベルを付与することにより、学習にかける人手のコストも少なくなる。
【００３７】
［プログラム及び記録媒体］
学習データ選択装置の各部における処理をコンピュータによって実現する場合、これらの装置の各部がが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、その各部の処理がコンピュータ上で実現される。
【００３８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００３９】
また、各部の処理は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理の少なくとも一部をハードウェア的に実現することとしてもよい。
【００４０】
その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【図１】
2019045667.tif 000003
【図２】
2019045667.tif 000004