(57)【要約】【課題】音声収録に精通していない作業者であっても、残響環境を判断することができる残響環境判定装置を提供する。【解決手段】残響環境が異なる収録音声から作成した音響モデルとモデル名を記録した音響モデル記録部１４０と、モデル名と残響環境を記録した残響ナレッジ記録部１６０と、読み上げテキストを記録した読み上げテキスト記録部１５０と、音響モデル記録部の各音響モデルを用いて入力音声を音声認識し、モデル名と音声認識結果のテキストを含む音響モデル別認識結果を生成する音声認識部１１０と、読み上げテキスト記録部の読み上げテキストを用いて音響モデル別認識結果からモデル名と認識率を含む音響モデル別認識率を生成する認識率算定部１２０と、残響ナレッジ記録部を用いて音響モデル別認識率の中で最も高い認識率を出力した音響モデルのモデル名を含む残響ナレッジの残響環境を判定結果として生成する残響判定部１３０とを含む。【選択図】図１
2017207546.tif 000002
【特許請求の範囲】
【請求項１】
入力音声から残響環境を判定する残響環境判定装置であって、
残響環境が異なる収録音声から作成した音響モデルを、当該音響モデルを識別するためのモデル名とともに記録した音響モデル記録部と、
前記モデル名と前記残響環境を含む残響ナレッジを記録した残響ナレッジ記録部と、
前記入力音声のテキストである読み上げテキストを記録した読み上げテキスト記録部と、
前記音響モデル記録部に記録した各音響モデルを用いて前記入力音声を音声認識し、前記モデル名と音声認識結果のテキストを含む音響モデル別認識結果を生成する音声認識部と、
前記読み上げテキスト記録部に記録した読み上げテキストを用いて前記音響モデル別認識結果から認識率を算定し、前記モデル名と前記認識率を含む音響モデル別認識率を生成する認識率算定部と、
前記残響ナレッジ記録部を用いて前記音響モデル別認識率の中で最も高い認識率を出力した音響モデルのモデル名を含む前記残響ナレッジを特定し、当該残響ナレッジの残響環境を判定結果として生成する残響判定部と
を含む残響環境判定装置。
【請求項２】
請求項１に記載の残響環境判定装置であって、
前記残響環境は、反射音の大きさ、遅延時間、残響要因を含む残響環境判定装置。
【請求項３】
音響モデル記録部と、残響ナレッジ記録部と、読み上げテキスト記録部と、音声認識部と、認識率算定部と、残響判定部とを含む残響環境判定装置が、入力音声から残響環境を判定する残響環境判定方法であって、
前記音響モデル記録部は、残響環境が異なる収録音声から作成した音響モデルを、当該音響モデルを識別するためのモデル名とともに記録したものであり、
前記残響ナレッジ記録部は、前記モデル名と前記残響環境を含む残響ナレッジを記録したものであり、
前記読み上げテキスト記録部は、前記入力音声のテキストである読み上げテキストを記録したものであり、
前記音声認識部が、前記音響モデル記録部に記録した各音響モデルを用いて前記入力音声を音声認識し、前記モデル名と音声認識結果のテキストを含む音響モデル別認識結果を生成する音声認識ステップと、
前記認識率算定部が、前記読み上げテキスト記録部に記録した読み上げテキストを用いて前記音響モデル別認識結果から認識率を算定し、前記モデル名と前記認識率を含む音響モデル別認識率を生成する認識率算定ステップと、
前記残響判定部が、前記残響ナレッジ記録部を用いて前記音響モデル別認識率の中で最も高い認識率を出力した音響モデルのモデル名を含む前記残響ナレッジを特定し、当該残響ナレッジの残響環境を判定結果として生成する残響判定ステップと
を含む残響環境判定方法。
【請求項４】
請求項１または２に記載の残響環境判定装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声収録環境が適切であるかを判定する技術に関するものであり、特に残響音の環境を判定する技術に関する。
【背景技術】
【０００２】
音声認識の精度を高めるためには、認識対象となる音声を収録し、その音声を基に音響モデルを構築することで対応するという方法が挙げられる。
【０００３】
昨今、音声収録の方法は、収録ブースのような専用の環境を用意し、管理監督者を配置するといった管理型の収録方法だけではなく、音声に詳しくない不特定多数の作業者に音声収録を依頼するといった、クラウドソーシングを活用した音声収集方法も実施され始めている。そのような状況の中で、音声収録における課題として、残響音の影響がある。管理型のように専用の収録ブースを利用するのであれば吸音効果の高い壁面が残響音を抑えるため問題とはなりにくいが、クラウドソーシングなどの場合にはそこまでの設備を準備することは難しい。これまでに残響音に関する課題を解決する従来技術として、残響音が混ざってしまった音声から残響音のみを除去する技術が提案されてきた（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】木下慶介、吉岡拓也、中谷智弘、“音声のブラインド残響除去：最新の研究動向”、IEICE Fundamentals Review、電子情報通信学会、2011年4月、Vol.4 No.4 pp.301-310.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、これらの残響除去技術を利用したとしても、残響音が混ざった音声から完全に残響音を除去することは難しいため、残響除去後の音声であっても少なからず歪んだ音声になってしまい、音声認識の精度を高めるための学習データとしては適切であるとは言えない。
【０００６】
したがって、学習データとして適切な音声を収録するためには、収録時に残響音がのっているかを適切に判断し、仮に残響音がのっている場合には再収録を実施するなどの対処をするのがよい。しかし、音声収録に精通していないクラウドソーシングにおける作業者などにとっては、収録音声を聞いても残響音が混ざっているかどうかの正しい判断が難しく、仮に残響音が混ざっていた場合でも収録し直すといった対処の実施もれが生じてしまう。
【０００７】
そこで本発明では、音声収録に精通していない作業者であっても、残響環境を判断することができる残響環境判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様は、入力音声から残響環境を判定する残響環境判定装置であって、残響環境が異なる収録音声から作成した音響モデルを、当該音響モデルを識別するためのモデル名とともに記録した音響モデル記録部と、前記モデル名と前記残響環境を含む残響ナレッジを記録した残響ナレッジ記録部と、前記入力音声のテキストである読み上げテキストを記録した読み上げテキスト記録部と、前記音響モデル記録部に記録した各音響モデルを用いて前記入力音声を音声認識し、前記モデル名と音声認識結果のテキストを含む音響モデル別認識結果を生成する音声認識部と、前記読み上げテキスト記録部に記録した読み上げテキストを用いて前記音響モデル別認識結果から認識率を算定し、前記モデル名と前記認識率を含む音響モデル別認識率を生成する認識率算定部と、前記残響ナレッジ記録部を用いて前記音響モデル別認識率の中で最も高い認識率を出力した音響モデルのモデル名を含む前記残響ナレッジを特定し、当該残響ナレッジの残響環境を判定結果として生成する残響判定部とを含む。
【発明の効果】
【０００９】
本発明によれば、残響環境ごとに収集した音声データから生成した音響モデルを用いて音声認識した結果と発話内容とのマッチング度合いを判定することにより、音声収録に精通していない作業者であっても、残響がのっているのか、どのような要因による残響なのかなどの残響環境を判断することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】残響環境判定装置１００の構成を示すブロック図。
【図２】残響環境判定装置１００の動作を示すフローチャート。
【図３】残響ナレッジの一例を示す図。
【図４】読み上げテキストの一例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１２】
＜本願発明の要点＞
本願発明では、残響の有無等残響環境の判定に音声認識結果を用いる。音声認識において、最も高い認識率が得られるのは、入力音声と同じ環境で収録した音声から作成した音響モデルを用いる場合である。背景雑音を例に挙げると、ある背景雑音が含まれる音声を認識する場合、クリーンな環境で収録した音声から作成した音響モデルより、同様の背景雑音が含まれる音声から作成した音響モデルで認識した方がよい認識結果が得られる。本願発明は、この性質を利用して、残響環境を判定する。
【００１３】
＜実施形態＞
以下、図１〜図２を参照して残響環境判定装置１００について説明する。図１は、残響環境判定装置１００の構成を示すブロック図である。図２は、残響環境判定装置１００の動作を示すフローチャートである。図１に示すように残響環境判定装置１００は、音声認識部１１０と、認識率算定部１２０と、残響判定部１３０と、音響モデル記録部１４０と、読み上げテキスト記録部１５０と、残響ナレッジ記録部１６０を含む。
【００１４】
収音環境判定の事前準備として、反射音の大きさや遅延時間、残響要因などが異なる残響環境ごとの音声をあらかじめ収録しておき、その収録音声を用いて残響環境ごとの音響モデルを作成する。反射音の大きさは、例えば、ゼロ、小、大などと、遅延時間は、例えば、ゼロ、短い、長いなどと表現することができる（図３参照）。また、残響要因の例としては、壁が近い、マイクと口の距離が遠くかつ声が大きいなどが挙げられる（図３参照）。
【００１５】
作成した音響モデルは、音響モデルを識別するためのモデル名とともに音響モデル記録部１４０に記録しておく。なお、音響モデルには例えば、ＨＭＭ（Hidden Markov Model、隠れマルコフモデル）などを用いればよい。
【００１６】
一方、反射音の大きさや遅延時間と残響要因などが異なる残響環境は、モデル名を識別子として残響ナレッジ記録部１６０に記録しておく。なお、以下ではモデル名と残響環境を含むデータのことを残響ナレッジという。
【００１７】
また、収音環境判定に用いる入力音声のテキストである読み上げテキストは、読み上げテキスト記録部１５０に記録しておく。読み上げテキストの一例を図４に示す。
【００１８】
読み上げテキストをクラウドソーシング等の作業者が読み上げることにより、収音環境判定に用いる入力音声が生成される。例えば、読み上げテキスト記録部１５０に記録した読み上げテキストを作業者にディスプレイ等を通じて提示し、作業者による発話音声をマイク等にて収録することにより入力音声が生成される。この作業は残響環境判定に先立って行われるものである。
【００１９】
残響環境判定装置１００は、音声の収録にあたり、その収音環境が適切か否かを判定する。まず、音声認識部１１０は、読み上げテキストを発話した音声を入力として、音響モデル記録部１４０に記録してある音響モデルごとに音声認識処理を実行、音響モデル別認識結果を生成する（Ｓ１１０）。音響モデル別認識結果は、モデル名と音声認識結果のテキストを含む。
【００２０】
次に、認識率算定部１２０は、音響モデル別認識結果を入力として、読み上げテキストを用いて認識率を算定し、音響モデル別認識率を生成する（Ｓ１２０）。音響モデル別認識率は、モデル名と認識率を含む。認識率は、音響モデル別認識結果のテキストと入力音声のテキストである読み上げテキストとの単語マッチングにより算定される。例えば、認識率＝（正解単語数−挿入誤り単語数）／全単語数×１００として算出することができる。
【００２１】
残響判定部１３０は、音響モデル別認識率を入力として、残響ナレッジ記録部１６０を用いて最も高い認識率を出力した音響モデルのモデル名を含む残響ナレッジを特定し、当該残響ナレッジの残響環境（反射音の大きさや遅延時間、残響要因など）を判定結果として生成する（Ｓ１３０）。
【００２２】
ここで得られた判定結果を音声収録作業者に示すことで、現状の収録系で問題ないのか、何か改善をする必要があるのかを示す。この作業を何回か繰り返すことで、最終的に残響がない収録系を構築することが可能となる。
【００２３】
本実施形態の発明によれば、音声認識の精度を高めるための音響モデル学習に向けた音声収録において、音声収録技術に精通していないクラウドソーシングなどの作業者であっても、収録音声に残響がのっているかをその場で判断することが可能となる。残響がのっている場合、残響要因もあわせて示すことができるため、再収録や残響音低減の対処を実施することで、適切な音声を収録することが可能となる。音声収録技術に精通した作業者が立ち会うことなく、音声収録作業を適切に進めることができるため、音声収録を低コストで効率よく進めることが可能となる。
【００２４】
また、クラウドソーシングでは、一般に音響モデル作成に用いる音声と読み上げテキストを発話した入力音声を同一の話者により生成する、あるいは、音響モデル作成に用いる音声、読み上げテキストを発話した入力音声の収録する設備（例えば、居室）を同一にするなどといった音声収集の条件を整えることが難しいが、このような場合においても適切な音声を収録することが可能となる。
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００２５】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００２６】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【００２７】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００２８】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００２９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００３０】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００３１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００３２】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【００３３】
１００  残響環境判定装置
１１０  音声認識部
１２０  認識率算定部
１３０  残響判定部
１４０  音響モデル記録部
１５０  読み上げテキスト記録部
１６０  残響ナレッジ記録部
【図１】
2017207546.tif 000003
【図２】
2017207546.tif 000004
【図３】
2017207546.tif 000005
【図４】
2017207546.tif 000006