(57)【要約】【課題】  音響モデルの学習無しで、環境雑音などの音声以外の雑音を効果的に除去する。【解決手段】  無音音素を除く単音素により雑音に対する音声認識を行い、ゆう度が上位の単音素を抽出する。抽出した上位の単音素に、言語として意味をなすか否かに係わらず、同一または他の単音素を付加した音素列により、雑音に対する音声認識を行い、再度ゆう度が上位の音素列を抽出し、不要語の辞書に記憶させる。【選択図】    図２
2011118030.tif 000002
【特許請求の範囲】
【請求項１】
不要語の辞書と音声認識部とを備え、入力音声から不要語を除くように音声認識を行うシステムであって、
無音音素を除く単音素により、音声認識部に雑音に対する音声認識を行わせて、音声認識結果でのゆう度が上位の単音素を抽出し、抽出した上位の単音素に、言語として意味をなさないものを含むように、同一または他の単音素を付加した音素列により、音声認識部に前記雑音に対する音声認識を行わせて、音声認識結果でのゆう度が上位の音素列を抽出するように、音声認識部を制御し、抽出したゆう度が上位の音素列を不要語の辞書に記憶させる、不要語辞書作成部を設けたことを特徴とする、音声認識システム。
【請求項２】
前記不要語辞書作成部は、前記音素列の他に、複数の異なる音素を混合するように合成した合成音素により、音声認識部に雑音に対する音声認識を行わせて、音声認識結果でのゆう度が上位の合成音素を不要語辞書に記憶させることを特徴とする、請求項１の音声認識システム。
【請求項３】
不要語の辞書と音声認識部とを備え、入力音声から不要語を除くように音声認識を行う方法であって、
無音音素を除く単音素により、音声認識部に雑音に対する音声認識を行わせて、音声認識結果でのゆう度が上位の単音素を抽出し、
抽出した上位の単音素に、言語として意味をなさないものを含むように、同一または他の単音素を付加した音素列により、音声認識部に前記雑音に対する音声認識を行わせて、音声認識結果でのゆう度が上位の音素列を抽出し、
抽出したゆう度が上位の音素列を不要語の辞書に記憶させることを特徴とする、音声認識方法。
【請求項４】
前記音素列の他に、複数の異なる音素を混合するように合成した合成音素により、音声認識部で雑音に対する音声認識を行わせて、音声認識結果でのゆう度が上位の合成音素を不要語辞書に記憶させることを特徴とする、請求項３の音声認識方法。  
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は音声認識に関し、環境雑音及びせき、くしゃみなどの雑音の除去に関する。
【背景技術】
【０００２】
特許文献１（特開2003-308090）は、音声認識での不要語に対する処理として、不要語も音声言語の一種であり、音節あるいは音素などの要素の組合せで表現できるとしている。そして不要語構成要素に対する隠れマルコフモデルHMMを用意することを提案している。特許文献１では、音声認識すべきキーワードの例えば「げんざいち」の前後に、「えーっと」などの不要語構成要素が付加されても、キーワードを正確に認識できるようにすることを検討している。
【０００３】
しかしながら機械音などの環境雑音を擬声語として取り扱うことには、無理がある。またせき、くしゃみなどは人が発する音ではあるが、音声ではない。環境雑音などの雑音を全て擬声語として処理すると、認識率が低下する。これを避けようとすると、雑音の候補が多数必要になり、音声認識が複雑になる。
【０００４】
雑音に対する他の可能性は、雑音を構成する音素を新規の音素として登録することで、そのためには、雑音を構成する音素に対する音響モデルの学習が必要になる。音響モデルの学習では大量のサンプルを収録する必要があり、雑音を構成する音素を新規の音素として登録することは効率的ではない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2003-308090
【発明の概要】
【発明が解決しようとする課題】
【０００６】
この発明の課題は、音響モデルの学習無しで、環境雑音などの音声以外の雑音を効果的に除去することにある。
【課題を解決するための手段】
【０００７】
この発明の音声認識システムは、不要語の辞書と音声認識部とを備え、入力音声から不要語を除くように音声認識を行うシステムであって、
無音音素を除く単音素により、音声認識部に雑音に対する音声認識を行わせて、音声認識結果でのゆう度が上位の単音素を抽出し、抽出した上位の単音素に、言語として意味をなさないものを含むように、同一または他の単音素を付加した音素列により、音声認識部に前記雑音に対する音声認識を行わせて、音声認識結果でのゆう度が上位の音素列を抽出するように、音声認識部を制御し、抽出したゆう度が上位の音素列を不要語の辞書に記憶させる、不要語辞書作成部を設けたことを特徴とする。
【０００８】
この発明の音声認識方法は、不要語の辞書と音声認識部とを備え、入力音声から不要語を除くように音声認識を行う方法であって、
無音音素を除く単音素により、音声認識部に雑音に対する音声認識を行わせて、音声認識結果でのゆう度が上位の単音素を抽出し、
抽出した上位の単音素に、言語として意味をなさないものを含むように、同一または他の単音素を付加した音素列により、音声認識部に前記雑音に対する音声認識を行わせて、音声認識結果でのゆう度が上位の音素列を抽出し、
抽出したゆう度が上位の音素列を不要語の辞書に記憶させることを特徴とする。
【０００９】
この明細書において、音声認識システムに関する記載は音声認識方法にもそのまま当てはまり、逆に音声認識システムに関する記載は音声認識方法にもそのまま当てはまる。
この発明では、雑音を構成する音素への音響モデルを作成するのではなく、言語として意味をなさないものを含む音素の列で、雑音を表すようにする。従って既存の音響モデルを時系列的に並べて範囲で、最大限に雑音を表現できる。
音素の列で音声認識する雑音は、単音素で音声認識した雑音と同じものである。ただし同じ雑音を多数回収録し、一部を単音素の音声認識に、残りを音素列での音声認識に用いても良い。
【００１０】
この明細書で、記号/は音素の区切りで、言語として意味をなさない音素の列とは、/Ｎ/＋/ｑ/などのように、日本語として有り得ないものである。なお考慮する言語が英語等の場合、その言語で有り得ない音素の列が問題となる。
ゆう度が上位とは、例えばゆう度が上位Ｎ位（Ｎは３〜５程度の数）を意味するが、抽出する単音素及び音素の列は有る程度、異なるものが好ましい。このため上位１位、２位に、上位３位目の音素が類似する際に、上位３位目の音素に代えて、音としての性質が離れた上位４位目の音素を抽出することも有る。  
【００１１】
好ましくは、前記不要語辞書作成部は、前記音素列の他に、複数の異なる音素を混合するように合成した合成音素により、音声認識部に雑音に対する音声認識を行わせて、音声認識結果でのゆう度が上位の合成音素を不要語辞書に記憶させる。異なる音素を混合するとは、例えばそれらの音素の音響モデルを混合することである。異なる音素を混合することにより、既存の音響モデルの合成（混合）で表現できる範囲で、雑音に最も忠実な合成音素を発生させることができる。
【図面の簡単な説明】
【００１２】
【図１】実施例の音声認識システムのブロック図
【図２】実施例での不要語辞書の作成アルゴリズムを示すフローチャート
【図３】合成音素に対する、不要語辞書の作成アルゴリズムを示すフローチャート
【図４】突発雑音のスペクトル等を示し、1)は突発雑音の音響信号を、2)は突発雑音のスペクトルを、3)は突発雑音に対する合成音素/sh/×/o/のスペクトルを示す。
【発明を実施するための最良の形態】
【００１３】
以下に本発明を実施するための最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書とこの分野の周知技術を参酌し、当業者の理解に従って定められるべきである。
【実施例】
【００１４】
図１〜図４に、実施例の音声認識システムを示す。図１に示すように、音声認識システムは、コンピュータからなるサーバ２とヘッドセット３０とから成り、通信部６，３６で接続されている。４，３２はマイクロフォン、３４はスピーカで、ヘッドセット３０のマイクロフォン３２は、装着した作業者の音声を収録するために用い、スピーカ３４はサーバ２などから作業者への指示を出力するために用いる。ヘッドセット３０は電源３８により動作し、例えばピッキングなどの作業者が装着して、スピーカ３４等からの指示に従ってピッキングを行い、作業の進捗状況等をマイクロフォン３２から、サーバ２へ報告する。なおサーバ２のマイクロフォン４は、突発雑音，機械音，せきやくしゃみの音などの雑音の入力などに用いる。
【００１５】
実施例ではサーバ２が音声認識を行い、マイクロフォン３２からの音声信号がそのまま通信部３６から送信されてくるものとするが、ヘッドセット３０で音声認識を行っても良い。その場合、後述の不要語の辞書をサーバ２からヘッドセット３０へ送信する。
【００１６】
サーバ２は音響モデル記憶部８を備え、各音素に対する音響モデルを記憶する。音声認識部１０は、通信部６あるいはマイクロフォン４などから入力された音声信号を認識して、複数の音素の列に変換する。単語辞書１２は、変換した音素の列を日本語の単語等に変換する。１４は不要語辞書作成部で、不要語とは音声認識の対象とならない音響信号である。不要語の中には、「えーっと」などの意味の無い音声もあれば、環境雑音，突発雑音，せき，くしゃみなどのように、音声ではないものもある。音声ではない雑音に対して、新たな音響モデルを発生させるのではなく、音声認識用の通常の音素の列、あるいは通常の音素を合成した合成音素、さらには合成音素の列等により、雑音を表す音素の列を発生させる。雑音に対する音素の列は、不要語として単語辞書１２に記憶させる。
【００１７】
候補発生部１６では、雑音を表す単音素もしくは音素の列の候補を発生させ、どのような音素が存在するかは音声認識部１０が記憶している。候補決定部１８は、不要語の候補となる音素もしくはその列によって、音声認識部１０に雑音に対する音声認識を行わせ、認識結果のゆう度の上位N位、例えば上位3位などを候補として決定する。雑音を表すものとして、単音素と音素の列とを認め、音素の列は最初が列長１（単音素）で、最後が列長Ｌ（２〜４程度）である。そして列長は１ずつ増し、各列長に対して候補を決定する。音素の列の候補は言語として有り得るかどうかを問題にせず、例えば無音音素を除く全ての音素の列を候補とする。これによって、既存の音素で表現できる範囲で、雑音を忠実に表現でき、音素の列の候補には、一般に言語としては有り得ないものが含まれる。
【００１８】
合成処理部２０は複数の音素が同時に発音されるものとして、即ち、音素の合成として合成音素を発生させる。音素の合成とは、適宜の割合（重み）で、素材となる音素の音響モデルを混合することである。合成音素は、音声以外の雑音を音声認識で抽出する上で有効で、既存の音響モデルの範囲で雑音を最も忠実に表現できる。合成を行う音素の数は例えば最大で３個などと、上限を設ける。
【００１９】
雑音に対する音素の列長、合成音素での素材となる音素の数などへの制限は便宜的なものである。より長い音素の列、あるいはより多数の音素を合成した合成音素を認めると、不要語の認識がより正確になり、その一方で処理がより複雑になる。繰り返し処理部２２は、雑音を表す音素の列、あるいは雑音に対する音素の合成などで、音素の列の長さもしくは合成に用いる素材の音素の数が所定値に達するまで、処理を繰り返す。音素の列の長さは最大で４，合成する素材の音素の数は最大で４などとし、好ましくはこれらを３以下とする。なお音素の列は単音素を含んでも良いが、単音素のみからなるものはこの発明には含まれない。
【００２０】
図２に、音素の列により不要語辞書を作成する例を示す。ステップ１で突発雑音，機械雑音，せき，くしゃみその他の雑音を収録する。収録の回数は１〜複数回とし、回数が多いほど、正確な不要語辞書を作成できる。ステップ２で、雑音を表すための単音素の候補を発生させ、/sp/（ショートポーズ），/silＢ/（始まりの無音部）などの無音音素は候補に含めない。ステップ２では、無音音素以外の全ての音素を候補とし、日本語などの言語において、そのような語が存在するかどうかにかかわらず、雑音を音声認識する。ステップ３では、ステップ２の音声認識の結果のゆう度の上位N位、例えば上位3位、あるいは上位5位などを、不要語の音素の候補として抽出する。ステップ２では、音声認識の途中での刈り込みあるいは打ち切りなどを行わず、候補とした全ての音素に対して音声認識を実行する。
【００２１】
雑音を単音素で表現できることは少ない。そこで音素の列により雑音を表すために、ステップ３で選出した候補の前後に有音の単音素を結合し、再び雑音を音声認識する（ステップ４）。音素の列の候補として、/N/＋/q/など、日本語としてはあり得ない音素の列も候補に含める。ステップ５で、ステップ４の音声認識結果を用い、ゆう度の上位N位を選出する。そして所定の音素の列長に達するまで、ステップ４，ステップ５を繰り返す(ステップ６）。音素の列長は例えば２音素〜４音素程度とし、ステップ７でステップ５で得られた音素列に対するゆう度を評価し、ゆう度が良好な場合、これらの音素を雑音を表す音素列とし、ゆう度が不良な場合は、図３の音素合成へ移行する。
【００２２】
図２のアルゴリズムの特徴は、雑音を音素の列として表すことと、言語として有り得るかどうかを無視して、音素の列の候補を発生させる点にある。例えばステップ４では、選んだ候補の前あるいは後に他の単音素を結合する。ステップ４を２回以上繰り返す際には、既に単音素の列があるので、単音素と単音素との間に単音素を挿入する。言語として有り得るかどうかを無視して、音素列の候補を発生させることにより、擬声語として表すよりも、より正確に雑音を表すことができる。
【００２３】
図３の音素合成では、雑音を複数の音素が同時に発音されている状態として表すことを考える。図２のステップ３で、雑音を表す単音素のゆう度上位N位のものを抽出してある。図３のステップ１１でこの候補を呼び出し、ステップ１２で上位N位の候補に、他の有声単音素を合成し、音声認識の候補として音声認識を実行する。
【００２４】
合成とは、所定の重みをもって複数の音素を重ね合わせることで、具体的には音響モデルを所定の重みで重ね合わせることである。合成音素の候補での音声認識結果に基づき、上位N位の候補を抽出する(ステップ１３)。例えばステップ１１での上位N位のそれぞれの候補に対して、上位N位の候補を抽出する。重みが異なれば、素材となる音素の組合せが同じでも、合成音素としては別のものになる。そこで例えば、合成音素による音声認識では、同じ音素の組合せに対して、重みを変えて音声認識する。ステップ１４で合成を例えば１〜２回繰り返し、その結果、単音素を２〜３個合成した合成音素による、不要語の辞書を作成する。なお図２のステップ５で求めた音素列での各単音素を合成音素で置き換え、雑音を表す合成音素の列を作成しても良い。
【００２５】
合成音素について説明する。単音素１と単音素２を合成して合成音素とする。例えば合成の割合として、単音素１の割合(重み)をN1，単音素２の割合をN2とする。単音素は一般に隠れマルコフモデルなどの音響モデルで表され、１つの音素は複数の状態に分割され、各状態は、周波数帯毎のエネルギーの平均値，エネルギーの分散などのデータを有している。そして状態には遷移確率が定義され、遷移確率には前回と同じ状態に遷移する確率(自己遷移確率)と、これ以外の状態へ遷移する確率とがある。
【００２６】
単音素１と単音素２に対し、割合N1，N2を用いて、合成音素をどのように合成するかは任意であるが、ここでは各周波数帯でのエネルギーの平均値μを  
μ＝(N1μ1＋N2μ2)/(N1＋N2)  とする。N1，N2は単音素1，2の割合、μ1，μ2は単音素1，2のエネルギーの平均値である。同様に合成音素でのエネルギーの分散σ2を  
σ2＝{N1(σ12＋μ12）＋N2(σ22＋μ22）}/(N1＋N2)−μ2  とする。遷移確率も同様に定義し、単音素１の自己遷移確率をQ1，単音素２の自己遷移確率をQ2とすると、合成音素の自己遷移確率Pを  P=（N1Q1+N2Q2)/(N1+N2)  とする。
【００２７】
図４に、雑音の音響波形とそれに対するスペクトル並びに合成音素のスペクトルを示す。1)のように、雑音の波形は比較的単純で、短時間で減衰するものが多い。これをスペクトルに変換すると2)のようになり、これを表す音素の列を探索し、このような音素の列が存在しない場合、合成音素により雑音のスペクトルを表す。例えば3)は、合成音素/sh/×/o/のスペクトルで、広い周波数範囲でスペクトルが一様な2)の特徴を表現できている。
【００２８】
実施例には以下の特徴がある。
(1)  雑音を音素の列で表現する。音素の列は、言語として有り得るかどうかとは関係なく、雑音に対する音声認識の結果が良好なものを抽出するので、擬声語よりも正確に雑音を表現できる。
(2)  候補の決定では、途中での刈り込みを行わない。このため候補全体から最適なものを抽出できる。
(3)  雑音を音声認識により１ステップで音素列に変換するのではない。単音素から始めて１音素ずつ追加しながら、雑音を表す音素列を発生させる。最初の単音素で雑音を全体として最も良く表す単音素を選択し、１音素ずつ追加するすることにより、忠実に雑音を表す音素列を発生できる。
(4)  音素列として表現しがたい雑音の場合、既存の音響モデルで表現できる範囲で雑音に忠実に、合成音素として表現できる。
【００２９】
実施例では、ピッキングを行う作業者の音声入力への応用を示したが、音声認識の用途は任意である。例えば、メンテナンスを行う作業者、コールセンターのオペレータ、飛行機のパイロット、外科医、歯科医など、キーボードを使わずに、入力を行う必要がある人に適している。実施例では雑音を表す音素の列長Ｌは固定であるが、例えば列長Ｌ−１に対して列長Ｌでゆう度が増さなかった場合、長さＬ−１の音素列で雑音を表現しても良く、あるいは長さＬ−１の音素列と長さＬの音素列とを共に不要語辞書に追加しても良い。合成音素により雑音を表す場合、音素列の長さは１に限らず２以上、例えば３以下などでも良い。
【符号の説明】
【００３０】
２          サーバ
４，３２    マイクロフォン
６，３６    通信部
８          音響モデル記憶部
１０        音声認識部
１２        単語辞書
１４        不要語辞書作成部
１６        候補発生部
１８        候補決定部
２０        合成処理部
２２        繰り返し処理部
３０        ヘッドセット
３４        スピーカ
３８        電源
【図１】
2011118030.tif 000003
【図２】
2011118030.tif 000004
【図３】
2011118030.tif 000005
【図４】
2011118030.tif 000006