(57)【要約】【課題】特定話者と不特定話者が混在した音声を発話単位ごとに精度よくテキストに変換する音声認識装置を提供する。【解決手段】音声認識を行なう分野に応じた不特定話者用専門用語辞書２３０、２３１、２３２を設定し、音声２００が入力されると発話単位ごとに、音声２００の特徴を抽出し、予め登録した話者モデル２１０、２１１、２１２と照合し話者を推定する。その推定結果に応じて、話者ごとの特定話者用辞書２２０、２２１、２２２、話者が特定できない場合の話者不明用辞書２２３の中から辞書を選択する。入力された音声２００が不特定話者用専門用語辞書２３０、２３１、２３２に登録された音声であれば、音声認識を行なう辞書を不特定話者用専門用語辞書２３０、２３１、２３２に切り替える。設定された辞書により音声認識処理を行いテキスト２０４に変換する。【選択図】図２
2011141349.tif 000002
【特許請求の範囲】
【請求項１】
音声の発話単位ごとに、前記音声の特徴を抽出し、予め登録した話者モデルと照合することにより話者を識別する話者識別部と、
前記発話単位ごとの前記音声をテキストに変換するために用いる辞書を、不特定話者用辞書として予め準備した複数の専門用語辞書から切り替える不特定話者用辞書切り替え部と、
前記話者識別部により識別された前記話者に応じて、前記辞書を、予め準備した複数の特定話者用辞書の中から選択する特定話者用辞書切り替え部と、
前記発話単位ごとの前記音声の内容に応じて、前記音声の認識に用いる辞書を、前記不特定話者用辞書または前記特定話者用辞書のいずれかより選択する辞書選択部と、
前記辞書選択部により選択された辞書に基づいて、音声認識処理を行う音声認識部を具備したことを特徴とする音声認識装置。
【請求項２】
前記音声の話者モデルが存在しない時に、前記話者識別部で、最も音声の特徴が近い話者モデルを選択するように構成したことを特徴とする請求項１記載の音声認識装置。
【請求項３】
前記話者が存在しない場合に、前記特定話者用辞書切り替え部で選択する辞書として話者不明用辞書を加えたことを特徴とする請求項１記載の音声認識装置。
【請求項４】
前記辞書選択部で、不特定話者用辞書を優先的に使用するように構成したことを特徴とする請求項１記載の音声認識装置。
【請求項５】
音声の発話単位ごとに、前記音声の特徴を抽出し、予め登録した話者モデルと照合することにより話者を識別する話者識別ステップと、
前記発話単位ごとの前記音声をテキストに変換するために用いる辞書を、不特定話者用辞書として予め準備した複数の専門用語辞書から切り替える不特定話者用辞書切り替えステップと、
前記話者識別部により識別された前記話者に応じて、前記辞書を、予め準備した複数の特定話者用辞書の中から選択する特定話者用辞書切り替えステップと、
前記発話単位ごとの前記音声の内容に応じて、前記音声の認識に用いる辞書を、前記不特定話者用辞書または前記特定話者用辞書のいずれかより選択する辞書選択ステップと、
前記辞書選択ステップにより選択された辞書に基づいて、音声認識処理を行う音声認識ステップを具備したことを特徴とする音声認識方法。
【請求項６】
前記音声の話者モデルが存在しない時に、前記話者識別ステップで、最も音声の特徴が近い話者モデルを選択するステップを組み入れたことを特徴とする請求項５記載の音声認識方法。
【請求項７】
前記話者が存在しない場合に、前記特定話者用辞書切り替えステップで、話者不明用辞書を選択できるステップを組み入れたことを特徴とする請求項５記載の音声認識方法。
【請求項８】
前記辞書選択ステップで、不特定話者用辞書を優先的に使用するステップを組み入れたことを特徴とする請求項５記載の音声認識方法。
【請求項９】
請求項５から９のいずれか一項に記載の音声認識方法の少なくとも一部をコンピュータで実行するためのプログラム。
【請求項１０】
請求項５から９のいずれか一項に記載の音声認識方法の少なくとも一部をコンピュータで実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力音声または録音音声などの音声をテキストに変換する音声認識装置および音声認識方法について、特に、特定話者用認識辞書と不特定話者用認識辞書を制御することで、利用場面を限定せずに、認識精度を向上させる音声認識装置、音声認識方法および、そのプログラム並びに記録媒体に関する。
【背景技術】
【０００２】
現在の音声認識技術は、特定話者認識方式と不特定話者認識方式があり、これらの技術を組み入れたソフトウェアは、パーソナルコンピューターなどにインストールして利用される。
【０００３】
特定話者認識方式は、音声認識させたい話者の音声の特徴を抽出して登録するトレーニングという作業により特定話者用認識辞書が生成され、その登録した話者の音声を精度よくテキストに変換する方式である。マイクロフォンを用いて入力された音声をテキストに変換する場合は、この特定話者認識方式を用いた方式を用いていることが一般的である。特定話者用の辞書のサイズは、１０万ワード程度の登録ができる大きな辞書が用いられる。
【０００４】
不特定話者認識方式は、話者に依存せずに認識できるように、認識させたい言葉に対してその音声の特徴の平均値を辞書に登録し、誰の音声であっても認識できるようにする方式である。誰の声でも判定できるようにするため、実用的に利用可能な辞書のサイズは大きく取れず、１０００ワード程度の辞書が用いられる。この不特定話者認識方式は、特定の限定された単語の場合、精度よく認識できるため、カーナビゲーションなどで音声によるコマンド実行に用いられている。また、不特定話者認識方式では、議会会議など利用場面を限定し、話者に依存しない単語や文章を数多く辞書に登録し精度を上げるという試みも行われている。
【０００５】
今後の音声認識技術は、これら二つの方式を組みわせて、幅広い場面に適用することができる装置や方法の開発が切望されている。
【０００６】
特許文献１には、話者に応じて特定話者用辞書を切り分けて音声認識を行う音声認識装置が公開されている。図５は、特許文献１による音声認識の方式を説明したものである。この方式によれば、想定される話者数分の音声に対応する辞書を話者標準音声パターン５１０として準備しておき、ここで該当する音声が入力された時に、音声の話者を特定することで、特定話者用音声辞書５２０、５２１、５２２から、音声認識に用いる特定話者用辞書を選択し、入力された音声５００を精度よくテキスト５０１に変換することを実現している。
【０００７】
また、特許文献２には、不特定話者用辞書を用いて予め設定したＩＤを認識することで話者を特定し、話者に応じて特定話者用辞書を切り分けて音声認識を行う音声認識方式が公開されている。図６は、特許文献２による音声認識の方式を説明したものである。この方式によれば、予め設定した特定のワードを話者ごとにＩＤとして割り当てておき、これを話者に依存せずに認識する不特定話者用辞書６１０を用いることで、入力された音声６００からＩＤを認識することで話者を特定し、任意の音声６０１に対して用いる特定話者用辞書６２０、６２１、６２２から、音声認識に用いる特定話者用辞書を選択し、精度よくテキスト６０２に変換することを実現している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開昭５９−１４６０９９号公報
【特許文献２】特開昭５９−５７３００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
解決しようとする課題は、従来の音声認識装置、または音声認識方式では、利用可能な場面が限定されてしまうため、想定している場面以外では実用的な認識精度を得ることができなくなってしまう点である。すなわち、特定話者と不特定話者が混在した音声を発話単位ごとに精度よくテキストに変換することが困難であることが課題であった。
【００１０】
特許文献１では、音声をテキストに変換するのに、話者標準音声パターン５１０に該当する音声パターンが登録されていなければ、特定話者用音声辞書５２０、５２１、５２２を選択できないため、利用可能な場面が制限されてしまう。特に、複数の話者の音声が混在して発話される場面では、発話者が切り替わるたびに、特定話者用音声辞書を切り替える必要があるが、発話される音声が話者標準音声パターン５１０に存在しない場合や、特定話者用辞書が存在しない場合は、テキスト変換処理が実行できないという課題があった。
【００１１】
特許文献２では、話者を特定するのに、不特定話者用辞書を用いるが、事前に話者ごとにＩＤを発行しておく必要があり、特許文献１と同様、登録されていない話者の音声認識を実行することができず、電話での相手が予め特定できる場合での利用などに限定されるという課題があった。
【００１２】
以上のように、従来、複数の話者が混在して発話された音声を、利用場面を限定せずに、精度よくテキストに変換することは、極めて困難であった。
【００１３】
本発明は、上記従来の課題を解決するもので、利用場面を制限せずに、実用的な認識精度が得られる音声認識装置、音声認識方法および、そのプログラム並びに記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の音声認識装置は、入力音声または録音音声などの音声の発話単位ごとに、音声の特徴を抽出し、予め登録した話者モデルと照合することにより話者を識別する話者識別部と、発話単位ごとの音声をテキストに変換するために用いる辞書を、不特定話者用辞書として予め準備した複数の専門用語辞書から切り替える不特定話者用辞書切り替え部と、話者識別部により識別された話者に応じて、辞書を、予め準備した複数の特定話者用辞書の中から選択する特定話者用辞書切り替え部と、発話単位ごとの音声の内容に応じて、音声の認識に用いる辞書を、不特定話者用辞書または特定話者用辞書のいずれかより選択する辞書選択部と、辞書選択部により選択された辞書に基づいて、音声認識処理を行う音声認識部を具備したことを特徴とするものである。
【００１５】
本発明において、音声の話者モデルが存在しない時に、話者識別部で、最も音声の特徴が近い話者モデルを選択するようにすることが好ましい。これによって、話者が特定できない場合であっても、似た人の声の特定話者用辞書を用いることができるようになり、実用的な認識精度が得られる。
【００１６】
本発明において、話者が存在しない場合に、特定話者用辞書切り替え部で選択する辞書として話者不明用辞書を加えることが好ましい。話者不明用辞書は、特定話者用辞書よりも多くのワード数を登録しておくようにする。その結果、どのような話者であっても正しいテキストを変換できる確率が高くなり、不特定話者の認識精度を上げることができる。
【００１７】
本発明の音声認識装置において、発話内容の分野が特定できる場合は、辞書選択部では、不特定話者用辞書を優先的に使用するように構成することが好ましい。これにより、その分野に含まれる専門用語が、不特定話者用辞書を参照して認識することになり、より認識精度が上がる。
【００１８】
また、本発明は、上記音声認識装置を音声認識方法として実施することが可能であり、さらに、コンピュータで実行可能なプログラム、およびプログラムを記録したコンピュータで読み取り可能な記録媒体としても実現可能である。
【発明の効果】
【００１９】
本発明によれば、複数の話者が順不同に発話した場合であっても、発話単位ごとに高精度にテキストに変換できるという優れた効果が得られる。話者が特定できない場合であっても、発話単位ごとに、よく似た声の登録話者の特定話者用辞書を選択することができ、認識精度の向上が図れる。さらに、話者が特定できない場合、話者不明用辞書に切り替えることも可能で、利用場面に応じた設定を行うことで、より精度を上げることができるという優れた効果を奏する。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態による音声認識装置の構成図
【図２】同音声認識装置の機能を示すブロック図
【図３】同音声認識装置で話者モデル、辞書作成の機能を示すブロック図
【図４】同音声認識装置の動作を示すフローチャート
【図５】従来の音声認識装置の機能を示すブロック図
【図６】従来の他の音声認識装置の機能を示すブロック図
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態における音声認識装置および音声認識方法について図面を参照して説明する。
【００２２】
なお、本発明の実施の形態では、テキストに変換する音声は、マイクなどの入力音声、または、ＩＣレコーダーなどに録音された録音音声を対象として説明する。この音声は、音声認識装置に入力可能な音声を含むデータであれば良く、動画ファイルに含まれる音声や、テレビ音声などのリアルタイムに伝送される音声データストリームや、電話での通話音声、またパーソナルコンピューター上で再生される音声などであっても良い。
【実施例１】
【００２３】
図１は、本発明の実施の形態における音声認識装置の構成図である。
【００２４】
図１において、１００はマイクなどの音声入力機器、１０１はテープレコーダーやＩＣレコーダーなどの音声録音機器である。これらの機器からの音声は、音声認識処理ソフトウェア１１１がインストールされたパーソナルコンピューター１１０に入力される。入力された音声は、音声認識処理ソフトウェア１１１によって、テキスト変換処理が実行され、テキストファイル１２０が生成される。
【００２５】
図２は本発明の音声認識装置を機能別にブロック図として示したものであり、前記パーソナルコンピューター１１０に組み込まれる。これらのブロック図の機能は、音声認識処理ソフトウェア１１１によって制御される。
【００２６】
音声認識処理ソフトウェア１１１は、話者識別部２０１、辞書選択部２０２、音声認識部２０３を有する。ここで、話者識別２０１、辞書選択部２０２は、いずれか一方を有する構成であっても良い。入力された音声２００は、音声認識処理され、テキスト２０４として出力される。
【００２７】
話者識別部２０１は、入力された音声２００の音声の特徴を分析し、予め話者ごとに音声の特徴を抽出した話者モデルＡ２１０、話者モデルＢ２１１、話者モデルＣ２１２と照合を行い、一致度を示す尤度を計算する。尤度が所定の閾値を超えていれば、該当者が存在すると判断し、最も近いと判断される話者を特定する。どの話者モデルとの尤度も所定の閾値を超えていなければ、該当者がいないと判断する。尚、ここでは、話者モデルが３つの場合を示しているが、これは、３つに限定されるものでなく、いくつ存在していても良いことは言うまでもない。
【００２８】
辞書選択部２０２は、入力された音声をどの辞書で音声認識させるかを選択する。辞書は、不特定話者用辞書、あるいは特定話者用辞書のいずれかを選択する。どちらの辞書を選択するかは、入力された音声によって切り替わる。専門性の高い用語の音声であれば、不特定話者用辞書に登録されている専門用語辞書が選択されることが望ましいため、こちらを優先的に利用するように制御することも可能である。
【００２９】
不特定話者用辞書は、予め、不特定話者用専門用語辞書Ｘ２３０、不特定話者用専門用語辞書Ｙ２３１、不特定話者用専門用語辞書Ｚ２３２が準備されており、この中からひとつを選択する。どの辞書を選択するかは、不特定話者用辞書切り替え部２０５が実行する。この切り替えは、音声認識処理ソフトウェア１１１のユーザーインタフェースで、利用する辞書の設定を行い、その設定に基づいて実行される。尚、ここでは、不特定話者用辞書として、３つの専門用語辞書の例を示しているが、これは３つに限定されるものでなく、また専門用語でなく、業種分野ごとの用語などであっても良い。さらに、辞書の切り替えは、音声認識処理ソフトウェア１１１のユーザーインタフェースで切り替えるのではなく、入力された音声と最も近い音声が登録されている辞書を自動選択するという構成も可能である。辞書のワード数を１０００ワードと記載しているが、このワード数も限定されるものではない。
【００３０】
特定話者用辞書は、事前に登録した話者ごとの辞書である特定話者Ａ用辞書２２０、特定話者Ｂ用辞書２２１、特定話者Ｃ用辞書２２２と、話者が不明である時の話者不明用辞書２２３から構成される。どの辞書を選択するかは、特定話者用辞書切り替え部２０６が話者識別部２０１の実行結果に応じて実行する。話者が特定されている場合、あるいは似たような声の話者と推定される場合は、その結果に基づいてその話者の辞書を選択し、話者が不明である場合は、話者不明用辞書を選択する。この切り替えは、音声認識処理ソフトウェア１１１のユーザーインタフェースで切り替えることも可能である。尚、ここでは、特定話者用辞書として、３つの特定話者用辞書と、１つの話者不明用辞書の例を示しているが、これらの数は限定されるものでない。また、特定話者用辞書のワード数を１０万ワード、話者不明用辞書のワード数を５０万ワードと記載しているが、このワード数も限定されるものではない。
【００３１】
音声認識部２０３は、入力された音声２００を辞書選択部２０２で選択された辞書を用いて音声認識処理を行い、テキスト２０４を出力する。
【００３２】
以上のようにして入力された音声２００が、精度よくテキスト２０４に変換される。
【００３３】
図３は、本発明の音声認識装置で、話者モデルと特定話者用辞書の生成方法を示した図である。話者モデル３１０は、その話者の音声３００からその特徴を抽出し生成される。特定話者用辞書３２０は、音声３００とその音声のテキスト３０１から発話単位ごとにペアが生成され辞書として登録される。
【００３４】
図４は、本発明の音声認識装置の動作を示すフローチャートである。
【００３５】
本発明の音声認識装置の実行を開始すると、まず、「分野設定」４００で音声認識に用いる「不特定話者用専門辞書」４０１を選択する。この選択は、音声認識処理ソフトウェア１１１のユーザーインタフェースで選択される。
【００３６】
マイクや録音機器などから「音声入力」４０２が行われると、その音声の特徴を分析し、「話者識別」４０３で、「話者モデル」４０４を参照し、話者を識別する。この話者識別では、一致度を示す尤度が計算される。この尤度の値により、「登録話者？」４０５で登録話者が存在するかどうかが判定される。例えば、尤度として、完全に一致する場合を１００とし、全く一致しない場合を０となるように判定ロジックを用いた場合で、閾値を６０と設定していたとする。この場合に、Ａ、Ｂ、Ｃ三人の話者モデルが存在していたとすると、入力音声と話者モデルＡ、入力音声と話者モデルＢ、入力音声と話者モデルＣの尤度をそれぞれ計算することで、入力音声が登録話者に存在するかどうかが判定できる。
【００３７】
尤度の判定結果が、Ａで８５、Ｂで３５、Ｃで４５となった場合は、Ａが閾値６０を超えており、尤度が最大であるため、登録話者が存在し、入力音声はＡであると推定される。また、ここで、もし、Ａで８５、Ｂで３５、Ｃで９０となった場合のように、複数の話者の尤度が閾値を越えていれば、その尤度の最大値となるＣと推定される。別の例として、Ａで５５、Ｂで３５、Ｃで４５となった場合は、どの話者モデルも閾値６０を超えていないため、入力音声は登録話者に存在しないと推定される。
【００３８】
このようにして登録話者が存在するかどうか判定できたので、次にその結果に応じて音声認識を行う辞書を選択する。登録話者が存在すると判断された場合は、「特定話者用辞書を選択」４０６を実行し、登録話者が存在しないと判断された場合は、「話者不明用辞書を選択」４０７を実行する。
【００３９】
次に入力された音声が専門分野のワードであるかどうかを「専門分野ワード？」４０８で判定する。専門分野のワードであるかどうかは、「分野設定」４００で選択した「不特定話者用専門辞書」４０１に、そのワードの音声が含まれているかどうかで判断する。含まれている場合は、「不特定話者用専門辞書を選択」４０９で、不特定話者用専門辞書を選択する。含まれていない場合は、不特定話者用専門辞書は参照しない。これは、音声認識を行う辞書を「特定話者用辞書を選択」４０６または、「話者不明用辞書を選択」４０７から、「不特定話者用専門辞書を選択」４０９に差し替えるかどうかを意味する。
【００４０】
以上のようにして入力音声をテキストに変換するための辞書が選択されたので、「辞書設定」４１０で、入力された音声をテキストに変換するために参照する辞書が設定され、「音声認識」４１１で音声認識処理が実行され、「テキスト出力」４１２が実行される。
【００４１】
音声入力が「終了？」４１３で終了でなければ、再度、別の音声に対して「音声入力」４０２に処理が戻り、引き続いて音声認識処理が継続される。音声入力が「終了？」４１３で終了であれば、音声認識処理が終了となる。
【００４２】
以上のように本発明によれば、音声認識に用いる辞書を入力された音声データに応じて、特定話者用辞書、話者不明用辞書、不特定話者用辞書から最も適した辞書を選択制御することにより、従来実現できなかった精度の高い音声認識変換処理が実現できるものである。
【００４３】
さらに本発明の音声認識装置を用いれば、次のような効果も奏する。すなわち、特定話者用辞書、話者不明用辞書、不特定話者用専門辞書を言語ごとに準備しておけば、入力される音声が複数の言語で交互に発話されていても、精度よくその言語のテキストに変換可能になる。これは、例えば、日本語、英語が混在するような国際会議などでも、精度よくその言語のテキストに変換できるため、意思疎通を容易にする非常に有効な手段となり、実用性が高い。
【００４４】
また、本発明での実施の形態では、特定話者用辞書、話者不明用辞書、不特定話者用辞書を全て用いる構成としたが、これらは、他の辞書やこれらの辞書が任意に組み合わせた構成としても良い。
【００４５】
さらに、本発明で構成した音声認識処理ソフトウェアは、パーソナルコンピューターにインストールするソフトウェアとして構成したが、これは限定されるものではなく、本発明の方法を実行するプログラムの全て又は少なくとも一部を、例えば、ＩＣレコーダー、オーディオ装置、ホームビジュアルシステム装置、ネットワークを利用した音響再生装置やビデオカメラ、テレビ機器、電話機器などに組込みソフトとして組み入れて機能させても良い。
【産業上の利用可能性】
【００４６】
本発明の音声認識装置および音声認識方法は、マイクなどから入力された音声のテキスト化や、ＩＣレコーダーなどに録音された音声データのテキスト化に加え、携帯電話などでの通話音声のテキスト化、コールセンターなどでの問い合わせ対応内容のテキスト化、ホームページ上での音声テキスト変換サービス、音声を取り扱うゲーム機器、テレビ放送の字幕作成、語学学習のテキスト作成などに応用可能である。
【符号の説明】
【００４７】
１００    音声入力機器
１０１    音声録音機器
１１０    パーソナルコンピューター（コンピュータ）
１１１    音声認識処理ソフトウェア
１２０    テキストファイル（テキスト）
２００    音声
２０１    話者識別部
２０２    辞書選択部
２０３    音声認識部
２０４    テキスト
２０５    不特定話者用辞書切り替え部
２０６    特定話者用辞書切り替え部
２１０    話者モデルＡ（読者モデル）
２１１    話者モデルＢ（読者モデル）
２１２    話者モデルＣ（読者モデル）
２２０    特定話者Ａ用辞書（特定話者用辞書）
２２１    特定話者Ｂ用辞書（特定話者用辞書）
２２２    特定話者Ｃ用辞書（特定話者用辞書）
２２３    話者不定用辞書（話者不明用辞書）
２３０    不特定話者用専門用語辞書Ｘ（不特定話者用辞書）
２３１    不特定話者用専門用語辞書Ｙ（不特定話者用辞書）
２３２    不特定話者用専門用語辞書Ｚ（不特定話者用辞書）
【図１】
2011141349.tif 000003
【図２】
2011141349.tif 000004
【図３】
2011141349.tif 000005
【図４】
2011141349.tif 000006
【図５】
2011141349.tif 000007
【図６】
2011141349.tif 000008