(57)【要約】【課題】従来の技術では、言語ごとに認識システムや音素モデルを作成するのでコストがかかり、認識時の処理量も単言語の音声の認識と比べ増大する。【解決手段】本発明の複数言語音声認識システムは、音声認識部１０３と複数言語認識辞書１０４を備え、複数言語認識辞書１０４には、各認識対象言語の単語の発音情報を、共通のある特定の言語の発音表記で記述したものがその属性とともに記載されている。認識時には、同じ意味を持つ単語であってもその発音情報が異なれば別の単語として扱う。外国語の発音学習用には、同じ単語に対し外国語での発音情報と母国語での発音情報を一方の言語の発音表記で記述し、その言語用の認識システムを用いて認識して、どちらの発音情報により近いかにより、発音の正確さを判定する。【選択図】      図１
2004271895.tif 000002
【特許請求の範囲】
【請求項１】
入力音声を受け付け、少なくとも一部の単語に複数の言語の発音情報を、共通のある特定の言語の発音記述方式で記述し、その発音情報がどの言語に属しているかの情報とともに登録した認識辞書を備え、前記認識辞書に登録されている単語の中から入力音声に最も近い単語または単語列およびその発音情報を探索し、前記探索の結果として少なくとも前記単語または単語列の発音情報がどの言語に属していたかに応じて出力を変えることを特徴とする複数言語音声認識システム。
【請求項２】
入力音声を受け付け、少なくとも一部の単語に複数の言語の発音情報を、そのうちのいずれかの言語の発音記述方式で記述し、その発音情報がどの言語に属しているかの情報とともに登録した認識辞書を備え、前記認識辞書に登録されている単語の中から入力音声に最も近い単語または単語列およびその発音情報を探索し、前記探索の結果として少なくとも前記単語または単語列の発音情報がどの言語に属していたかに応じて出力を変えることを特徴とする複数言語音声認識システム。
【請求項３】
入力音声を受け付け、少なくとも一部の単語に複数の方言の発音情報を、そのうちのいずれかの方言の発音記述方式で記述し、その発音情報がどの方言に属していたかの情報とともに登録した認識辞書を備え、前記認識辞書に登録されている単語の中から入力音声に最も近い単語または単語列およびその発音情報を探索し、前記探索の結果として少なくとも前記単語または単語列の発音情報がどの方言に属していたかを出力することを特徴とする複数言語音声認識システム。
【請求項４】
入力音声を受け付け、少なくとも一部の単語に母国語風と外国語風の発音情報を、そのうちのいずれかの言語の発音記述方式で記述し、その発音情報がどの言語に属していたかの情報とともに登録した認識辞書を備え、前記認識辞書に登録されている単語の中から入力音声に最も近い単語または単語列およびその読みを探索し、前記探索の結果として少なくとも前記単語または単語列の読みが母国語風であったか外国語風であったかを出力することを特徴とする発音学習システム。
【請求項５】
提示された発声内容に対する入力音声を受け付け、前記発声内容の単語に母国語風と外国語風の発音情報を、そのうちのいずれかの言語の発音記述方式で記述し、その発音情報がどの言語に属していたかの情報とともに登録した認識辞書を備え、前記認識辞書に登録されている単語の中から入力音声に最も近い単語または単語列およびその発音情報を探索し、前記探索の結果として少なくとも前記単語または単語列の発音情報が母国語風であったか外国語風であったかを出力することで、発声内容の外国語発音らしさを判定することを特徴とする発音学習システム。
【請求項６】
提示された発声内容に対する入力音声を受け付け、前記発声内容の単語に母国語風と外国語風の発音情報を、そのうちのいずれかの言語の発音記述方式で記述し、その発音情報がどの言語に属していたかの情報とともに登録した認識辞書を備え、前記認識辞書に登録されている単語の中から入力音声に最も近い単語または単語列およびその発音情報を探索し、前記探索の結果として少なくとも母国語のもっともらしさのスコアと外国語のもっともらしさのスコアから外国語らしさのスコアを計算して出力することを特徴とする発音学習システム。
【請求項７】
ある言語風の発音情報を、その言語の本来の発音あるいは表記あるいはその両者の組み合わせから、異なる言語の発音情報へ変換する発音変換部を備え、前記発音変換部の出力である発音情報を認識辞書に登録することで、前記発音情報を探索の対象として用いることを特徴とする請求項４〜６の何れかに記載の発音学習システム。
【請求項８】
少なくとも韻律を発音情報として用いることを特徴とする請求項４〜７の何れかに記載の発音学習システム。
【請求項９】
音声認識を利用した発音学習システムであり、認識結果が母国語であれば母国語で結果出力し、外国語であれば外国語で結果出力することを特徴とする発音学習システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は複数言語の音声を同時に認識可能な音声認識システム、および音声認識システムを利用した発音学習システムに関する。
【０００２】
【従来の技術】
近年の音声認識システムにおいては、単言語の認識ができるだけでなく、複数言語に対応できるものが望まれている。複数言語の認識が可能であれば、異なる言語間での通訳システムなどへの応用が可能である。
【０００３】
従来の複数言語音声認識システムの一例として、各言語用の音声認識システムを並列に実行して認識結果のスコアを比較し、よりスコアの高いものを選択する方法を採用した音声認識装置がある（特許文献１参照。）。
【０００４】
前記複数言語音声認識システムの他の例として、各言語用の音声認識システムを並列に実行して各言語における認識尤度を正規化し比較し認識尤度が最も大きな大きな言語を認識結果として出力する音声認識装置がある（特許文献２参照。）。
【０００５】
また、このような音声認識システムを外国語の発音学習に利用しようという試みも行われている。その場合、学習者が発声した内容をシステムが認識し、認識結果に応じてその発声内容がどの程度当該外国語の発音に近いかを判定し、その結果を学習者へフィードバックする。
【０００６】
従来の外国語発音学習システムの一例として、母国語の音声認識システムをベースとして、外国語の音素モデルを含むような音声標準パタンを新たに用意して、モデル音声との一致の程度を評価する方法を採用している外国語学習装置がある（特許文献３参照。）。
【０００７】
【特許文献１】
特開２００１−１８８５５６号公報（第１頁、図１）
【特許文献２】
特開平１０−１１６０９３号公報（第１頁、図１）
【特許文献３】
特開２００１−２８２０９８号公報（第１頁、図１）
【０００８】
【発明が解決しようとする課題】
従来の技術の問題点は、言語ごとに認識システムや音素モデルを作成する必要があるためコストがかかり、認識時の処理量も単言語の音声の認識と比べ増大する、ということである。
【０００９】
本発明の目的は、複数の言語の発音を認識する簡易な音声認識システムを提供すること、及び実現が簡易な発音学習システムを提供することにある。
【００１０】
【課題を解決するための手段】
本発明の第１の複数言語音声認識システムは、入力音声を受け付け、少なくとも一部の単語に複数の言語の発音情報を、共通のある特定の言語の発音記述方式で記述し、その発音情報がどの言語に属しているかの情報とともに登録した認識辞書を備え、前記認識辞書に登録されている単語の中から入力音声に最も近い単語または単語列およびその発音情報を探索し、前記探索の結果として少なくとも前記単語または単語列の発音情報がどの言語に属していたかに応じて出力を変えることを特徴とする。
【００１１】
本発明の第２の複数言語音声認識システムは、入力音声を受け付け、少なくとも一部の単語に複数の言語の発音情報を、そのうちのいずれかの言語の発音記述方式で記述し、その発音情報がどの言語に属しているかの情報とともに登録した認識辞書を備え、前記認識辞書に登録されている単語の中から入力音声に最も近い単語または単語列およびその発音情報を探索し、前記探索の結果として少なくとも前記単語または単語列の発音情報がどの言語に属していたかに応じて出力を変えることを特徴とする。
【００１２】
本発明の第３の複数言語音声認識システムは、入力音声を受け付け、少なくとも一部の単語に複数の方言の発音情報を、そのうちのいずれかの方言の発音記述方式で記述し、その発音情報がどの方言に属していたかの情報とともに登録した認識辞書を備え、前記認識辞書に登録されている単語の中から入力音声に最も近い単語または単語列およびその発音情報を探索し、前記探索の結果として少なくとも前記単語または単語列の発音情報がどの方言に属していたかを出力することを特徴とする。
【００１３】
本発明の第１の発音学習システムは、入力音声を受け付け、少なくとも一部の単語に母国語風と外国語風の発音情報を、そのうちのいずれかの言語の発音記述方式で記述し、その発音情報がどの言語に属していたかの情報とともに登録した認識辞書を備え、前記認識辞書に登録されている単語の中から入力音声に最も近い単語または単語列およびその読みを探索し、前記探索の結果として少なくとも前記単語または単語列の読みが母国語風であったか外国語風であったかを出力することを特徴とする。
【００１４】
本発明の第２の発音学習システムは、提示された発声内容に対する入力音声を受け付け、前記発声内容の単語に母国語風と外国語風の発音情報を、そのうちのいずれかの言語の発音記述方式で記述し、その発音情報がどの言語に属していたかの情報とともに登録した認識辞書を備え、前記認識辞書に登録されている単語の中から入力音声に最も近い単語または単語列およびその発音情報を探索し、前記探索の結果として少なくとも前記単語または単語列の発音情報が母国語風であったか外国語風であったかを出力することで、発声内容の外国語発音らしさを判定することを特徴とする。
【００１５】
本発明の第３の発音学習システムは、提示された発声内容に対する入力音声を受け付け、前記発声内容の単語に母国語風と外国語風の発音情報を、そのうちのいずれかの言語の発音記述方式で記述し、その発音情報がどの言語に属していたかの情報とともに登録した認識辞書を備え、前記認識辞書に登録されている単語の中から入力音声に最も近い単語または単語列およびその発音情報を探索し、前記探索の結果として少なくとも母国語のもっともらしさのスコアと外国語のもっともらしさのスコアから外国語らしさのスコアを計算して出力することを特徴とする。
【００１６】
本発明の第４の発音学習システムは、前記第１〜第３の何れかの発音学習システムに於いて、ある言語風の発音情報を、その言語の本来の発音あるいは表記あるいはその両者の組み合わせから、異なる言語の発音情報へ変換する発音変換部を備え、前記発音変換部の出力である発音情報を認識辞書に登録することで、前記発音情報を探索の対象として用いることを特徴とする。
【００１７】
本発明の第５の発音学習システムは、前記第１〜第４の何れかの発音学習システムに於いて、少なくとも韻律を発音情報として用いることを特徴とする。
【００１８】
本発明の第６の発音学習システムは、音声認識を利用した発音学習システムであり、認識結果が母国語であれば母国語で結果出力し、外国語であれば外国語で結果出力することを特徴とする。
【００１９】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明による複数言語音声認識システムの全体の構成を示した図である。本発明による複数言語音声認識システムは、音声入力を行うマイクロフォン１０２と、入力音声から最も確からしい結果を探索する音声認識部１０３と、音声認識部１０３の探索対象である各単語に複数言語の発音情報をその属性とともに記述した複数言語認識辞書１０４と、音声認識部１０３の探索の結果を出力する結果出力部１０５とからなる。
【００２０】
図２は、図１の複数言語認識辞書１０４の例である。ある単語Ａに対し、言語ａの発音情報Ａａと言語ｂの発音情報Ａｂをそれぞれ別のエントリとして持つ。また、各エントリにはその属性が付与されている。
【００２１】
次に、図３の流れ図を用いて本発明による複数言語音声認識システムの動作の一例を説明する。
【００２２】
入力音声１０１に対して処理をスタートし（ステップ２０１）、マイクロフォン１０２より音声を入力し（ステップ２０２）、音声認識部１０３において最も確からしい単語エントリを探索し（ステップ２０３）、探索した単語エントリの属性を参照し、その属性に応じて（ステップ２０４）、結果出力部１０５にて言語ａの出力を行なう（ステップ２０５）、或いは言語ｂの出力を行う（ステップ２０６）。
【００２３】
尚、複数言語認識辞書の属性が言語ａ、言語ｂの他にありｎ通りの言語識別を含む場合は、ステップ２０４以降でそれに応じたｎ通りの言語出力を行う。
【００２４】
次に、本発明の第２の実施の形態について説明する。本発明の第２の実施の形態では、複数言語認識辞書として、外国語の単語に対し当該外国語風および母国語風の複数の発音情報を持つものを備える。
【００２５】
次に、図４の流れ図を用いて本発明の第２の実施の形態の動作の一例を説明する。入力音声１０１に対して処理をスタートし（ステップ３０１）、マイクロフォン１０２より音声を入力し（ステップ３０２）、音声認識部１０３において最も確からしい単語およびその発音情報を探索する（ステップ３０３）。
【００２６】
このとき、どの発音情報によってその単語が探索されたかの属性に応じて入力音声の外国語らしさが決まり、その属性に応じて（ステップ３０４）、結果出力部１０５にて母国語属性の出力を行なう（ステップ３０５）、或いは外国語属性の出力を行う（ステップ３０６）。
【００２７】
【実施例】
次に、具体的な実施例を用いて前記第１及び第２の実施形態を説明する。図５は本発明における複数言語認識辞書の一例である。図５に示すように、英語属性のｃｏｆｆｅｅには英語での本来の発音をそれに近い日本語発音表記で表した「かふぃ」、「かひ」の読みを、日本語属性のｃｏｆｆｅｅには「こーひー」の読みをそれぞれ与えることで、英語日本語両方のｃｏｆｆｅｅが認識可能となる。
【００２８】
外国語の発音学習システムとしては、ｃｏｆｆｅｅの入力音声に対し英語属性のｃｏｆｆｅｅが結果として出力されれば、英語として発音が正確であると判定する。
【００２９】
結果出力においては、属性をそのまま出力する方法と、日本語属性であれば「こーひー」を、英語属性であれば「ｃｏｆｆｅｅ」をそれぞれ出力する方法と、それらをテキスト出力だけでなく音声出力する方法とがある。
【００３０】
また、音声認識部１０３において、日本語属性の「こーひー」に対するもっともらしさと英語属性の「かふぃ」に対するもっともらしさから、英語らしさのスコアを計算して学習者に提示するという方法もある。
【００３１】
更に、発音情報としては図５に示すような読みだけではなく、アクセントやイントネーションなどの韻律を用いて英語らしさと日本語らしさを判定するという方法もある。この方法は、同一言語内での方言の違いを判定するのに効果がある。
【００３２】
図６は、図１の複数言語認識辞書１０４を作成するために発音変換部４０２を用いた例である。
【００３３】
ある言語本来の発音情報４０１を発音変換部４０２に入力し、別の言語の発音情報として複数言語認識辞書１０４を自動生成する。
【００３４】
例えば、英語のｃｏｆｆｅｅという単語には元々／ｋ／ａｏ／ｆ／ｉｙ／という英語の発音情報が付与されていたとすると、／ｋ／ａｏ／から「か」を、／ｆ／ｉｙ／から「ふぃ」あるいは「ひ」を生成するようなルールを発音変換部に用意しておくことで、ｃｏｆｆｅｅという単語の発音情報として「かふぃ」あるいは「かひ」を得ることができる。
【００３５】
同様に、ｃｏｆｆｅｅという表記のうち、”ｃｏ”から「こー」を、”ｆｆｅｅ”から「ひー」を生成するようなルールを発音変換部に用意しておくことで、ｃｏｆｆｅｅという単語の発音情報として「こーひー」も得ることができる。
【００３６】
【発明の効果】
第１の効果は、複数言語の音声を認識するために単言語の音声認識システムがあれば良いので、複数の音声認識システムや複数言語に対応した音声標準パタンを用意する必要がないため、簡易な実現が可能となり、認識時の処理量の増加も抑えられることである。
【００３７】
第２の効果は、外国語等の発音学習において、複数の音声認識システムや複数言語に対応した音声標準パタンを用意する必要がないため、簡易な実現が可能となることである。
【図面の簡単な説明】
【図１】本発明の第１および第２の実施の形態の構成を示すブロック図である。
【図２】図１の複数言語認識辞書１０４の具体例を示す図である。
【図３】第１の実施の形態の動作を示す流れ図である。
【図４】第２の実施の形態の動作を示す流れ図である。
【図５】第１および第２の実施の形態の具体例を示す図である。
【図６】第１および第２の実施の形態の具体例を示す図である。
【符号の説明】
１０１    入力音声
１０２    マイクロフォン
１０３    音声認識部
１０４    複数言語認識辞書
１０５    結果出力部
４０１    各言語本来の発音情報
４０２    発音変換部
Ｓ２０１    認識処理開始
Ｓ２０２    音声の入力
Ｓ２０３    探索
Ｓ２０４    探索結果の属性を参照
Ｓ２０５    言語ａの出力
Ｓ２０６    言語ｂの出力
Ｓ２０７    認識処理終了
Ｓ３０１    認識処理開始
Ｓ３０２    音声の入力
Ｓ３０３    探索
Ｓ３０４    探索結果の属性を参照
Ｓ３０５    母国語属性の出力
Ｓ３０６    外国語属性の出力
Ｓ３０７    認識処理終了
【図１】
2004271895.tif 000003
【図２】
2004271895.tif 000004
【図３】
2004271895.tif 000005
【図４】
2004271895.tif 000006
【図５】
2004271895.tif 000007
【図６】
2004271895.tif 000008