(57)【要約】【課題】  発音矯正学習において、発音矯正部分のみが異なり、その他の部分について一致または類似する発声を適切に棄却する。【解決手段】  文法作成部107は、それぞれ少なくとも一つの音素系列を含み、互いに異なる音素系列を含む第一から第三の音素系列リストを作成する。音声認識部103は、入力される音声データが第一から第三のどの音素系列リストが含む音素系列に相当するかを音声認識する。第二の音素系列リストは、第一の音素系列リストが含む音素系列の所定の部分列を異なる音素の部分列に置換した音素系列を含む。第三の音素系列リストは、第二の音素系列リストにおける置換された部分列を、さらに異なる音素の部分列に置換した音素系列を含む。【選択図】  図1
2014164261.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ少なくとも一つの音素系列を含み、互いに異なる音素系列を含む第一から第三の音素系列リストを作成する作成手段と、
入力される音声データが前記第一から第三のどの音素系列リストが含む音素系列に相当するかを音声認識する認識手段とを有し、
前記第二の音素系列リストは、前記第一の音素系列リストが含む音素系列の所定の部分列を異なる音素の部分列に置換した音素系列を含み、
前記第三の音素系列リストは、前記第二の音素系列リストにおける前記置換された部分列を、さらに異なる音素の部分列に置換した音素系列を含む情報処理装置。
【請求項２】
さらに、ユーザが前記音声データを入力する単語を選択するための、かつ、前記音声認識の結果に基づく評価を表示するためのユーザインタフェイス手段を有する請求項1に記載された情報処理装置。
【請求項３】
前記ユーザインタフェイス手段は、前記音声認識の結果が第三の音素系列リストが含む音素系列を示す場合、前記音声データの再入力を促す表示を行う請求項2に記載された情報処理装置。
【請求項４】
前記第一の音素系列リストは、ユーザによって選択された単語に対応する音素系列を含み、
前記第二の音素系列リストは、前記選択された単語と発音の区別が難しい単語に対応する音素系列を含み、
前記第三の音素系列リストは、前記選択された単語に対応する音素系列と前記発音の区別が難しい単語に対応する音素系列と異なる音素系列を含む請求項1から請求項3の何れか一項に記載された情報処理装置。
【請求項５】
前記第三の音素系列リストは、少なくとも前記認識手段が認識する音素の全体について、それぞれ一つからなる部分列による置き換えを行った音素系列の全体を含む請求項1から請求項3の何れか一項に記載された情報処理装置。
【請求項６】
前記認識手段は、雑音を認識し、
前記作成手段は、前記認識された雑音を音素と見做して部分列を置換した音素系列を前記第三の音素系列リストに含める請求項1から請求項3の何れか一項に記載された情報処理装置。
【請求項７】
前記認識手段は、各音素について、前および後に連続する音素ごとの音響モデルを用い、
さらに、前記各音素について、前記音響モデルを用いて、前および後に前記雑音と見做した音素が連続した場合の音響モデルを作成する音響モデルの作成手段を有する請求項6に記載された情報処理装置。
【請求項８】
さらに、音素間の類似度を判定する判定手段と、
前記置換の前後の部分列が類似する音素系列を前記第三の音素系列リストから除外する除外手段とを有する請求項1から請求項3の何れか一項に記載された情報処理装置。
【請求項９】
前記判定手段は、前記認識手段が音声認識する音素の全体をクラスタリングし、同一のクラスタに含まれる音素を類似すると判定する請求項8に記載された情報処理装置。
【請求項１０】
前記判定手段は、前記音素を所定の距離空間にマッピングした点を前記クラスタリングする請求項9に記載された情報処理装置。
【請求項１１】
前記判定手段は、前記第一の音素系列リストにおいて前記置換された部分列に属す音素をマッピングした点と、前記第二の音素系列リストにおいて前記置換された部分列に属す音素をマッピングした点とを同一と見做して得られる距離を前記クラスタリングに用いる請求項10に記載された情報処理装置。
【請求項１２】
前記判定手段は、前記第一の音素系列リストにおいて前記置換された部分列に属す音素をマッピングした点と、前記第二の音素系列リストにおいて前記置換された部分列に属す音素をマッピングした点に、それぞれ異なる重みを乗じて得られる距離を前記クラスタリングに用いる請求項10に記載された情報処理装置。
【請求項１３】
前記距離空間をユークリッド空間であり、前記判定手段は、前記第一の音素系列リストにおいて前記置換された部分列に属す音素をマッピングした少なくとも一つの点の重心と、前記第二の音素系列リストにおいて前記置換された部分列に属す音素をマッピングした少なくとも一つの点の重心とを結ぶ線分の距離を前記クラスタリングに用いる請求項10に記載された情報処理装置。
【請求項１４】
さらに、複数の音素の音響モデルから、前記複数の音素を代表する新たな音響モデルを作成する統合手段を有し、
前記統合手段は、前記判定手段がクラスタリングしたクラスタに含まれる音素の音響モデルから新たな音響モデルを作成し、
前記認識手段は、前記クラスタに含まれる音素について、前記新たな音響モデルを代用する請求項8ら請求項13の何れか一項に記載された情報処理装置。
【請求項１５】
作成手段、認識手段を有する情報処理装置の情報処理方法であって、
前記作成手段が、それぞれ少なくとも一つの音素系列を含み、互いに異なる音素系列を含む第一から第三の音素系列リストを作成し、
前記認識手段が、入力される音声データが前記第一から第三のどの音素系列リストが含む音素系列に相当するかを音声認識し、
前記第二の音素系列リストは、前記第一の音素系列リストが含む音素系列の所定の部分列を異なる音素の部分列に置換した音素系列を含み、
前記第三の音素系列リストは、前記第二の音素系列リストにおける前記置換された部分列を、さらに異なる音素の部分列に置換した音素系列を含む情報処理方法。
【請求項１６】
コンピュータを請求項1から請求項14の何れか一項に記載された情報処理装置の各手段として機能させるためのプログラム。
【請求項１７】
請求項16に記載されたプログラムが格納されたコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者の発音の正確性を評価する情報処理に関する。
【背景技術】
【０００２】
外国語学習において、正確な発音での発声を学習する発音矯正学習は重要な練習の一つである。しかし、発音の評価を初学者が自ら行うことは難しく、専門の語学指導者に依頼する必要がある。音声認識技術を利用して、これを機械的な評価に置き換える方法が、例えば特許文献1に提案されている。
【０００３】
特許文献1が開示する方法は、単語の注意すべき発音を、対象になる音素に入れ替えた単語との二単語音声認識を行い、正しい方として認識されるか否かにより発音を評価する。
【０００４】
ここで、音声認識装置には、必ずしも有効な発声だけが入力されるとは限らず、利用者のフィラーや無関係な発言、および、突発的な雑音などが入力される可能性もある。そのような無関係な音について評価結果を提示すると利用者の混乱を招くので、無関係な音を適切に棄却する必要がある。
【０００５】
認識対象の単語以外の無関係な音を棄却する手法として、すべての音素を満遍なく表現したガベージモデルを利用する技術が知られている（非特許文献1参照）。しかし、単純にガベージモデルを利用する手法には次の問題がある。
【０００６】
まず、利用者が何を言うかわからないので、音声自体がガベージにマッチするか否かを判断する必要がある。しかし、発音矯正部分のみが大きく異なり、その他の部分について一致または類似する単語（例えば「late」と「rate」）の矯正を行う場合、利用者は「date」「gate」または「えーと」などを発音する可能性がある。このような単語は、音声認識の際に矯正部分以外が一致して評価されるため、ガベージよりもむしろ「late」または「rate」によくマッチする可能性が高い。
【０００７】
「late」と「rate」の発音矯正学習において、発音を矯正すべき単語とは異なる「date」「gate」または「えーと」などを棄却せずに、「late」や「rate」に対する発音の評価を表示すれば、利用者に不信を与えることになる。言い替えれば、単語の特定部分の発音の正確さを評価する際に、評価対象ではない部分だけが一致した発音は棄却することが望ましい。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2004-53652号公報
【非特許文献】
【０００９】
【非特許文献１】「ガーベジ HMMを用いた自由発話文中の不要語処理手法」電子情報通信学会論文誌、A、基礎・境界、J77-A(2)、215-222頁、1994年2月25日
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、発音矯正学習において、発音矯正部分のみが異なり、その他の部分について一致または類似する発声を適切に棄却することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１２】
本発明にかかる情報処理は、それぞれ少なくとも一つの音素系列を含み、互いに異なる音素系列を含む第一から第三の音素系列リストを作成し、入力される音声データが前記第一から第三のどの音素系列リストが含む音素系列に相当するかを音声認識し、前記第二の音素系列リストは、前記第一の音素系列リストが含む音素系列の所定の部分列を異なる音素の部分列に置換した音素系列を含み、前記第三の音素系列リストは、前記第二の音素系列リストにおける前記置換された部分列を、さらに異なる音素の部分列に置換した音素系列を含む。
【発明の効果】
【００１３】
本発明によれば、発音矯正学習において、発音矯正部分のみが異なり、その他の部分について一致または類似する発声を適切に棄却することができる。この棄却により、不適切な評価結果の表示を避けて、利用者に音声の再入力を促すことができる。
【図面の簡単な説明】
【００１４】
【図１】実施例1の情報処理装置の構成例を示すブロック図。
【図２】発音矯正学習機能を用いる際の表示部の表示画面の遷移を表す図。
【図３】辞書項目DBおよび問題DBの構成例を説明する図。
【図４】実施例1の発音学習矯正処理を説明するフローチャート。
【図５】実施例1の発音学習矯正処理を説明するフローチャート。
【図６】実施例2の情報処理装置の構成例を示すブロック図。
【図７】実施例2の発音学習矯正処理を説明するフローチャート。
【発明を実施するための形態】
【００１５】
以下、本発明にかかる実施例の情報処理を図面を参照して詳細に説明する。以下で説明する情報処理装置は、電子辞書機能を有する、例えば、携帯型の電子辞書装置、電子辞書アプリケーション(AP)がインストールされたスマートフォンなどの携帯端末装置やタブレット型の端末装置などである。
【実施例１】
【００１６】
［装置の構成］
図1のブロック図により実施例1の情報処理装置の構成例を示す。
【００１７】
情報処理装置の音声入力部101は、マイクロフォン、アナログ-ディジタルコンバータ(ADC)、マイクロプロセッシングユニット(MPU)などによって構成される。音声入力部101は、マイクロフォンによって集音した音声をADCによって電気信号に変換した音声データを情報処理装置に入力する。
【００１８】
音声記録部102は、RAMなどのメモリ、MPUなどによって構成され、音声入力部101から入力される音声データを記録する。音声認識部103は、MPUなどによって構成され、音声データを所定の単語として認識する。音声認識部103が認識する単語は、与えられた文法によって決定され、語彙リストの中で確度が高いと判断された所定数の単語を候補単語として選出する機能を有する。
【００１９】
音声認識部103は、メル周波数ケプストラム係数(MFCC)を特徴量とする隠れマルコフモデル(HMM)を用いて音声認識を行う。一つの音素とその前後の音素環境の情報の組み合わせごとにHMMが一つ対応する。この組み合わせをトライフォンと呼び、前方に音素L、後方に音素Rが連続した音素Pのトライフォンを「L-P+R」と表すことにする。単語の先頭および末尾については、無音の音素「sil」が接続するものと見做してトライフォンを構成する。
【００２０】
また、音声認識部103は、すべての音素から学習されたHMMであるガベージモデル（以下、GBG）を一つ保持する。GBGは、不特定の音素および雑音を表すモデルであり、特定の音素を表すものではない。なお、GBGは静的に保持されるだけでなく、音声入力部101によって集音される周辺雑音などを用いて、利用環境に適応するようGBGを更新してもよい。
【００２１】
表示部104は、液晶パネル、MPUなどによって構成され、利用者に提示する情報を表示する。表示される情報には、音声認識部103が選択した単語候補、選択された単語に対応する単語の意味などの辞書項目（以下、コンテンツ）が含まれる。なお、表示画面は液晶パネルに限らず、例えば、陰極線管や有機エレクトロルミネセンス(EL)パネルなどでもよい。
【００２２】
操作部105は、表示部104の表示画面上に配置されたタッチパネル、MPUなどによって構成される。利用者は、表示部104の表示を参照して操作部105のタッチパネルを操作することで、ユーザ指示を情報処理装置に入力する。つまり、表示部104と操作部105の組み合わせによってユーザインタフェイス(UI)が提供される。
【００２３】
ユーザ指示には、音声認識すべき単語の発声の開始、複数の単語候補から一つを選択する指示などが含まれる。なお、ユーザ指示を入力するデバイスは、タッチパネルに限らず、例えばスイッチやボタンでもよい。
【００２４】
問題選択部106は、MPUなどによって構成され、操作部105に対する操作に応じて、利用者が発音矯正を行うための問題を選択する。問題は、利用者が発音すべき一つの単語（後述する正解単語）と、正解単語の発音と紛らわしい（区別が難しい）発音の一つ以上の単語（後述する対照単語）からなる。問題は、後述の問題データベース(DB)111に格納された問題の中から選択される。
【００２５】
文法作成部107は、MPUなどによって構成され、問題選択部106が選択した問題に基づき音声認識の文法を作成する。作成された文法は音声認識部103によって使用される。
【００２６】
音素クラスタリング部108は、MPUなどによって構成され、類似した音素のクラスタリングを行う。モデル統合部109は、MPUなどによって構成され、複数の音素の音響モデルを統合して、新たに音響モデルを作成する。
【００２７】
辞書項目DB110は、ROMなどの不揮発性メモリやフラッシュメモリなどから構成され、情報処理装置が提供する、単語の意味などの辞書項目を格納する。辞書項目は見出語に対応付けられ、利用者は調べたい見出語を選択して、対応した辞書項目を閲覧することができる。問題DB111は、ROMなどの不揮発性メモリやフラッシュメモリなどから構成され、問題選択部106が選択するための問題を格納する。
【００２８】
［利用形態］
まず、利用者が情報処理装置の発音矯正学習機能を利用する際の形態を説明する。図2により発音矯正学習機能を用いる際の表示部104の表示画面の遷移を表す。
【００２９】
図2(A)において、符号201は情報処理装置の筐体を示す。符号202はタッチパネルを示し、利用者は、表示部104に表示される情報を参照し、ボタン表示にタッチするなどして、操作部105にユーザ指示を入力する。符号203は音声入力部101のマイクロフォンを示す。
【００３０】
装置の電源がオンされる、電子辞書APが起動されるなどにより電子辞書機能が有効になり、さらに、利用者により発音矯正学習機能の実行が指示されると、表示部104は問題の一覧204を表示する（図2(A)）。利用者が練習したい問題にタッチすると、表示部104は、発声すべき単語と、その発声を促すメッセージを表示する（図2(B)）。
【００３１】
利用者は、「発生開始」ボタン205にタッチした後、発声を開始する。操作部105が「音声入力」ボタン205に対応する位置のタッチを検知すると、音声記録部102は、音声入力部101から入力される音声データをメモリに記録する。
【００３２】
音声認識部103は、VAD (voice activity detection)などを用いて音声入力の終了を判定する。そして、音声入力が終了したと判定すると、音声記録部102のメモリに記録された音声データによって音声認識を行い、その発声を評価する。表示部104は、評価に応じた内容を表示する。
【００３３】
図2(C)は、利用者の発声が発音すべき単語（図2においては「late」）に最も近いと評価された場合に、利用者が正しく発音したことを通知する表示である。図2(D)は、利用者の発声が類似する単語（例えば「rate」）に最も近いと評価された場合に、利用者の発音が正しくないことを通知する表示である。図2(E)は、利用者の発声が発音すべき単語、類似する単語の何れとも近くないと評価された場合に、利用者に再発声（音声データの再入力）を促す表示である。
【００３４】
［DBの構成］
図3により辞書項目DB110および問題DB111の構成例を説明する。なお、ここでは、辞書項目DB110および問題DB111が英和辞典を構成する例を示すが、他言語の辞典または百科事典などを構成していてもよい。
【００３５】
図3(A)に示すように、辞書項目DB110は、フィールドとして「項目ID」、「項目見出し」、「発音」、「コンテンツ」を有し、各フィールドの情報が記録された複数のレコード（項目レコード）を有す。
【００３６】
「項目ID」フィールドには、辞書項目DB110の各レコードに一意に付加された識別番号（項目ID）が記録される。「項目見出し」フィールドには、項目レコードの項目を代表する語（見出語）が記録される。例えば英和辞典の場合、見出語は英単語である。
【００３７】
「発音表記」フィールドには、「項目見出し」フィールドに記録された見出語の読み方を示す音素系列が記録される。例えば英和辞典の場合、見出語である英単語の発音記号列である。例えば、図3(A)の項目ID=0の項目レコードに示すように、「発音表記」フィールドにはデリミタ「/」で区切られた四つの発音表記が記録される場合がある。つまり、一つの項目レコードに複数の発音表記が記録される場合がある。また、発音表記には国際発音記号(IPA)を用いるが、他の体系によって発音表記を記録してもよい。音声認識部103は発音表記を参照して音声認識を行う。
【００３８】
「コンテンツ」フィールドには、項目レコードの見出語に関連する情報が記録される。「コンテンツ」フィールドに記録された情報は、利用者の閲覧対象情報であり、例えば英和辞典の場合、見出語である英単語の意味や用例などを解説するための日本語が主体の文章である。
【００３９】
図3(B)に示すように、問題DB111は複数の問題レコードからなり、各問題レコードには一意の識別番号（語彙リストID）が付加されている。問題レコードは、正解フラグ、単語表記（単語の綴り）、音素系列（発音記号列）、矯正個所情報からなる単語リストである。
【００４０】
正解フラグは、単語リストの中で正しく発音すべき単語を示すフラグである。正解フラグがTRUEの単語を「正解単語」、FALSEの単語を「対照単語」と呼ぶことにする。問題レコードには、少なくとも一つの正解単語と、少なくとも一つの対照単語が含まれる。
【００４１】
矯正個所情報は、単語の中の矯正すべき発音の位置を示す情報である。単語表記と音素系列それぞれについて、矯正すべき範囲の始点と終点のペアが、先頭から数えて何文字目または何音素目かを示す数値として保持される。音素系列中の矯正個所情報によって示された発音記号に対応する音素を「矯正音素」と呼ぶことにする。また、正解単語の矯正音素を「正解音素」、対照単語の矯正音素を「対照音素」と呼ぶことにする。なお、正解音素と対照音素は、一つ以上の音素からなる音素系列の部分列であり、単独の音素とは限らない。
【００４２】
予め、辞書項目DB110および問題DB111が作成され、情報処理装置の不揮発性メモリに格納されたり、電子辞書APをインストールするためのデータに組み込まれる。ただし、問題レコードは予め作成せずに、必要に応じて、与えられた条件に適合する辞書項目DB110の項目レコードを収集し、問題レコードを作成し、RAMなどのメモリに格納してもよい。必要に応じて問題レコードを作成すれば、不揮発性メモリの記憶容量を抑えることができるが、電子辞書機能を実行する際の処理負荷が大きくなる。
【００４３】
［情報処理］
図4、図5のフローチャートにより実施例1の発音学習矯正処理を説明する。発音学習矯正処理は、図1に示す情報処理装置の不揮発性メモリに格納された電子辞書機能を実現するソフトウェアや、当該不揮発性メモリにインストールされた電子辞書APを、情報処理装置のMPUが実行することにより実現される。言い替えれば、MPUは、図1に示す構成の動作や処理を制御する制御部として機能する。
【００４４】
発音学習矯正機能が有効になると、MPUは、図2(A)に示すように、表示部104に問題DB111に格納された問題レコードを問題の一覧204として表示し(S401)、問題に対応する位置がタッチされるのを待つ(S402)。以下では、簡略化のために「タッチパネルの○○○に対応する位置がタッチされる」を「○○○がタッチされる」ように表現する。
【００４５】
問題がタッチされると、MPUは、問題が選択されたとして、音素クラスタリング部108により、選択された問題に応じて音素のクラスタリングを行う(S403)。
【００４６】
●クラスタリング(S403)
クラスタリングは、以下のトライフォンについて行う。
・選択された問題の正解音素の、正解単語内における前後の音素環境を伴うトライフォン（正解音素トライフォン）、
・選択された問題の対照音素の、対照単語内における前後の音素環境を伴うトライフォン（対照音素トライフォン）、
・以上のトライフォンの中心音素を、音声認識部103で用いる音素の全体でそれぞれ置換したトライフォン。
【００４７】
ここでは、音声認識部103が用いる各トライフォンに対応するHMMに基づき各音素をユークリッド空間上の点にマッピングし、ユークリッド空間内でクラスタリングを行う。各HMMは状態数をs個とし、各状態は共分散をもたないN次元の単一ガウス分布とする。例えば、s=3、N=26とする。
【００４８】
音素XのHMMの、第i番目の状態のガウス分布の平均mおよび分散σをそれぞれ下式で表す。
┌    ┐
│mXi1│
│ ： │
mXi = │mXij│       …(1)
│ ： │
│mXiN│
└    ┘
┌     ┐
│σXi1│
│  ： │
σXi = │σXij│      …(2)
│  ： │
│σXiN│
└     ┘
【００４９】
このとき、音素Xを下式で表されるs×N次元ユークリッド空間内の点にマッピングする。なお、ここで主成分分析(PCA)などの手法を用いて次元の圧縮を行ってもよい。
┌          ┐
│mX11/σX11│
│    ：    │
│mX1N/σX1N│
│mX21/σX21│
pX = │    ：    │      …(3)
│mX2N/σX2N│
│    ：    │
│mXs1/σXs1│
│    ：    │
│mXsN/σXsN│
└          ┘
【００５０】
ここで、ユークリッド空間に次のような距離を導入する。点Pと点Qの距離を次式のように定める。
dC(P, Q) = min[{w(c1)d(P, c1) + w(c2)d(Q, c2)|c1, c2∈C}∪{d(P, Q)}]      …(4)
ここで、Cは正解音素トライフォンと対照音素トライフォンにマッピングされた点の集合、
dは通常のユークリッド距離、
wはCから非負実数への関数。
【００５１】
例えば、関数wは、正解音素トライフォンに対して0.5、対照音素トライフォンに対して1を与える関数とする。関数wは、対照音素に近い音素よりも、正解音素に近い音素が同一クラスタに入り易くするための重みとして働く。なお、重みの与え方は、これに限るものではなく、また正解音素、対照音素で一律ではなく、各元について異なる重みを与えるようにしてもよい。
【００５２】
つまり、距離dCは、集合Cの要素をすべて同一視した上で、集合Cの要素の経由を認めた距離である。距離dCを使って、K-means法によりクラスタリングを行う。
【００５３】
集合Cの要素同士の距離dCは0であるから、集合Cの要素はすべて同じクラスタに含まれる。集合Cが含まれるクラスタを「正解クラスタ」、正解クラスタから集合Cの要素を除いた集合の要素を「除外音素」と呼ぶことにする。除外音素は存在しない可能性もある。
【００５４】
このクラスタリングは、音素間の類似度の判定手段である。すなわち、同一クラスタに分類されたトライフォンのHMMは、類似した音声の表現であると判断する。
【００５５】
なお、HMMの状態数sと状態の次元数Nはs=3とN＝26に限られず、距離空間へのマッピングの方法も上記に限らない。また、HMMの各状態は共分散をもたないN次元の単一ガウス分布に限らず、共分散をもつガウス分布や、混合ガウス分布でもよいし、ポアソン分布など他の種類の分布でもよい。また、ここで用いた距離dCは距離の公理を満たす正当な距離であるが、必ずしもそうである必要はなく、例えば対称化Kullback-Divergenceのような疑似的な距離を用いることも可能である。
【００５６】
また、正解音素、対照音素との距離について、集合Cの同一視によって距離を補正する代わりに、例えば集合Cの元を頂点として囲まれた図形（集合Cの元が二つのみの場合はそれらを結ぶ線分）に対する最短距離などを用いてもよい。
【００５７】
音素のクラスタリングが終了すると、MPUは、モデル統合部109により、ステップS403のクラスタリングにより得たクラスタのうち正解クラスタ以外のクラスタについて音響モデルの統合を行う(S404)。
【００５８】
●音響モデルの統合(S404)
音響モデルの統合は、単純に、クラスタ内の一つのトライフォンに対応するHMMにクラスタを代表させることにより行う。ステップS403において、K-means法により定めたクラスタの重心に最も（距離dCにおいて）近いトライフォンのHMMをクラスタの音響モデルと見做す。
【００５９】
統合したHMMには、クラスタを一意に特定する記号を割り当てる。この記号を一つの音素と見做し、クラスタの「統合音素」と呼ぶことにする。統合音素は、トライフォンとしては、前後の音素環境を代表したトライフォンと同様とする。
【００６０】
こうして、音声認識部103の計算対象のHMMを削減し、クラスタの計算量を削減することを目的とする。なお、ここでは各音素HMMを並列に接続したHMMを作成する、または、各音素HMMの状態ごとに距離に応じた重みを掛けた混合GMMとして、状態を用いたHMMを作成するなどして、音響モデルの統合を行ってもよい。
【００６１】
音響モデルの統合が終了すると、MPUは、文法作成部107により、全音素から正解クラスタの音素（正解音素）、対照音素、除外音素を除外した音素のリストを作成する(S405)。このリストに含まれる音素を「棄却用音素」と呼ぶことにする。また、GBG（ガベージモデル）も音素の一つと見做し、棄却用音素に追加する。
【００６２】
除外音素は、正解音素・対照音素に近い音素であるから、発音矯正の途上にある利用者が正解音素や対照音素を発声するつもりで除外音素を発声する可能性がある。このような矯正対象の音素に近いものを棄却しないため、ここで除外する。
【００６３】
次に、MPUは、文法作成部107により、問題の正解音素を、棄却用音素に置き換え、さらにその他のすべての音素を、それが属するクラスタの統合音素に置き換えた音素系列のリストを作成する(S406)。そして、作成したリストに含まれる音素系列に加えて、正解単語、対照単語、GBGを単語として含む文法を作成する(S407)。なお、正解クラスタに属する音素は置き換えを行わない。
【００６４】
初めに作成した音素系列リストの単語とGBGは、正解単語・対照単語の何れにも合致しないことを判断するための単語であり、ここでは「棄却用単語」と呼ぶことにする。言い替えれば、評価対象の音素を、他のすべての可能な音素に置換した単語を棄却用単語として音声認識の文法に加える。
【００６５】
文法の各単語はトライフォンの系列として表現し、対応するHMMによって音声認識を行う。ここでGBGおよび統合音素については、対応するHMMが決定しないトライフォンが文法中に出現する場合がある。この場合、モデル統合部109は、統合音素のクラスタに含まれる音素により、必要なトライフォンと同じ前後の環境をもつトライフォンの音素らを統合したHMMを作成して代用する。また、GBGの場合は、同様にすべての音素のトライフォンを用いてHMMを統合して代用する。
【００６６】
次に、MPUは、利用者がタッチパネル（操作部105）の「音声入力」ボタン205をタッチするのを待つ(S408)。「音声入力」ボタン205がタッチされると、音声入力部101により、音声入力部101による音声の入力と音声記録部102による音声データの記録を開始し(S409)、VADなどを行って音声入力の終了を判定する(S410)。例えば、音声および非音声のHMMを用意し、VADにおいて各モデルの尤度を比較して、音声のHMMにおける尤度が高ければ音声、非音声のHMMにおける尤度が高ければ非音声と判定して、音声入力の終了を判定する。なお、VADは、これに限らず、音声信号のエネルギが特定の閾値を超える場合に音声と判定する方法を採用してもよい。
【００６７】
音声入力が終了するまでステップS409が繰り返される。音声入力が終了すると、MPUは、音声認識部103により、記録された音声データの音声認識を行い(S411)、認識結果がステップS407で作成した文法に記述された正解単語、対照単語、棄却用単語の何れに近いかを判定する(S412)。
【００６８】
次に、MPUは、判定した単語が正解単語であれば、利用者が正しく発音したことの通知を表示部104に表示し（図2(C)）(S413)する。また、対照単語であれば、利用者の発声が対照単語のように認識されたこと、および、正しく発声するためのヒントの通知を表示部104に表示し（図2(D)）(S414)、処理を終了する。
【００６９】
また、MPUは、棄却用単語と判定した場合は、利用者に再度発声を行うように促すメッセージを表示部104に表示し（図2(E)）(S415)、処理をステップS408に戻す。つまり、正解単語、対照単語の何れとも大きく異なる発音については棄却して、不適切な結果表示を回避した上で、利用者に再度、発声の入力を促す。
【００７０】
このように、正解単語の音素系列からなる第一の音素系列リストを作成する。第一の音素系列リストが含む音素系列の所定の部分列を異なる音素の部分列に置換した音素系列を含む、対照単語の第二の音素系列リストを作成する。第二の音素系列リストにおける置換された部分列を、さらに異なる音素の部分列に置換した音素系列を含む、棄却用単語の第三の音素系列リストを作成する。そして、音声データの認識結果が第一から第三の音素系列リストの何れの音素系列に相当するかを判定する。これにより、発音矯正部分のみが異なり、その他の部分について一致または類似する単語を適切に棄却し、不適切な結果の表示を回避して、利用者に再度、音声の入力を促すことができる。
【実施例２】
【００７１】
以下、本発明にかかる実施例2の情報処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００７２】
実施例1では、発音矯正学習機能を実行する際に文法を動的に作成する例を説明した。しかし、音素数が大きい場合や、正解単語、対照単語が多数存在する問題が選択された場合、処理負荷が大きくなり、処理速度の低下などが生じる場合がある。このような状況を考慮して、問題ごとに文法を予め作成し、作成した文法を格納しておく実施例2を説明する。
【００７３】
図6のブロック図により実施例2の情報処理装置の構成例を示す。図1の構成と異なるのは、文法作成部107、音素クラスタリング部108、モデル統合部109が、文法DB112と文法選択部113に置き換わっている点である。
【００７４】
文法DB112は、音声認識部103が認識に用いる文法を格納する。文法は、実施例1で説明した方法と同様の手順で、問題ごとに予め作成されている。文法選択部113は、MPUなどによって構成され、文法DB112に格納された文法から、利用者が選択した問題に対応する文法を検索して取得する。
【００７５】
図7のフローチャートにより実施例2の発音学習矯正処理を説明する。図4に示す処理と異なるのは、ステップS403からS407の処理が、文法選択部113により、選択された問題に対応する文法を文法DB112から選択し取得する処理(S421)に置き換わる点である。その他の処理は図4、図5の処理と略同一である。選択され取得された文法は、ステップS412において音声認識部103によって使用される点に違いはない。
【００７６】
このように、予め文法を作成しておけば、発音矯正学習機能の実行時の処理負荷を削減することができる。
【００７７】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。
【図１】
2014164261.tif 000003
【図２】
2014164261.tif 000004
【図３】
2014164261.tif 000005
【図４】
2014164261.tif 000006
【図５】
2014164261.tif 000007
【図６】
2014164261.tif 000008
【図７】
2014164261.tif 000009