(57)【要約】【課題】高い精度で発音の難しさを評価する。【解決手段】発音複雑度推定装置１００は、発音特徴抽出部１１０及び複雑度算出部１２０を有している。発音特徴抽出部１１０は、発音の仕方を示す記号を複数並べた記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出する。複雑度算出部１２０は、発音特徴データを用いて、記号列データに従った発音の複雑度を算出する。発音特徴抽出部１１０に入力される記号列データは、たとえば、言語の音声を表記する音声記号の列である。【選択図】図１
2013045321.tif 000002
【特許請求の範囲】
【請求項１】
発音の仕方を示す記号を複数並べた記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出する発音特徴データ抽出手段と、
前記発音特徴データを用いて前記記号列データに従った発音の複雑度を算出する複雑度算出手段と、
を備える発音複雑度算出装置。
【請求項２】
請求項１に記載の発音複雑度算出装置において、
前記記号は、音声記号、声の有無を示す記号、調音の場所を示す記号、又は調音の方法を示す記号である発音複雑度算出装置。
【請求項３】
請求項２に記載の発音複雑度算出装置において、
前記発音特徴データは、互いに前後する複数の子音の組み合わせ、又は互いに前後する複数の母音の組み合わせである発音複雑度算出装置。
【請求項４】
請求項１〜３のいずれか一項に記載の発音複雑度算出装置において、
複数の前記発音特徴データのそれぞれを、前記複雑度の元となる重みデータに対応付けて記憶する複雑度データ記憶手段を備え、
前記複雑度算出手段は、前記発音特徴データ抽出手段が抽出した前記発音特徴データに対応する前記重みデータを前記複雑度データ記憶手段から読み出し、読み出した前記重みデータを用いて前記複雑度を算出する発音複雑度算出装置。
【請求項５】
音声信号を処理することにより、前記音声信号が示す語句の候補を示す仮説情報を、音声認識スコアとともに複数種類生成する音声認識仮説生成手段と、
前記複数の前記仮説情報それぞれについて、発音の複雑度を算出する発音複雑度算出手段と、
前記音声認識スコア及び前記複雑度を用いて、一つの前記仮説情報を音声認識結果情報として選択する結果選択手段と、
を備え、
前記仮説情報は、発音の仕方を示す記号を複数並べた記号列データであり、
前記発音複雑度算出手段は、
前記仮説情報としての前記記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出する発音特徴データ抽出手段と、
前記発音特徴データを用いて前記記号列データに従った発音の前記複雑度を算出する複雑度算出手段と、
を備える音声認識装置。
【請求項６】
請求項５に記載の音声認識装置において、
前記結果選択手段は、前記複雑度が大きくなるにつれて、前記仮説情報が前記音声認識結果情報として選択されやすくなるように、前記複雑度を用いる音声認識装置。
【請求項７】
コンピュータが、発音の仕方を示す記号を複数並べた記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出し、
前記コンピュータが、前記発音特徴データを用いて前記記号列データに従った発音の複雑度を算出する、発音複雑度算出方法。
【請求項８】
コンピュータが、音声信号を処理することにより、前記音声信号が示す語句の候補を示していて発音の仕方を示す記号を複数並べた記号列データである仮説情報を、音声認識スコアとともに複数種類生成し、
前記コンピュータが、前記仮説情報としての前記記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出し、
前記コンピュータが、前記発音特徴データを用いて前記記号列データに従った発音の複雑度を算出し、
前記コンピュータが、前記音声認識スコア及び前記複雑度を用いて、一つの前記仮説情報を音声認識結果情報として選択する、音声認識方法。
【請求項９】
コンピュータを、発音複雑度算出装置として機能させるためのプログラムであって、
前記コンピュータに、
発音の仕方を示す記号を複数並べた記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出する機能と、
前記発音特徴データを用いて前記記号列データに従った発音の複雑度を算出する機能と、
を実現させるプログラム。
【請求項１０】
コンピュータを、音声認識装置として機能させるためのプログラムであって、
前記コンピュータに、
音声信号を処理することにより、前記音声信号が示す語句の候補を示していて発音の仕方を示す記号を複数並べた記号列データである仮説情報を、音声認識スコアとともに複数種類生成する機能と、
前記仮説情報としての前記記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出する機能と、
前記発音特徴データを用いて前記記号列データに従った発音の複雑度を算出する機能と、
前記音声認識スコア及び前記複雑度を用いて、一つの前記仮説情報を音声認識結果情報として選択する機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発音複雑度算出装置、音声認識装置、発音複雑度算出方法、音声認識方法、及びプログラムに関する。
【背景技術】
【０００２】
話者が発した音声信号が表す言語情報を自動的に認識する音声認識装置が知られている。音声認識装置は、音声認識技術の進展にともない、口語体の話し言葉による会話音声を認識することも可能になってきた。しかし、認識対象の音声に「発声のなまけ」や「言い淀み」などの現象が含まれると、音声認識装置は音声を十分に認識できないことがある。このような発声のなまけや言い淀みが起こる一因として、話者が不得意な発音の存在がある。
【０００３】
なお、話者が発音困難な語句を、好適な言い換え表現に置き換えるための発話支援装置が特許文献１に記載されている。特許文献１に記載の発話支援装置は、話者にとって正確な発音の区別が難しい発音記号とそのコストを定義したデータベースを事前に記憶しておく。そして、入力された読み上げ用原稿に対して、単語に含まれる当該発音記号の有無に応じて定めた困難度を参照し、その値が大きい場合にその単語を同義語に置き換えた原稿を出力する。
【０００４】
その他、音声認識に関する技術として、特許文献２〜５に記載の技術がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２２７４２５号公報
【特許文献２】特開２００１−２４９６７９号公報
【特許文献３】特開２００９−１０９５８５号公報
【特許文献４】特開平０２−２４０６９９号公報
【特許文献５】特開平０７−００５８０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術は、発音困難度を特定の発音記号の有無にのみ基づいて定めている。このため、発音の難しさを十分に評価できないおそれがある。
【０００７】
本発明の目的は、高い精度で発音の難しさを評価することができる発音複雑度算出装置、音声認識装置、発音複雑度算出方法、音声認識方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明によれば、発音の仕方を示す記号を複数並べた記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出する発音特徴データ抽出手段と、
前記発音特徴データを用いて前記記号列データに従った発音の複雑度を算出する複雑度算出手段と、
を備える発音複雑度算出装置が提供される。
【０００９】
本発明によれば、音声信号を処理することにより、前記音声信号が示す語句の候補を示す仮説情報を、音声認識スコアとともに複数種類生成する音声認識仮説生成手段と、
前記複数の前記仮説情報それぞれについて、発音の複雑度を算出する発音複雑度算出手段と、
前記音声認識スコア及び前記複雑度を用いて、一つの前記仮説情報を音声認識結果情報として選択する結果選択手段と、
を備え、
前記仮説情報は、発音の仕方を示す記号を複数並べた記号列データであり、
前記発音複雑度算出手段は、
前記仮説情報としての前記記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出する発音特徴データ抽出手段と、
前記発音特徴データを用いて前記記号列データに従った発音の前記複雑度を算出する複雑度算出手段と、
を備える音声認識装置が提供される。
【００１０】
本発明によれば、コンピュータが、発音の仕方を示す記号を複数並べた記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出し、
前記コンピュータが、前記発音特徴データを用いて前記記号列データに従った発音の複雑度を算出する、発音複雑度算出方法が提供される。
【００１１】
本発明によれば、コンピュータが、音声信号を処理することにより、前記音声信号が示す語句の候補を示していて発音の仕方を示す記号を複数並べた記号列データである仮説情報を、音声認識スコアとともに複数種類生成し、
前記コンピュータが、前記仮説情報としての前記記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出し、
前記コンピュータが、前記発音特徴データを用いて前記記号列データに従った発音の複雑度を算出し、
前記コンピュータが、前記音声認識スコア及び前記複雑度を用いて、一つの前記仮説情報を音声認識結果情報として選択する、音声認識方法が提供される。
【００１２】
本発明によれば、コンピュータを、発音複雑度算出装置として機能させるためのプログラムであって、
前記コンピュータに、
発音の仕方を示す記号を複数並べた記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出する機能と、
前記発音特徴データを用いて前記記号列データに従った発音の複雑度を算出する機能と、
を実現させるプログラムが提供される。
【００１３】
本発明によれば、コンピュータを、音声認識装置として機能させるためのプログラムであって、
前記コンピュータに、
音声信号を処理することにより、前記音声信号が示す語句の候補を示していて発音の仕方を示す記号を複数並べた記号列データである仮説情報を、音声認識スコアとともに複数種類生成する機能と、
前記仮説情報としての前記記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出する機能と、
前記発音特徴データを用いて前記記号列データに従った発音の複雑度を算出する機能と、
前記音声認識スコア及び前記複雑度を用いて、一つの前記仮説情報を音声認識結果情報として選択する機能と、
を実現させるプログラムが提供される。
【発明の効果】
【００１４】
本発明によれば、高い精度で発音の難しさを評価することができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態に係る発音複雑度推定装置の機能構成を示すブロック図である。
【図２】発音特徴抽出部の機能を説明するための図である。
【図３】発音特徴抽出部の機能を説明するための図である。
【図４】発音特徴抽出部の機能を説明するための図である。
【図５】第２の実施形態に係る発音複雑度推定装置の機能構成を示すブロック図である。
【図６】複雑度データ記憶部のデータ構成の一例をテーブル形式で示す図である。
【図７】第３の実施形態に係る音声認識装置の機能構成を示すブロック図である。
【図８】図７の変形例を示すブロック図である。
【図９】図７及び図８に示した音声認識装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１７】
以下の実施形態で説明する発音複雑度推定装置１００及び音声認識装置２００は、たとえば、図示しない中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリおよびハードディスク駆動装置（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶装置、並びに通信装置を備えている。この装置は、サーバコンピュータやパーソナルコンピュータ、またはそれらに相当する装置により実現することができ、また、キーボードやマウス等の入力装置やディスプレイやプリンタ等の出力装置と接続される。そして、ＣＰＵが、ハードディスクに記憶されるプログラムをメモリに読みだして実行することにより、後述する各機能を実現することができる。各機能は、論理回路等のハードウェアにより実現されていてもよい。また、各種のデータを記憶する記憶部は、たとえば、サーバコンピュータやパーソナルコンピュータが備える記憶装置によって実現される。
【００１８】
すなわち、発音複雑度推定装置１００及び音声認識装置２００の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウェアとソフトウェアの任意の組み合わせによって実現される。そして、その実現方法、装置にはさまざまな変形例があることは、当業者には理解されるところである。以下に説明する各図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。また、以下に説明する各図では、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。
【００１９】
そして、上記したコンピュータプログラムは、コンピュータで読み取り可能な記憶媒体に記録されていてもよい。記録媒体は特に限定されず、さまざまな形態のものが考えられる。また、プログラムは、記録媒体からコンピュータのメモリにロードされていてもよいし、ネットワークを通じてコンピュータにダウンロードされ、メモリにロードされてもよい。
【００２０】
（第１の実施形態）
図１は、第１の実施形態に係る発音複雑度推定装置１００の機能構成を示すブロック図である。発音複雑度推定装置１００は、発音特徴抽出部１１０及び複雑度算出部１２０を有している。発音特徴抽出部１１０は、発音の仕方を示す記号を複数並べた記号列データから、２つ以上の記号の組み合わせである発音特徴データを抽出する。複雑度算出部１２０は、発音特徴データを用いて、記号列データに従った発音の複雑度を算出する。以下、詳細に説明する。
【００２１】
発音特徴抽出部１１０は、記号列データが入力されると、その記号の並びから、所定の発音特徴データを抽出する。発音特徴データは、発音する際の音声器官（口・舌など）の動きの有無・大きさ・複雑さを表すように定義されたものである。
【００２２】
発音特徴抽出部１１０に入力される記号列データは、たとえば、言語の音声を表記する音声記号の列である。音声記号は、たとえば、国際音声記号（ＩＰＡ）である。なお、発音特徴抽出部１１０は、文字列を受け付け、対応表などを参照してそれらを記号列データに変換するようにしてもよい。また発音特徴抽出部１１０は、音素列を受け付け、この音素列を記号列データに変換してもよい。この場合、発音特徴データは、音声記号の組、例えば隣り合う記号の組み合わせで表現することができる。
【００２３】
例えば図２（１）に示すように、発音複雑度推定装置１００が「ガス爆発」を処理する場合を考える。図２（２）は「ガス爆発」の音素列、（３）は「ガス爆発」の記号列データを示している。
【００２４】
発音特徴データは、図３（１）に示すように、図２（３）の記号列データの１番目と２番目の記号の組になる。また、他の発音特徴データは、図３（２）に示すように、図２（３）の記号列データの２番目と３番目の記号の組である。この発音特徴データは、３つ以上の連続する記号組であってもよい。
【００２５】
発音特徴抽出部１１０が処理する記号が音声記号であり、記号列データが、母音と子音を区別したときの連鎖する記号の組である場合、隣り合う母音の記号組を用いることにより、母音の変化に伴う口（音声器官のひとつ）の動きを詳しく表すことができる。また、隣り合う子音の記号組を用いると、子音の変化に伴う舌（音声器官のひとつ）の動きを詳しく表すことができる。このため、発音特徴抽出部１１０が生成する発音特徴データは、互いに前後する複数の母音の組み合わせ、又は互いに前後する複数の子音の組み合わせにしてもよい
【００２６】
この場合、発音特徴データは、図４（１）に示すように、１番目から４番目の母音の記号の組となったり、図４（２）に示すように、１番目から４番目の子音の記号の組になる。ただし、この発音特徴データは、２つ以上の記号の組み合わせでもよい。
【００２７】
また、発音特徴データは、記号列内で共起する記号の組であってもよい。この場合、入力された記号列に含まれる多くの発音パターンを表すことができるようになる。
【００２８】
なお、発音特徴抽出部１１０が処理する記号として、音声記号の代わりに、調音の情報を用いてもよい。音声学では、音声の最小単位である単音を、発音する際の音声器官の動き（気流の作り方）により分類する。調音の情報の例として、声門の振動の有無（声の有無）を示す記号、気流の妨げが起こる場所を示す調音点（調音の場所）を示す記号、及び、気流の妨げの起こし方を示す調音法（調音の方法）を示す記号が挙げられる。これらの３種の情報を用いると、たとえば、子音「ｇ」は「有声・軟口蓋・破裂音」のように表される。このような調音の情報を用いて、前述した３通りの記号組（連鎖・共起）を構成することにより、発音の動きをより詳細に表現できる。
【００２９】
複雑度算出部１２０は、発音特徴データを用いて、記号列データに従った発音の複雑度を算出する。この複雑度は、話者が音声器官を動かす際の複雑さを反映する値であり、複雑度が大きいほど高い値となるように定義されている。ある発音の複雑度が大きいほど、その発音を不得意とする話者は多い。
【００３０】
次に、本実施形態に係る発音複雑度推定装置１００の動作を説明する。まず、発音特徴抽出部１１０は、外部から、音声記号などの記号列データを取得する。次いで、発音特徴抽出部１１０は、取得した記号列データから、発音特徴データを抽出する。次いで、複雑度算出部１２０は、発音特徴抽出部１１０が抽出した発音特徴データを処理して、発音の複雑度を算出する。
【００３１】
このように、本実施形態によれば、発音の仕方を示す記号を複数並べた記号列データから、２つ以上の記号の組み合わせである発音特徴データを抽出する。そして、この発音特徴データを用いて、記号列データに従った発音の複雑度を算出する。従って、高い精度で発音の難しさを評価することができる。
【００３２】
（第２の実施形態）
図５は、第２の実施形態に係る発音複雑度推定装置１００の機能構成を示すブロック図である。本実施形態に係る発音複雑度推定装置１００は、複雑度データ記憶部１３０を備える点を除いて、第１の実施形態に係る発音複雑度推定装置１００と同様の構成である。複雑度データ記憶部１３０は、複数の発音特徴データのそれぞれを、複雑度の元となる重みデータに対応付けて記憶している。
【００３３】
図６は、複雑度データ記憶部１３０のデータ構成の一例をテーブル形式で示す図である。本図に示す例において、発音特徴データは、隣り合う４つの子音の組み合わせで定義されている。そして複雑度データ記憶部１３０において、各発音特徴データは、重みデータである数値に対応付けられている。
【００３４】
そして複雑度算出部１２０は、発音特徴抽出部１１０が抽出した発音特徴データに対応する重みデータを複雑度データ記憶部１３０から読み出し、読み出した重みデータを用いて複雑度を算出する。
【００３５】
詳細には、発音特徴抽出部１１０は、一つの記号列データから、複数の発音特徴データを生成する。複雑度算出部１２０は、複数の発音特徴データを受け付け、それぞれの発音特徴データに対応する重みデータを、複雑度データ記憶部１３０から読み出す。そして複雑度算出部１２０は、読み出した重みデータの総和を、記号列データの発音複雑度として算出する。
【００３６】
たとえば、図２（３）に示す記号列データからは、「隣接する４子音」という発音特徴データとして、１〜４番目の子音の組、２〜５番目の子音の組、３〜６番目の子音の組、の３つが生成される。複雑度算出部１２０は、この３つの発音特徴データに対応する重みデータを複雑度データ記憶部１３０から読み出し、その和を算出する。
【００３７】
複雑度データ記憶部１３０が記憶している重みデータは、例えば自動的に学習され、更新される。例えば、記号列データを、発音が難・易の２クラスに分類する線形識別器を用いる。そして、記号列データから抽出された発音特徴データの出現頻度を要素とする入力ベクトルと、線形識別器が有する発音特徴データの重みデータを要素とする重みベクトルと、に基づいて識別計算を行う識別器を構成する。この識別器には、与えられた学習データに対して重みベクトルを最適化する手法が知られている。たとえば、パーセプトロンやロジスティック回帰に基づく識別器を用いることができる。そして、発音が難易の２クラスの記号列データを学習データとして用意し、発音特徴データの重みデータを最適化した値を、複雑度データ記憶部１３０に記憶させる。
【００３８】
また複雑度データ記憶部１３０は、発音特徴データと複雑度との関連を表す値として、記号の連接確率を記憶してもよい。この連接確率は、複数の記号からなる発音特徴データが出現する確率として用いることができる。この連接確率は、自然言語処理などの分野においてＮグラムモデルとして知られているものであってもよい。
【００３９】
連接確率を用いて、複雑度データ記憶部１３０が記憶するコストを自動的に学習する方法を説明する。
【００４０】
まず、あらかじめ、学習データとして多数の記号列データを用意する。これらの記号列データには、発音可能な記号列データのうち、発音が難しい部類のものを用いる。発音が難しい記号列データは、たとえば、早口言葉として知られている語句や、音声認識において誤認識されることが多い語句から得られる。
【００４１】
次に、学習データに出現する記号の組の頻度を計数し、その比をとることで連接確率を求める。たとえば、記号「g」の次に記号「a」が出現する確率「P(a|g)」は、記号「g」の出現頻度「C(g)」と、記号組「(g,a)」の出現頻度「C(g,a)」から、「P(a|g) = C(g,a) / C(g)」のように求めることができる。
【００４２】
次に、本実施形態に係る発音複雑度推定装置１００の動作を説明する。まず、発音特徴抽出部１１０は、外部から、音声記号などの記号列データを取得する。次いで、発音特徴抽出部１１０は、取得した記号列データから、発音特徴データを抽出する。次いで複雑度算出部１２０は、発音特徴抽出部１１０が抽出した発音特徴データに対応する重みデータを、複雑度データ記憶部１３０から読み出す。次いで複雑度算出部１２０は、読み出した重みデータの総和を、発音の複雑度として算出する。
【００４３】
本実施形態によっても、第１の実施形態と同様の効果を得ることができる。また、複雑度データ記憶部１３０を用いるため、さらに高い精度で発音の難しさを評価することができる。
【００４４】
（第３の実施形態）
図７は、第３の実施形態に係る音声認識装置２００の機能構成を示すブロック図である。本実施形態に係る音声認識装置２００は、発音複雑度推定装置１００、音声認識仮説生成部２１０、及び結果選択部２２０を有している。本図に示す例では、発音複雑度推定装置１００は第１の実施形態と同様の構成を有している。ただし、図８に示すように、発音複雑度推定装置１００は第２の実施形態と同様の構成を有していても良い。
【００４５】
音声認識仮説生成部２１０は、音声信号を処理することにより、前記音声信号が示す語句の候補を示す仮説情報を、音声認識スコアとともに複数種類生成する。この仮説情報は、第１及び第２の実施形態における記号列データに相当している。発音複雑度推定装置１００は、音声認識仮説生成部２１０が生成した複数種類の仮説情報それぞれの複雑度を算出する。結果選択部２２０は、音声認識スコア及び複雑度を用いて、一つの仮説情報を音声認識結果情報として選択する。結果選択部２２０は、例えば、音声認識結果として、テキストデータを出力する。以下、詳細に説明する。
【００４６】
音声認識仮説生成部２１０は、外部から入力装置を介して音声信号を受け付ける。音声認識仮説生成部２１０は、連続する音声信号を、ひとつの音声データとして受け付ける。音声認識仮説生成部２１０は、たとえば、音量が所定値より小さい信号（無音）が一定時間継続した場合に、その区間を音声信号の区切りとして、その区間の前後を異なる音声データとしてもよい。このように音声認識仮説生成部２１０は、一般的な自動音声検出方式によって音声信号を分割してもよい。
【００４７】
また音声認識仮説生成部２１０は、操作指示部（図示せず）を介して受け付けた使用者の指示により、音声データの開始および終了を定めてもよい。音声認識仮説生成部２１０は、例えば、使用者がスイッチを入れている間の音声信号をひとつの音声データとして記録する。
【００４８】
そして音声認識仮説生成部２１０は、音声データを音声認識する。音声認識仮説生成部２１０は、音声信号が入力されて音声データが生成されるたびに音声認識処理を行い、音声信号が示す語句の候補を示す仮説情報を、発音複雑度推定装置１００に出力する。
【００４９】
ここで音声認識仮説生成部２１０は、例えば、音声認識を行う（仮説情報を生成する）ためのモデル（たとえば、音響モデル、言語モデル、単語辞書等を含む）を用いることにより、音声認識スコアを算出する。音声認識仮説生成部２１０は、たとえば、音響モデルとして隠れマルコフモデルを用いて音響スコアを生成し、言語モデルとして単語トライグラムなどを用いることにより言語スコアを生成し、これら音響スコアと言語スコアの和を音声認識スコアとしても良い。音声認識仮説生成部２１０は、単語列の探索処理に、フレーム同期ビームサーチを用いてもよい。なお、音声認識装置２００は、これらのモデルをあらかじめ記憶装置に記憶しているものとする。もちろん、モデルの変更や更新なども行うことができる。
【００５０】
結果選択部２２０は、音声認識仮説生成部２１０が生成した音声認識スコアと、発音複雑度推定装置１００が算出した複雑度を用いて、一つの仮説情報を音声認識結果情報として選択し、出力する。結果選択部２２０は、複雑度が大きくなるにつれて、その仮説情報が音声認識結果情報として選択されやすくなるようにしている。
【００５１】
結果選択部２２０は、たとえば、２つの仮説情報が示す単語列Ｗ１，Ｗ２の音声認識スコアがＲ１，Ｒ２であったとする。音声認識スコアがＲ１＞Ｒ２のとき、１位の音声認識仮説はＷ１である。そして結果選択部２２０は、Ｗ１とＷ２を発音複雑度推定装置１００が算出した複雑度Ｃ１，Ｃ２を、それぞれＲ１，Ｒ２に加算することにより、仮説情報の順位づけを行う。例えば（Ｒ１＋Ｃ１）＜（Ｒ２＋Ｃ２）のとき、１位の仮説情報は、Ｗ２になる。
【００５２】
ここで、複雑度を用いることにより、発音の難しい語句を正確に認識する理由を説明する。話者が単語列Ｗ２を発話したとする。このとき、単語列Ｗ２の発音が難しいとすると、その音声は「発音のなまけ」などの影響を受けている可能性が大きい。そのような音声は、複雑度を用いない音声認識装置では、音声認識スコアＲ２が小さくなるため、単語列Ｗ１が音声認識結果として出力される。これに対して、本実施形態の結果選択部２２０は、複雑度を用いて、発音が難しいことによる悪影響を補償するように音声認識処理を行っている。このため、単語列Ｗ２を認識結果として出力することができる。
【００５３】
なお結果選択部２２０は、発音複雑度推定装置１００があらかじめ算出した複雑度を記憶しておき、この複雑度を用いてもよい。たとえば結果選択部２２０は、音声認識処理で使用する単語辞書の要素である単語それぞれに対応する複雑度を格納した辞書を準備し、この辞書を参照してもよい。あるいは、結果選択部２２０は、音声認識処理で使用する言語モデルの要素である単語を複数（例えば２つ又は３つ）組み合わせたものそれぞれの発音複雑度を格納した辞書を準備し、この辞書を参照してもよい。このようにすると、結果選択部２２０は、音声認識スコアを取得すると同時に発音複雑度も取得できるため、計算量を少なくすることができる。
【００５４】
音声認識仮説生成部２１０は、音声認識処理において音響スコアと言語スコアを加算する際に、発音複雑度スコアも加算するようにしてもよい。こうすることにより、音声認識仮説生成部２１０は、音声認識処理と同時に、結果選択部２２０による仮説の順序付け処理を行うことができる。
【００５５】
また音声認識仮説生成部２１０は、音声認識処理の際、発音複雑度の大きさに応じて、音響スコアと言語スコアの比を変更するようにしてもよい。発音の難しい音声の区間では、正しい音声モデルに対する音響スコアが低下することがある。発音複雑度が大きい場合に言語スコアの重みを大きくすることにより、精度の低い音響スコアの悪影響を抑えることができる。
【００５６】
そして結果選択部２２０は、音声認識結果として、たとえば、音声信号に対応する語句の候補を表現する単語列を出力する。また、結果選択部２２０は、音声認識結果として、複数の単語列を含む単語グラフやＮベスト単語列の形式で表現したものを出力するようにしてもよい。このとき、結果選択部２２０は、出力する情報に、音声認識結果の各単語が、認識した音声信号のどの区間に対応するかを表す時間情報を含ませてもよい。
【００５７】
図９は、図７及び図８に示した音声認識装置２００の動作を示すフローチャートである。まず音声認識仮説生成部２１０に、音声信号が入力される（ステップＳ１０）。すると音声認識仮説生成部２１０は、一つの仮説情報及びその仮説情報における音声認識スコアを生成する（ステップＳ２０）。次いで発音複雑度推定装置１００は、音声認識仮説生成部２１０が生成した仮説情報を取得し、取得した仮説情報の複雑度を算出する（ステップＳ３０）。次いで結果選択部２２０は、音声認識仮説生成部２１０が算出した音声認識スコアと、発音複雑度推定装置１００が算出した複雑度の和を、評価スコアとして算出する（ステップＳ４０）。
【００５８】
音声認識装置２００は、仮説情報の探索が終了するまで、ステップＳ２０〜ステップＳ４０に示した処理を繰り返す（ステップＳ５０）。すなわち音声認識装置２００は、複数の仮説情報を生成する。
【００５９】
そして音声認識装置２００の結果選択部２２０は、最も評価スコアが高い仮説情報を、音声認識結果として選択する（ステップＳ６０）。
【００６０】
以上、本実施形態によれば、結果選択部２２０が複雑度を用いているため、発音の難しい語句を高い精度で音声認識することができる。
【００６１】
なお、上記実施形態によれば、以下の発明が開示されている。
（付記１）
発音の仕方を示す記号を複数並べた記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出する発音特徴データ抽出手段と、
前記発音特徴データを用いて前記記号列データに従った発音の複雑度を算出する複雑度算出手段と、
を備える発音複雑度算出装置。
（付記２）
付記１に記載の発音複雑度算出装置において、
前記記号は、音声記号、声の有無を示す記号、調音の場所を示す記号、又は調音の方法を示す記号である発音複雑度算出装置。
（付記３）
付記２に記載の発音複雑度算出装置において、
前記発音特徴データは、互いに前後する複数の子音の組み合わせ、又は互いに前後する複数の母音の組み合わせである発音複雑度算出装置。
（付記４）
付記１〜３のいずれか一つに記載の発音複雑度算出装置において、
複数の前記発音特徴データのそれぞれを、前記複雑度の元となる重みデータに対応付けて記憶する複雑度データ記憶手段を備え、
前記複雑度算出手段は、前記発音特徴データ抽出手段が抽出した前記発音特徴データに対応する前記重みデータを前記複雑度データ記憶手段から読み出し、読み出した前記重みデータを用いて前記複雑度を算出する発音複雑度算出装置。
（付記５）
音声信号を処理することにより、前記音声信号が示す語句の候補を示す仮説情報を、音声認識スコアとともに複数種類生成する音声認識仮説生成手段と、
前記複数の前記仮説情報それぞれについて、発音の複雑度を算出する発音複雑度算出手段と、
前記音声認識スコア及び前記複雑度を用いて、一つの前記仮説情報を音声認識結果情報として選択する結果選択手段と、
を備え、
前記仮説情報は、発音の仕方を示す記号を複数並べた記号列データであり、
前記発音複雑度算出手段は、
前記仮説情報としての前記記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出する発音特徴データ抽出手段と、
前記発音特徴データを用いて前記記号列データに従った発音の前記複雑度を算出する複雑度算出手段と、
を備える音声認識装置。
（付記６）
付記５に記載の音声認識装置において、
前記結果選択手段は、前記複雑度が大きくなるにつれて、前記仮説情報が前記音声認識結果情報として選択されやすくなるように、前記複雑度を用いる音声認識装置。
（付記７）
付記６に記載の音声認識装置において、
前記発音特徴データは、互いに前後する複数の子音の組み合わせ、又は互いに前後する複数の母音の組み合わせである音声認識装置。
（付記８）
付記５〜７のいずれか一つに記載の音声認識装置において、
複数の前記発音特徴データのそれぞれを、前記複雑度の元となる重みデータに対応付けて記憶する複雑度データ記憶手段を備え、
前記複雑度算出手段は、前記発音特徴データ抽出手段が抽出した前記発音特徴データに対応する前記重みデータを前記複雑度データ記憶手段から読み出し、読み出した前記重みデータを用いて前記複雑度を算出する音声認識装置。
（付記９）
コンピュータが、発音の仕方を示す記号を複数並べた記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出し、
前記コンピュータが、前記発音特徴データを用いて前記記号列データに従った発音の複雑度を算出する、発音複雑度算出方法。
（付記１０）
付記９に記載の発音複雑度算出方法において、
前記記号は、音声記号、声の有無を示す記号、調音の場所を示す記号、又は調音の方法を示す記号である発音複雑度算出方法。
（付記１１）
付記１０に記載の発音複雑度算出方法において、
前記発音特徴データは、互いに前後する複数の子音の組み合わせ、又は互いに前後する複数の母音の組み合わせである発音複雑度算出方法。
（付記１２）
付記９〜１１のいずれか一つに記載の発音複雑度算出方法において、
前記コンピュータは、複数の前記発音特徴データのそれぞれを、前記複雑度の元となる重みデータに対応付けて記憶しており、
前記コンピュータは、抽出した前記発音特徴データに対応する前記重みデータを読み出し、読み出した前記重みデータを用いて前記複雑度を算出する発音複雑度算出方法。
（付記１３）
コンピュータが、音声信号を処理することにより、前記音声信号が示す語句の候補を示していて発音の仕方を示す記号を複数並べた記号列データである仮説情報を、音声認識スコアとともに複数種類生成し、
前記コンピュータが、前記仮説情報としての前記記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出し、
前記コンピュータが、前記発音特徴データを用いて前記記号列データに従った発音の複雑度を算出し、
前記コンピュータが、前記音声認識スコア及び前記複雑度を用いて、一つの前記仮説情報を音声認識結果情報として選択する、音声認識方法。
（付記１４）
付記１３に記載の音声認識方法において、
前記記号は、音声記号、声の有無を示す記号、調音の場所を示す記号、又は調音の方法を示す記号である音声認識方法。
（付記１５）
付記１４に記載の音声認識方法において、
前記発音特徴データは、互いに前後する複数の子音の組み合わせ、又は互いに前後する複数の母音の組み合わせである音声認識方法。
（付記１６）
付記１３〜１５のいずれか一つに記載の音声認識方法において、
前記コンピュータは、複数の前記発音特徴データのそれぞれを、前記複雑度の元となる重みデータに対応付けて記憶しており、
前記コンピュータは、抽出した前記発音特徴データに対応する前記重みデータを読み出し、読み出した前記重みデータを用いて前記複雑度を算出する音声認識方法。
（付記１７）
コンピュータを、発音複雑度算出装置として機能させるためのプログラムであって、
前記コンピュータに、
発音の仕方を示す記号を複数並べた記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出する機能と、
前記発音特徴データを用いて前記記号列データに従った発音の複雑度を算出する機能と、
を実現させるプログラム。
（付記１８）
付記１７に記載のプログラムにおいて、
前記記号は、音声記号、声の有無を示す記号、調音の場所を示す記号、又は調音の方法を示す記号であるプログラム。
（付記１９）
付記１８に記載のプログラムおいて、
前記発音特徴データは、互いに前後する複数の子音の組み合わせ、又は互いに前後する複数の母音の組み合わせであるプログラム。
（付記２０）
付記１７〜１９のいずれか一つに記載のプログラムにおいて、
前記コンピュータは、複数の前記発音特徴データのそれぞれを、前記複雑度の元となる重みデータに対応付けて記憶しており、
前記コンピュータに、抽出した前記発音特徴データに対応する前記重みデータを読み出し、読み出した前記重みデータを用いて前記複雑度を算出する機能も実現させるプログラム。
（付記２１）
コンピュータを、音声認識装置として機能させるためのプログラムであって、
前記コンピュータに、
音声信号を処理することにより、前記音声信号が示す語句の候補を示していて発音の仕方を示す記号を複数並べた記号列データである仮説情報を、音声認識スコアとともに複数種類生成する機能と、
前記仮説情報としての前記記号列データから、２つ以上の前記記号の組み合わせである発音特徴データを抽出する機能と、
前記発音特徴データを用いて前記記号列データに従った発音の複雑度を算出する機能と、
前記音声認識スコア及び前記複雑度を用いて、一つの前記仮説情報を音声認識結果情報として選択する機能と、
を実現させるプログラム。
（付記２２）
付記２１に記載のプログラムにおいて、
前記記号は、音声記号、声の有無を示す記号、調音の場所を示す記号、又は調音の方法を示す記号であるプログラム。
（付記２３）
付記２２に記載のプログラムおいて、
前記発音特徴データは、互いに前後する複数の子音の組み合わせ、又は互いに前後する複数の母音の組み合わせであるプログラム。
（付記２４）
付記２１〜２３のいずれか一つに記載のプログラムにおいて、
前記コンピュータは、複数の前記発音特徴データのそれぞれを、前記複雑度の元となる重みデータに対応付けて記憶しており、
前記コンピュータに、抽出した前記発音特徴データに対応する前記重みデータを読み出し、読み出した前記重みデータを用いて前記複雑度を算出する機能も実現させるプログラム。
【００６２】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【符号の説明】
【００６３】
１００ 発音複雑度推定装置
１１０ 発音特徴抽出部
１２０ 複雑度算出部
１３０ 複雑度データ記憶部
２００ 音声認識装置
２１０ 音声認識仮説生成部
２２０ 結果選択部
【図１】
2013045321.tif 000003
【図２】
2013045321.tif 000004
【図３】
2013045321.tif 000005
【図４】
2013045321.tif 000006
【図５】
2013045321.tif 000007
【図６】
2013045321.tif 000008
【図７】
2013045321.tif 000009
【図８】
2013045321.tif 000010
【図９】
2013045321.tif 000011