(57)【要約】【課題】従来から、音声特徴量を用いて音声を認識する技術はあったが、発話者の発音の正確性など、音声の性質を評価する技術がなかった。【解決手段】発話者にあらかじめ定めた文を読ませ、音声認識技術を用いて音響スコアを得る。得られた音響スコアを１以上の音素の集まりごとにまとめ、音響スコアの重み付き加算によって音素列のスコアを求める。前記のあらかじめ定めた文を構成する複数の音素列のスコアの並びを、音素列モデル（あらかじめ学習された音素列のスコアの並び）と比較し、最も近い学習データを選定する。あらかじめ作成しておいた学習データと評価データ（点数、アドバイス、コメントなど）とを関連させるデータベース（ＤＢ）を用いて、選定された学習データに対応する評価データを出力する。【選択図】図４
2006337667.tif 000002
【特許請求の範囲】
【請求項１】
発話者の発音の性質を評価する発音評価装置であって、
あらかじめ定めた基準に従ってあらかじめ定めた文の音素をグループ化し、音素のグループごとに数値化した音素列モデルを、評価情報に対応づけて複数パターン記憶しておく音素列モデルデータベースと、
入力された音声を前記あらかじめ定められた基準に従ってグループ化して音素列を構成し、当該音素列を構成する各音素の音響スコアから音素列スコアを求める音素列スコア計算部と、
前記あらかじめ定めた文に対応する複数の音素列スコアからなる音素列スコアの組を、前記音素列モデルデータベースに記録された音素列モデルと比較して、最も近似している音素列モデルに対応づけられた評価情報を出力する音素列モデル選定部と、
を備える発音評価装置。
【請求項２】
請求項１記載の発音評価装置であって、
前記音素列スコアを、当該音素列を構成する各音素の音響スコアの重み付き加算により求める前記音素列スコア計算部
を備える発音評価装置。
【請求項３】
請求項１または２記載の発音評価装置であって、
前記音素列モデル選定部からの出力である評価データを記録する評価データベースと、
前記評価データベースに記録された評価データが複数ある場合に、複数の評価データから総合的な評価を求める評価部と、
前記評価部が求めた総合的な評価を表示する評価表示部と、
を備える発音評価装置。
【請求項４】
請求項１から３のいずれかに記載の発音評価装置であって、
あらかじめ定めた文、標準音声のデータを記録するデータベースと、
前記データベースに記録されたあらかじめ定められた文を表示する画面表示部と、
前記データベースに記録された標準音声を再生する音声再生部と、
処理フローを制御する制御部と、
を備える発音評価装置。
【請求項５】
請求項１から４のいずれかに記載の発音評価装置であって、
前記あらかじめ定められた文に対応する複数の音素列スコアからなる音素列スコアの組を、音素列モデルとして、当該音素列モデルに対応する評価結果とともに、前記音素列モデルデータベースに記録する音素列モデル学習部、
を備える発音評価装置。
【請求項６】
請求項１から５のいずれかに記載の発音評価装置であって、
音素をグループ化する基準を文の中で分けることができる最小単位の品詞とする音素列スコア計算部
を備える発音評価装置。
【請求項７】
発話者の発音の性質を評価するための音素列モデルデータベースを作成する音素列モデル学習装置であって、
音響モデルが記録される音響モデルデータベースと、
音素列モデルを記録する音素列モデルデータベースと、
入力された音声の音素ごとの音声特徴量を求める特徴量抽出部と、
前記特徴量抽出部で得た前記音声特徴量を、前記音響モデルデータベースの音響モデルと比較して、前記音素ごとの音響スコアを求める音声認識部と、
あらかじめ定められた基準に従って前記音素をグループ化して音素列を構成し、当該音素列を構成する各音素の音響スコアから音素列スコアを求める音素列スコア計算部と、
あらかじめ定められた文に対応する複数の音素列スコアからなる音素列スコアの組を、音素列モデルとして、当該音素列モデルに対応する評価結果とともに、前記音素列モデルデータベースに記録する音素列モデル学習部と、
を備える音素列モデル学習装置。
【請求項８】
発話者の発音の性質を評価する発音評価方法であって、
音声認識部で、入力された音声の音素ごとの音響スコアを求めるステップと、
音素列スコア計算部で、あらかじめ定められた基準に従って前記音素をグループ化して音素列を構成し、当該音素列を構成する各音素の音響スコアから音素列スコアを求めるステップと、
音素列モデル選定部で、あらかじめ定められた文に対応する複数の音素列スコアからなる音素列スコアの組を、音素列モデルデータベースに記録された音素列モデルと比較して、当該音素列スコアの組に最も近い音素列モデルを選定し、当該音素列モデルおよび当該音素列モデルに対応する評価結果を評価データとして出力するステップと、
を有する発音評価方法。
【請求項９】
発話者の発音の性質を評価するための音素列モデルデータベースを作成する音素列モデル学習方法であって、
特徴量抽出部で、入力された音声の音素ごとの音声特徴量を求めるステップと、
音声認識部で、前記特徴量抽出部で得た前記音声特徴量を、前記音響モデルデータベースの音響モデルと比較して、前記音素ごとの音響スコアを求めるステップと、
音素列スコア計算部で、あらかじめ定められた基準に従って前記音素をグループ化して音素列を構成し、当該音素列を構成する各音素の音響スコアから音素列スコアを求めるステップと、
音素列モデル学習部で、あらかじめ定められた文に対応する複数の音素列スコアからなる音素列スコアの組を、音素列モデルとして、当該音素列モデルに対応する評価結果とともに、前記音素列モデルデータベースに記録するステップと、
を有する音素列モデル学習方法。
【請求項１０】
請求項１から７のいずれかに記載の装置をコンピュータにより実現するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声特徴量から音響スコアを求め、発話者の発音の性質を評価するための発音評価方法、音素列モデル学習方法、これらの方法を用いた装置、プログラム、および記録媒体に関する。
【背景技術】
【０００２】
従来から、音声認識技術の研究開発が進められている。代表的な音声認識技術としては、特許文献１などがある。これらの音声認識技術のイメージを図１に示す。アナウンサーなどの発話者が音声を入力すると、音声認識装置は、入力された音声の特徴量（たとえば、周波数成分ごとの強度分布や、強度分布の時間的変化などである。）を抽出し、音響モデル、辞書モデル、言語モデルなどと比較しながら、もっとも尤度の高い結果を選択する。音声認識装置の機能構成例を図２に示す。音声認識装置９００は、特徴量抽出部９０１、音響モデル学習部９０２、音響モデルデータベース９０３、音声認識部９０４、辞書モデルデータベース９０５、言語モデルデータベース９０６から構成されている。特徴量抽出部９０１は、たとえば、入力された音声を、デジタル信号に変換し、１０ｍｓ単位のフレームに分割し、高速フーリエ変換によって周波数成分に分解し、特徴量を抽出する。音響モデルを学習する場合には、抽出された特徴量は、スイッチ９０７によって音響モデル学習部９０２に送られる。音響モデル学習部９０２は、たとえば隠れマルコフモデルなどの音響モデルを生成し、音響モデルデータベースに記録する。音声認識時には、抽出された特徴量は、スイッチ９０７によって音声認識部９０４に送られる。音声認識部９０４は、特徴量と音響モデルとを比較して音響スコアを求めるとともに、辞書モデルや言語モデルも用いて最も尤度の高い候補を認識結果として出力する。
【特許文献１】特許第３５２５０８２号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来から、音声特徴量を用いて未知の音声を認識する技術はあったが、既知の文に対する発話者の発音の正確性など、音声の性質を評価する技術がなかった。
【課題を解決するための手段】
【０００４】
本発明では、音声認識技術である音声特徴量抽出と音響スコア計算に関する技術を使い、形態素（文の中で分けることができる最小単位の品詞）などの１つまたは複数の音素の集まり（以下、「音素列」という。）のスコアから、基準となる発音とのずれを評価する。具体的には、あらかじめ定めておいた文を発話者が読み、音声認識技術によって音響スコアを得る。次に音素列のスコアを、音素列を構成する各音素の音響スコアの重み付き加算によって求める。前記のあらかじめ定めた文を構成する複数の音素列のスコアの並びを、音素列モデル（あらかじめ学習された音素列のスコアの並び）と比較し、最も近い音素列モデルを選定する。あらかじめ作成しておいた音素列モデルと評価データ（点数、アドバイス、コメントなど）とを関連させるデータベース（ＤＢ）を用いて、選定された音素列モデルに対応する評価データを出力する。
【発明の効果】
【０００５】
本発明によれば、基準となる音声のデータと発話者の音声との違いを評価データに変換することができる。したがって、基準となる音声のデータを、あらかじめ理想的な発音や理想からずれた発音によって作成しておけば、発音矯正用の装置が実現できる。また、基準となる音声データを、平常心の時の発音や緊張したときの発音、怒っているときの発音などから作成しておけば、喜怒哀楽を判定する装置が実現できる。
【発明を実施するための最良の形態】
【０００６】
以下に、本発明の実施形態を説明するが、重複説明を避けるため、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
［第１実施形態］
図３は、アナウンサー学校や言語学校にかよう生徒や、海外旅行者が、発音の練習をする装置に、本発明を適用した例を示している。たとえばアナウンサーが、本発明を適用した発音評価装置１００に、あらかじめ決められた文を読み、音声を入力したとする。本装置は、音響モデルと比較して各音素の音響スコアを求める。次に、いくつかの音素をまとめた音素列ごとに音素列スコアを求める。そして前記のあらかじめ定められた文を構成する複数の音素列のスコアの組と音素列モデルとを比較して、最も尤度の高い音素列モデルを選択し、当該音素列モデルに対応する点数とコメントを出力する。
【０００７】
図４に発音評価装置の機能構成例を示す。発音評価装置１００は、発音評価部２００、画面表示部１１２、音声再生部１０９、制御部１１０、標準音声や問題文を記録するデータベース１１１から構成される。また、発音評価部２００は、少なくとも、特徴量抽出部９０１、音響モデルデータベース９０３、音声認識部９０４、形態素スコア計算部１０１、形態素モデルデータベース１０３、形態素モデル選択部１０４から構成されており、発話者の発音の正確性など、発音の性質を評価する。また、複数の評価結果から総合的な評価を出力する場合には、評価データベース１０６、評価部１０７、評価表示部１０８を付加すればよい。さらに、形態素モデルを学習する機能を備えさせるためには、形態素モデル学習部１０２とスイッチ１０５とを付加すればよい。音響モデルを学習する機能を付加するのであれば、音響モデル学習部９０２、スイッチ９０７を付加すればよい。
【０００８】
なお、「形態素」とは、文の中で分けることができる最小単位の品詞であり、１つまたは複数の音素から構成されている。また、音素のまとめ方は、形態素単位に限る必要は無い。たとえば、単純に５個の音素ごとにまとめても良い。このように、音素のまとまりを、音素列と呼ぶことにすると、音素列は形態素を含む概念である。以下の説明では、音素をまとめる単位として形態素を用いた場合を説明する。しかし、本説明はそのまま音素単位での処理にも適用できる。
形態素スコア計算部１０１は、音素をあらかじめ定められたグループ単位（以下の説明では、形態素単位）にグループ化する音素グループ化手段１０１１と形態素スコアを求める形態素スコア計算手段１０１２を有している。
【０００９】
図５は、図３に示した発音の練習をする装置に、本発明を適用した場合の処理フローの例である。制御部１１０の指示によって、画面表示部１１２に操作項目が表示される。使用者（被験者）からの画面への入力によって、制御部１１０は操作項目を選択する（たとえば、アナウンサー向け、語学学習者向けなどのコースを選ぶ。）（Ｓ１１０）。発音評価装置１００の画面表示部１１２は問題文を提示し、音声際西部１０９がお手本となる標準の音声を再生する（Ｓ１２０）。被験者が発話する（Ｓ１３０）。なお、本ステップで、発話者の音声データをデータベース１１１に記録しても良い。発音評価装置１００の発音評価部２００は、発話者の音声から直接、またはデータベース１１１に記録された発話者の音声データから、発音の点数と評価（たとえば矯正が必要な箇所の指摘）を求め、表示する（Ｓ１４０）。制御部１１０は画面表示部１１２に、問題の再提示か、問題の再読を選択か、総合評価を選択か、を質問する画面を表示させ、被験者の指示に従って処理を分岐する（Ｓ１５０）。問題の再読の場合には、もう一度、再読であることを確認する（Ｓ１６０）。総合評価の場合には、発音評価部２００は、これまでの総合点数と矯正が必要な箇所の傾向（アドバイスやコメント）を表示する（Ｓ１７０）。
【００１０】
以下では、発音評価部２００の内部での処理について説明する。
図６は、音響モデルを学習する場合の処理フローを示している。この処理フローは、従来技術を同じであり、特徴量抽出部９０１で音声の特徴量を抽出し（Ｓ９１０）、音響モデル学習部９０２で音響モデルを生成して、音響モデルデータベース９０３に記録する（Ｓ９２０）。
図７は、形態素モデルを学習する場合の処理フローを示している。まず、発話者が、あらかじめ決められた文（たとえば、「明日の予報です。」）を、決められた発音（点数やアドバイスなどの評価データが決まった発音）で、発音評価装置１００に入力する。特徴量抽出部９０１は、たとえば、入力された音声を、デジタル信号に変換し、１０ｍｓ単位のフレームに分割し、高速フーリエ変換によって周波数成分に分解し、特徴量を抽出する（Ｓ９１０）。音声認識部９０４は、特徴量と音響モデルとを比較して各音素の音響スコアを求める（Ｓ２１０）。形態素スコア計算部１０１の音素グループ化手段１０１１は、形態素単位に音素をまとめる（Ｓ２２１）。形態素スコア計算手段１０１２は、形態素ごとの各音素の音響スコアから形態素スコアを計算する（Ｓ２２２）。たとえば、各音素の音響スコアの単純平均を形態素スコアとしても良いし、音響スコアの重み付き加算により形態素スコアを求めても良い。重み付き加算とは、たとえば母音の重みを子音の２倍にした上で平均を取ることなどである。形態素モデル学習部１０２は、発話者が発話した文を構成する各形態素（たとえば、「明日」、「の」、「予報」、「です」）の形態素スコアを一組として、形態素モデルとする。また、発話者が発話するときに評価データ（点数やアドバイス）が決まった発音で発話しているので、形態素モデルと評価データとが対応付けされて、形態素モデルデータベース１０３に記録される（Ｓ２３０）。図８に形態素モデルの学習によって生成されるデータベースを表形式で示す。この表は、男性向け、女性向け、子供向け用にそれぞれ作っても良いし、被験者のレベル（アナウンサーのレベル、一般人のレベル、子供のレベル）によってアドバイスを変えるためにレベル別に作っても良い。
【００１１】
なお、前述のとおり本説明では、形態素ごとに音素を区切ったが、あらかじめ定められたルールがあれば、他の区切り方でもよい。形態素に限らない音素列のスコアを複数個集めて一組とした場合のモデルを、音素列モデルと呼ぶ。つまり、形態素モデルは、音素列モデルの一形態である。
また、形態素モデルデータベースを作成するだけの形態素モデル学習装置もありうる。形態素モデル学習装置に必要な構成部は、図４中の、特徴量抽出部９０１、音響モデルデータベース９０３、音声認識部９０４、形態素スコア計算部１０１、形態素モデル学習部１０２、形態素モデルデータベース１０３である。
【００１２】
図９に、発話評価時の処理フローを示す。この処理フローは、図５のステップＳ１４０の内部を詳細に示したものに相当する。発話者は図５のステップＳ１２０で示された問題文（あらかじめ定められた文）をステップＳ１３０で発話している。その後、特徴量抽出部９０１で音声特徴量が抽出される（Ｓ９１０）。音声認識部９０４は、特徴量と音響モデルとを比較して各音素の音響スコアを求める（Ｓ２１０）。形態素スコア計算部１０１の音素グループ化手段１０１１は、形態素単位に音素をまとめる（Ｓ２２１）。形態素スコア計算手段１０１２は、形態素ごとの各音素の音響スコアから形態素スコアを計算する（Ｓ２２２）。形態素モデル選定部１０４は、発話者が発話した文を構成する各形態素（たとえば、「明日」、「の」、「予報」、「です」）の形態素スコアを一組として、形態素モデルデータベース１０３に記録された形態素モデルと比較し、最も尤度の高い形態素モデルを選定する（Ｓ２４０）。選定された形態素モデルには、点数とアドバイスなどの評価データが対応付けられているので、形態素モデル選定部１０４は、評価データを出力または表示する（Ｓ２５０）。
【００１３】
出力された評価データは、評価データベース１０６に記録しても良い。被験者が２つ以上の文の発話を行った場合には、評価データベース１０６に蓄えられた評価データは、複数となる。図５のステップＳ１７０では、複数の評価データが評価データベース１６０に記録されている場合に、総合的な評価を評価部１０７が作成し、評価表示部１０８に総合点数などを表示する。
本発明は、このような構成と処理フローであるから、発音を矯正するための装置を提供することができる。また、形態素モデル学習時に、怒った言い方、緊張した言い方、などの心理状態を示す言い方と、評価データとを対応させておけば、喜怒哀楽を判断することも可能である。したがって、本発明は発音の矯正用に限らず、幅広く音声の性質を評価する技術として利用することができる。
【００１４】
なお、本発明は、プログラムによって各ステップをコンピュータに実行させてもよい。また当該プログラムをコンピュータ読み取り可能な記録媒体に記録しておくことも可能であるし、デジタルシグナルプロセッサなどに書き込むことも可能である。
【産業上の利用可能性】
【００１５】
本発明は、主としてアナウンサーや言語学習者向けの発音矯正用の装置、もしくは海外旅行者向けの発音確認用の装置として、利用できる。また、基準となる音声のデータを変更することにより、喜怒哀楽を判定する装置などへの展開も可能である。
【図面の簡単な説明】
【００１６】
【図１】音声認識技術のイメージを示す図。
【図２】音声認識装置の機能構成例を示す図。
【図３】アナウンサー学校や言語学校にかよう生徒や、海外旅行者が、発音の練習をする装置に、本発明を適用した例を示す図。
【図４】発音評価装置の機能構成例を示す図。
【図５】発音の練習をする装置に、本発明を適用した場合の処理フローの例を示す図。
【図６】音響モデルを学習する場合の処理フローを示す図。
【図７】形態素モデルを学習する場合の処理フローを示す図。
【図８】形態素モデルの学習によって生成されるデータベースを表形式で示した図。
【図９】発話評価時の処理フローを示す図。
【図１】
2006337667.tif 000003
【図２】
2006337667.tif 000004
【図３】
2006337667.tif 000005
【図４】
2006337667.tif 000006
【図５】
2006337667.tif 000007
【図６】
2006337667.tif 000008
【図７】
2006337667.tif 000009
【図８】
2006337667.tif 000010
【図９】
2006337667.tif 000011