(57)【要約】【課題】  入力された発話音声から抽出できなかった特徴量が発話様式の検出に与える影響を低減して、検出精度の低下を抑制した発話様式の検出が可能な発話様式検出装置を得ることを目的とする。【解決手段】  発話音声を含む音データの特徴を表す１つ以上の音響特徴量の有効度を決定する有効度判定部１０２と、入力された音データである入力音声データから抽出された音響特徴量と発話様式に対応して音響特徴量がモデル化された発話スタイルモデルとの近さを求め、その近さに音響特徴量の有効度に基づいた重み付けを行って、発話様式に対する入力音声データの適合度を算出する適合度算出部１０４と、適合度算出部１０４が算出した適合度に基づいて入力音声データの発話様式を検出する発話スタイル検出部１０５とを備える。【選択図】  図１
2015087557.tif 000002
【特許請求の範囲】
【請求項１】
発話音声を含む音データの特徴を表す１つ以上の音響特徴量の有効度を決定する有効度判定部と、
入力された前記音データである入力音声データから抽出された前記音響特徴量と発話様式に対応して前記音響特徴量がモデル化された発話スタイルモデルとの近さを求め、前記近さに前記音響特徴量の前記有効度に基づいた重み付けを行って、前記発話様式に対する前記入力音声データの適合度を算出する適合度算出部と、
前記適合度算出部が算出した前記適合度に基づいて前記入力音声データの発話様式を検出する発話スタイル検出部と、
を備えることを特徴とする発話様式検出装置。
【請求項２】
前記有効度判定部は、前記入力音声データから抽出された前記音響特徴量の抽出精度を判定し、その抽出精度に応じて前記有効度を決定することを特徴とする請求項１に記載の発話様式検出装置。
【請求項３】
前記有効度判定部は、検出対象の発話様式に関する検出対象様式情報が入力され、前記検出対象様式情報に基づいて前記音響特徴量の有効度を決定することを特徴とする請求項１に記載の発話様式検出装置。
【請求項４】
前記音響特徴量は、前記入力音声データから抽出することが決められている基本音響特徴量と前記基本音響特徴量に追加して前記入力音声データから抽出される追加音響特徴量であり、
前記有効度判定部は、検出対象の発話様式に関する検出対象様式情報が入力され、前記検出対象様式情報に基づいて発話様式の検出において有効な音響特徴量を前記追加音響特徴量のなかから選択して、選択した前記追加音響特徴量を抽出特徴量追加情報として出力し、前記入力音声データから抽出された前記基本音響特徴量の抽出精度および前記抽出特徴量追加情報に示されて前記入力音声データから抽出された前記追加音響特徴量の抽出精度を判定して、その抽出精度に応じて前記有効度を決定することを特徴とする請求項２に記載の発話様式検出装置。
【請求項５】
前記発話スタイル検出部は、複数の前記発話様式のうちの予め定められた発話様式に対する前記入力音声データの前記適合度と、その予め定められた発話様式とは別の前記発話様式に対する前記入力音声データの前記適合度から、前記別の発話様式の前記入力音声データにおける表出度合いを算出して、この表出度合いに基づいて前記入力音声データの発話様式を検出することを特徴とする請求項１から請求項４のいずれか一項に記載の発話様式検出装置。
【請求項６】
コンピュータに発話音声を含む音データの発話様式を検出させる発話様式検出方法であって、
前記音データの特徴を表す１つ以上の音響特徴量の有効度を決定するステップと、
発話様式を検出する対象の前記音データである入力音声データから抽出された前記音響特徴量と発話様式に応じて前記音響特徴量がモデル化された発話スタイルモデルとの近さを求め、前記近さに前記音響特徴量の前記有効度に基づいた重み付けを行って、前記発話様式に対する前記入力音声データの適合度を算出するステップと、
算出された前記適合度に基づいて前記入力音声データの発話様式を検出するステップと、
を有することを特徴とする発話様式検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話音声から発話者の感情、目的、置かれた状況あるいは個性などに対応する発話様式を検出する発話様式検出装置および発話様式検出方法に関するものである。
【背景技術】
【０００２】
人間はそのときの感情や目的、置かれた状況、あるいは発話者の個性などに応じて、楽しげに話す、丁寧に話す、小声で話すなど様々な話し方をする。また、驚きや恐怖などの急激な感情の変化に応じて悲鳴などの叫び声をあげる話し方をすることもある。なお、これらの様々な話し方を発話様式と称することとする。
発話音声に含まれるこのような話し方の情報は、音声認識において発話者の意図を正確に理解することに使用したり、あるいは公共施設等での周囲監視において悲鳴等を検知して異常事態を検出することに使用したりするなど有用であることから、発話音声から発話様式を検出する技術の研究開発が従来行われてきた。
【０００３】
特許文献１には、入力した音声信号（発話音声）から音声の強度やテンポ、抑揚などの特徴量の変化を検出し、予め保持している特徴量の変化のパターンと感情状態とを関連付けた情報を参照して感情状態を推定する技術が開示されている。
【０００４】
また、特許文献２には、話し方に対応する２つの音響モデルを備え、この２つの音響モデルのなかから入力された発話音声の特徴量に対して最尤の音響モデルを選択して、選択された音響モデルに基づいてその発話音声の話し方を判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2002-91482号公報（図１）
【特許文献２】特開2005-221679号公報（図２）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば、前述のような周囲監視において入力された音声の発話様式（以降では発話様式を発話スタイルとも称す）によって異常事態の検出をする場合、集音装置（監視カメラなど）の設置環境により周囲の騒音の影響があったり、あるいは集音装置と発話者の距離が遠近様々であったりするなど、発話様式の検出に用いる音声の集音環境は必ずしも良好であるとは限らない。このような場合、入力された音声から抽出する特徴量のなかに適切に抽出できない特徴量が生じる可能性がある。また、発話様式自体によって安定したピッチでの発声が行われず、このため発話音声から特徴量を適切に抽出できない場合もある。
【０００７】
上述の従来の技術を用いた発話様式の検出においては、発話様式の検出にどの特徴量を使用するかが固定されており、適切に抽出されなかった特徴量を発話様式の検出に使用すると検出精度が低下してしまうという問題があった。
【０００８】
この発明は、上記の問題を解決するためになされたもので、入力された発話音声から抽出された特徴量のなかに適切に抽出できなかった特徴量が存在する場合に、その適切に抽出できなかった特徴量が発話様式の検出に与える影響を低減して、検出精度の低下を抑制した発話様式の検出が可能な発話様式検出装置を得ることを目的とする。
【課題を解決するための手段】
【０００９】
この発明の発話様式検出装置は、発話音声を含む音データの特徴を表す１つ以上の音響特徴量の有効度を決定する有効度判定部と、入力された音データである入力音声データから抽出された音響特徴量と発話様式に対応して音響特徴量がモデル化された発話スタイルモデルとの近さを求め、その近さに音響特徴量の有効度に基づいた重み付けを行って、発話様式に対する入力音声データの適合度を算出する適合度算出部と、適合度算出部が算出した適合度に基づいて入力音声データの発話様式を検出する発話スタイル検出部と、を備えるようにしたものである。
【００１０】
この発明の発話様式検出方法は、コンピュータに発話音声を含む音データの発話様式を検出させる発話様式検出方法であって、音データの特徴を表す１つ以上の音響特徴量の有効度を決定するステップと、発話様式を検出する対象の音データである入力音声データから抽出された前記音響特徴量と発話様式に応じて音響特徴量がモデル化された発話スタイルモデルとの近さを求め、その近さに音響特徴量の有効度に基づいた重み付けを行って、発話様式に対する入力音声データの適合度を算出するステップと、算出された適合度に基づいて入力音声データの発話様式を検出するステップと、を有するようにしたものである。
【発明の効果】
【００１１】
この発明の発話様式検出装置によれば、発話様式検出に用いられる音響特徴量の有効度を決定し、入力された音声データの音響特徴量と発話様式に対応した音響特徴量モデルとの近さに前述の音響特徴量の有効度に基づいた重み付けを行って入力音声データの発話様式に対する適合度を算出し、この適合度に基づいて入力された音声データの発話様式を検出するようにしたので、抽出精度の悪い音響特徴量や発話様式の検出に有効でない音響特徴量が発話様式検出処理に与える影響を小さくすることができ、発話様式の検出精度を改善することが可能である。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１の発話様式検出装置の構成を示すブロック図である。
【図２】この発明の実施の形態１の発話様式検出装置の動作を示すフローチャートである。
【図３】この発明の実施の形態１の発話様式検出装置の有効度情報を生成する処理を示す説明図である。
【図４】この発明の実施の形態１の発話様式検出装置の適合度情報を生成する処理を示す説明図である。
【図５】この発明の実施の形態１の発話様式検出装置における入力音声データに対するニュートラルモデルと特定の発話様式の尤度と特定の発話スタイルの表出度合いの関係を示す説明図である。
【図６】この発明の実施の形態２の発話様式検出装置の構成を示すブロック図である。
【図７】この発明の実施の形態２の発話様式検出装置の動作を示すフローチャートである。
【図８】この発明の実施の形態２の発話様式検出装置の有効度判定情報の例を示す説明図である。
【図９】この発明の実施の形態３の発話様式検出装置の構成を示すブロック図である。
【図１０】この発明の実施の形態３の発話様式検出装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下この発明の実施の形態を、図を参照して説明する。なお、参照する図において同一もしくは相当する部分には同一の符号を付している。
【００１４】
実施の形態１．
図１はこの発明の実施の形態１に係る発話様式検出装置の構成を示すブロック図である。この実施の形態の発話様式検出装置は、特徴量抽出部１０１、有効度判定部１０２、スタイル記憶部１０３、適合度算出部１０４、発話スタイル検出部１０５、有効度判定情報記憶部１０２１で構成される。
【００１５】
特徴量抽出部１０１は人間の発話音声を含む音データが外部より入力され（この入力された音データを入力音声データと称す）、入力されたデータから音響特徴量を抽出して特徴量情報を出力する。ここで入力音声データは例えばマイク等で集音した人間の発話音声をデジタル化したデータである。リニアＰＣＭ形式のデータやあるいはその他の発話音声を含む音を表現可能な形式のデータであれば良い。
【００１６】
特徴量抽出部１０１が入力音声データから抽出する音響特徴量は、例えばスペクトル情報や雑音成分の強さ等の音色および声質に関する情報や、パワー（音量）やピッチ周波数、有音区間の継続時間長といった韻律情報などである。なお、この発明は音響特徴量を前述のものに制限するものではなく、発話音声を含む音の特徴を表現する情報であればその他の音響特徴量であっても良く、さらに、２つ以上の音響特徴量を組み合わせたものであっても良い。
【００１７】
また、特徴量抽出部１０１が出力する特徴量情報は例えば入力音声データから規定の時間間隔で抽出した音響特徴量や、あるいは抽出した音響特徴量の平均や分散、最大値などの統計値である。また、特徴量の抽出誤りを軽減するなどの目的で時間軸上における平滑化等の加工処理を実施した音響特徴量あるいは統計値であっても良い。
【００１８】
有効度判定部１０２は有効度判定情報記憶部１０２１に記憶された有効度判定情報を参照して特徴量抽出部１０１から入力される特徴量情報に含まれた各音響特徴量の有効度を決定し、有効度情報を生成して出力する。
【００１９】
スタイル記憶部１０３は、複数の発話スタイルについて、それぞれの発話スタイルに対応した音響特徴量モデル（発話スタイルモデル）を記憶するブロックである。ここで発話スタイルモデルは、例えば対応する発話スタイルの音声から抽出してサンプリングされた音響特徴量自体や、サンプリングされた音響特徴量の平均、分散、最大値などの統計値や、音響特徴量または統計値に時間軸上における平滑化等の加工処理を施した情報や、あるいはサンプリングされた音響特徴量を正規分布やＧＭＭ（Gaussian Mixture Model）などの確率モデルで表現した情報などである。なお、以下では音響特徴量を正規分布で表現したものが発話スタイルモデルである場合を例に説明する。
【００２０】
適合度算出部１０４は、特徴量抽出部１０１が出力した特徴量情報、有効度判定部１０２が出力した有効度情報、およびスタイル記憶部１０３に記憶された発話スタイルモデルに基づいて、入力音声データが各発話スタイルにどの程度近いかを示す適合度を算出して適合度情報として出力する。
【００２１】
ここで適合度情報は発話スタイルモデルの統計値などのパラメータと入力音声データから得た特徴量情報とのユークリッド距離や、発話スタイルモデルの確率モデルと特徴量情報との尤度とするなど、発話スタイルモデルに対する近さを表現できる情報であれば良い。なお、以下では確率モデルとの尤度を例に説明する。
【００２２】
発話スタイル検出部１０５は、適合度算出部１０４が出力した適合度情報に基づいて、入力音声データの発話スタイルを検出し、発話スタイル情報として出力する。ここで発話スタイル情報は、スタイル記憶部１０３に発話スタイルモデルが記憶されている各発話スタイルの入力音声データにおける表出度合いであるものとする。ただし発話スタイル情報は、発話スタイル検出部１０５においていずれの発話スタイルが入力音声データに対して尤もらしいかを判定してその発話スタイルを示す情報にするなど、他の形態の情報としてもよい。なお、表出度合いについては詳細を後述する。
【００２３】
特徴量抽出部１０１、有効度判定部１０２、適合度算出部１０４、発話スタイル検出部１０５は、プロセッサとＲＡＭ（Random Access Memory）などの周辺回路およびプロセッサで実行されるソフトウェアで構成することが可能である。スタイル記憶部１０３はハードディスクなどの記憶装置で構成することが可能である。有効度判定情報記憶部１０２１はRAMあるいはその他の記憶媒体で実現すれることが可能である。また、これらの各ブロックをＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアで構成することも可能である。
【００２４】
次に動作について説明する。図２はこの発明の実施の形態１の発話様式検出装置の動作を示すフローチャートである。なお、この発明は図２に示すフローチャートに限定されるものではなく、同様の結果が得られる限り、他の順番で処理したり、あるいは可能な範囲で複数の処理を並列に実施したりするようにしても良い。
【００２５】
特徴量抽出部１０１は外部より入力音声データを受信すると、入力音声データを分析して音響特徴量を抽出し、抽出した音響特徴量を特徴量情報として出力する（ＳＴ２０１）。なお、音色や声質あるいは韻律などの音響特徴量の分析処理は、規定された時間間隔（例えば１００ミリ秒）のフレームに分割した音声信号を離散フーリエ変換により周波数信号に変換してその振幅データを声質情報としたり、あるいは音声信号の自己相関からピッチ周波数（以降、単にピッチとも表記する）を抽出して韻律情報としたりするなど、入力音声データに対応した公知の解析処理を用いれば良い。
【００２６】
次に有効度判定部１０２は特徴量抽出部１０１より出力された特徴量情報を参照して、音響特徴量の抽出精度を判定し（ＳＴ２０２）、その抽出精度に基づいてその音響特徴量の有効度を決定して、有効度情報として出力する（ＳＴ２０３）。
ＳＴ２０２およびＳＴ２０３の処理の具体例を、図３を参照して説明する。ここでは一例として、特徴量情報で示された非発話区間の平均音量と発話区間の平均音量から、その差分の大小に基づいて抽出精度を判定し、音響特徴量（音量）の有効度を決定する場合の処理を説明する。なお、発話区間に関しては発話開始から一定の時間（例えば３０秒）ごとに区切ったものであっても良いし、発話開始から終了までとしても良い。
【００２７】
図３（ａ）は有効度判定部１０２に入力される特徴量情報を説明するグラフである。この図は特徴量情報として入力される非発話区間の平均音量と発話区間ごと（図３では４個の発話区間を示している）の平均音量を示している。なお、図３（ａ）には参考として発話区間の音量の推移を一点鎖線で示している。
【００２８】
図３（ｂ）は有効度判定部１０２が行う非発話区間の平均音量と各発話区間の平均音量との差分（音量差）の算出を示すグラフである。また、図３（ｃ）は音響特徴量の抽出精度を判定し、有効度を決定するための有効度判定情報の例である。この例では、音量差が大きいほど抽出精度が高いと判定して、有効度を高く設定する。図３（ｃ）において、例えばｘ＝２０ｄＢ、ｙ＝５０ｄＢ、ｚ＝１００ｄＢ（ただし、平均音量の単位がｄＢであるとき）のように定める。
【００２９】
図３（ｂ）に示した各発話区間の音量差と図３（ｃ）に示した有効度判定情報から、各発話区間における音響特徴量（この場合は音量）の有効度を決定し、図３（ｄ）に示す有効度情報を生成する。なお、ここでは有効度は後述の適合度の計算における音響特徴量の重みとして使用できるように０以上１以下の数値で定義されるものとする。図３の例では、発話区間１と発話区間２では非発話区間の音量差が大きく抽出精度が高いと判定され音響特徴量の有効度が高く設定され、発話区間３と発話区間４では音量差が小さいために有効度が低く設定されたことを示している。
【００３０】
なお、図３の例では非発話区間と発話区間の平均音量の差分によって抽出精度を判定したが、例えば時間軸上で隣り合うサンプル間の揺らぎなど別の指標によって抽出精度を判定しても良い。
【００３１】
また、この例では平均音量を音響特徴量としたが、非発話区間の周波数軸上の帯域ごとの平均パワーと発話区間の帯域ごとの平均パワーを音響特徴量とする場合には、それぞれの帯域ごとの平均パワーの差や比から周波数軸上の帯域ごとに抽出精度を判定して有効度を設定することも可能である。また非発話区間の周波数軸上の帯域ごとの平均パワーのみを用いて、非発話区間の平均パワーが大きい周波数帯については雑音が大きく抽出精度が低いと見なして、その周波数帯域の平均パワーの有効度を下げるようにすることも考えられる。また発話区間の周波数軸上の帯域ごとの平均パワーのみを用いて、発話区間の平均パワーが小さい周波数帯については入力音声データの品質が悪く抽出精度が低いと見なして、その周波数帯域の平均パワーの有効度を下げるようにすることも考えられる。
【００３２】
また、ピッチ周波数を音響特徴量とすることも可能である。この場合、時間軸上で隣り合うピッチ周波数の連続性を音響特徴量とし、抽出精度を判定する指標としてピッチ周波数の安定性を用いることができる。また発話区間においてピッチ周波数を抽出できた時間の割合を音響特徴量として、抽出精度を判定する指標としてピッチ周波数を抽出できた時間の割合を用いるようにしても良い。
【００３３】
また、例えば発話区間の時間長が短い場合に周波数軸上のパワーの抽出精度が低いと見なすなど、異なる音響特徴量を関連させてそれぞれの音響特徴量の有効度を決定し、有効度を設定するようにしても良い。
【００３４】
なお、音響特徴量の抽出精度と有効度とを関係付けた有効度判定情報を予め用意する構成ではなく、抽出した特徴量を用いて有効度を算出する構成にしても良い。例えば以下の数式１の通りに時刻ｘにおける有効度ｆ（ｘ）を算出して用いるようにしても良い。
【００３５】
【数１】
2015087557.tif 000003
【００３６】
ここで、数式１におけるｐ＿ｖ（ｘ）は時刻ｘにおける発話区間の平均パワーを示しており、ｐ＿ｕｖは非発話区間の平均パワーを示している。数式１の右辺の分母は発話区間と非発話区間の平均パワーの差の最大値を示しており、この式により平均パワーの差が最大の場合を１としたときの時刻ｘにおける有効度を求めることができる。
【００３７】
ＳＴ２０３の処理に続いて適合度算出部１０４が、有効度判定部１０２より出力された有効度情報を参照して、特徴量抽出部より出力された特徴量情報とスタイル記憶部１０３に記憶された発話スタイルモデルとから入力音声データの発話スタイルに対する適合度を算出する（ＳＴ２０４）。
ＳＴ２０４の処理の具体例を、図４を参照して説明する。ここでは適合度を算出する処理の一例として、スタイル記憶部１０３に記憶された発話スタイルモデルとして各音響特徴量についての正規分布を用意し、発話スタイルモデルに対する入力音声データから抽出した音響特徴量の尤度を求め、求めた尤度と有効度情報に示された音響特徴量の重みから適合度を算出する方法を説明する。
【００３８】
図４では音響特徴量として音量とピッチ周波数（図４では単にピッチと表記）を用いた場合を例として示している。なお、ここでは１個の発話区間に注目して処理を説明するが、同様の処理を各発話区間について実施すればよい。図４（ａ）は、特徴量抽出部１０１が出力した入力音声データの特徴量情報を示しており、音量およびピッチ周波数を単位時間（例えば１００ミリ秒）ごとにサンプリングしたデータ列が図４（ａ）の分布を持つことを示すものである。なお、図３で示した発話区間の平均音量も同様のサンプリングしたデータ列から求めることができる。
また図４（ｂ）は、スタイル記憶部１０３に記憶された発話スタイルモデルを示している。この例では、発話スタイルＡと発話スタイルＢについての２つの発話スタイルモデルがあり、各発話スタイルの音量およびピッチ周波数が図４（ｂ）の分布（正規分布）を持つことを示すものである。図４（ｃ）は有効度判定部１０２から出力される有効度情報を示している。この例では、音響特徴量である音量とピッチ周波数のそれぞれについて、音量の有効度（重み）が０．２５、ピッチ周波数の有効度（重み）が１．０であることを示している。
【００３９】
ＳＴ２０４の処理では適合度算出部１０４は、まず図４（ａ）の特徴量情報と図４（ｂ）の発話スタイルモデルに基づいて、入力音声データの音響特徴量の各発話スタイルモデルに対する尤度を計算する。ｎ個（ｎ≧１）からなるデータセットｙｉ（ｉ＝１〜ｎ）があるとき、正規分布に対する尤度ｌはその正規分布の確率密度関数がｆ（ｙｉ）で与えられるとした場合、以下の数式２で計算することができる。なお、数式２は確率の積を求める計算式であるが、確率の対数値を用いて和を求めるようにしても良い。
【００４０】
【数２】
2015087557.tif 000004
【００４１】
図４（ｄ）は今回の例である音響特徴量の音量とピッチ周波数の各発話スタイルに対する尤度の計算結果の例を示している。なお、ここでは尤度の値を比較しやすいように整数化している場合の例を示している。尤度計算の次に有効度情報を考慮した適合度を算出する。ここで適合度は、各音響特徴量（すなわち今回の例では音量とピッチ周波数）の尤度に重みを乗じた上で求めた合計値とする。図４（ｅ）はこの例における適合度の算出結果を示す表である。重み重畳後の行が重みを考慮して算出した適合度を示している。なお、重み重畳前の行は比較のために重みを乗じることなく適合度を算出した場合の値を示している。今回の例は音量の抽出精度が低いために有効度が小さくなっている例である。これにより、重み重畳前では発話スタイルＡに対する適合度が３０４０、発話スタイルＢに対する適合度が５０００となるのに対して、重み重畳後では発話スタイルＡに対する適合度が３０１０、発話スタイルＢに対する適合度が２７５０となり、重み重畳後では発話スタイルＡの方が発話スタイルＢよりも入力音声データの適合度が高いという結果が得られる。
【００４２】
適合度算出部１０４はこうして求めた適合度を適合度情報として出力する。
なお、図４の例では尤度に有効度を乗じて適合度を計算したが、尤度の代わりにパラメータ間のユークリッド距離を用いても良い。あるいはその他の特徴量と発話スタイルモデルとの近さを表現できる情報を用いることも可能である。
【００４３】
ＳＴ２０４の次に、発話スタイル検出部１０５が適合度算出部１０４から出力された適合度情報を参照して、入力音声データの発話スタイルを示す発話スタイル情報を生成する（ＳＴ２０５）。
【００４４】
ここでＳＴ２０５の処理の一例を説明する。ここで説明する例では、特定の発話スタイルに偏らない基本発話スタイル（例えば前述の発話スタイルＡ）の発話スタイルモデル（ニュートラルモデルと称す）と、特定の発話スタイル（例えば前述の発話スタイルＢ）の発話スタイルモデルを備える。そして、入力音声データから抽出した音響特徴量における特定の発話スタイルモデルの表出度合いを、この２つの発話スタイルに対する入力音声データの適合度に基づいて算出し、発話スタイル情報として出力するものである。
【００４５】
なお、ニュートラルモデルの作成には、通常の発声や平静な発声の音声から抽出した音響特徴量や、あるいは複数の発話スタイルの発声を混合したデータから抽出した音響特徴量を使用すればよい。
【００４６】
また、ここでは特定の発話スタイルに偏らない基本発話スタイルを用いて特定の発話スタイルの表出度合いを求める場合を説明するが、基本発話スタイルに限らずその他の発話スタイルを表出度合いの算出に使用する発話スタイルに定めておいて、表出度合いを求めるようにしても良い。
【００４７】
今、発話スタイル「楽しげ」に対応する特定の発話スタイルモデル（楽しげスタイルモデルと称する）があるものとして、基本発話スタイルと入力音声データの適合度（likelihood_ubmとする）と、発話スタイル「楽しげ」と入力音声データの適合度（likelihood_joyfulとする）が適合度情報として入力されたとき、発話スタイル検出部１０５はこの２つの適合度と正規化関数から発話スタイル「楽しげ」の表出度合いを以下の数式３によって算出する。なお、数式３においてＮは表出度合いが０〜４の間となるように正規化する正規化関数を表している。
【００４８】
【数３】
2015087557.tif 000005
【００４９】
図５は基本発話スタイルおよび特定の発話スタイル（上述の例では発話スタイル「楽しげ」）のそれぞれに対する入力音声データの適合度と、入力音声データの音響特徴量における特定の発話スタイルの表出度合いの関係を示す説明図である。基本発話スタイルに対する入力音声データの適合度と、特定の発話スタイルに対する適合度の比が１（すなわち適合度が等しい）の場合、特定の発話スタイルの表出度合いは中間である２を示す。特定の発話スタイルに対する入力音声データの適合度が基本発話スタイルに対する適合度に比べて大きくなるほどその特定の発話スタイルの表出度合いが大きくなり、反対にその発話スタイルに対する適合度が基本発話スタイルに対する適合度に比べて小さくなるほどその特定の発話スタイルの表出度合いが小さくなる。
【００５０】
なお、ここでは適合度の比から発話スタイルの表出度合いを算出したが、適合度の差を用いても良く、あるいは対数軸上での差を用いても良い。
また、発話スタイル情報として発話スタイルの表出度合いを出力することとしたが、各発話スタイルの表出度合いを比較して、最も表出度合いの高い発話スタイルを入力音声データの発話スタイルとして判定し、発話スタイル情報として出力するようにしても良い。
【００５１】
また、発話スタイル検出部１０５は各発話スタイルの表出度合いを求めるのではなく、適合度情報の適合度があらかじめ設定された閾値以上であった発話スタイルを入力音声の発話スタイルとして判定して発話スタイル情報として出力するようにしても良く、２つ以上の発話スタイルを発話スタイル情報として出力するようにしても良い。また、発話スタイル情報は適合度情報に示された適合度そのものであっても良い。あるいは、適合度を一定の値に収まる範囲に線形変換もしくはシグモイド関数などの関数による変換をして発話スタイル情報にしても良い。
【００５２】
以上のようにこの実施の形態では、入力音声データから抽出した音響特徴量の抽出精度を判定して音響特徴量の有効度を決定し、抽出された音響特徴量と音響特徴量の有効度と発話スタイルモデルとに基づいて、発話スタイルに対する入力音声データの適合度を算出する。そして、算出した適合度に基づいて入力音声データにおける各発話スタイルの表出度合いを求めて、入力音声データの発話スタイルを検出するようにした。
【００５３】
これにより、音響特徴量の抽出精度を考慮せずにすべての音響特徴量を同等に用いて適合度を計算する場合と比べて、集音環境や話者や発話スタイルの影響で抽出精度の低い音響特徴量が適合度に与える影響を低減することが可能となり、適合度の計算および発話スタイルの検出精度を向上できる効果がある。
【００５４】
また、音響特徴量の抽出精度に応じて適合度算出における音響特徴量の重みを変更する構成としたことで、音響特徴量を使用するか否かだけを決定する構成と比べて、音響特徴量の抽出精度の度合いに応じてきめ細やかに音響特徴量を適合度計算に反映することが可能であり、適合度の計算および発話スタイルの検出精度を向上できる効果がある。
【００５５】
また、特定の発話スタイルに偏らない音響特徴量に基づく基本発話スタイルに対する入力音声データの適合度と、特定の発話スタイルに対する入力音声データの適合度から、その特定の発話スタイルの表出度合いを算出することにより、適合度と表出度合いとの対応を発話スタイルごとに予め設定する必要が無くなるので、適合度と表出度合いとの対応を決定するために必要となる開発コストを抑えることができるという効果がある。また、絶対値ではなく相対値で表出度合いを算出することで、集音環境や発話者による適合度の変化の影響を受けにくい発話スタイルの表出度合いを得ることできるという効果がある。
【００５６】
また、この実施の形態の構成では、言語情報を必要としないため、発話の内容に非依存であり、悲鳴などの特定の音韻にマッピングできない発声においても発話スタイルの検出が可能であるという効果がある。
【００５７】
なお、発話スタイルの検出が容易で音響特徴量の抽出精度の度合いに応じた適合度の算出が不要である場合には、有効度判定部１０２において音響特徴量を使用するか否かのみを決定し、音響特徴量を使用するか否かを有効度情報とするように構成しても良い。このような構成にすることで特徴量の有効度を算出するハードウェアおよび計算コストを抑えることができるという効果がある。
【００５８】
また、入力音声データに加えて集音環境の情報などの発話スタイルに関連する音声データ以外のデータを入力して特徴量として扱えるようにしても良い。このような構成とした場合は、より複雑に適合度を算出することが可能であり、適合度の計算および発話スタイルの検出精度を向上できる効果がある。例えば、集音環境の気温情報や湿気情報を入力して特徴量とすることで、「嫌悪」の発話スタイルモデルの表出度合いを求めるときに、集音環境の蒸し暑さが「嫌悪」の要因になっている場合もあるため、「嫌悪」の発話スタイルモデルの表出度合いを涼しい場合と比べて小さくするなどの操作が可能になる。
【００５９】
また、特徴量抽出部１０１を省略して外部から発話スタイル検出対象の音声データの特徴量を入力するように構成しても良い。このような構成とした場合、特徴量抽出の計算コストを抑えることができるという効果がある。
【００６０】
実施の形態２．
上述の実施の形態１では、入力音声データから抽出した音響特徴量の抽出精度を判定し、抽出精度に対応して音響特徴量の有効度を決定するようにしたが、次に、検出対象の発話スタイルを指定する検出対象スタイル情報（検出対象様式情報）の入力を受けて、指定された発話スタイルに対する音響特徴量の有効度を決定する実施の形態を示す。
【００６１】
図６は、この発明の実施の形態２に係る発話様式検出装置の構成を示すブロック図である。この実施の形態の発話様式検出装置は、特徴量抽出部１０１、有効度判定部１０２ｂ、スタイル記憶部１０３、適合度算出部１０４、発話スタイル検出部１０５、有効度判定情報記憶部１０２１で構成される。図１と同じ符号を付した部分は実施の形態１と同様である。この実施の形態では、有効度判定部１０２ｂに特徴量抽出部１０１が出力した特徴量情報が入力されず、外部より検出対象スタイル情報が入力される点が実施の形態１の発話様式検出装置と異なっている。有効度判定部１０２ｂは、検出対象の発話スタイルを示す検出対象スタイル情報の入力を受け、検出対象スタイル情報に基づいて特徴量抽出部１０１で抽出された音響特徴量の有効度を決定し、有効度情報を出力する。
【００６２】
次に動作について説明する。図７はこの発明の実施の形態２の発話様式検出装置の動作を示すフローチャートである。ＳＴ２０１およびＳＴ２０４〜ＳＴ２０５の処理は実施の形態１と同様である。ここでは、差異のあるＳＴ２０６の処理を中心に説明する。
【００６３】
この実施の形態の発話様式検出装置は、ＳＴ２０１で入力音声データから音響特徴量を抽出した後、有効度判定部１０２ｂが検出対象スタイル情報で指定された発話スタイルの検出における音響特徴量の有効度を決定して、有効度情報として出力する（ＳＴ２０６）。
【００６４】
図８は、有効度判定部１０２が音響特徴量の有効度を決定するために備えるこの実施の形態の有効度判定情報の例を示す説明図である。この実施の形態における有効度判定情報は検出する発話スタイルと、その発話スタイルの検出における音響特徴量の有効度を定義する。
【００６５】
例えば今、図８に示した有効度判定情報を備えている場合に、発話スタイル「楽しげ」が検出対象として検出対象スタイル情報で指定されたものとする。有効度判定部１０２ｂは有効度判定情報を参照し、検出対象として指定された発話スタイル「楽しげ」に対応する音響特徴量の有効度（声質＝０．５、ピッチ＝１．０、抑揚＝１．０、音量＝０．２５）を取得する。なお、発話スタイルが「楽しげ」である場合、誰もが声高で高止まる抑揚となる傾向にあることからピッチと抑揚の有効度が大きく設定され、静かに発声する人と大声で発声する人とがいることから音量の有効度が小さく設定された有効度判定情報をここでは例として示している。
【００６６】
上述の例では発話スタイルの特性に基づいて音響特徴量の有効度を記述する場合を示したが、スタイル記憶部１０３に記憶された発話スタイルモデルにおける当該音響特徴量を用いた発話スタイル検出の正解率に基づいて有効度を定義するようにしても良い。例えば、正解率８０％以上であれば発話スタイル検出に有効な音響特徴量として有効度を１．０とし、検出正解率が２０％以下であれば発話スタイル検出に有効でない音響特徴量として有効度を０．２５とすることなどが考えられる。このように有効度判定情報はここで説明したものに限らず、他の尺度で有効度を定義するようにしても良い。
【００６７】
また、上述の例では、１つの発話スタイルを検出対象スタイル情報とする場合を示したが、「２つの発話スタイルを区別する」という意味の情報を検出対象スタイル情報として、発話スタイルの識別に有効な音響特徴量の有効度が得られるようにしても良い。例えば、音量は発話スタイル「怒号」を検出する場合と発話スタイル「大声」を検出る場合の双方で有効な特徴量と考えられるが、「大声」と「怒号」を区別する場合には音量が発話スタイル検出に悪影響を与える可能性があるので、図８に示すように音量が有効な音響特徴量から除外されるように有効度を設定する。
【００６８】
ＳＴ２０６の処理により有効度情報を得て、ＳＴ２０４以降の処理を実施の形態１と同様に実施する。
【００６９】
以上のように、この実施の形態では、検出対象の発話スタイルを検出対象スタイル情報により指定して、音響特徴量の有効度を指定された検出対象の発話スタイルに応じて決定し、この有効度を考慮して入力音声データの発話スタイルを検出するようにした。これにより、検出対象の発話スタイルにとって有効な音響特徴量を考慮せずにすべての音響特徴量を同等に用いて適合度を計算する場合と比べて、同じ発話スタイルでも話者によって表出の仕方が異なる特徴量について適合度計算時の重みを小さくすることができ、発話スタイルの検出精度を向上できる効果がある。
【００７０】
なお、上述の実施の形態２において、実施の形態１と同様に有効度判定部１０２ｂに特徴量情報を入力して音響特徴量の抽出精度を求め、抽出精度に基づく有効度と検出対象の発話スタイルにおける音響特徴量の有効度と組み合わせて最終的に有効度を決定するように構成することも可能である。このような構成にすることで、集音環境や話者や発話スタイルの影響で抽出精度の低い音響特徴量は適合度の計算に悪影響を与えるため適合度計算時の重みを小さくする処理が加えられ、発話スタイルの検出精度をさらに向上できる効果がある。
【００７１】
実施の形態３．
次に、検出対象スタイル情報を入力して、指定された発話スタイルの検出における音響特徴量の有効度に基づいて、予め抽出されることが決められている音響特徴量（基本音響特徴量）に加えて発話スタイルを検出する上で有効な追加の音響特徴量（追加音響特徴量）を抽出し、入力音声データの発話スタイルを検出する実施の形態を示す。
【００７２】
図９は、この発明の実施の形態３に係る発話様式検出装置の構成を示すブロック図である。この実施の形態の発話様式検出装置は、特徴量抽出部１０１ｃ、有効度判定部１０２ｃ、スタイル記憶部１０３、適合度算出部１０４、発話スタイル検出部１０５、有効度判定情報記憶部１０２１で構成される。図１と同じ符号を付した部分は実施の形態１と同様である。この実施の形態では実施の形態２と同様に検出対象スタイル情報が外部より有効度判定部１０２ｃに対して入力され、さらに有効度判定部１０２ｃから特徴量抽出部１０１ｃに対して抽出特徴量追加情報が出力される点が実施の形態１の発話様式検出装置と異なる。なお特徴量抽出部１０１ｃは、有効度判定部１０２ｃより入力された抽出特徴量追加情報に基づいて、定常的に抽出する基本音響特徴量に加えて追加の音響特徴量抽出を行う。
【００７３】
次に動作について説明する。この実施の形態の有効度判定情報記憶部１０２１には、有効度判定情報として実施の形態１で示した有効度判定情報に加え、実施の形態２で示した有効度判定情報と同様の情報を記憶することとする。ただし、この実施の形態で実施の形態２と同様の有効度判定情報で定義されるのは追加音響特徴量の有効度である。
【００７４】
図１０はこの発明の実施の形態３の発話様式検出装置の動作を示すフローチャートである。まず、有効度判定部１０２ｃが実施の形態２と同様の有効度判定情報を参照して、検出対象スタイル情報で指定された発話スタイルの検出における音響特徴量の有効度に基づいて追加で抽出する音響特徴量を判定し、抽出特徴量追加情報を生成して出力する（ＳＴ２０７）。
追加で抽出する音響特徴量の選択は、音響特徴量の有効度に予めしきい値を設定しておき、検出対象の発話スタイルについて実施の形態２と同様の有効度判定情報を参照して、有効度がこのしきい値以上である追加音響特徴量を選択することが考えられる。また、音響特徴量の有効度が最も高い追加音響特徴量を選択するようにしても良い。また、追加音響特徴量の有効度を基に選択されればその他の別の選択基準で追加する音響特徴量を選択するようにしても良い。なお、追加で抽出する音響特徴量は０個でも良く、また、複数個であっても良い。
【００７５】
ＳＴ２０７の次に、特徴量抽出部１０１ｃは入力音声データに対してする常時使用する音響特徴量の分析に加えて抽出特徴量追加情報で指定された音響特徴量の分析を実施し、抽出した音響特徴量を特徴量情報として出力する（ＳＴ２０１ｃ）。
この特徴量情報は有効度判定部１０２ｃ、適合度算出部１０４に入力される。以降のＳＴ２０２からＳＴ２０５の処理は実施の形態１と同様である。
【００７６】
上述のようにこの実施の形態では、検出対象スタイル情報が入力され、検出対象スタイル情報に示された検出対象の発話スタイルの検出における音響特徴量の有効度に基づいて常時使用する基本音響特徴量に加えて検出対象の発話スタイルの検出において有効な音響特徴量を追加で抽出する。そして抽出した音響特徴量をもとにその抽出精度を判定して、この抽出精度に基づいて抽出された音響特徴量の有効度を決定し、抽出された音響特徴量と音響特徴量の有効度と発話スタイルモデルとに基づいて入力音声データの発話スタイルを検出する構成とした。これにより、実施の形態１の発話様式検出装置が有する効果に加えて、検出対象の発話スタイルにとって有効な音響特徴量を考慮せずにすべての音響特徴量を抽出する場合と比べて、必要な特徴量に限定して音響特徴量の抽出処理をすることができるので、計算コストを少なくできる効果がある。
【符号の説明】
【００７７】
１０１，１０１ｃ  特徴量抽出部、１０２，１０２ｂ，１０２ｃ  有効度判定部、１０２１  有効度判定情報記憶部、１０３  スタイル記憶部、  １０４  適合度算出部、１０５  発話スタイル検出部
【図１】
2015087557.tif 000006
【図２】
2015087557.tif 000007
【図３】
2015087557.tif 000008
【図４】
2015087557.tif 000009
【図５】
2015087557.tif 000010
【図６】
2015087557.tif 000011
【図７】
2015087557.tif 000012
【図８】
2015087557.tif 000013
【図９】
2015087557.tif 000014
【図１０】
2015087557.tif 000015