(57)【要約】【課題】音声データのうちの息漏れ領域を自動的に検出する装置を提供する。【解決手段】息漏れ領域自動検出装置は、音声データを第１および第３フォルマントの周波数にそれぞれ対応する第１および第２の周波数帯域のフィルタでそれぞれ濾波する第１および第２のフィルタ８１、８２と、第１および第２のフィルタ８１、８２によって濾波された信号波の包絡波形をそれぞれ求める第１および第２の包絡推定部８３、８４と、求められた二つの包絡波形の相関を求める相関演算部８５と、求められた相関結果と第１のしきい値とを比較する比較部８６と、比較結果に基づいて、音声データの息漏れ領域を判定する判定部８９とを含む。【選択図】  図３
2006084619.tif 000002
【特許請求の範囲】
【請求項１】
音声データの第１フォルマント周波数領域の信号成分の包絡波形と第３フォルマント周波数領域の信号成分の包絡波形との相関を求めるための波形相関演算手段と、
前記相関演算手段により求められた相関結果と予め定められたしきい値とを比較するための比較手段と、
前記比較手段による比較結果に基づいて、前記音声データの息漏れ領域を判定するための判定手段とを含む、息漏れ領域自動検出装置。
【請求項２】
前記波形相関演算手段は、
音声データを第１フォルマントの周波数に対応する第１の周波数帯域のフィルタで濾波する第１のフィルタ手段と、
音声データを第３フォルマントの周波数に対応する第２の周波数帯域のフィルタで濾波する第２のフィルタ手段と、
前記第１のフィルタ手段によって濾波された信号波の包絡波形を求める第１の包絡推定手段と、
前記第２のフィルタ手段によって濾波された信号波の包絡波形を求める第２の包絡推定手段と、
前記第１および第２の包絡推定手段によりそれぞれ求められた二つの包絡波形の相関を求めるための演算手段とを含む、請求項１に記載の息漏れ領域自動検出装置。
【請求項３】
前記第１のフィルタ手段によって濾波された信号波の強度と、前記第２のフィルタ手段によって濾波された信号波の強度との差を演算する強度差演算手段をさらに含み、
前記判定手段は、前記比較手段による比較結果及び前記強度差演算手段による演算結果に基づいて、前記音声データの息漏れ領域を判定するための手段を含む、請求項２に記載の息漏れ領域自動検出装置。
【請求項４】
前記強度差演算手段は、前記第１のフィルタ手段によって濾波された信号波中の最強度成分と、前記第２のフィルタ手段によって濾波された信号波中の最強度成分とのパワー値の差を演算するための手段を含む、請求項３に記載の息漏れ領域自動検出装置。
【請求項５】
前記判定手段は、
前記音声データのフレームごとに、前記比較手段による比較結果に基づいて、前記音声データの息漏れ領域を判定するためのフレーム判定手段と、
前記音声データの連続する所定数のフレームに対し、前記フレーム判定手段により息漏れ領域という判定結果が得られたことに応答して、当該所定数のフレームを息漏れ領域と判定するための手段とを含む、請求項１〜請求項４のいずれかに記載の息漏れ領域自動検出装置。
【請求項６】
コンピュータにより実行されると、当該コンピュータを、請求項１〜請求項５のいずれかに記載の息漏れ領域自動検出装置として動作させる、コンピュータで実行可能な息漏れ領域自動検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声データのうちの音素・韻律的特徴以外の特徴を検出するための技術に関し、特に、音声データの息漏れ領域を自動的に検出する息漏れ領域自動検出装置および息漏れ領域自動検出プログラムに関する。
【背景技術】
【０００２】
音声に含まれる息漏れ成分は、言語によって重要な言語・パラ言語情報すなわち怒り、喜び、悲しみといった感情的情報を伝達する。例えば、母音での弱い息漏れ（ｂｒｅａｔｈｙ）発声と地声（ｍｏｄａｌ  ｖｏｉｃｅ）発声との区別はさまざまなマイナー言語に多く生じる（非特許文献１）。また、英語においてはさまざまな発声様式とパラ言語情報との関連が報告されており（非特許文献２）、強い息漏れ（ｗｈｉｓｐｅｒｙ）発声と「恐怖」との関連、息漏れ発声と「悲しみ」との関連が示されている。
【０００３】
また、日本語では態度や丁寧度を表現するに当たって「息漏れ性（ｂｒｅａｔｈｉｎｅｓｓ）」  が利用されている報告もある（非特許文献３、４）。更に、息漏れは笑い声の母音区間でもよく起こることが観察されている。
【０００４】
地声発声のように声門の平均的な開き具合が小さい場合、雑音成分は周期成分に比べて弱い。逆に、声門が開きすぎると、声帯振動は起こらず、雑音のみが生成される（囁き声）。気息音のように声門の開きが程よい場合は、声帯は振動し続けるが、声帯音源のスペクトルに二つの変化が生じる（非特許文献５）。一つは高調波成分でスペクトルが著しく下降することであり、もう一つは気流により雑音成分が増大することである。
【０００５】
非特許文献６および７では、息漏れ性に関連するパラメータＮＡＱ（Ｎｏｒｍａｌｉｓｅｄ  Ａｍｐｌｉｔｕｄｅ  Ｑｕｏｔｉｅｎｔ）が提案され、声帯振動波形の振幅のピーク・ツー・ピーク値と声帯振動の微分波形の負のピーク値との比率を基本周波数Ｆ０で正規化したものとして定義されている。
【０００６】
しかし、このパラメータの計算は声道逆フィルタリングを必要とする。声道逆フィルタリングは誤りが生じやすい処理であり、安定的に実行することは困難である。またＮＡＱを用いた場合、息漏れと鼻音との区別に問題がある。それは逆フィルタリング後、いずれの声の場合にも基本周波数成分が強いことが理由と考えられる。パラメータＮＡＱは息漏れの雑音成分の特徴を効率的に利用していないことが欠点と考えられる。
【０００７】
一方、息漏れの雑音成分を考慮した主観的な雑音評定手法も提案されている（非特許文献８）。この手法は、第３フォルマント（Ｆ３）の周波数（以下「Ｆ３周波数」と呼ぶ。）周辺の帯域通過フィルタをかけて求めた波形の観察によって不規則性を評定するという手法である。息漏れの場合、Ｆ３周波数の領域では雑音成分が周期成分よりも強くなる傾向にあり、この中から高周波数帯域の有意な雑音成分が気息的な声質の知覚に関連しているという主張である。非特許文献９もこの手法を応用し、被験者同士での高い相関を示している。
【非特許文献１】Ｍ．ゴードン、Ｐ．レイドフォージド、「発声タイプ：言語間にわたる概観」、音声学ジャーナル、第２９巻、ｐｐ．３８３−４０６、２００１年（Gordon,  M.,  Ladefoged,  P.  “Phonation  types:  a  cross-linguistic  overview,”  J.  of  Phonetics  29,  383-406,  2001）
【非特許文献２】Ｇ．クラスマイヤー、Ｗ．Ｆ．ゼンドルマイヤー、「音声と感情の状態」、声質測定、シンギュラー・トムソン・ラーニング社、第１５章、ｐｐ．３３９−３５８、２０００年（Klasmeyer,  G.,  Sendlmeier,  W.  F.  “Voice  and  Emotional  States,”  In  Voice  Quality  Measurement,  Singular  Thomson  Learning.  Ch.  15,  339-358,  2000）
【非特許文献３】Ｎ．キャンベル、Ｐ．モクタリ、「声質：４番目の韻律パラメータ」、第１５回国際音声科学大会予稿集、ｐｐ．２４１７−２４２０、２００３年（Campbell,  N.,  Mokhtari,  P.  “Voice  quality;  the  4th  prosodic  parameter,”  Proc.  15th  International  Congress  of  Phonetic  Sciences,  2417-2420,  2003）
【非特許文献４】Ｍ．イトー、「丁寧さと声質−気息性雑音測定のためのもう一つの方法」、音声韻律２００４予稿集、ｐｐ．２１３−２１６、２００４年（Ito,  M.,  “Politeness  and  voice  quality  -  The  alternative  method  to  measure  aspiration  noise,”  Proc.  Speech  Prosody  2004,  213-216,  2004）
【非特許文献５】Ｋ．スティーブンス、「息漏れおよび地声発声時の際の声門における乱流雑音」、音響音声学、ＭＩＴプレス、ｐｐ．４４５−４５０、２０００年（Stevens,  K.  “Turbulence  Noise  at  the  Glottis  During  Breathy  and  Modal  Voicing,”  In  Acoustic  Phonetics,  The  MIT  Press,  445-450,  2000）
【非特許文献６】Ｐ．アルク、Ｅ．ヴィルクマン、「逆フィルタリングにより推定した声門体積速度波形の記述のための振幅指標」、音声コミュニケーション、第１８巻第２号、ｐｐ．１３１−１３８、１９９６年（Alku,  P.,  Vilkman,  E.  “Amplitude  domain  quotient  for  characterization  of  the  glottal  volume  velocity  waveform  estimated  by  inverse  filtering,”  Speech  Communication,  Vol.  18,  No.  2,  131-138,  1996.）
【非特許文献７】Ｐ．モクタリ、Ｎ．キャンベル、「連続音声中の信頼性の中心における緊張音／息漏れの自動測定」、ＩＥＩＣＥ論文誌  情報処理・システムトランザクション、第Ｅ−８６−Ｄ巻第３号、ｐｐ．５７４−５８２、２００３年（Mokhtari,  P.,  Campbell,  N.  “Automatic  measurement  of  pressed/breathy  phonation  at  acoustic  centres  of  reliability  in  continuous  speech,”  IEICE  Trans.  on  Inform.  and  Systems,  Japan,  Vol.  E-86-D,  No.  3,  574-582,  2003）
【非特許文献８】Ｄ．クラット、Ｌ．クラット、「女性および男性話者の間の声質変化の分析、合成、および知覚」、米国音声学会ジャーナル、第８７巻、ｐｐ．８２０−８５７、１９９０年（Klatt,  D.,  Klatt,  L.  “Analysis,  synthesis,  and  perception  of  voice  quality  variations  among  female  and  male  talkers,”  J.  Acoustic.  Soc.  Amer.,  Vol.  87:  820-857,  1990）
【非特許文献９】Ｈ．ハンソン、「女性話者の声門の特徴：音響相関現象」、米国音響学会ジャーナル、第１０１巻、ｐｐ．４６６−４８１、１９９７年（Hanson,  H.  “Glottal  characteristics  of  female  speakers:  Acoustic  Correlates,”  J.  Acoustic.  Soc.  Amer.,  Vol.  101:  466-481,  1997）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、上述した非特許文献８または非特許文献９に記載のものは、第３フォルマントのＦ３周波数の周辺帯域の不規則性が息漏れと関連していることを示したものではあるが、その度合いを定量化して、音声データから息漏れ領域を自動的に検出する技術を開示するものではなかった。
【０００９】
そこで、本発明の目的は、Ｆ３周波数帯域の不規則性の度合いを定量化して、音声データの規則音領域を自動的に検出するための装置およびプログラムを提供することである。
【００１０】
本発明の他の目的は、音声データから息漏れ領域を自動的に精度良く検出するための装置およびプログラムを提供することである。
【課題を解決するための手段】
【００１１】
本発明のある局面に従った息漏れ領域自動検出装置は、音声データの第１フォルマント周波数領域の信号成分の包絡波形と第３フォルマント周波数領域の信号成分の包絡波形との相関を求めるための波形相関演算手段と、相関演算手段により求められた相関結果と予め定められたしきい値とを比較するための比較手段と、比較手段による比較結果に基づいて、音声データの息漏れ領域を判定するための判定手段とを含む。
【００１２】
この息漏れ領域自動検出装置は、音声データの第１フォルマント周波数領域の信号成分の包絡波形と、第３フォルマント周波数領域の信号成分の包絡波形との相関を求める。息漏れがあると第３フォルマント周波数領域での雑音成分が多くなり、上記した二つの包絡波形は類似しない。逆に息漏れがない場合は第３フォルマント周波数の領域での雑音成分が少なくなり、上記した二つの包絡波形は互いに類似する。この包絡波形の類似性、すなわち相関を数量化し、その値としきい値とが比較手段で比較され、比較結果に基づいて判定手段が息漏れ領域か否かを判定する。このように、波形同士の類似性が定量化され、判定手段は息漏れがある息漏れ領域を自動的に判定することができ、その結果、音声データに含まれる息漏れ領域を自動的に検出できる。
【００１３】
好ましくは、波形相関演算手段は、音声データを第１フォルマント周波数に対応する第１の周波数帯域のフィルタで濾波するための第１のフィルタ手段と、音声データを第３フォルマント周波数に対応する第２の周波数帯域のフィルタで濾波するための第２のフィルタ手段と、第１のフィルタ手段によって濾波された信号波の包絡波形を求めるための第１の包絡推定手段と、第２のフィルタ手段によって濾波された信号波の包絡波形を求めるための第２の包絡推定手段と、第１および第２の包絡推定手段によりそれぞれ求められた二つの包絡波形の相関を求めるための演算手段とを含む。
【００１４】
この息漏れ領域自動検出装置は、第１のフィルタ手段および第２のフィルタ手段で音声データを濾波し、濾波された信号波形の包絡波形を二つの包絡推定手段により求める。推定された二つの包絡波形の間の相関を求めることにより、音声データのその部分が息漏れ領域である可能性が判定できる。
【００１５】
さらに好ましくは、息漏れ領域自動検出装置は、第１のフィルタ手段によって濾波された信号波の強度と、第２のフィルタ手段によって濾波された信号波の強度との差を演算するための強度差演算手段をさらに含み、判定手段は、比較手段による比較結果および強度差演算手段による演算結果に基づいて、音声データの息漏れ領域を判定するための手段を含む。
【００１６】
判定手段は、比較手段に加え強度差演算手段の結果に基づいて判定を行なう。第２のフィルタ手段によって濾波された信号波の強度が相対的に小さいと、息漏れ領域が存在していても、聴者はこれを知覚できない。このため、強度差を判定条件に加えて息漏れ領域の存在を判定することにより、音声データに含まれる息漏れ領域をより人間の感覚に近く精度良く検出することができる。
【００１７】
強度差演算手段による強度差の演算の一例として、第１のフィルタ手段によって濾波された信号波中の最強度成分と、第２のフィルタ手段によって濾波された信号波中の最強度成分とのパワー値の差の演算を挙げることができる。
【００１８】
また、判定手段は、音声データのフレームごとに、比較手段による比較結果に基づいて、音声データの息漏れ領域を判定するためのフレーム判定手段と、音声データの連続する所定数のフレームに対し、フレーム判定手段により息漏れ領域という判定結果が得られたことに応答して、当該所定数のフレームを息漏れ領域と判定するための手段とを含んでもよい。
【００１９】
この構成により、音声データの息漏れ領域をさらに精度良く、かつ安定して判定できる。
【００２０】
本発明の他の局面に従った息漏れ領域自動検出プログラムは、コンピュータにより実行されると上記いずれかの息漏れ領域自動検出装置としてコンピュータを動作させる、コンピュータで実行可能なプログラムである。
【発明を実施するための最良の形態】
【００２１】
−基本的概念−
非特許文献８に開示された主観的雑音評定においては、被験者はＦ３周波数周辺の帯域通過フィルタで濾波された波形を、Ｆ１周波数領域の波形とあわせて見ながら評価している。したがって、非特許文献８では指摘されていないが、被験者がこの評価をする際には、特に意識することなくこれらの波形の包絡波形を比較して評価していると考えられる。以下に述べる本発明の一実施の形態は、この基本アイデアを基に、Ｆ３周辺の周波数帯域の帯域通過フィルタにより濾波された波形成分の包絡波形を推定し、Ｆ１周辺の周波数周辺の波形成分についての包絡波形との相互相関を取って波形の類似性を定量化する。
【００２２】
−コンピュータによる実現−
以下に述べる本発明の一実施の形態は、コンピュータおよびコンピュータ上で動作するソフトウェアにより実現される。もちろん、以下に述べる機能の一部又は全部を、ソフトウェアでなくハードウェアで実現することも可能である。
【００２３】
図１に、本実施の形態で利用されるコンピュータシステム２０の外観図を、図２にコンピュータシステム２０のブロック図を、それぞれ示す。なおここに示すコンピュータシステム２０はあくまで一例であり、この他にも種々の構成が可能である。
【００２４】
図１を参照して、コンピュータシステム２０は、コンピュータ４０と、いずれもこのコンピュータ４０に接続されたモニタ４２、キーボード４６、およびマウス４８を含む。コンピュータ４０にはさらに、ＣＤ−ＲＯＭ（Compact  Disk  Read−Only  Memory）ドライブ５０と、ＦＤ（Flexible  Disk）ドライブ５２とが内蔵されている。
【００２５】
図２を参照して、コンピュータシステム２０はさらに、コンピュータ４０に接続されるプリンタ４４を含むが、これは図１には示していない。またコンピュータ４０はさらに、ＣＤ−ＲＯＭドライブ５０およびＦＤドライブ５２に接続されたバス６６と、いずれもバス６６に接続された中央演算装置（Central  Processing  Unit：CPU）５６、コンピュータ４０のブートアッププログラムなどを記憶したＲＯＭ（Read−Only  Memory）５８、ＣＰＵ５６が使用する作業エリアおよびＣＰＵ５６により実行されるプログラムの格納エリアを提供するＲＡＭ(Random  Access  Memory）６０、および音声データを格納したハードディスク５４を含む。
【００２６】
以下に述べる実施の形態のシステムを実現するソフトウェアは、たとえば、ＣＤ−ＲＯＭ６２のような記録媒体上に記録されて流通し、ＣＤ−ＲＯＭドライブ５０のような読取装置を介してコンピュータ４０に読込まれ、ハードディスク５４に格納される。ＣＰＵ５６がこのプログラムを実行する際には、ハードディスク５４からこのプログラムを読出してＲＡＭ６０に格納し、図示しないプログラムカウンタによって指定されるアドレスから命令を読出して実行する。ＣＰＵ５６は、処理対象のデータをハードディスク５４から読出し、処理結果を同じくハードディスク５４に格納する。
【００２７】
コンピュータシステム２０の動作自体は周知であるので、ここではその詳細については繰り返さない。
【００２８】
なお、ソフトウェアの流通形態は上記したように記憶媒体に固定された形には限定されない。たとえば、ネットワークを通じて接続された他のコンピュータからデータを受取る形で流通することもあり得る。また、ソフトウェアの一部が予めハードディスク５４中に格納されており、ソフトウェアの残りの部分をネットワーク経由でハードディスク５４に取込んで実行時に統合するような形の流通形態もあり得る。
【００２９】
一般的に、現代のプログラムはコンピュータのオペレーティングシステム（ＯＳ）によって提供される汎用の機能を利用し、それらを所望の目的にしたがって組織化した形態で実行することにより前記した所望の目的を達成する。したがって、以下に述べる本実施の形態の各機能のうち、ＯＳまたはサードパーティが提供する汎用的な機能を含まず、それら汎用的な機能の実行順序の組合せだけを指定するプログラム（群）であっても、それらを利用して全体的として所望の目的を達成する制御構造を有するプログラム(群）である限り、それらが本発明の技術的範囲に含まれることは明らかである。
【００３０】
−機能的構成−
本実施の形態のプログラムを息漏れ領域自動検出装置とみなして機能的に示したのが図３のブロック図である。図３を参照して、この装置８０は、ハードディスク５４に格納された音声データ９０に対して以下に説明する処理を行なって、息漏れを検出して、息漏れ領域の存在を推定しその結果を出力するためのものである。音声データ９０は本実施の形態では１フレーム３２ｍｓｅｃの長さで、かつ１０ｍｓｅｃの時間間隔でサンプリングされフレーム化されており、各フレーム毎に以下の処理が行なわれる。
【００３１】
装置８０は、音声データ９０を第１フォルマントの周波数に対応する周波数帯域（以下、Ｆ１帯域という）のフィルタで濾波するＦ１帯域フィルタ部８１と、音声データ９０を第３フォルマントの周波数に対応する周波数帯域（以下、Ｆ３帯域という）のフィルタで濾波するＦ３帯域フィルタ部８２とを含む。
【００３２】
Ｆ１帯域フィルタ部８１およびＦ３帯域フィルタ部８２では、誤りが起きやすいフォルマントの自動抽出を避けるため、それぞれＦ１帯域、Ｆ３帯域において固定の帯域幅を使用する。この実施の形態では、Ｆ３帯域は、男性でも女性でも第３フォルマントの周波数を含む可能性が高い１８００〜４０００Ｈｚの帯域に固定する。低周波数帯域であるＦ１帯域は、周期成分に息漏れの雑音成分の影響が少ない１００〜１５００Ｈｚの帯域に固定する。
【００３３】
なお、以下の説明においては簡単のために、Ｆ１帯域フィルタ部８１により濾波された信号をＦ１波、その波形をＦ１波形、Ｆ３帯域フィルタ部８２により濾波された信号をＦ３波、その波形をＦ３波形と呼ぶ。
【００３４】
装置８０はさらに、Ｆ１波の振幅包絡波形を求めるためのＦ１包絡推定部８３と、Ｆ３波の振幅包絡波形を求めるためのＦ３包絡推定部８４と、Ｆ１、Ｆ３各包絡推定部８３、８４により求められた二つの包絡波形の相互相関を計算することで、これらの波形間の同期率を求めるための相関演算部８５と、相関演算部８５により演算した同期率と所定のしきい値とを比較して、二つの包絡波形が相関しているか否かについての結果を出力する第１比較部８６と、Ｆ１帯域フィルタ部８１によって濾波されたＦ１波のパワー値Ａ１とＦ３帯域フィルタ部８２によって濾波されたＦ３波のパワー値Ａ３との差Ａ１−Ａ３を演算する強度差演算部８７と、強度差演算部８７により演算されたパワー値の差Ａ１−Ａ３と所定のしきい値とを比較し、その結果を出力するための第２比較部８８と、第１比較部８６および第２比較部８８による比較結果に基づいて、そのフレームの音声が息漏れ領域か否かを判定するための判定部８９とを含む。
【００３５】
包絡波形の求め方としては、この実施の形態では、先ずＦ１波形、Ｆ３波形の瞬時振幅をＨｉｌｂｅｒｔ包絡手法によって推定し、それぞれのＨｉｌｂｅｒｔ包絡を１ｍｓ長のハニング窓で平滑化して振幅包絡波形を求める方法を採用している。
【００３６】
相関演算部８５は、Ｆ１、Ｆ３包絡推定部８３、８４により求められた二つの包絡波形の相互相関を計算することで、これらの波形間の同期率を求めるものである。同期率が低い場合、つまり二つの包絡波形が相関していない場合、Ｆ３帯域の雑音成分が声帯パルスと独立して生成されている可能性が高い。したがって、入力された音声データ９０は息漏れ雑音を含み、息漏れ領域である可能性が高いという論理である。
【００３７】
強度差演算部８７は、この実施の形態では、具体的には、Ｆ１帯域フィルタ部８１によって濾波されたＦ１波中の最強度成分のパワー値Ａ１と、Ｆ３帯域フィルタ部８２によって濾波されたＦ３波中の最強度成分とのパワー値Ａ３の差Ａ１−Ａ３を演算する。後述するように、Ｆ１、Ｆ３包絡推定部８３、８４により求められた二つの包絡波形の相関が低くても息漏れとして知覚されない可能性があることから、スペクトル下降を表すパラメータとして、パワー値の差Ａ１−Ａ３という測定量を用いたものである。
【００３８】
なお、Ｆ１波中の最強度成分のパワー値Ａ１とＦ３波中の最強度成分とのパワー値Ａ３の差Ａ１−Ａ３を演算するのではなく、いくつかの成分のパワー値の平均を出し、平均値の差をもって強度差としてもよい。
【００３９】
また、判定部８９は、具体的には、第１比較部８６において、二つの包絡波形の同期率が所定のしきい値以上と判定された場合には、すなわち両波形に相関がある場合には、その音声データは息漏れ雑音を含む可能性が低く、したがって息漏れはないと判定する。逆に、第１比較部８６において、二つの包絡波形の同期率が所定のしきい値よりも低いと判定された場合、すなわち両波形の相関が低い場合には、息漏れが存在すると推定できる。しかし、この場合でも、聴者が明確には知覚できない（すなわち聴者にとって息漏れと意識されない）息漏れが含まれている可能性がある。後述するように大規模音声データベースの音声に対するラベル付けを行なう場合、人間の聴者の感覚とできるだけ同じような結果が得られるようにするべきである。したがって、息漏れがあったとしてもそれを聴者が明確に知覚できないようなものは排除すべきである。
【００４０】
そこで、聴者が明確に知覚できない息漏れの存在を排除するため、第２比較部８８による比較結果を参照する。実験によれば、同期率が低くても、パワー値の差Ａ１−Ａ３が小さい場合には、聴者は息漏れありと判定し、逆に、パワー値の差Ａ１−Ａ３が大きい場合には、聴者は息漏れなしと判定することが多かった。そこで、同期率が低くて、パワー値の差Ａ１−Ａ３の値が所定のしきい値より小さい場合には息漏れありと判定し、同期率が低くても、パワー値の差Ａ１−Ａ３の値が所定のしきい値以上の場合には、息漏れなしと判定する。
【００４１】
このような判定処理が音声データ９０のフレーム毎に行なわれる。望ましくは、息漏れありの判定が複数回連続したとき（例えば３回以上）に、その音声フレームに息漏れありと判定するのが良い。実験から、発話者が発話した音節またはフレーズに息漏れが知覚されるためには、ある程度の長さ（３０〜４０ｍｓ）が必要と考えられるからである。
【００４２】
−動作−
図１〜図３に示された装置８０は以下のように動作する。
【００４３】
まず、音声データ９０をＦ１帯域フィルタ部８１およびＦ３帯域フィルタ部８２で濾波する。次に、Ｆ１包絡推定部８３およびＦ３包絡推定部８４により、Ｆ１波およびＦ３波の振幅包絡波形をそれぞれ求めたのち、相関演算部８５で両包絡波形の同期率を求める。
【００４４】
求めた同期率は、第１比較部８６においてしきい値と比較される。比較結果は判定部８９に与えられる。
【００４５】
一方、強度差演算部８７は、Ｆ１帯域フィルタ部８１によって濾波されたＦ１波のパワー値Ａ１とＦ３帯域フィルタ部８２によって濾波されたＦ３波のパワー値Ａ３との差Ａ１−Ａ３を演算し、第２比較部８８に与える。第２比較部８８は、強度差演算部８７により演算された、Ｆ１波中の最強度成分のパワー値Ａ１とＦ３波中の最強度成分とのパワー値Ａ３の差Ａ１−Ａ３と、しきい値とを比較し、その結果を判定部８９に出力する。判定部８９は、第１比較部８６の比較結果と第２比較部８８の比較結果とを用いて息漏れの存在について判定する。
【００４６】
図４に、判定部８９が行なう息漏れ有無判定処理のサブルーチンを示す。まず、第１比較部８６の比較結果から、同期率がしきい値以上か否かを判断する（ステップ１０１）。しきい値以上であれば（ステップ１０１の判断がＹＥＳ）、その音声データは息漏れ雑音を含む可能性が低いことから、息漏れなしと判定し（ステップ１０６）、判定処理を終了する。
【００４７】
同期率がしきい値よりも小さい場合は（ステップ１０１の判断がＮＯ）、第２比較部８８の比較結果を待つ。
【００４８】
判定部８９は、パワー値の差Ａ１−Ａ３がしきい値よりも小さいか否かを判断し（ステップ１０２）、しきい値よりも小さければ（ステップ１０２の判断がＹＥＳ）、息漏れを聴者が知覚できるものとして息漏れありと判定する（ステップ１０３）。差Ａ１−Ａ３がしきい値よりも小さくなければ（ステップ１０２の判断がＮＯ）、息漏れはあっても知覚できないものとして、息漏れなしと判定する（ステップ１０６）。
【００４９】
次に、判定部８９はステップ１０４で、息漏れありの判定が３フレーム連続してなされたか否かを判断し、なされていれば（ステップ１０４の判断がＹＥＳ）、その音声データのフレームについて息漏れありというラベル付けを行なうための出力を出す。息漏れありの判定が３フレーム連続してなされていなければ（ステップ１０４の判断がＮＯ）、息漏れなしと判定し（ステップ１０６）、何もすることなく判定処理を終了する。
【００５０】
このようにして、上記の息漏れ領域自動検出装置を用いることにより、音声データについて、息漏れ領域に関するラベル付けを自動的に連続的に行なうことができる。
【００５１】
−関連する実験結果−
図５および図６は、さまざまな声質で発声された母音／ａ／を女性話者のデータベースから引き出し、それぞれのＦ１波形（上から３つ目の波形）およびＦ３波形（上から４つ目の波形）と、それら波形の振幅包絡波形（一番下のＦ１ｅｎｖ、Ｆ３ｅｎｖと記された波形で、図面ではＦ１波の包絡波形を「△」印を結んだ線で、Ｆ３波の包絡波形を「×」印を結んだ線で、それぞれ示している。）を表示している。図５および図６に表示した波形は目視による比較を適切にするためスケーリングしたものである。
【００５２】
図５（ａ）は地声（Ｍｏｄａｌ  ｖｏｉｃｅ）を表示している。この図では、Ｆ１波形とＦ３波形に関しそれぞれ推定された振幅包絡波形（Ｆ１ｅｎｖ，Ｆ３ｅｎｖ）が同期している（相関が高い）ことが観察される。この場合の同期率（図ではＦ１Ｆ３ｓｙｎと記している）は０．７５である。
【００５３】
図６（ａ）、（ｂ）に弱い息漏れ音（Ｂｒｅａｔｈｙ  ｖｏｉｃｅ）と強い息漏れ音（Ｗｈｉｓｐｅｒｙ  ｖｏｉｃｅ）の例を示す。弱い息漏れ音の場合、Ｆ１波形に明確な周期性が観察されるが、強い息漏れ音の場合はそれほど明確ではない。しかし、弱い息漏れ音と強い息漏れ音のいずれにもＦ３波形には規則性はみられない。更に振幅包絡波形Ｆ１ｅｎｖとＦ３ｅｎｖは異なった形状を示し、同期率Ｆ１Ｆ３ｓｙｎも低い  (０．０５および０．０３)。
【００５４】
図５（ｂ）はしゃがれ声（Ｃｒｅａｋｙ  ｖｏｉｃｅ）の例を示す。しゃがれ声は低いＦ０（基本周波数）に伴って生じることが多く、図５（ｂ）のように分析窓の中に声帯パルスが１個しか含まれない場合がある。この場合は、分析窓に声帯パルスの周期性が全くない場合でも、振幅包絡波形Ｆ１ｅｎｖ，Ｆ３ｅｎｖは同じ様な形状を示し、同期率Ｆ１Ｆ３ｓｙｎも０．８７と高い値を示している。
【００５５】
この結果から理解されるように、振幅包絡波形の同期率としきい値とを比較することにより、同期率の高い図５（ａ）の地声や図５（ｂ）のしゃがれ声のような息漏れのない声質のものを確実に排除することができる。
【００５６】
次に、音声データとして、３０代女性話者１名の日常自然会話から５０発話を選択した。これらの５０発話はさまざまな発話様式や声質（弱い息漏れ音、強い息漏れ音、しゃがれ声、かすれ声、緊張音、笑い声等）を含むよう選択した。
【００５７】
各発話において、息漏れが知覚された音節にマークを付与する作業を被験者８名が行なった。３名以上が付与した音節には息漏れがあると判定した。
【００５８】
５０発話を音素レベルで手動で切出し、母音区間のすべてのフレームで抽出した音響的パラメータを評価実験に使用した。
【００５９】
この結果、４２個の母音（８４７フレーム）は息漏れがあると判断され、残りの３４５個の母音（４５３２フレーム）は息漏れがないと判断された。図７は、息漏れがある（ａ）・ない（ｂ）と判断された母音のすべてのフレームで抽出した音響的パラメータのデータを表示したものである。横軸が同期率Ｆ１Ｆ３ｓｙｎ、縦軸がパワー値の差Ａ１−Ａ３である。音素境界の周辺のフレーム（前後２０ｍｓ）および息漏れがあると判断された母音区間の地声部分のフレームは図７（ａ）から省き、４１０フレームとなった。
【００６０】
息漏れのある母音では同期率の値が低く、差Ａ１−Ａ３がおよそ３０ｄＢの辺りで上限されていることが分かる。しかし、息漏れがないと判断された多くのフレームでも同期率が低い値を示している。また、同期率の低い値は差Ａ１−Ａ３の高い値に集中している。Ａ３がＡ１より著しく低い場合、つまり差Ａ１−Ａ３が大きい値（例えば３０〜４０ｄＢ）の場合、Ｆ３帯域の雑音成分が明確に聴覚されていない可能性がある。したがって、差Ａ１−Ａ３が大きい場合、推定した同期率の値は息漏れ検出に使用しないものとした。
【００６１】
同期率Ｆ１Ｆ３ｓｙｎに０．４のしきい値および差Ａ１−Ａ３に２５ｄＢのしきい値を用いて、息漏れ検出の予備評価を行なった。息漏れがあると判断された母音のフレームの多くは正しく検出された。しかし、息漏れが知覚されないと判断された母音のいくつかのフレームでも、誤検出が起きた。
【００６２】
そこで、この実施の形態のように、息漏れの特徴を示したフレームが３つ連続しなければならないという制限を加えると、被験者が判断した音節とのマッチングが９割以上に達した。この制限を加えるのが良い理由は、前述のように、音節またはフレーズに息漏れが知覚されるためにはある程度の長さが必要だと考えられるからである。
【００６３】
以上のように本実施の形態によれば、息漏れのある音声区間の息漏れ領域とそれ以外の領域とを自動的に判別できる。その結果、大規模な音声データベースの音声に対し、息漏れ領域か否かの判定を人間の感覚に即して自動的に行ない、ラベル付けすることができる。また、いろいろな発話様式や声質の音声の認識を行なったり、発話者の感情の推定をしたり、特定の感情を聴者に感じさせるような声質の音声を合成したりする際に応用可能である。さらに、息漏れを多くふくんだ笑い声や、驚いた声の自動検出にも利用可能である。
【００６４】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００６５】
【図１】この発明の一実施の形態の息漏れ領域自動検出装置を実現するためのプログラムを実行するコンピュータシステムの外観図である。
【図２】図１のコンピュータシステムのブロック図である。
【図３】この発明の一実施の形態の息漏れ領域自動検出装置８０のブロック図である。
【図４】判定部８９が行なう息漏れ領域の判定処理を示すフローチャートである。
【図５】各種声質の音声データについてのＦ１波形およびＦ３波形とそれらの振幅包絡波形を表示する図である。
【図６】同じく、各種声質の音声データについてのＦ１波形およびＦ３波形とそれらの振幅包絡波形を表示する図である。
【図７】息漏れがある、またはないと判断された母音のすべてのフレームで抽出した音響的パラメータのデータを表示する図である。
【符号の説明】
【００６６】
８０  息漏れ領域自動検出装置、８１  Ｆ１帯域フィルタ部（第１のフィルタ手段）、８２  Ｆ３帯域フィルタ部（第２のフィルタ手段）、８３  Ｆ１包絡推定部（第１の包絡推定手段）、８４  Ｆ３包絡推定部（第２の包絡推定手段）、８５  相関演算部、８６  第１比較部、８７  強度差演算部、８８  第２比較部、８９  判定部
【図１】
2006084619.tif 000003
【図２】
2006084619.tif 000004
【図３】
2006084619.tif 000005
【図４】
2006084619.tif 000006
【図５】
2006084619.tif 000007
【図６】
2006084619.tif 000008
【図７】
2006084619.tif 000009