(57)【要約】体内伝導マイクロホンを通じて得られる非可聴つぶやき音声の信号を、受話者が極力正しく認識できる（誤認識されにくい）音声の信号に変換することができること。体内伝導マイクロホンにより収録された非可聴つぶやき音声の学習用入力信号と所定のマイクロホンにより収録された前記学習用入力信号に対応する可聴ささやき音声の学習用出力信号とに基づいて、声道による音響的な特徴量の変換特性を表す声道特徴量変換モデルにおけるモデルパラメータの学習計算を行い、学習後のモデルパラメータを所定の記憶手段に記憶させる学習手順（Ｓ７）と、これにより得られた学習後のモデルパラメータが設定された声道特徴量変換モデルに基づいて、体内伝導マイクロホンを通じて得られる非可聴音声の信号を可聴ささやき音声の信号に変換するささやき音声変換手順（Ｓ９）とを有する音声処理方法。
2008015800.tif 000002
【特許請求の範囲】
【請求項１】
体内伝導マイクロホンを通じて得られる非可聴音声の信号である入力非可聴音声信号に基づいてこれに対応する可聴音声の信号を生成する音声処理方法であって、
前記体内伝導マイクロホンにより収録された非可聴音声の学習用入力信号と所定のマイクロホンにより収録された前記学習用入力信号に対応する可聴ささやき音声の学習用出力信号とのそれぞれについて、所定の特徴量を算出する学習信号特徴量算出手順と、
前記学習信号特徴量算出手順による算出結果に基づいて、非可聴音声の信号の前記特徴量を可聴ささやき音声の信号の前記特徴量へ変換する声道特徴量変換モデルにおけるモデルパラメータの学習計算を行い、学習後のモデルパラメータを所定の記憶手段に記憶させる学習手順と、
前記入力非可聴音声信号について前記特徴量を算出する入力信号特徴量算出手順と、
前記入力信号特徴量算出手順による算出結果と前記学習手順により得られた学習後のモデルパラメータが設定された前記声道特徴量変換モデルとに基づいて、前記入力非可聴音声信号に対応する可聴ささやき音声の信号の特徴量を算出する出力信号特徴量算出手順と、
前記出力信号特徴量算出手順の算出結果に基づいて前記入力非可聴音声信号に対応する可聴ささやき音声の信号を生成する出力信号生成手順と、
を有してなることを特徴とする音声処理方法。
【請求項２】
前記体内伝導マイクロホンが、肉伝導マイクロホン、骨伝導マイクロホン又は咽喉マイクロホンのいずれかである請求項１に記載の音声処理方法。
【請求項３】
前記入力信号特徴量算出手順及び前記出力信号特徴量算出手順が、音声信号のスペクトル特徴量を算出する手順であり、
前記声道特徴量変換モデルが、統計的スペクトル変換法に基づくモデルである請求項１に記載の音声処理方法。
【請求項４】
体内伝導マイクロホンを通じて得られる非可聴音声の信号である入力非可聴音声信号に基づいてこれに対応する可聴音声の信号を生成する処理を所定のプロセッサに実行させるための音声処理プログラムであって、
前記体内伝導マイクロホンにより収録された非可聴音声の学習用入力信号と所定のマイクロホンにより収録された前記学習用入力信号に対応する可聴ささやき音声の学習用出力信号とのそれぞれについて、所定の特徴量を算出する学習信号特徴量算出手順と、
前記学習信号特徴量算出手順による算出結果に基づいて、非可聴音声の信号の前記特徴量を可聴ささやき音声の信号の前記特徴量へ変換する声道特徴量変換モデルにおけるモデルパラメータの学習計算を行い、学習後のモデルパラメータを所定の記憶手段に記憶させる学習手順と、
前記入力非可聴音声信号について前記特徴量を算出する入力信号特徴量算出手順と、
前記入力信号特徴量算出手順による算出結果と前記学習手順により得られた学習後のモデルパラメータが設定された前記声道特徴量変換モデルとに基づいて、前記入力非可聴音声信号に対応する可聴ささやき音声の信号の特徴量を算出する出力信号特徴量算出手順と、
前記出力信号特徴量算出手順の算出結果に基づいて前記入力非可聴音声信号に対応する可聴ささやき音声の信号を生成する出力信号生成手順と、
を所定のプロセッサに実行させるための音声処理プログラム。
【請求項５】
体内伝導マイクロホンを通じて得られる非可聴音声の信号である入力非可聴音声信号に基づいてこれに対応する可聴音声の信号を生成する音声処理装置であって、
所定の可聴ささやき音声の学習用出力信号を記憶する学習用出力信号記憶手段と、
前記可聴ささやき音声の学習用出力信号に対応する信号であって前記体内伝導マイクロホンを通じて入力される非可聴音声の学習用入力信号を所定の記憶手段に収録する学習用入力信号収録手段と、
前記学習用入力信号と前記学習用出力信号とのそれぞれについて、所定の特徴量を算出する学習信号特徴量算出手段と、
前記学習信号特徴量算出手段による算出結果に基づいて、非可聴音声の信号の前記特徴量を可聴ささやき音声の信号の前記特徴量へ変換する声道特徴量変換モデルにおけるモデルパラメータの学習計算を行い、学習後のモデルパラメータを所定の記憶手段に記憶させる処理を行う学習手段と、
前記入力非可聴音声信号について前記特徴量を算出する入力信号特徴量算出手段と、
前記入力信号特徴量算出手段による算出結果と前記学習手段により得られた学習後のモデルパラメータが設定された前記声道特徴量変換モデルとに基づいて、前記入力非可聴音声信号に対応する可聴ささやき音声の信号の特徴量を算出する出力信号特徴量算出手段と、
前記出力信号特徴量算出手段の算出結果に基づいて前記入力非可聴音声信号に対応する可聴ささやき音声の信号を生成する出力信号生成手段と、
を具備してなることを特徴とする音声処理装置。
【請求項６】
所定のマイクロホンを通じて入力される前記可聴ささやき音声の学習用出力信号を前記学習用出力信号記憶手段に収録する学習用出力信号収録手段を具備してなる請求項５に記載の音声処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、体内伝導マイクロホンを通じて得られる非可聴音声の信号を可聴音声の信号に変換する音声処理方法及びその処理をプロセッサに実行させるための音声処理プログラム、並びにその処理を実行する音声処理装置に関するものである。
【背景技術】
【０００２】
昨今、携帯電話機及びその通信網の普及により、いつでもどこでも他の人と音声（会話）によるコミュニケーションをとることが可能となっている。その一方で、電車内や図書館内など、周囲の人への迷惑防止のために発声が制限される状況や、会話の内容が機密事項等であるために発声が制限される状況も多い。そのように発声が制限される状況においても、周囲に発声内容が漏れることなく携帯電話機等による音声通話を行うことができれば、音声によるコミュニケーションのさらなるオンデマンド化が促進され、各種業務の効率化にもつながる。
また、咽頭部（声帯など）に障害があるため通常音声を発声できない障害者であっても、非可聴つぶやき音声であれば発声できる場合が多い。このため、非可聴つぶやき音声の発声を通じて他の人との対話が可能になれば、そのような咽頭部の障害者の利便性が格段に向上する。
これに対し、特許文献１には、非可聴つぶやき音声（ＮＡＭ：Non−Audible Murmur）を採取することによって音声入力するコミュニケーションインタフェースシステムが提案されている。非可聴つぶやき音声（ＮＡＭ）は、声帯の規則振動を伴わない音声（無声音）であって、外部からは非可聴な体内軟部組織を伝導する振動音（呼吸音）である。例えば、防音室環境において、１〜２ｍ程度離れた周囲の人に聞こえない程度の非可聴音声（呼吸音）を「非可聴つぶやき音声」と定義し、声道（特に、口腔）を絞って声道を通過する空気の流速を上げることにより、１〜２ｍ程度離れた周囲の人に聞こえる程度に無声音を発声する可聴音声を「可聴ささやき音声」と定義する。
このような非可聴つぶやき音声の信号は、音響空間の振動を検知する通常のマイクロホンでは採取できないため、体内伝導音を採取する体内伝導マイクロホンにより採取される。体内伝導マイクロホンには、体内の肉伝導音を採取する肉伝導マイクロホンや、咽喉部の伝導音を採取する咽喉マイクロホン（いわゆるスロートマイクロホン）、体内の骨伝導音を採取する骨伝導マイクロホン等が存在するが、非可聴つぶやき音声の採取には、肉伝導マイクロホンが特に適している。この肉伝導マイクロホンは、耳介の下方部における頭蓋骨の乳様突起直下の、胸鎖乳頭筋上の皮膚表面に装着され、体内の軟組成（骨以外の筋肉や脂肪など）を伝わる音（肉伝導音）を採取するマイクロホンであり、その詳細は、特許文献１等に示されている。【０００３】
ところで、非可聴つぶやき音声は、声帯の規則振動を伴わない音声であるため、その音声を単に増幅しても、受話者が発話内容を聞きとりにくいという問題点がある。
これに対し、例えば非特許文献１には、統計的スペクトル変換法によるモデルの一例である混合正規分布モデルに基づいて、ＮＡＭマイクロホン（肉伝導マイクロホン）により得られる非可聴つぶやき音声の信号を、通常発声した音声（有声音）の信号に変換する技術が示されている。
また、特許文献２には、２つのＮＡＭマイクロホン（肉伝導マイクロホン）により得られる非可聴つぶやき音声の信号のパワーの比較により、通常の発声音（有声音）のピッチ周波数を推定し、その推定結果に基づいて、非可聴つぶやき音声の信号を通常発声した音声（有声音）の信号に変換する技術が示されている。
これら非特許文献１や特許文献１に示される技術を用いることにより、体内伝導マイクロホンを通じて得られた非可聴つぶやき音声の信号を、受話者が比較的聞き取りやすい通常音声（有声音）の信号に変換できる。
なお、比較的少ない学習用入力音声信号と学習用出力音声信号とを用いて、統計的スペクトル変換法に基づくモデル（入力音声信号の特徴量と出力音声信号の特徴量との対応関係を表すモデル）のパラメータの学習計算を行い、学習後のパラメータが設定されたモデルに基づいて、ある音声信号（入力信号：ここでは、非可聴つぶやき音声の信号）を音質の異なる他の音声信号（出力信号）に変換する周知の音質変換技術については、非特許文献２に各種の技術が紹介されている。
【特許文献１】ＷＯ２００４／０２１７３８号パンフレット
【特許文献２】特開２００６−０８６８７７号公報
【非特許文献１】戸田智基  他、「混合正規分布モデルに基づく非可聴つぶやき声（ＮＡＭ）から通常音声への変換」、社団法人電子情報通信学会  信学技報、SP2004-107、pp.67-72、2004年12月
【非特許文献２】戸田智基、「最尤特徴量変換法とその応用」、社団法人電子情報通信学会  信学技報、SP2005-147、pp.49-54、2006年1月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２にも示されるように、非可聴つぶやき音声は、声帯の規則振動を伴わない無声音である。そして、特許文献１や特許文献２に示されるように、無声音である非可聴つぶやき音声の信号を通常音声（有声音）の信号へ変換する場合、声道による音響的な特徴量の変換特性（入力信号の特徴量から出力信号の特徴量への変換特性）を表す声道特徴量変換モデルと、音源（声帯）による音響的な特徴量の変換特性を表す声帯特徴量変換モデルとを組み合わせた音声変換モデルが用いられる。このような音声変換モデルを用いた処理は、声の高さの情報に関して「無」から「有」を作り出す（推定する）処理を含むこととなる。このため、非可聴つぶやき音声の信号を通常音声（有声音）の信号へ変換すると、イントネーションが不自然な音声や本来発声していない誤った音声を含む信号が得られてしまい、受話者の音声認識率が低下するという問題点があった。
従って、本発明は上記事情に鑑みてなされたものであり、その目的とするところは、体内伝導マイクロホンを通じて得られる非可聴つぶやき音声の信号を、受話者が極力正しく認識できる（誤認識されにくい）音声の信号に変換することができる音声処理方法及びその処理をプロセッサに実行させるための音声処理プログラム、並びにその処理を実行する音声処理装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために本発明は、体内伝導マイクロホンを通じて得られる非可聴音声の信号である入力非可聴音声信号に基づいてこれに対応する可聴音声の信号を生成する音声処理方法（入力非可聴音声信号を可聴音声の信号に変換するといっても同義である）であって、次の（１）〜（５）に示す各手順を有する方法である。
（１）前記体内伝導マイクロホンにより収録された非可聴音声の学習用入力信号と所定のマイクロホンにより収録された前記学習用入力信号に対応する可聴ささやき音声の学習用出力信号とのそれぞれについて、所定の特徴量を算出する学習信号特徴量算出手順。
（２）前記学習信号特徴量算出手順による算出結果に基づいて、非可聴音声の信号の前記特徴量を可聴ささやき音声の信号の前記特徴量へ変換する声道特徴量変換モデルにおけるモデルパラメータの学習計算を行い、学習後のモデルパラメータを所定の記憶手段に記憶させる学習手順。
（３）前記入力非可聴音声信号について前記特徴量を算出する入力信号特徴量算出手順。（４）前記入力信号特徴量算出手順による算出結果と前記学習手順により得られた学習後のモデルパラメータが設定された前記声道特徴量変換モデルとに基づいて、前記入力非可聴音声信号に対応する可聴ささやき音声の信号の特徴量を算出する出力信号特徴量算出手順。
（５）前記出力信号特徴量算出手順の算出結果に基づいて前記入力非可聴音声信号に対応する可聴ささやき音声の信号を生成する出力信号生成手順。
ここで、前記体内伝導マイクロホンとして、肉伝導マイクロホンを採用することが好適であるが、咽喉マイクロホンや骨伝導マイクロホン等を採用することも考えられる。また、前記声道特徴量変換モデルは、例えば、周知の統計的スペクトル変換法に基づくモデル等である。この場合、前記入力信号特徴量算出手順及び前記出力信号特徴量算出手順は、音声信号のスペクトル特徴量を算出する手順である。
前述したように、体内伝導マイクロホンを通じて得られる非可聴音声は、声帯の規則振動を伴わない無声音であり、また、可聴ささやき音声（いわゆるヒソヒソ話をするときに発する音声）も、可聴音ではあるものの、声帯の規則振動を伴わない無声音であり、いずれも声の高さの情報を含まない音声信号である。従って、上記の各手順により、非可聴音声の信号を可聴ささやき音声の信号へ変換すると、イントネーションが不自然な音声や本来発声していない誤った音声を含む信号が得られることがない。【０００６】
また、本発明は、前述した各手順を所定のプロセッサ（コンピュータ）に実行させるための音声処理プログラムとして捉えることもできる。
同様に、本発明は、体内伝導マイクロホンを通じて得られる非可聴音声の信号である入力非可聴音声信号に基づいてこれに対応する可聴音声の信号を生成する音声処理装置として捉えることもできる。この場合、本発明に係る音声処理装置は、次の（１）〜（７）に示す各手段を備える。
（１）所定の可聴ささやき音声の学習用出力信号を記憶する学習用出力信号記憶手段。
（２）前記可聴ささやき音声の学習用出力信号に対応する信号であって前記体内伝導マイクロホンを通じて入力される非可聴音声の学習用入力信号を所定の記憶手段に収録する学習用入力信号収録手段。
（３）前記学習用入力信号と前記学習用出力信号とのそれぞれについて、所定の特徴量（例えば、周知のスペクトル特徴量）を算出する学習信号特徴量算出手段。
（４）前記学習信号特徴量算出手段による算出結果に基づいて、非可聴音声の信号の前記特徴量を可聴ささやき音声の信号の前記特徴量へ変換する声道特徴量変換モデルにおけるモデルパラメータの学習計算を行い、学習後のモデルパラメータを所定の記憶手段に記憶させる処理を行う学習手段。
（５）前記入力非可聴音声信号について前記特徴量を算出する入力信号特徴量算出手段。（６）前記入力信号特徴量算出手段による算出結果と前記学習手段により得られた学習後のモデルパラメータが設定された前記声道特徴量変換モデルとに基づいて、前記入力非可聴音声信号に対応する可聴ささやき音声の信号の特徴量を算出する出力信号特徴量算出手段。
（７）前記出力信号特徴量算出手段の算出結果に基づいて前記入力非可聴音声信号に対応する可聴ささやき音声の信号を生成する出力信号生成手段。
このような構成を備えた音声処理装置によれば、前述した音声処理方法と同様の作用効果が得られる。
ここで、前記学習用入力信号の音声（非可聴音声）の話者と、前記学習用出力信号の音声（可聴ささやき音声）の話者とは、必ずしも同一人である必要はないが、両話者が同一人であること、或いは声道の状態や話し方が比較的似ている人どうし（例えば、血縁関係者など）であることが、音声変換の精度を高める上で望ましい。
そこで、本発明に係る音声処理装置が、さらに次の（８）に示す手段を備えることも考えられる。
（８）所定のマイクロホンを通じて入力される前記可聴ささやき音声の学習用出力信号を前記学習用出力信号記憶手段に収録する学習用出力信号収録手段。
これにより、前記学習用入力信号の音声（非可聴音声）の話者と、前記学習用出力信号の音声（可聴ささやき音声）の話者との組合せを任意に選択でき、音声変換の精度を高めることができる。
【発明の効果】
【０００７】
本発明によれば、非可聴音声の信号を、高精度で可聴ささやき音声の信号へ変換することができ、イントネーションが不自然な音声や本来発声していない誤った音声を含む信号が得られることがない。その結果、本発明により得られる可聴ささやき音声の方が、従来手法により得られる通常音声（非可聴音声の信号を、声道特徴量変換モデルと音源特徴量変換モデルとを組合せたモデルに基づいて変換した通常音声（有声音）の信号の出力音声）よりも、受話者の音声認識率が向上することがわかった。
さらに、本発明によれば、音源モデルのモデルパラメータの学習計算、及びその音源特徴量変換モデルに基づく信号変換処理が不要になり、演算負荷を低減できる。このため、携帯電話機などの小型の通話装置に組み込まれた比較的処理能力の低いプロセッサによっても、高速な学習計算及び音声変換のリアルタイム処理が可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る音声処理装置Ｘの概略構成を表すブロック図。
【図２】非可聴つぶやき音声を入力するＮＡＭマイクロホンの装着状態及び概略断面を表す図。
【図３】音声処理装置Ｘが実行する音声処理の手順を表すフローチャート。
【図４】音声処理装置Ｘが実行する声道特徴量変換モデルの学習処理の一例を表す概略ブロック図。
【図５】音声処理装置Ｘが実行する音声変換処理の一例を表す概略ブロック図。
【図６】音声処理装置Ｘによる出力音声の認識容易性の評価結果を表す図。
【図７】音声処理装置Ｘによる出力音声の自然性についての評価結果を表す図。
【符号の説明】
【０００９】
Ｘ…本発明の実施形態に係る音声処理装置
１…マイクロホン
２…ＮＡＭマイクロホン（肉伝導マイクロホン）
１０…プロセッサ
１１…第１アンプ
１２…第２アンプ
１３…第１Ａ／Ｄコンバータ
１４…第２Ａ／Ｄコンバータ
１５…入力バッファ
１６…第１メモリ
１７…第２メモリ
１８…出力バッファ
１９…Ｄ／Ａコンバータ
２１…軟シリコン部
２２…振動センサ
２３…電極
２４…遮音カバー
Ｓ１、Ｓ２、・・…処理手順（ステップ）
【発明を実施するための最良の形態】
【００１０】
以下添付図面を参照しながら、本発明の実施の形態について説明し、本発明の理解に供する。尚、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。
ここに、図１は本発明の実施形態に係る音声処理装置Ｘの概略構成を表すブロック図、図２は非可聴つぶやき音声を入力するＮＡＭマイクロホンの装着状態及び概略断面を表す図、図３は音声処理装置Ｘが実行する音声処理の手順を表すフローチャート、図４は音声処理装置Ｘが実行する声道特徴量変換モデルの学習処理の一例を表す概略ブロック図、図５は音声処理装置Ｘが実行する音声変換処理の一例を表す概略ブロック図、図６は音声処理装置Ｘによる出力音声の認識容易性の評価結果を表す図、図７は音声処理装置Ｘによる出力音声の自然性についての評価結果を表す図である。【００１１】
まず、図１を参照しつつ、本発明の実施形態に係る音声処理装置Ｘの構成について説明する。
音声処理装置Ｘは、ＮＡＭマイクロホン２（体内伝導マイクロホンの一例）を通じて得られる非可聴つぶやき音声の信号を、可聴ささやき音声の信号に変換する処理（方法）を実行する装置である。
図１に示すように、音声処理装置Ｘは、プロセッサ１０と、２つのアンプ１１、１２（以下、第１アンプ１１及び第２アンプ１２という）と、２つのＡ／Ｄコンバータ１３、１４（以下、第１Ａ／Ｄコンバータ１３及び第２Ａ／Ｄコンバータ１４という）と、入力信号用のバッファ１５（以下、入力バッファという）と、２つのメモリ１６、１７（以下、それぞれ第１メモリ１６及び第２メモリ１７という）と、出力信号用のバッファ１８（以下、出力バッファという）と、Ｄ／Ａコンバータ１９等を備えて構成されている。
さらに、音声処理装置Ｘには、可聴ささやき音声の信号を入力する第１入力端Ｉｎ１と、非可聴つぶやき音声の信号を入力する第２入力端Ｉｎ２と、各種制御信号を入力する第３入力端Ｉｎ３と、第２入力端Ｉｎ２を通じて入力される非可聴つぶやき音声の信号が所定の変換処理により変換された信号である可聴ささやき音声の信号を出力する出力端Ｏｔ１とが設けられている。【００１２】
第１アンプ１１は、音響空間（空気）の振動を検知する通常のマイクロホン１により採取される可聴ささやき音声の信号を第１入力端Ｉｎ１を通じて入力し、その信号を増幅するものである。この第１入力端Ｉｎ１を通じて入力される可聴ささやき音声の信号は、後述する声道特徴量変換モデルのモデルパラメータの学習計算に用いられる学習用出力信号（可聴ささやき音声の学習用出力信号）である。
また、第１Ａ／Ｄコンバータ１３は、第１アンプ１１により増幅された可聴ささやき音声の学習用出力信号（アナログ信号）を、所定のサンプリング周期でデジタル信号に変換するものである。
第２アンプ１２は、ＮＡＭマイクロホン２を通じて入力される非可聴つぶやき音声の信号を第２入力端Ｉｎ２を通じて入力し、その信号を増幅するものである。この第２入力端Ｉｎ２を通じて入力される非可聴つぶやき音声の信号は、後述する声道特徴量変換モデルのモデルパラメータの学習計算に用いられる学習用入力信号（非可聴つぶやき音声の学習用出力信号）である場合と、可聴ささやき音声の信号への変換対象となる信号である場合とがある。
また、第２Ａ／Ｄコンバータ１４は、第２アンプ１２により増幅された非可聴つぶやき音声の信号（アナログ信号）を、所定のサンプリング周期でデジタル信号に変換するものである。
入力バッファ１５は、第２Ａ／Ｄコンバータ１４によってデジタル化された非可聴つぶやき音声の信号を、所定サンプル数分だけ一時蓄積するバッファである。
第１メモリ１６は、例えばＲＡＭやフラッシュメモリ等の読み書き可能な記憶手段であり、第１Ａ／Ｄコンバータ１３によりデジタル化された可聴ささやき音声の学習用出力信号と、第２Ａ／Ｄコンバータ１４によりデジタル化された非可聴つぶやき音声の学習用入力信号とを記憶するものである。
第２メモリ１７は、例えばフラッシュメモリやＥＥＰＲＯＭ等の読み書き可能な不揮発性の記憶手段であり、音声信号の変換に関する各種の情報を記憶するものである。なお、第１メモリ１６及び第２メモリ１７を同一のメモリにより構成する（共用する）ことも考えられるが、この場合、後述する学習後のモデルパラメータが通電停止によって消失しないよう、不揮発性の記憶手段により構成することが望ましい。【００１３】
プロセッサ１０は、例えばＤＳＰ(Digital Signal Processor)やＭＰＵ(Micro Processor Unit)などの演算手段であり、予め不図示のＲＯＭに記憶されたプログラムを実行することによって各種の機能を実現するものである。
例えば、プロセッサ１０は、所定の学習処理プログラムを実行することにより、声道特徴量変換モデルにおけるモデルパラメータの学習計算を行い、学習結果（モデルパラメータ）を第２メモリ１７に記憶させる。以下、プロセッサ１０における学習計算の実行に関する部分を、便宜上、学習処理部１０ａと称する。この学習処理部１０ａによる学習計算では、第１メモリ１６に記憶された学習用信号（非可聴つぶやき音声の学習用入力信号、及び可聴ささやき音声の学習用出力信号）が用いられる。
さらに、プロセッサ１０は、所定の音声変換プログラムを実行することにより、学習処理部１０ａによる学習後のモデルパラメータが設定された声道特徴量変換モデルに基づいて、ＮＡＭマイクロホン２により得られる非可聴つぶやき音声の信号（第２入力端Ｉｎ２を通じた入力信号）を、可聴ささやき音声の信号に変換し、変換後の音声信号を出力バッファ１８に出力する。以下、プロセッサ１０における音声変換処理の実行に関する部分を、便宜上、音声変換部１０ｂと称する。【００１４】
次に、図２（ｂ）に示す概略断面図を参照しつつ、非可聴ささやき音声の信号を採取するために用いるＮＡＭマイクロホン２の概略構成について説明する。
ＮＡＭマイクロホン２は、声帯の規則振動を伴わない音声であって、外部からは非可聴な体内軟部組織を伝導（肉伝導）する振動音（呼吸音）を採取するマイクロホン（肉伝導マイクロホン）である（体内伝導マイクロホンの一例）。
図２（ｂ）に示すように、ＮＡＭマイクロホン２は、軟シリコン部２１及び振動センサ２２と、それらを覆う遮音カバー２４と、振動センサ２２に設けられた電極２３とを備えて構成されている。
軟シリコン部２１は、話者の皮膚３に接する軟性部材（ここでは、シリコン部材）であり、話者の声道内で空気振動として発生した後に皮膚３を伝導（肉伝導）する振動を、振動センサ２２に伝搬する媒体である。なお、声道は、声帯よりも呼吸の吐き出し方向下流側の気道部分（口腔や鼻腔を含み、唇に至るまでの部分）である。
振動センサ２２は、軟シリコン部２１に接触しており、その軟シリコン部２１の振動を電気信号に変換する素子である。この振動センサ２２により得られる電気信号は、電極２３を通じて外部に伝送される。
遮音カバー２４は、軟シリコン部２１が接触する皮膚３以外の周囲の空気を通じて伝搬される振動が、軟シリコン部２１や振動センサ２２に伝わることを防止する防音材である。
このＮＡＭマイクロホン２は、図２（ａ）に示すように、その軟シリコン部２１が、話者の耳介の下方部における頭蓋骨の乳様突起直下の、胸鎖乳頭筋上の皮膚表面に接触するように装着される。これにより、声道で発生した振動（即ち、非可聴つぶやき音声の振動）が、話者における骨が存在しない部分（肉部分）を通って軟シリコン部２１までほぼ最短で伝搬される。【００１５】
次に、図３に示すフローチャートを参照しつつ、音声処理装置Ｘが実行する音声処理の手順について説明する。以下、Ｓ１、Ｓ２、…は、処理手順（ステップ）の識別符号を表す。
［ステップＳ１、Ｓ２］
まず、プロセッサ１０が、第３入力端Ｉｎ３を通じて入力される制御信号に基づいて、当該音声処理装置Ｘの動作モードが、学習モードに設定されているか否かの判別（Ｓ１）と、変換モードに設定されているか否かの判別（Ｓ２）とを行いながら待機する。前記制御信号は、例えば当該音声処理装置Ｘを搭載する、或いはこれと接続された携帯電話機等の通話装置（以下、適用通話装置という）が、所定の操作入力部（操作キーなど）の操作状況（操作入力情報）に従って、当該音声処理装置Ｘに対して出力する信号である。【００１６】
［ステップＳ３、Ｓ４］
そして、プロセッサ１０は、動作モードが学習モードであると判別すると、さらに、第３入力端Ｉｎ３を通じた入力信号（制御信号）を監視し、動作モードが所定の学習用入力音声入力モードに設定されるまで待機する（Ｓ３）。
ここで、プロセッサ１０は、動作モードが学習用入力音声入力モードに設定されたと判別すると、ＮＡＭマイクロホン２（体内伝導マイクロホンの一例）を通じて入力される非可聴つぶやき音声の学習用入力信号（デジタル信号）を、第２アンプ１２及び第２Ａ／Ｄコンバータ１４を通じて入力し、その入力信号を第１メモリ１６に収録する（Ｓ４、学習用入力信号収録手段の一例）。
動作モードが前記学習用入力音声入力モードである場合、前記適用通話装置の利用者（以下、話者という）は、ＮＡＭマイクロホン２を装着した状態で、例えば、予め定められた５０種類程度のサンプル文章（学習用の文章）を、それぞれ区別して（識別可能に）非可聴つぶやき音声によって読み上げる。これにより、前記サンプル文章それぞれに対応する非可聴つぶやき音声である学習用入力音声の信号が、第１メモリ１６に記憶される。
なお、各サンプル文章に対応する音声の区別は、例えば、前記適用通話装置の操作に応じて第３入力端Ｉｎ３を通じて入力される区分信号をプロセッサ１０が検知することや、或いは、各サンプル文章の読み上げの間に挿入される無音区間をプロセッサ１０が検知すること等により行われる。【００１７】
［ステップＳ５、Ｓ６］
次に、プロセッサ１０は、第３入力端Ｉｎ３を通じた入力信号（制御信号）を監視し、動作モードが所定の学習用出力音声入力モードに設定されるまで待機する（Ｓ５）。
ここで、プロセッサ１０は、動作モードが学習用出力音声入力モードに設定されたと判別すると、マイクロホン１（音響空間で伝導する音声を採取する通常のマイクロホン）を通じて入力される可聴ささやき音声の学習用出力信号（デジタル信号：ステップＳ４で得られた学習用入力信号に対応する信号）を、第１アンプ１１及び第１Ａ／Ｄコンバータ１３を通じて入力し、その入力信号を第１メモリ１６に収録する（Ｓ６、学習用出力信号収録手段の一例）。なお、第１メモリ１６が、学習用出力信号記憶手段の一例である。
動作モードが前記学習用出力音声入力モードである場合、前記話者は、マイクロホン１を口に近づけた状態で、前記サンプル文章（ステップＳ４で用いられたのと同じ学習用の文章）を、それぞれ区別して可聴ささやき音声によって読み上げる。
以上に示したステップＳ３〜Ｓ６の処理により、ＮＡＭマイクロホン２（体内伝導マイクロホンの一例）により収録された非可聴つぶやき音声の学習用入力信号と、これに対応する（同じサンプル文章の読み上げにより得られた）可聴ささやき音声の学習用出力信号とが、相互に関連付けられて第１メモリ１６に記憶される。【００１８】
ところで、ステップＳ４で前記学習用入力信号の音声（非可聴音声）を発する話者と、ステップＳ６で前記学習用出力信号の音声（可聴ささやき音声）を発する話者とが同一人であることが、音声変換の精度を高める上で望ましい。
しかしながら、当該音声処理装置Ｘの利用者（話者）が、例えば、咽頭部に障害がある等によって可聴ささやき音声を十分に発声できないような場合、利用者以外の人が、ステップＳ６で前記学習用出力信号の音声（可聴ささやき音声）を発する人となってもよい。この場合、ステップＳ６で前記学習用出力信号の音声を発する人は、当該音声処理装置Ｘの利用者（ステップＳ４での話者）と、声道の状態や話し方が比較的似ている人（例えば、血縁関係者など）であることが望ましい。
また、第１メモリ１６（この場合、不揮発性メモリとする）に、任意の人が前記サンプル文章（学習用の文章）を可聴ささやき音声により読み上げた音声の信号を予め記憶させておき、ステップＳ５及びＳ６の処理を省略することも考えられる。【００１９】
［ステップＳ７］
次に、プロセッサ１０の前記学習処理部１０ａは、第１メモリ１６に記憶された前記学習用入力信号（非可聴つぶやき音声の信号）と、前記学習用出力信号（可聴ささやき音声の信号）とを取得し、これら両信号に基づいて、声道特徴量変換モデルにおけるモデルパラメータの学習計算を行うとともに、学習後のモデルパラメータ（学習結果）を第２メモリ１７に記憶させる処理を行う学習処理を実行し（Ｓ７、学習手順の一例）、その後、処理を前述したステップＳ１へ戻す。ここで、声道特徴量変換モデルは、非可聴音声の信号の特徴量を、可聴ささやき音声の信号の特徴量へ変換するモデルであり、声道による音響的な特徴量の変換特性を表すモデルである。例えば、この声道特徴量変換モデルは、周知の統計的スペクトル変換法に基づくモデルである。ここで、統計的スペクトル変換法に基づくモデルを採用する場合、音声信号の特徴量としてスペクトル特徴量が用いられる。この学習処理（Ｓ７）の内容は、図４に示すブロック図（ステップＳ１０１〜Ｓ１０４）を参照しつつ説明する。【００２０】
図４は、前記学習処理部１０ａが実行する声道特徴量変換モデルの学習処理（Ｓ７：Ｓ１０１〜Ｓ１０４）の一例を表す概略ブロック図である。図４は、声道特徴量変換モデルが統計的スペクトル変換法に基づくモデル（スペクトル変換モデル）である場合の学習処理の例を表す。
学習処理部１０ａは、声道特徴量変換モデル（スペクトル変換モデル）の学習処理において、まず、学習用入力信号（非可聴つぶやき音声の信号）の自動分析処理（ＦＦＴ等を伴う入力音声分析処理）を行うことにより、学習用入力信号のスペクトル特徴量ｘ(tr)（学習入力スペクトル特徴量）を算出する（Ｓ１０１）。
ここで、学習処理部１０ａは、例えば、学習用入力信号における全フレームのスペクトルから得られる０次から２４次のメルケプストラム係数を、学習入力スペクトル特徴量ｘ(tr)として算出する。
或いは、学習処理部１０ａが、例えば、学習用入力信号における正規化パワーの大きい（所定の設定パワー以上の）フレームを有音区間として検出し、その有音区間のフレーム（学習用入力信号）のスペクトルから得られる０次から２４次のメルケプストラム係数を、学習入力スペクトル特徴量ｘ(tr)として算出することも考えられる。
さらに、学習処理部１０ａは、学習用出力信号（可聴ささやき音声の信号）の自動分析処理（ＦＦＴ等を伴う入力音声分析処理）を行うことにより、学習用出力信号のスペクトル特徴量ｙ(tr)（学習出力スペクトル特徴量）を算出する（Ｓ１０２）。
ここで、学習処理部１０ａは、ステップＳ１０１と同様に、学習用出力信号における全フレームのスペクトルから得られる０次から２４次のメルケプストラム係数を、学習出力スペクトル特徴量ｙ(tr)として算出する。
或いは、学習処理部１０ａが、学習用出力信号における正規化パワーの大きい（所定の設定パワー以上の）フレームを有音区間として検出し、その有音区間のフレームのスペクトルから得られる０次から２４次のメルケプストラム係数を、学習出力スペクトル特徴量ｙ(tr)として算出することも考えられる。
なお、ステップＳ１０１及びＳ１０２が、学習用入力信号と学習用出力信号とのそれぞれについて、所定の特徴量（ここでは、スペクトル特徴量）を算出する学習信号特徴量算出手順の一例である。【００２１】
次に、学習処理部１０ａは、ステップＳ１０１で得られた学習入力スペクトル特徴量ｘ(tr)各々と、ステップＳ１０２で得られた学習出力スペクトル特徴量ｙ(tr)各々とを対応付ける時間フレーム対応付け処理を実行する（Ｓ１０３）。この時間フレーム対応付け処理は、特徴量ｘ(tr)、ｙ(tr)それぞれに対応する元の信号の時間軸における位置の一致をもって、学習入力スペクトル特徴量ｘ(tr)各々と、学習出力スペクトル特徴量ｙ(tr)各々とを対応付ける処理である。このステップＳ１０３の処理により、学習入力スペクトル特徴量ｘ(tr)各々と、学習出力スペクトル特徴量ｙ(tr)各々とが対応付けられたスペクトル特徴量対が得られる。【００２２】
最後に、学習処理部１０ａは、声道による音響的な特徴量（ここでは、スペクトル特徴量）の変換特性を表す声道特徴量変換モデルにおけるモデルパラメータλの学習計算を行い、その学習後のモデルパラメータを第２メモリ１７に記憶させる（Ｓ１０４）。このステップＳ１０４では、ステップＳ１０３で対応付けられた学習入力スペクトル特徴量ｘ(tr)各々から、学習出力スペクトル特徴量ｙ(tr)各々への変換が所定の誤差範囲内で行われるように、声道特徴量変換モデルのパラメータλの学習計算が行われる。
ここで、本実施形態における声道特徴量変換モデルは、混合正規分布モデル（ＧＭＭ：Gaussian Mixture Model）であり、学習処理部１０ａは、図４に示す（Ａ）式に基づいて、声道特徴量変換モデルにおけるモデルパラメータλの学習計算を行う。なお、（Ａ）式において、λ(tr)は、学習後の声道特徴量変換モデル（混合正規分布モデル）のモデルパラメータ、ｐ(ｘ(tr)，ｙ(tr)｜λ)は、学習入力スペクトル特徴量ｘ(tr)及び学習出力スペクトル特徴量ｙ(tr)に対する混合正規分布モデル（各特徴量の結合確率密度を表すもの）の尤度を表す。
この（Ａ）式は、学習用入出力信号の各スペクトル特徴量ｘ(tr)、ｙ(tr)に対して、入出力スペクトル特徴量の結合確率密度を表す混合正規分布モデルの尤度ｐ(ｘ(tr)，ｙ(tr)｜λ)が最大化するように、学習後のモデルパラメータλ(tr)を算出するものである。算出されたモデルパラメータλ(tr)を声道特徴量変換モデルに設定することにより、スペクトル特徴量の変換式（学習後の声道特徴量変換モデル）が得られる。【００２３】
［ステップＳ８〜Ｓ１０］
一方、プロセッサ１０は、動作モードが変換モードに設定されたと判別すると、第２Ａ／Ｄコンバータ１４により逐次デジタル化される非可聴つぶやき音声信号を、入力バッファ１５を通じて入力する（Ｓ８）。
さらに、プロセッサ１０は、前記音声変換部１０ｂにより、その入力信号（非可聴つぶやき音声信号）を、ステップＳ７で学習された声道特徴量変換モデル（学習後のモデルパラメータが設定された声道特徴量変換モデル）により可聴ささやき音声の信号に変換する音声変換処理を実行する（Ｓ９、音声変換手順の一例）。この音声変換処理（Ｓ９）の内容は、図５に示すブロック図（ステップＳ２０１〜Ｓ２０３）を参照しつつ、後に説明する。
さらに、プロセッサ１０は、変換後の可聴ささやき音声の信号を出力バッファ１８に出力する（Ｓ１０）。以上のステップＳ８〜Ｓ１０の処理は、動作モードが変換モードに設定された状態である間、リアルタイムで実行され、その結果、Ｄ／Ａコンバータ１９によりアナログ信号に変換された可聴ささやき音声の信号が、出力端Ｏｔ１を通じてスピーカ等に出力される。
一方、プロセッサ１０は、ステップＳ８〜Ｓ１０の処理中に、動作モードが変換モード以外に設定されたことを確認すると、処理を前述したステップＳ１へ戻す。【００２４】
図５は、前記音声変換部１０ｂが実行する声道特徴量変換モデルに基づく音声変換処理（Ｓ９：Ｓ２０１〜２０３）の一例を表す概略ブロック図である。
音声変換部１０ｂは、音声変換処理において、まず、前述したステップＳ１０１と同様に、変換対象とする入力信号（非可聴つぶやき音声の信号）の自動分析処理（ＦＦＴ等を伴う入力音声分析処理）を行うことにより、入力信号のスペクトル特徴量ｘ（入力スペクトル特徴量）を算出する（Ｓ２０１、入力信号特徴量算出手順の一例）。
次に、音声変換部１０ｂは、学習処理部１０ａの処理（Ｓ７）により得られた学習後のモデルパラメータ（第２メモリ１７に記憶されたモデルパラメータ）が設定された声道特徴量変換モデルλ(tr)（学習後の声道特徴量変換モデル）に基づいて、ＮＡＭマイクロホン２を通じて入力される非可聴音声の信号（入力信号）の特徴量ｘ（入力スペクトル特徴量）を、図５に示す（Ｂ）式に基づいて、可聴ささやき音声の信号の特徴量（変換スペクトル特徴量：（Ｂ）式の左辺）に変換する最尤特徴量変換処理を行う（Ｓ２０２）。なお、このステップＳ２０２が、入力信号（入力非可聴音声信号）の特徴量の算出結果と学習計算により得られた学習後のモデルパラメータが設定された声道特徴量変換モデルとに基づいて、入力信号に対応する可聴ささやき音声の信号の特徴量を算出する出力信号特徴量算出手順の一例である。
さらに、音声変換部１０ｂは、ステップＳ２０１における入力音声分析処理と逆方向の処理を行うことにより、ステップＳ２０２で得られた前記変換スペクトル特徴量から出力音声信号（可聴ささやき音声の信号）を生成（合成）する（Ｓ２０３、出力信号生成手順の一例）。その際、所定の雑音源の信号（例えば、白色雑音信号）を励振源として用いることによって出力音声信号を生成する。
なお、前述したステップＳ１０１、Ｓ１０２及びＳ１０４において、学習用の信号における有音区間のフレーム（正規化パワーが所定の設定パワー以上のフレーム）に基づいて、スペクトル特徴量ｘ(tr)及びｙ(tr)の算出と、声道特徴量モデルλの学習計算とを行っている場合には、音声変換部１０ｂは、ステップＳ２０１〜Ｓ２０３の処理を、入力信号における有音区間についてのみ実行し、その他の区間については無音信号を出力する。ここで、有音区間か無音区間かの判別は、前述と同様に、入力信号の各フレームの正規化パワーが、所定の設定パワー以上であるか否かを判別すること等により行う。【００２５】
次に、図６及び図７を参照しつつ、音声処理装置Ｘによる出力音声（可聴ささやき音声）の認識容易性の評価結果（図６）及び自然性についての評価結果について説明する。
ここで、図６は、所定の評価用文章（日本語の新聞記事）の読み上げ音声又はこれに基づく変換音声である複数種類の評価用音声各々について、複数人の被験者（成人日本人）によって聞き取り評価を行い、聞き取られた単語の正解精度（元の評価用文章における単語を聞き取れた精度）を１００％を満点として評価したものである。もちろん、評価用文章は、声道特徴量変換モデルの学習に用いたサンプル文章（５０種類程度の文章）とは異なるものである。
また、評価用音声は、ある話者が前記評価用文章を「通常音声」、「可聴ささやき音声」及び「ＮＡＭ」（非可聴つぶやき音声）により読み上げた各音声と、そのＮＡＭを従来の手法により通常音声に変換した音声（「ＮＡＭto通常音声」）と、そのＮＡＭを音声処理装置Ｘ（本発明の手法）により非可聴ささやき音声に変換した音声（「ＮＡＭtoささやき音声」）の各々であり、いずれも聞き取り可能な音量に調整済みの音声である。音声変換処理における音声信号のサンプリング周波数は１６ｋＨｚであり、フレームシフトは５ｍｓである。
また、ここでいう従来の手法とは、非特許文献１に示されるように、非可聴つぶやき音声の信号を、声道特徴量変換モデルと音源モデル（声帯モデル）とを組み合わせたモデルにより通常音声（有声音）の信号へ変換する手法である。
また、図６には、各評価者が各評価用音声の聞き取りの際に聞き直しを行った回数（全評価者の平均）も示している。【００２６】
図６に示すように、音声処理装置Ｘにより得られる「ＮＡＭtoささやき音声」の正解精度（７５．７１％）は、ＮＡＭ自体の正解精度（４５．２５％）に比べ、格段に向上していることがわかる。
また、「ＮＡＭtoささやき音声」の正解精度は、従来の手法により得られる「ＮＡＭto通常音声」の正解精度（６９．７９％）に比べても向上している。
その要因の１つは、「ＮＡＭto通常音声」は、イントネーションが不自然になりがちなため、それに慣れない聴取者（評価者）にとって聞き取りづらい音声である一方、イントネーション（音の高低）が生じない「ＮＡＭtoささやき音声」は、比較的聞き取りやすいためと考えられる。このことは、「ＮＡＭtoささやき音声」の方が、「ＮＡＭto通常音声」よりも聞き直し回数が少ないという結果、及び後述する音声の自然性の評価結果（図７）にも表れている。
また、他の要因としては、「ＮＡＭto通常音声」は、本来発声していない音声（元の評価用文章にない語の音声）を含むことがあるため、それが評価者による単語の認識率を大きく低下させるのに対し、「ＮＡＭtoささやき音声」は、そのような理由による単語認識率の低下が少ないためと考えられる。
音声によるコミュニケーションにおいて、相手に話者が意図する言葉を正確に伝達すること（聴取者における単語の認識精度が高いこと）は最も重要な事項であり、その意味で、本発明による音声処理（非可聴音声から可聴ささやき音声への変換）は、従来の音声処理（非可聴音声から通常音声への変換）に対して非常に優れているといえる。【００２７】
一方、図７は、前記評価者各々が、前述した各評価用音声について、人の発した音声として自然であると感じた度合いを５段階評価（自然性が非常に悪い「１」〜自然性が非常に良い「５」）した結果（全評価者の平均値）を表すものである。
図７に示すように、音声処理装置Ｘにより得られる「ＮＡＭtoささやき音声」の自然性（評価値≒３．８）は、ＮＡＭ自体の自然性（評価値≒２．５）に比べ、格段に高いことがわかる。
一方、従来の手法により得られる「ＮＡＭto通常音声」の自然性（評価値≒１．８）は、「ＮＡＭtoささやき音声」の自然性に比べて低いだけでなく、ＮＡＭ自体の自然性に比べても低下している。これは、ＮＡＭ（非可聴つぶやき音声）を通常音声（有声音）の信号へ変換すると、イントネーションが不自然な音声が得られてしまうことに起因する。
以上に示したように、音声処理装置Ｘによれば、ＮＡＭマイクロホン２を通じて得られる非可聴つぶやき音声（ＮＡＭ）の信号を、受話者が認識し易い（誤認識されにくい）音声の信号に変換することができることがわかる。【００２８】
以上に示した実施形態では、音声信号の特徴量としてスペクトル特徴量を用い、声道特徴量変換モデルとして、統計的スペクトル変換法に基づくモデルである混合正規分布モデルを採用する例を示した。しかしながら、本発明における声道特徴量変換モデルとして適用可能なモデルとしては、例えば、ニューラルネットワークモデルなど、統計的処理によって入出力関係を同定するモデルであれば、他のモデルを採用することも可能である。
また、学習信号や入力信号に基づき算出する音声信号の特徴量は、前述したスペクトル特徴量（包絡情報のみでなくパワー情報も含む）がその典型例である。しかしながら、前記学習処理部１０ａや前記音声変換部１０ｂが、ささやき声のような無声音声の特徴を表す他の特徴量を算出することも考えられる。
また、非可聴つぶやき音声の信号を採取（入力）する体内伝導マイクロホンとしては、前述したＮＡＭマイクロホン２（肉伝導マイクロホン）の他、骨伝導マイクロホンや、咽喉マイクロホン（いわゆるスロートマイクロホン）を採用することも可能である。但し、非可聴つぶやき音声は、声道のごく微小な振動による音声であるので、ＮＡＭマイクロホン２を採用することにより、より高感度で非可聴つぶやき音声の信号を得ることができる。
また、前述の実施形態では、学習用出力信号を採取するためのマイクロホン１を、非可聴つぶやき音声の信号を採取するためのＮＡＭマイクロホン２と別個に設けた例を示したが、ＮＡＭマイクロホン２が、両マイクを兼用する構成も考えられる。
【産業上の利用可能性】
【００２９】
本発明は、非可聴音声信号を可聴音声信号に変換する音声処理装置に利用可能である。
【図１】
2008015800.tif 000003
【図２】
2008015800.tif 000004
【図３】
2008015800.tif 000005
【図４】
2008015800.tif 000006
【図５】
2008015800.tif 000007
【図６】
2008015800.tif 000008
【図７】
2008015800.tif 000009
【国際調査報告】
2008015800.tif 000010
2008015800.tif 000011
2008015800.tif 000012
2008015800.tif 000013