(57)【要約】【課題】利用者に煩雑な作業をさせることなく、体内伝達音から利用者個人の音声を再生する。【解決手段】声帯運動を伴う発話時に体内伝導音用マイク１２で集音された体内伝達音のデータと、これと同時に音声集音用マイク１３で集音された音声のデータとを時間的に同期させ、これらを体内伝導音と音声とを対応付ける音声対応付けモデルを学習させるために計算機２０に送信する。さらに、声帯運動を伴わない発話時に体内伝導音用マイク１２で集音された体内伝達音のデータを計算機２０に送信し、この体内伝達音のデータに対して計算機２０が音声対応付けモデルを用いて生成した音声のデータを計算機２０から受信する。【選択図】図１
2008129524.tif 000002
【特許請求の範囲】
【請求項１】
体内伝達音から音声を再生する音声再現装置において、
発話に起因する体内伝導音を集音する体内伝導音集音部と、
音声を集音する音声集音部と、
声帯運動を伴う発話時に上記体内伝導音集音部で集音された体内伝達音のデータと、これと同時に上記音声集音部で集音された音声のデータとを時間的に同期させ、これらを体内伝導音と音声とを対応付ける音声対応付けモデルを学習させるために計算機に送信し、さらに、声帯運動を伴わない発話時に上記体内伝導音集音部で集音された体内伝達音のデータを上記計算機に送信する第１送信部と、
上記声帯運動を伴わない発話時に上記体内伝導音集音部で集音された体内伝達音のデータに対して上記計算機が上記音声対応付けモデルを用いて生成した音声のデータを受信する第１受信部と、
を有することを特徴とする音声再現装置。
【請求項２】
請求項１に記載の音声再現装置において、
上記第１受信部が受信した上記音声のデータから音声を再生する音声再生部をさらに有する、
ことを特徴とする音声再現装置。
【請求項３】
請求項１又は２に記載の音声再現装置において、
発話に起因する骨導音の集音及び骨導音の再生を行う骨導振動部をさらに有し、
上記第１送信部は、
さらに、声帯運動を伴う発話時に上記体内伝導音集音部で集音された体内伝達音のデータと、これと同時に上記骨導振動部で集音された骨導音のデータとを時間的に同期させ、これらを体内伝導音と骨導音とを対応付ける骨導音対応付けモデルを学習させるために上記計算機に送信し、
上記第１受信部は、
上記声帯運動を伴わない発話時に上記体内伝導音集音部で集音された体内伝達音のデータに対して上記計算機が上記骨導音対応付けモデルを用いて生成した骨導音のデータを受信し、
上記骨導振動部は、
上記第１受信部が受信した上記骨導音のデータから骨導音を再生する、
ことを特徴とする音声再現装置。
【請求項４】
請求項２に記載の音声再現装置において、
声帯運動を伴う発話時であるか声帯運動を伴わない発話時であるかを示す入力操作を受け付ける発話状態入力部を更に有し、
上記発話状態入力部に対する入力操作が声帯運動を伴う発話時を示すものであった場合、上記第１送信部は、上記体内伝導音集音部で集音された体内伝達音のデータと、これと同時に上記音声集音部で集音された音声のデータとを時間的に同期させて計算機に送信し、上記音声再生部は、音声の再生を行わず、
上記発話状態入力部に対する入力操作が声帯運動を伴わない発話時を示すものであった場合、上記第１送信部は、上記体内伝導音集音部で集音された体内伝達音のデータのみを上記計算機に送信し、上記第１受信部は、上記音声のデータを受信し、上記音声再生部は、当該音声のデータから音声を再生する、
ことを特徴とする音声再現装置。
【請求項５】
請求項３に記載の音声再現装置において、
声帯運動を伴う発話時であるか声帯運動を伴わない発話時であるかを示す入力操作を受け付ける発話状態入力部を更に有し、
上記発話状態入力部に対する入力操作が声帯運動を伴う発話時を示すものであった場合、上記第１送信部は、上記体内伝導音集音部で集音された体内伝達音のデータと、これと同時に上記骨導振動部で集音された骨導音のデータとを時間的に同期させて計算機に送信し、上記骨導振動部は、骨導音の再生を行わず、
上記発話状態入力部に対する入力操作が声帯運動を伴わない発話時を示すものであった場合、上記第１送信部は、上記体内伝導音集音部で集音された体内伝達音のデータのみを上記計算機に送信し、上記第１受信部は、上記骨導音のデータを受信し、上記骨導振動部は、当該骨導音のデータから骨導音を再生する、
ことを特徴とする音声再現装置。
【請求項６】
請求項１、２、４の何れかに記載の音声再現装置において、
上記計算機は、
音声再現装置から送信されたデータを受信する第２受信部と、
体内伝達音のデータを用い、体内伝達音の特徴量を抽出する第１特徴量抽出部と、
音声のデータを用い、音声の特徴量を抽出する第２特徴量抽出部と、
時間的に同期した体内伝達音の特徴量と音声の特徴量とを相互に対応する学習データとし、学習処理によって、任意の体内伝達音の特徴量と任意の音声の特徴量との対応関係を示す音声対応付けモデルのパラメータを算出する音声学習部と、
上記音声学習部で算出されたパラメータと、体内伝達音の特徴量とを用い、体内伝達音の特徴量に対応する音声の特徴量を算出する音声対応付けモデル適用部と、
上記音声対応付けモデル適用部で算出された音声の特徴量を用い、音声のデータを生成する音声復元部と、
上記音声復元部で生成された音声のデータを音声再現装置に送信する第２送信部と、を有し、
上記第２受信部が時間的に同期した体内伝達音のデータと音声のデータとを受信した場合、上記第１特徴量抽出部は、上記第２受信部が受信した体内伝達音のデータを用いて体内伝達音の特徴量を抽出し、上記第２特徴量抽出部は、上記第２受信部が受信した音声のデータを用いて音声の特徴量を抽出し、上記音声学習部は、これらの特徴量を用いて上記音声対応付けモデルのパラメータを算出し、
上記第２受信部が体内伝達音のデータのみを受信した場合、上記第１特徴量抽出部は、上記第２受信部が受信した体内伝達音のデータを用いて体内伝達音の特徴量を抽出し、上記音声対応付けモデル適用部は、抽出された体内伝達音の特徴量と上記音声学習部で算出されたパラメータとを用い、当該体内伝達音の特徴量に対応する音声の特徴量を算出し、上記音声復元部は、算出された音声の特徴量を用いて音声のデータを生成し、上記第２送信部は、上記音声復元部で生成された音声のデータを音声再現装置に送信する、
ことを特徴とする音声再現装置。
【請求項７】
請求項３又は５に記載の音声再現装置において、
上記計算機は、
音声再現装置から送信されたデータを受信する第２受信部と、
体内伝達音のデータを用い、体内伝達音の特徴量を抽出する第１特徴量抽出部と、
骨導音のデータを用い、骨導音の特徴量を抽出する第３特徴量抽出部と、
時間的に同期した体内伝達音の特徴量と骨導音の特徴量とを相互に対応する学習データとし、学習処理によって、任意の体内伝達音の特徴量と任意の骨導音の特徴量との対応関係を示す骨導音対応付けモデルのパラメータを算出する骨導音学習部と、
上記骨導音学習部で算出されたパラメータと、体内伝達音の特徴量とを用い、体内伝達音の特徴量に対応する骨導音の特徴量を算出する骨導音対応付けモデル適用部と、
上記骨導音対応付けモデル適用部で算出された骨導音の特徴量を用い、骨導音のデータを生成する骨導音復元部と、
上記骨導音復元部で生成された骨導音のデータを音声再現装置に送信する第２送信部と、を有し、
上記第２受信部が時間的に同期した体内伝達音のデータと骨導音のデータとを受信した場合、上記第１特徴量抽出部は、上記第２受信部が受信した体内伝達音のデータを用いて体内伝達音の特徴量を抽出し、上記第３特徴量抽出部は、上記第２受信部が受信した骨導音のデータを用いて骨導音の特徴量を抽出し、上記骨導音学習部は、これらの特徴量を用いて上記骨導音対応付けモデルのパラメータを算出し、
上記第２受信部が体内伝達音のデータのみを受信した場合、上記第１特徴量抽出部は、上記第２受信部が受信した体内伝達音のデータを用いて体内伝達音の特徴量を抽出し、上記骨導音対応付けモデル適用部は、抽出された体内伝達音の特徴量と上記骨導音学習部で算出されたパラメータとを用い、当該体内伝達音の特徴量に対応する骨導音の特徴量を算出し、上記骨導音復元部は、算出された骨導音の特徴量を用いて骨導音のデータを生成し、上記第２送信部は、上記骨導音復元部で生成された骨導音のデータを音声再現装置に送信する、
ことを特徴とする音声再現装置。
【請求項８】
体内伝達音から音声を再生する音声再現方法において、
体内伝導音集音部が、発話に起因する体内伝導音を集音するステップと、
音声集音部が、音声を集音するステップと、
第１特徴量抽出部が、声帯運動を伴う発話時に上記体内伝導音集音部で集音された体内伝達音のデータを用い、当該体内伝達音の特徴量を抽出するステップと、
第２特徴量抽出部が、声帯運動を伴う発話時に上記音声集音部で集音された音声のデータを用い、当該音声の特徴量を抽出するステップと、
音声学習部が、同じ集音時間に対応する体内伝達音の特徴量と音声の特徴量とを相互に対応する学習データとし、学習処理によって、任意の体内伝達音の特徴量と任意の音声の特徴量との対応関係を示す音声対応付けモデルのパラメータを算出するステップと、
上記第１特徴量抽出部が、声帯運動を伴わない発話時に上記体内伝導音集音部で集音された体内伝達音のデータを用い、当該体内伝達音の特徴量を抽出するステップと、
音声対応付けモデル適用部が、上記音声学習部で算出されたパラメータと、声帯運動を伴わない発話時に上記体内伝導音集音部で集音された体内伝達音の特徴量とを用い、体内伝達音の特徴量に対応する音声の特徴量を算出するステップと、
音声復元部が、上記音声対応付けモデル適用部で算出された音声の特徴量を用い、音声のデータを生成するステップと、
を有することを特徴とする音声再現方法。
【請求項９】
請求項８に記載の音声再現方法において、
音声再生部が、上記音声のデータから音声を再生するステップをさらに有する、
ことを特徴とする音声再現方法。
【請求項１０】
請求項８又は９に記載の音声再現方法において、
骨導振動部が、発話に起因する骨導音を集音するステップと、
第３特徴量抽出部が、声帯運動を伴う発話時に上記骨導振動部で集音された骨導音のデータを用い、当該骨導音の特徴量を抽出するステップと、
骨導音学習部が、同じ集音時間に対応する体内伝達音の特徴量と骨導音の特徴量とを相互に対応する学習データとし、学習処理によって、任意の体内伝達音の特徴量と任意の骨導音の特徴量との対応関係を示す骨導音対応付けモデルのパラメータを算出するステップと、
骨導音対応付けモデル適用部が、上記骨導音学習部で算出されたパラメータと、声帯運動を伴わない発話時に上記体内伝導音集音部で集音された体内伝達音の特徴量とを用い、体内伝達音の特徴量に対応する骨導音の特徴量を抽出するステップと、
骨導音復元部が、上記音声対応付けモデル適用部で算出された骨導音の特徴量を用い、骨導音のデータを生成するステップと、
上記骨導振動部が、上記音声のデータから骨導音を再生するステップと、
をさらに有することを特徴とする音声再現方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、体内伝達音から音声を再生する音声再現装置及び音声再現方法に関する。
【背景技術】
【０００２】
近年、人対人の通信コミュニケーションは、従来の固定電話を用いたものから携帯電話を用いたモバイルコミュニケーションに主流が移行しており、国内だけでも数千万台もの携帯電話が普及している。また、コミュニケーションを媒介する方法として単なる音声の伝送のみでなく、メールや写真、TV電話など様々な情報の伝達技術が次々に開発され実際に普及している。
しかし、やはり携帯電話の主な利用目的は人対人の対話であるため、その普及による社会的な悪影響も多く、図書館など静かな場所での携帯電話の通話、深夜の大声で通話、電車内での通話などは迷惑行為とも言えるものである。しかしそうした行為に対しては、社会的なモラルに反する行為として啓発の努力をするしかなく、実際にはそうした行為を止めることば困難である。
そうした現状を試み、実際には発話することなく音声の出力（合成）が可能な体内伝導音声からの音声の認識原理に基づく「無音声電話」の技術が提案されている（非特許文献１，２参照）。
【０００３】
このような技術によって、原理的には体内伝導音から音声を再現し伝送することができる見通しが得られている。
【非特許文献１】戸田智基，鹿野清宏，「無音声電話」，日本音響学会全国大会講演論文集，pp. 369-370, 3-6-21, 2005-9
【非特許文献２】中島淑貴，柏岡秀紀，キャンベル・ニック，鹿野清宏，「非可聴つぶやき認識」，電子情報通信学会論文誌，Vol. J87-D-II, No. 9, pp. 1757-1764, 2004-9
【発明の開示】
【発明が解決しようとする課題】
【０００４】
「背景技術」で述べたように、原理的には体内伝導音からの音声の再現は可能となった。しかし、実用面では、利用者が容易な形で利用者個人の音声を再現することが困難であるという問題点がある。以下にその問題点を示す。
【０００５】
前述した「無音声電話」を通常用いられている電話のように利用するためには、当然話者の個性が再現された音声を生成する必要がある。そのためには個人の音声や体内伝導音をある程度集めて学習を行う必要がある。しかし、そのような音声収集の際、利用者は単調で面白みもない発話を長時間行わなければならない。こうした発声作業は一般的には好まれない。そのため、こうした手順を必要とする機器は普及が困難になるため、実際にはこうした学習方法をとることができず個人の再現が困難になるという問題がある。このような課題は体内伝導音から音声を再生する技術一般に共通するものであり、前述した「無音声電話」に限るものではない。
本発明はこのような点に鑑みてなされたものであり、利用者に煩雑な作業をさせることなく、体内伝達音から利用者個人の音声を再生することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明では上記課題を解決するために、発話に起因する体内伝導音を集音する体内伝導音集音部と、音声を集音する音声集音部と、声帯運動を伴う発話時に体内伝導音集音部で集音された体内伝達音のデータと、これと同時に音声集音部で集音された音声のデータとを時間的に同期させ、これらを体内伝導音と音声とを対応付ける音声対応付けモデルを学習させるために計算機に送信し、さらに、声帯運動を伴わない発話時に体内伝導音集音部で集音された体内伝達音のデータを計算機に送信する第１送信部と、声帯運動を伴わない発話時に体内伝導音集音部で集音された体内伝達音のデータに対して計算機が音声対応付けモデルを用いて生成した音声のデータを受信する第１受信部と、を有する音声再現装置が提供される。
【０００７】
なお「発話に起因する体内伝達音」とは、発話時に口周囲や舌等の発話器官の運動によって生じ、人間の軟部組織の振動によって伝達される音を意味する。また「発話に起因する体内伝導音」には、声帯運動を伴う発話に起因する体内伝導音と、声帯運動を伴わない発話に起因する体内伝導音とを含む。また「声帯運動」とは、声帯を振動させたり声門を狭めたりする運動を意味し、「声帯運動を伴わない発話」とは、「非可聴つぶやき（Non-Audible Murmur: NAM）」を意味する。
【０００８】
ここで本発明の音声再現装置は、声帯運動を伴う通常の発話時に、音声集音部によって通常の音声を集音するとともに、体内伝導音集音部によって当該発話に起因する体内伝導音を集音する。そして、当該音声再現装置は、このように集音した音声のデータと体内伝達音のデータとを時間的に同期させ、これらを体内伝導音と音声とを対応付ける音声対応付けモデルを学習させるために計算機に送信する。計算機は、このように時間的に同期した音声のデータと体内伝達音のデータとを用い、音声対応付けモデルの学習を行うことができる。このように本発明では、通常の発話時に収集したデータのみによって学習データを収集する構成であるため、利用者は学習データ収集のために予め単調で面白みもない発話を長時間行う必要はない。また、本発明では、一般的に最も多用されると考えられる通常通話時に学習を行うため、利用者に学習作業に関する負担をかけることなく、モデル学習を十分に行うことができる。なお、「体内伝導音集音」は、口周囲や舌等の発話器官の運動によって生じる音であり、発話が声帯運動を伴うか否かによって影響を受けることはほとんどない。よって、声帯運動を伴う通常の発話時に集音された体内伝導音から抽出した特徴量を学習データとして用いることに問題はない。逆に、本発明では、声帯運動を伴う通常の発話から音声と体内伝導音集音とを同時に集話するため、音声と体内伝導音集音とを別々に集話する場合に比べて適切な学習データが収集できる。また、本発明では、音声と体内伝導音とを同時に集話するため、学習データ収集時点でそれらを時間的に同期させることも容易である。そのため、学習時に統計的にこれらを対応付ける場合に比べて学習時の演算数を低減できる。さらには、対応付けの誤りによってモデルの分散が増加し、結果的に再現音声の品質が劣化してしまうことも殆どない。
【０００９】
また、本発明の音声再現装置は、好ましくは、第１受信部が受信した音声のデータから音声を再生する音声再生部をさらに有する。これにより、体内伝導音から発話を再生する際に再生された音声を発話者にフィードバックすることができる。通常、人が発声する場合は常に自分の音声を聴取することで自分の発話を制御している。実際、後天的な聴覚障害者でも発話が困難になるという傾向があるし、自分の声が開き取れない環境での発話を長く続けていると非常に崩れた発話になったり、発話自体が困難になったりする。体内伝導音から再生された音声を利用者にフィードバックすることにより、利用者は良好に体内伝導音による発話を行うことができる。
【００１０】
また、本発明の音声再現装置は、好ましくは、発話に起因する骨導音の集音及び骨導音の再生を行う骨導振動部をさらに有する。そして、第１送信部は、さらに、声帯運動を伴う発話時に体内伝導音集音部で集音された体内伝達音のデータと、これと同時に骨導振動部で集音された骨導音のデータとを時間的に同期させ、これらを体内伝導音と骨導音とを対応付ける骨導音対応付けモデルを学習させるために計算機に送信する。また、第１受信部は、声帯運動を伴わない発話時に体内伝導音集音部で集音された体内伝達音のデータに対して計算機が骨導音対応付けモデルを用いて生成した骨導音のデータを受信し、骨導振動部は、第１受信部が受信した骨導音のデータから骨導音を再生する。この場合、体内伝導音集から再生した骨導音を発話者にフィードバックすることができる。
【００１１】
前述のように体内伝達音から再現した音声のみを発話者にフィードバックする場合、そのフィードバック音は発話者の耳のみから聴取される。この場合、発話者は自分の発話した音声を録音したものを聞く場合に感じるような違和感を持つ。その理由は、通常人間は自分の発話した音声を頭蓋内で伝わる音声と耳から聞こえる音声とで重畳して内耳で聴取しており、耳のみで聴取した音声は通常人が聴取する音と異なるからである。これに対し、本発明の当該好ましい構成では、体内伝導音集から再生した骨導音を発話者にフィードバックできるため、発話者は違和感なく体内伝導音による発話を行うことができる。
【００１２】
また、音声のみが発話者にフィードバックされて聴取される構成の場合、場合によっては、発話者が発話した音声と話し相手が発話した音声とが重なってしまい、相手の音声の聴取が困難になってしまうこともある。これに対し、骨導音を発話者にフィードバックする構成ではこのような問題は生じず、相手の発話の聞き取りが阻害されることなく円滑な対話が可能となる。骨導音は話し相手の音声と錯綜しないからである。
【００１３】
また、図書館等の非常に静粛な環境では、ヘッドフォンからの音漏れも問題となる場合もあり、こうした環境では体内伝達音から再現した音声のフィードバックそのものが難しい。これに対し、骨導音を発話者にフィードバックする構成ではこのような問題は生じない。骨導音は音漏れを生じないため、環境に依存することなく、再生された発話を発話者にフィードバックすることができる。
【００１４】
また、この構成では、利用者は骨導音対応付けモデルの学習データ収集の為に予め単調で面白みもない発話を長時間行う必要はなく、一般的に最も多用されると考えられる通常通話時に学習を行うため、利用者に学習作業に関する負担をかけることなく、モデル学習を十分に行うことができる。さらに、この構成では、声帯運動を伴う通常の発話から骨導音と体内伝導音集音とを同時に集話するため、骨導音と体内伝導音集音とを別々に集話する場合に比べて適切な学習データが収集でき、それらを時間的に同期させることも容易である。
【００１５】
また、本発明の音声再現装置は、好ましくは、声帯運動を伴う発話時であるか声帯運動を伴わない発話時であるかを示す入力操作を受け付ける発話状態入力部をさらに有する。発話状態入力部に対する入力操作が声帯運動を伴う発話時を示すものであった場合、第１送信部は、体内伝導音集音部で集音された体内伝達音のデータと、これと同時に音声集音部で集音された音声のデータとを時間的に同期させて計算機に送信し、音声再生部は、音声の再生を行わず、発話状態入力部に対する入力操作が声帯運動を伴わない発話時を示すものであった場合、第１送信部は、体内伝導音集音部で集音された体内伝達音のデータのみを計算機に送信し、第１受信部は、音声のデータを受信し、音声再生部は、当該音声のデータから音声を再生する。なお、「体内伝達音のデータのみを計算機に送信」とは、体内伝達音のデータと一緒に音声のデータや骨導音のデータを計算機に送信しないことを意味する。体内伝達音のデータと制御データ等を一緒に計算機に送信することも「体内伝達音のデータのみを計算機に送信」に含まれる。
これにより、モデル学習時と体内伝導音からの音声再生時との切り替えを容易に実現できる。
【００１６】
また、本発明の音声再現装置は、好ましくは、声帯運動を伴う発話時であるか声帯運動を伴わない発話時であるかを示す入力操作を受け付ける発話状態入力部をさらに有する。発話状態入力部に対する入力操作が声帯運動を伴う発話時を示すものであった場合、第１送信部は、体内伝導音集音部で集音された体内伝達音のデータと、これと同時に骨導振動部で集音された骨導音のデータとを時間的に同期させて計算機に送信し、骨導振動部は、骨導音の再生を行わず、発話状態入力部に対する入力操作が声帯運動を伴わない発話時を示すものであった場合、第１送信部は、体内伝導音集音部で集音された体内伝達音のデータのみを計算機に送信し、第１受信部は、骨導音のデータを受信し、骨導振動部は、当該骨導音のデータから骨導音を再生する。
これにより、モデル学習時と体内伝導音からの音声再生時との切り替えを容易に実現できる。
【００１７】
また、本発明の音声再現装置は、好ましくは、計算機は、音声再現装置から送信されたデータを受信する第２受信部と、体内伝達音のデータを用い、体内伝達音の特徴量を抽出する第１特徴量抽出部と、音声のデータを用い、音声の特徴量を抽出する第２特徴量抽出部と、時間的に同期した体内伝達音の特徴量と音声の特徴量とを相互に対応する学習データとし、学習処理によって、任意の体内伝達音の特徴量と任意の音声の特徴量との対応関係を示す音声対応付けモデルのパラメータを算出する音声学習部と、音声学習部で算出されたパラメータと、体内伝達音の特徴量とを用い、体内伝達音の特徴量に対応する音声の特徴量を算出する音声対応付けモデル適用部と、音声対応付けモデル適用部で算出された音声の特徴量を用い、音声のデータを生成する音声復元部と、音声復元部で生成された音声のデータを音声再現装置に送信する第２送信部と、を有し、第２受信部が時間的に同期した体内伝達音のデータと音声のデータとを受信した場合、第１特徴量抽出部は、第２受信部が受信した体内伝達音のデータを用いて体内伝達音の特徴量を抽出し、第２特徴量抽出部は、第２受信部が受信した音声のデータを用いて音声の特徴量を抽出し、音声学習部は、これらの特徴量を用いて音声対応付けモデルのパラメータを算出し、第２受信部が体内伝達音のデータのみを受信した場合、第１特徴量抽出部は、第２受信部が受信した体内伝達音のデータを用いて体内伝達音の特徴量を抽出し、音声対応付けモデル適用部は、抽出された体内伝達音の特徴量と音声学習部で算出されたパラメータとを用い、当該体内伝達音の特徴量に対応する音声の特徴量を算出し、音声復元部は、算出された音声の特徴量を用いて音声のデータを生成し、第２送信部は、音声復元部で生成された音声のデータを音声再現装置に送信する。
【００１８】
ここで、当該計算機は、第２受信部が時間的に同期した体内伝達音のデータと音声のデータとを受信したか、体内伝達音のデータのみを受信したかによって、モデル学習処理とモデル適用処理とを切り替えている。これにより、音声再現装置で煩雑な処理を行うことなく、発話者の発話状態に応じて、モデル学習処理とモデル適用処理とを適宜切り替えることができる。
【００１９】
また、本発明の音声再現装置は、好ましくは、計算機は、音声再現装置から送信されたデータを受信する第２受信部と、体内伝達音のデータを用い、体内伝達音の特徴量を抽出する第１特徴量抽出部と、骨導音のデータを用い、骨導音の特徴量を抽出する第３特徴量抽出部と、時間的に同期した体内伝達音の特徴量と骨導音の特徴量とを相互に対応する学習データとし、学習処理によって、任意の体内伝達音の特徴量と任意の骨導音の特徴量との対応関係を示す骨導音対応付けモデルのパラメータを算出する骨導音学習部と、骨導音学習部で算出されたパラメータと、体内伝達音の特徴量とを用い、体内伝達音の特徴量に対応する骨導音の特徴量を算出する骨導音対応付けモデル適用部と、骨導音対応付けモデル適用部で算出された骨導音の特徴量を用い、骨導音のデータを生成する骨導音復元部と、骨導音復元部で生成された骨導音のデータを音声再現装置に送信する第２送信部と、を有し、第２受信部が時間的に同期した体内伝達音のデータと骨導音のデータとを受信した場合、第１特徴量抽出部は、第２受信部が受信した体内伝達音のデータを用いて体内伝達音の特徴量を抽出し、第３特徴量抽出部は、第２受信部が受信した骨導音のデータを用いて骨導音の特徴量を抽出し、骨導音学習部は、これらの特徴量を用いて骨導音対応付けモデルのパラメータを算出し、第２受信部が体内伝達音のデータのみを受信した場合、第１特徴量抽出部は、第２受信部が受信した体内伝達音のデータを用いて体内伝達音の特徴量を抽出し、骨導音対応付けモデル適用部は、抽出された体内伝達音の特徴量と骨導音学習部で算出されたパラメータとを用い、当該体内伝達音の特徴量に対応する骨導音の特徴量を算出し、骨導音復元部は、算出された骨導音の特徴量を用いて骨導音のデータを生成し、第２送信部は、骨導音復元部で生成された骨導音のデータを音声再現装置に送信する。
【００２０】
ここで、当該計算機は、第２受信部が時間的に同期した体内伝達音のデータと骨導音のデータとを受信したか、体内伝達音のデータのみを受信したかによって、モデル学習処理とモデル適用処理とを切り替えている。これにより、音声再現装置で煩雑な処理を行うことなく、発話者の発話状態に応じて、モデル学習処理とモデル適用処理とを適宜切り替えることができる。
【発明の効果】
【００２１】
以上のように本発明では、利用者に煩雑な作業をさせることなく、体内伝達音から利用者個人の音声を再生することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
〔第１実施形態〕
以下、この発明の第１実施形態を述べる。
＜構成＞
図１（ａ）は、本形態のシステム全体の構成を例示した概念図である。
【００２３】
図１（ａ）に例示するように、本形態のシステムは、音声再現装置１０と計算機２０とを具備し、それらは接続線３０を介して通信可能に電気信号的に接続されている。音声再現装置１０は、体内伝導音から再現された音声を再生するためのヘッドフォンやイヤホンなどのスピーカ１１（「音声再生部」に相当）、体内伝導音を収音するための体内伝導音用マイク１２（「体内伝導音集音部」に相当）、通常音声を収音するための音声集音用マイク１３（「音声集音部」に相当）、それらと電気的に接続された本体１４及び声帯運動を伴う発話時であるか声帯運動を伴わない発話時であるかを示す入力操作を受け付ける切り替えスイッチ１４ａ（「発話状態入力部」に相当）を有している。
【００２４】
ここで、体内伝導音用マイク１２は、例えば、非特許文献２に記載された体表接着聴診器型マイクロフォンである。なお、最適な体内伝導音の集音のためには、この体内伝導音用マイク１２が具備する振動板の上部の一部が、発話者の頭蓋底の耳孔のすぐ後ろの「乳様突起」と呼ばれる骨部分にかかるように取り付けることが望ましい（非特許文献２参照）。また、計算機２０は、ＣＰＵ（Central Processing Unit）やＲＡＭ（Random‐Access Memory）等から構成される一般的なＰＣ（Personal Computer）でもよいし、ＣＰＵやＲＡＭ等を内蔵する携帯電話やＰＤＡ（Personal Digital Assistant）のような携帯機器であってもよいし、さらには本形態専用の計算処理可能な機器であってもよい。また、音声再現装置１０と計算機２０とは、別々の筺体内に構成されてもよいし、同一の筺体内に構成されてもよい。また、接続線３０には、音声ケーブル、光ファイバ、ネットワークケーブル等、音声や体内伝導音声の伝送形式に対応した形態ものを用いればよい。音声再現装置１０と計算機２０とは、単にデジタル的に接続されていてもよいし、モデム等のネットワーク接続機器を通して接続されてもよい。また、音声再現装置１０でＤ／Ａ変換やＡ／Ｄ変換を行なわない構成とし、音声再現装置１０と計算機２０とをＤ／Ａ変換器やＡ／Ｄ変換器を介して接続してもよい。
【００２５】
図１（ｂ）は、本形態の本体１４の構成を例示した概念図である。
図１（ｂ）に例示するように、本形態の本体１４は、切り替えスイッチ１４ａ、制御部１４ｂ、スイッチ１４ｃ，１４ｄ、Ａ／Ｄ変換器１４ｅ，１４ｆ、同期部１４ｇ、Ｄ／Ａ変換器１４ｈ、アンプ１４ｉ、送信部１４ｊ及び受信部１４ｋを具備する。なお、制御部１４ｂ及び同期部１４ｇは、例えば公知のコンピュータに所定のプログラムが読み込まれることにより構成されるものである。また、送信部１４ｊや受信部１４ｋは、伝送形式に対応した通信機器（例えば、ネットワークカードや光伝送モジュールなど）である。またＡ／Ｄ変換器１４ｅ，１４ｆは、物理的な回路としては１個であってもよい。
【００２６】
図１（ｂ）に例示するように、受信部１４ｋはスイッチ１４ｃを介してＤ／Ａ変換器１４ｈと電気的に接続され、Ｄ／Ａ変換器１４ｈはアンプ１４ｉを介してスピーカ１１に電気的に接続される。また、送信部１４ｊは、同期部１４ｇと接続される。同期部１４ｇは、スイッチ１４ｄとＡ／Ｄ変換器１４ｆとを介して音声集音用マイク１３に電気的に接続され、Ａ／Ｄ変換器１４ｅを介して体内伝導音用マイク１２に電気的に接続される。また、切り替えスイッチ１４ａは、その出力信号が制御部１４ｂに入力可能に構成され、制御部１４ｂはスイッチ１４ｃ，１４ｄに対して制御信号を供給可能に構成される。なお、本体１４は、制御部１４ｂの制御のもと各処理を実行する。
また、本形態の計算機２０には所定のプログラムが読み込まれ、ＣＰＵがそのプログラムを実行することにより各機能構成が実現される。図２は、このように実現される本形態の計算機２０の機能構成を例示したブロック図である。
【００２７】
図２に例示するように、本形態の計算機２０は、受信部２０ａ、判定部２０ｂ、第１特徴量抽出部２０ｃ、第２特徴量抽出部２０ｄ、記憶部２０ｅ，２０ｇ、音声学習部２０ｆ、音声対応付けモデル適用部２０ｈ、音声復元部２０ｉ、送信部２０ｊ、一時メモリ２０ｋ及び制御部２０ｍを具備する。ここで、受信部２０ａ及び送信部２０ｊは、ＣＰＵの制御のもと駆動する伝送形式に対応した通信機器であり、記憶部２０ｅ，２０ｇ及び一時メモリ２０ｋは、例えばＲＡＭ、レジスタ、ハードディスク又はそれらを複合した記憶領域である。また、判定部２０ｂ、第１特徴量抽出部２０ｃ、第２特徴量抽出部２０ｄ、音声学習部２０ｆ、音声対応付けモデル適用部２０ｈ、音声復元部２０ｉ及び制御部２０ｍは、ＣＰＵ上で所定のプログラムが実行されることにより構成されるものである。なお、計算機２０は、制御部２０ｍの制御のもと各処理を実行する。また、特に明記しない限り、各処理によって算出されたデータは一旦一時メモリ２０ｋに格納され、必要に応じて読み出されるものとする。
【００２８】
＜音声再現装置１０の動作＞
次に、本形態の音声再現装置１０の動作について説明する。
利用者は、声帯運動を伴う通常の発話を行うか、声帯振動を伴わない発話を行うかに応じ、切り替えスイッチ１４ａを切り替える。切り替えスイッチ１４ａのスイッチング状態は電気信号として制御部１４ｂに入力される。制御部１４ｂは、入力された電気信号が示す切り替えスイッチ１４ａのスイッチング状態に応じ、スイッチ１４ｃ，１４ｄを以下のように制御する。
【００２９】
【表１】
2008129524.tif 000003
すなわち、切り替えスイッチ１４ａが声帯運動を伴う発話を示す状態にスイッチングされた場合、制御部１４ｂは、スイッチ１４ｃをＯＦＦにし、スイッチ１４ｄをＯＮとする。一方、切り替えスイッチ１４ａが声帯運動を伴わない発話を示す状態にスイッチングされた場合、制御部１４ｂは、スイッチ１４ｃをＯＮにし、スイッチ１４ｄをＯＦＦとする。このような状態において、声帯運動を伴う発話又は声帯運動を伴わない発話が行われると、音声再現装置１０は以下のように動作する。
【００３０】
［声帯運動を伴う発話時の動作（スイッチ１４ｃ：ＯＦＦ，スイッチ１４ｄ：ＯＮ）］
発話者が声帯運動を伴う発話を行う場合、発話された通常の音声は音声集音用マイク１３で集音されてアナログ電気信号に変換される。それと同時に、この発話に伴う体内伝達音が体内伝導音用マイク１２で集音されてアナログ電気信号に変換される。集音された体内伝達音のアナログ電気信号と音声のアナログ電気信号とは、それぞれＡ／Ｄ変換器１４ｅ，１４ｆでデジタル電気信号に変換され、同期部１４ｇに入力される。同期部１４ｇは、体内伝達音のデジタル電気信号と音声のデジタル電気信号とを時間的に同期させ、送信部１４ｊに送る。なお、この同期は、例えば入力された順に、体内伝達音のデジタル電気信号と音声のデジタル電気信号とを離散時間毎に対応付けることによって行われる。また、時間的に同期させた体内伝達音のデジタル電気信号と音声のデジタル電気信号とには、制御部１４ｂの制御のもと、例えば、信号の種別を示すデータなどの制御用データも付加される。送信部１４ｊは、送られたデジタル電気信号をデジタルデータとして、或いは、特定のプロトコルに基づくネットワークデータとして、接続線３０を経由して計算機２０に送信する。なお、音声再現装置１０にＡ／Ｄ変換器１４ｅ，１４ｆを設けず、集音された体内伝達音のアナログ電気信号と音声のアナログ電気信号と時間的に同期させたアナログ電気信号をそのまま計算機２０に送信する構成としてもよい。この場合には、計算機２０がアナログ電気信号からデジタル信号への変換を行う。
【００３１】
このように計算機２０に送信されたデータは、計算機２０が体内伝導音と音声とを対応付ける音声対応付けモデルを学習するために用いられる。計算機２０の処理は後述する。また、切り替えスイッチ１４ａが声帯運動を伴う発話を示す状態にスイッチングされている場合、制御部１４ｂはスピーカ１１や骨導振動子１１５での再生動作を実行させない。
【００３２】
［声帯運動を伴わない発話時の動作（スイッチ１４ｃ：ＯＮ，スイッチ１４ｄ：ＯＦＦ）］
発話者が声帯運動を伴わない発話を行う場合、その発話に伴う体内伝達音は、体内伝導音用マイク１２で集音されてアナログ電気信号に変換される。集音された体内伝達音は、Ａ／Ｄ変換器１４ｆでデジタル電気信号に変換され、同期部１４ｇに入力される。同期部１４ｇは、制御部１４ｂの制御のもと、当該体内伝達音のデジタル電気信号に対し、例えば、信号の種別を示すデータなどの制御用データを付加し、送信部１４ｊに送る。送信部１４ｊは、送られたデジタル電気信号をデジタルデータとして、或いは、特定のプロトコルに基づくネットワークデータとして、接続線３０を経由して計算機２０に送信する。なお、集音された体内伝達音のアナログ電気信号をそのまま計算機２０に送信する構成としてもよい。この場合には、計算機２０がアナログ電気信号からデジタル電気信号への変換を行う。
【００３３】
計算機２０は、送られた体内伝達音のデータに対し、音声対応付けモデルを用いて音声のデータを生成し、生成した音声のデータをデジタル電気信号として音声再現装置１０に送信する（計算機２０の動作は後述）。計算機２０から送信された音声のデジタル電気信号は音声再現装置１０の受信部１４ｋで受信され、スイッチ１４ｃを介してＤ／Ａ変換器１４ｈに入力される。Ｄ／Ａ変換器１４ｈは、入力された音声のデジタル電気信号をアナログ信号に変換してスピーカ１１に入力する。スピーカ１１は、入力された音声のアナログ信号に基づいた音声を、利用者が設定するか予め設定された音量で再生する。なお、計算機２０から音声のアナログ信号が伝送される構成の場合には、Ｄ／Ａ変換器１４ｈは不要であり、スピーカ１１は伝送された音声のアナログ信号から音声再生を行う。
【００３４】
＜計算機２０の動作＞
次に、計算機２０の動作を例示する。
図３は、本形態の計算機２０の動作を説明するためのフローチャートである。以下、この図に従い、本形態の計算機２０の動作を例示する。
まず、音声再現装置１０から送信された電気信号は受信部２０ａで受信される（ステップＳ１）。受信された電気信号は、必要に応じて計算機２０での処理に適したデータに変換され、変換されたデータは一時メモリ２０ｋにバッファされ、例えば、フレーム単位で判定部２０ｂに送られる。
【００３５】
判定部２０ｂは、送られた受信データが音声データを含むか否かを判定する（ステップＳ２）。この判定は、例えば、判定部２０ｂが、受信データが具備する制御用データを参照して行う。ここで、受信データが音声データを含むと判定された場合には、以下のステップＳ３からＳ６の処理が実行され、受信データが音声データを含まないと判定された場合には、以下のステップＳ７からＳ１０の処理が実行される。この制御は制御部２０ｍが行う。
【００３６】
［受信データが音声データを含むと判定された場合（Ｓ３〜Ｓ６）］
まず、第１特徴量抽出部２０ｃが、判定部２０ｂから転送された体内伝達音のデータを分析し、当該体内伝達音の特徴量〔Ｙｊ（ｊ＝１，....，Ｊ、Ｊは自然数）〕を抽出する（ステップＳ３）。また、第２特徴量抽出部２０ｄが、判定部２０ｂから転送された音声のデータ（ステップＳ３の体内伝達音のデータと時間的に同期した音声のデータ）を分析し、音声の特徴量（Ｘｊ）を抽出する（ステップＳ４）。ここで抽出する特徴量としては、例えばスペクトル、基本周波数、音源成分、非周期成分やそれらの動的特徴（一次時間差分、二次時間差分）等を例示できる。また分析方法には、例えば、ＬＰＣ分析法、ケプストラム分析法、STRAIGHT分析法などの周知の方法を用いる。また、自然数Ｊは抽出する特徴量の種別数を示し、ｊは抽出する特徴量の種別に対応する識別子である。
次に、第１特徴量抽出部２０ｃで抽出された体内伝達音の特徴量（Ｙｊ）と、第２特徴量抽出部２０ｄで抽出された音声の特徴量（Ｘｊ）とを、例えば、所定の時間区間であるフレーム単位で対応付けて記憶部２０ｅに格納する（ステップＳ５）。
【００３７】
次に、音声学習部２０ｆが、相互に対応付けられた体内伝達音の特徴量（Ｙｊ）と音声の特徴量（Ｘｊ）とを記憶部２０ｅから読み込み、これらを相互に対応する学習データとし、学習処理によって、任意の体内伝達音の特徴量と任意の音声の特徴量との対応関係を示す音声対応付けモデルのパラメータを算出する（ステップＳ６）。この処理は特徴量の種別毎（ｊ毎）にそれぞれ実行され、算出された音声対応付けモデルのパラメータはｊ毎に記憶部２０ｇに格納される。なお、音声対応付けモデルとしては、例えば、非特許文献１と同様、混合正規分布モデル（GMM: Gaussian Mixture Model）を用いることができる。ただし、非特許文献１の手法では動的計画法を用いて両特徴量の対応付けを行っているが、本形態の場合、両特徴量は時間的に同期しているデータであり、動的計画法による対応付けは不要である。この点も本形態の特徴である。すなわち本形態の場合、動的計画法による両特徴量の対応付けが不要であるため、計算機２０での計算時間を短縮できるという効果、並びに、対応付けの誤りによってモデルの分散が増加し、結果的に再現音声の品質劣化を引き起こすという問題を発生させないという効果を有する。なお、ステップＳ６は必ずしも毎回実行する必要はなく、所定数組の特徴量Ｘｊ，Ｙｊが収集されるたびに実行してもよい。
【００３８】
［モデル学習の具体例］
以下にモデル学習の具体例を示す。
この具体例の音声対応付けモデルは以下のＧＭＭである。
【数１】
2008129524.tif 000004
ここで、特徴量Ｘｊ，Ｙｊはそれぞれベクトルであり、pj(Xｊ ,Yｊ)は特徴量Ｘｊ，Ｙｊの結合確率密度であり、ＭはＧＭＭを構成する正規分布の数を示す自然数であり、N(Xｊ, Yｊ ; Mmj, Σmj)はｍ（m=1,...,M）番目の正規分布を意味し、λｍjはｍ番目の正規分布N(Xｊ, Yｊ ; Mmj, Σmj)の重みを意味する。また、Ｍｍjは、特徴量Ｘｊのｍ番目の平均ベクトルμｍＸjと、特徴量Ｙｊのｍ番目の平均ベクトルμｍＹjとの集合を示す。また、Σｍは、平均ベクトルμｍＸjに対応する特徴量Ｘｊの共分散行列ΣｍＸjと、平均ベクトルμｍＹjに対応する特徴量Ｙｊの共分散行列ΣｍＹjと、平均ベクトルμｍＸjに対応する特徴量Ｘｊと平均ベクトルμｍＹjに対応する特徴量Ｙｊとの組に対する共分散行列ΣｍＹjＸjと、の集合を示す。
【００３９】
また、ＧＭＭの学習には周知のＥＭアルゴリズムを利用することが一般的である（例えば、K. Tokuda, T. Yoshimura, T. Masuko, T. Kobayashi and T. Kitamura, "Speech parameter generation algorithm for HMM-based speech synthesis", Proc. ICASSP'2000, pp. 1315-1318等参照）。以下にＥＭアルゴリズムを用いたＧＭＭの学習方法を例示する。
まず、特徴量Ｘｊ，Ｙｊについて以下のような関係を定義できる。
【００４０】
【数２】
2008129524.tif 000005
ここでＥは期待値であり、Ｗｊｍはｍ番目の変換行列であり、ｂｊｍはｍ番目のバイアス定数である。なお、P(cm|Yj)は、ｍ番目の正規分布N(Xｊ, Yｊ ; Mmｊ, Σmｊ)からの特徴量Yｊの出現確率であり、下記のように示される。
【００４１】
【数３】
2008129524.tif 000006
このとき、ＥＭアルゴリズムのＱ関数を以下のようにする。
【００４２】
【数４】
2008129524.tif 000007
そして、ＥＭアルゴリズムのＥステップでは、パラメータλmj，Ｍｍj，Σｍjに対して式（４）の計算を行い、Ｑを算出する。なお、パラメータＭｍjは、学習データである複数の特徴量Ｘｊ，Ｙｊに対して決定される値である（どの特徴量Ｘｊ，Ｙｊがどのｍに対応するかは未知）。また、パラメータＭｍjが決定されればパラメータΣｍjも定まる。
【００４３】
また、ＥＭアルゴリズムのＭステップでは、上記Ｅステップで用いたパラメータＭｍj，Σｍjが代入された式（４）によって算出されるＱを最大化するパラメータλmjを次のＥステップにおけるパラメータλmjの値する。具体的には、例えば、上記Ｅステップで用いたパラメータＭｍj，Σｍjが代入され、パラメータλmjを変数とした式（４）をλmjで偏微分し、その偏微分結果が０となるλmjを次のＥステップにおけるパラメータλmjの値する。さらに、このＭステップでは、上記Ｅステップで用いたλmjが代入された式（４）において、学習データである複数の特徴量Ｘｊ，Ｙｊに対してパラメータＭｍj，Σｍjを決定した場合にＱが最大となるようにパラメータＭｍj，Σｍjを決定する。このパラメータＭｍj，Σｍjの決定は、例えば、パラメータＭｍjに関する変数の偏微分によって行う。すなわち、まず、学習データである複数の特徴量Ｘｊ，Ｙｊとｍとを対応付ける関数ＦによってパラメータＭｍj，Σｍjを表現する。そして、このように表現したパラメータＭｍj，Σｍjと上記Ｅステップで用いたλmjとが代入された式（４）を関数Ｆの変数によって偏微分し、その偏微分結果が０となる関数Ｆの変数を決定して、次のＥステップにおけるパラメータＭｍj，Σｍjを決定する。
【００４４】
そして、上記のようなＥステップとＭステップとをＱが所定範囲に収束するまで繰り返し、Ｑが所定範囲に収束した際の各パラメータλｍj，Ｍｍj，ΣｍjをＧＭＭのモデルパラメータとして決定する。
また、各パラメータλｍj，Ｍｍj，Σｍjが決定された場合、式（２）と式（４）とを照合すれば、変換行列Ｗｊｍとバイアス定数ｂｊｍとが
Wjm=ΣmYjXj・(ΣmYj)-1  …(5)
bjm=μmXj‐ΣmYjXj・(ΣmYj)-1・μmYj  …(6)
のように定まる（［モデル学習の具体例］の説明終わり）。
【００４５】
［受信データが音声データを含まないと判定された場合（Ｓ７〜Ｓ１０）］
まず、第１特徴量抽出部２０ｃが、判定部２０ｂから転送された体内伝達音のデータを分析し、当該体内伝達音の特徴量（Ｙｊ’）を抽出する（ステップＳ７）。抽出された体内伝達音の特徴量（Ｙｊ’）は音声対応付けモデル適用部２０ｈに転送される。音声対応付けモデル適用部２０ｈは、記憶部２０ｇから読み込んだ音声対応付けモデルのパラメータと体内伝達音の特徴量（Ｙｊ’）とを用い、各ｊについて、体内伝達音の特徴量（Ｙｊ’）に対応する音声の特徴量（Ｘｊ’）を算出する（ステップＳ８）。具体的には、例えば、前述の式（５）（６）の演算結果と体内伝達音の特徴量（Ｙｊ’）とを式（２）に代入し、その演算結果をＸｊ’とする。
【００４６】
算出された音声の特徴量（Ｘｊ’）は音声復元部２０ｉに転送され、音声復元部２０ｉは音声の特徴量（Ｘｊ’）から音声波形を合成し、音声データを生成する（ステップＳ９）。音声波形データの合成は、特徴量（Ｘｊ’）を抽出する際の分析方法と対となる合成方法によって行う。例えば、第２特徴量抽出部２０ｄがＬＰＣ分析法によって特徴量を抽出する構成であれば、音声復元部２０ｉはＬＰＣ合成法によって合成を行う。また、第２特徴量抽出部２０ｄがケプストラム分析法によって特徴量を抽出する構成であれば、音声復元部２０ｉはケプストラム合成法によって合成を行う。また、第２特徴量抽出部２０ｄがSTRAIGHT分析法によって特徴量を抽出する構成であれば、音声復元部２０ｉはSTRAIGHT合成法によって合成を行う。
音声復元部２０ｉで生成された音声データは送信部２０ｊから音声再現装置１０に送信され、前述のように音声再現装置１０のスピーカ１１で再生される。
【００４７】
〔第２実施形態〕
次に、この発明の別な実施形態を述べる。本形態は、体内伝導音から音声だけではなく骨導音をも再生する形態である。以下では、第１実施形態との相違点を中心に説明し、第１実施形態と共通する事項については説明を簡略化する。
【００４８】
＜構成＞
図４は、本形態のシステム全体の構成を例示した概念図である。なお、図４において第１実施形態と共通する部分については図１（ａ）と同じ符号を付した。
図４に例示するように、本形態のシステムは、音声再現装置１１０と計算機１２０とを具備し、それらは接続線３０を介して通信可能に電気信号的に接続されている。音声再現装置１１０は、発話に起因する骨導音の集音及び骨導音の再生を行う骨導振動子（「骨導振動部」に相当）、スピーカ１１（「音声再生部」に相当）、体内伝導音用マイク１２（「体内伝導音集音部」に相当）、音声集音用マイク１３（「音声集音部」に相当）、本体１４及び切り替えスイッチ１４ａ（「発話状態入力部」に相当）を有している。なお、第１実施形態と同様、計算機１２０は、一般的なＰＣでもよいし、ＣＰＵやＲＡＭ等を内蔵する携帯機器であってもよいし、さらには本形態専用の計算処理可能な機器であってもよい。また、音声再現装置１１０と計算機１２０とは、別々の筺体内に構成されてもよいし、同一の筺体内に構成されてもよい。また、音声再現装置１１０でＤ／Ａ変換やＡ／Ｄ変換を行わない構成とし、音声再現装置１１０と計算機１２０とをＤ／Ａ変換器やＡ／Ｄ変換器を介して接続してもよい。
【００４９】
図５は、本形態の本体１１４の構成を例示した概念図である。なお、図５において第１実施形態と共通する部分については図１（ｂ）と同じ符号を付した。
図５に例示するように、本形態の本体１１４は、切り替えスイッチ１４ａ、制御部１４ｂ、スイッチ１４ｃ，１４ｄ，１１４ａ，１１４ｂ、Ａ／Ｄ変換器１４ｅ，１４ｆ，１１４ｃ、同期部１４ｇ、Ｄ／Ａ変換器１４ｈ，１１４ｂ、アンプ１４ｉ、送信部１４ｊ及び受信部１４ｋを具備する。なお、Ａ／Ｄ変換器１４ｅ，１４ｆ，１１４ｃは、物理的な回路としては１個であってもよく、Ｄ／Ａ変換器１４ｈ，１１４ｂも、物理的な回路としては１個であってもよい。
【００５０】
図５に例示するように、受信部１４ｋは、スイッチ１１４ｂを介してＤ／Ａ変換器１１４ｄと電気的に接続され、Ｄ／Ａ変換器１１４ｄは骨導振動子１１５に電気的に接続される。また、受信部１４ｋは、スイッチ１４ｃを介してＤ／Ａ変換器１４ｈと電気的に接続され、Ｄ／Ａ変換器１４ｈはアンプ１４ｉを介してスピーカ１１に電気的に接続される。また、送信部１４ｊは、同期部１４ｇと接続される。同期部１４ｇは、スイッチ１１４ａとＡ／Ｄ変換器１１４ｃとを介して骨導振動子１１５に電気的に接続され、スイッチ１４ｄとＡ／Ｄ変換器１４ｆとを介して音声集音用マイク１３に電気的に接続され、Ａ／Ｄ変換器１４ｅを介して体内伝導音用マイク１２に電気的に接続される。また、切り替えスイッチ１４ａは、その出力信号が制御部１４ｂに入力可能に構成され、制御部１４ｂはスイッチ１４ｃ，１４ｄ，１１４ａ，１１４ｂに対して制御信号を供給可能に構成される。なお、本体１１４は、制御部１４ｂの制御のもと各処理を実行する。
【００５１】
また、本形態の計算機１２０には所定のプログラムが読み込まれ、ＣＰＵがそのプログラムを実行することにより各機能構成が実現される。図６は、このように実現される本形態の計算機１２０の機能構成を例示したブロック図である。なお、図６において第１実施形態と共通する部分については図２と同じ符号を付した。
【００５２】
図６に例示するように、本形態の計算機１２０は、受信部２０ａ、判定部２０ｂ、第１特徴量抽出部２０ｃ、第２特徴量抽出部２０ｄ、第３特徴量抽出部１２０ｄ、記憶部１２０ｅ，１２０ｇ、音声学習部２０ｆ、骨導音学習部１２０ｆ、音声対応付けモデル適用部２０ｈ、骨導音対応付けモデル適用部１２０ｈ、音声復元部２０ｉ、骨導音復元部１２０ｉ、送信部２０ｊ、一時メモリ２０ｋ及び制御部２０ｍを具備する。ここで、第３特徴量抽出部１２０ｄ、骨導音学習部１２０ｆ、骨導音対応付けモデル適用部１２０ｈ及び骨導音復元部１２０ｉは、ＣＰＵ上で所定のプログラムが実行されることにより構成されるものである。なお、計算機１２０は、制御部２０ｍの制御のもと各処理を実行する。
【００５３】
＜音声再現装置１１０の動作＞
次に、本形態の音声再現装置１１０の動作について説明する。
利用者は、声帯運動を伴う通常の発話を行うか、声帯振動を伴わない発話を行うかに応じ、切り替えスイッチ１４ａを切り替える。切り替えスイッチ１４ａのスイッチング状態は電気信号として制御部１４ｂに入力される。制御部１４ｂは、入力された電気信号が示す切り替えスイッチ１４ａのスイッチング状態に応じ、スイッチ１４ｃ，１４ｄ，１１４ａ，１１４ｂを以下のように制御する。
【００５４】
【表２】
2008129524.tif 000008
すなわち、切り替えスイッチ１４ａが声帯運動を伴う発話を示す状態にスイッチングされた場合、制御部１４ｂは、スイッチ１４ｃをＯＦＦにし、スイッチ１４ｄをＯＮとし、スイッチ１１４ａをＯＮにし、スイッチ１１４ｂをＯＦＦとする。一方、切り替えスイッチ１４ａが声帯運動を伴わない発話を示す状態にスイッチングされた場合、制御部１４ｂは、スイッチ１４ｃをＯＮにし、スイッチ１４ｄをＯＦＦとし、スイッチ１１４ａをＯＦＦにし、スイッチ１１４ｂをＯＮとする。このような状態において、声帯運動を伴う発話又は声帯運動を伴わない発話が行われると、音声再現装置１１０は以下のように動作する。
【００５５】
［声帯運動を伴う発話時の動作（スイッチ１４ｃ：ＯＦＦ，スイッチ１４ｄ：ＯＮ，スイッチ１１４ａ：ＯＮ，スイッチ１１４ｂ：ＯＦＦ）］
発話者が声帯運動を伴う発話を行う場合、発話された通常の音声は音声集音用マイク１３で集音されてアナログ電気信号に変換される。それと同時に、この発話に伴う骨導音が骨導振動子１１５で集音されてアナログ電気信号に変換され、体内伝達音が体内伝導音用マイク１２で集音されてアナログ電気信号に変換される。体内伝達音のアナログ電気信号と骨導音のアナログ電気信号と音声のアナログ電気信号とは、それぞれＡ／Ｄ変換器１４ｅ，１１４ｃ，１４ｆでデジタル電気信号に変換され、同期部１４ｇに入力される。同期部１４ｇは、体内伝達音のデジタル電気信号と骨導音のデジタル電気信号と音声のデジタル電気信号とを時間的に同期させ、送信部１４ｊに送る。なお、第１実施形態と同様、これらの信号には、制御部１４ｂの制御のもと、例えば、信号の種別を示すデータなどの制御用データも付加される。送信部１４ｊは、送られたデジタル電気信号をデジタルデータとして、或いは、特定のプロトコルに基づくネットワークデータとして、接続線３０を経由して計算機１２０に送信する。なお、第１実施形態で述べた変形例のように、集音された体内伝達音と骨導音と音声をアナログ信号のまま計算機１２０に送信する構成としてもよい。この場合には、計算機１２０がアナログ電気信号からデジタル信号への変換を行う。
【００５６】
このように計算機１２０に送信されたデータは、計算機１２０が体内伝導音と音声とを対応付ける音声対応付けモデル及び体内伝導音と骨同音とを対応付ける骨導音対応付けモデルを学習するために用いられる。計算機１２０の処理は後述する。また、切り替えスイッチ１４ａが声帯運動を伴う発話を示す状態にスイッチングされている場合、制御部１４ｂはスピーカ１１に再生動作を実行させない。
【００５７】
［声帯運動を伴わない発話時の動作（スイッチ１４ｃ：ＯＮ，スイッチ１４ｄ：ＯＦＦ，スイッチ１１４ａ：ＯＦＦ，スイッチ１１４ｂ：ＯＮ）］
発話者が声帯運動を伴わない発話を行う場合、その発話に伴う体内伝達音は、体内伝導音用マイク１２で集音されてアナログ電気信号に変換される。集音された体内伝達音は、Ａ／Ｄ変換器１４ｆでデジタル電気信号に変換され、同期部１４ｇに入力される。同期部１４ｇは、制御部１４ｂの制御のもと、当該体内伝達音のデジタル電気信号に対し、例えば、信号の種別を示すデータなどの制御用データを付加し、送信部１４ｊに送る。送信部１４ｊは、送られたデジタル電気信号をデジタルデータとして、或いは、特定のプロトコルに基づくネットワークデータとして、接続線３０を経由して計算機１２０に送信する。なお、集音された体内伝達音のアナログ電気信号をそのまま計算機１２０に送信する構成としてもよい。この場合には、計算機１２０がアナログ電気信号からデジタル電気信号への変換を行う。
【００５８】
計算機１２０は、送られた体内伝達音のデータに対し、音声対応付けモデルを用いて音声のデータを生成し、骨導音対応付けモデルを用いて骨導音のデータを生成し、生成したこれらのデータをデジタル電気信号として音声再現装置１１０に送信する（計算機１２０の動作は後述）。計算機１２０から送信された音声及び骨導音のデジタル電気信号は音声再現装置１１０の受信部１４ｋで受信される。音声のデジタル電気信号はスイッチ１４ｃを介してＤ／Ａ変換器１４ｈに入力される。Ｄ／Ａ変換器１４ｈは、入力された音声のデジタル電気信号をアナログ信号に変換してスピーカ１１に入力する。また、骨導音のデジタル電気信号はスイッチ１１４ｂを介してＤ／Ａ変換器１１４ｄに入力される。Ｄ／Ａ変換器１１４ｄは、入力された骨導音のデジタル電気信号をアナログ信号に変換して骨導振動子１１５に入力する。スピーカ１１は、入力された音声のアナログ信号に基づいた音声を、利用者が設定するか予め設定された音量で再生し、骨導振動子１１５は、入力された骨導音のアナログ信号に基いた骨同音を再生する。なお、計算機１２０から骨導音のアナログ信号が伝送される構成の場合には、Ｄ／Ａ変換器１１４ｄは不要であり、骨導振動子１１５は伝送された骨導音のアナログ信号から骨導音の再生を行う。
【００５９】
＜計算機１２０の動作＞
次に、計算機１２０の動作を例示する。図７は、本形態の計算機１２０の動作を説明するためのフローチャートである。以下、この図に従い、本形態の計算機１２０の動作を例示する。
まず、音声再現装置１１０から送信された電気信号は受信部２０ａで受信される（ステップＳ２１）。受信された電気信号は、必要に応じて計算機１２０での処理に適したデータに変換され、変換されたデータは一時メモリ２０ｋにバッファされ、例えば、フレーム単位で判定部２０ｂに送られる。
判定部２０ｂは、送られた受信データが音声データや骨導音データを含むか否かを判定する（ステップＳ２２）。ここで、受信データが音声データや骨導音データを含むと判定された場合には、以下のステップＳ２３からＳ２９の処理が実行され、受信データが音声データを含まないと判定された場合には、以下のステップＳ３０からＳ３５の処理が実行される。この制御は制御部２０ｍが行う。
【００６０】
［受信データが音声データを含むと判定された場合（Ｓ２３〜Ｓ２９）］
まず、第１特徴量抽出部２０ｃが、判定部２０ｂから転送された体内伝達音のデータを分析し、当該体内伝達音の特徴量（Ｙｊ）を抽出する（ステップＳ２３）。また、第２特徴量抽出部２０ｄが、判定部２０ｂから転送された音声のデータ（ステップＳ２３の体内伝達音のデータと時間的に同期した音声のデータ）を分析し、音声の特徴量（Ｘｊ）を抽出する（ステップＳ２４）。さらに、第３特徴量抽出部１２０ｄが、判定部２０ｂから転送された骨導音のデータ（ステップＳ２３の体内伝達音のデータと時間的に同期した骨導音のデータ）を分析し、骨導音の特徴量（Ｚｊ）を抽出する（ステップＳ２４）。なお、ここで抽出する各特徴量は、第１実施形態で例示したものと同様である。
【００６１】
次に、第１特徴量抽出部２０ｃで抽出された体内伝達音の特徴量（Ｙｊ）と、第２特徴量抽出部２０ｄで抽出された音声の特徴量（Ｘｊ）とを、例えば、所定の時間区間であるフレーム単位で対応付けて記憶部１２０ｅに格納する（ステップＳ２６）。また、第１特徴量抽出部２０ｃで抽出された体内伝達音の特徴量（Ｙｊ）と、第３特徴量抽出部１２０ｄで抽出された骨導音の特徴量（Ｚｊ）とを、例えば、所定の時間区間であるフレーム単位で対応付けて記憶部１２０ｅに格納する（ステップＳ２７）。
【００６２】
次に、音声学習部２０ｆが、相互に対応付けられた体内伝達音の特徴量（Ｙｊ）と音声の特徴量（Ｘｊ）とを記憶部２０ｅから読み込み、これらを相互に対応する学習データとし、学習処理によって、任意の体内伝達音の特徴量と任意の音声の特徴量との対応関係を示す音声対応付けモデルのパラメータを算出する（ステップＳ２８）。また、骨導音学習部１２０ｆが、相互に対応付けられた体内伝達音の特徴量（Ｙｊ）と骨導音の特徴量（Ｚｊ）とを記憶部１２０ｅから読み込み、これらを相互に対応する学習データとし、学習処理によって、任意の体内伝達音の特徴量と任意の骨導音の特徴量との対応関係を示す骨導音対応付けモデルのパラメータを算出する（ステップＳ２９）。なお、骨導音対応付けモデルは、例えば、非特許文献１と同様、混合正規分布モデル（GMM）であり、その学習方法は例えば第１実施形態で述べた通りである。なお、第１実施形態で述べたのと同様、本形態の骨導音対応付けモデルの学習においても、動的計画法による両特徴量の対応付けが不要であるため、計算機１２０での計算時間を短縮できるという効果、並びに、対応付けの誤りによってモデルの分散が増加し、結果的に再現骨導音の品質劣化を引き起こすという問題を発生させないという効果が得られる。なお、ステップＳ２８，Ｓ２９は必ずしも毎回実行する必要はなく、所定数組の特徴量Ｘｊ，Ｙｊ及び特徴量Ｚｊ，Ｙｊが収集されるたびに実行してもよい。
【００６３】
［受信データが音声データを含まないと判定された場合（Ｓ３０〜Ｓ３５）］
まず、第１特徴量抽出部２０ｃが、判定部２０ｂから転送された体内伝達音のデータを分析し、当該体内伝達音の特徴量（Ｙｊ’）を抽出する（ステップＳ３０）。抽出された体内伝達音の特徴量（Ｙｊ’）は音声対応付けモデル適用部２０ｈと骨導音対応付けモデル適用部１２０ｈに転送される。
【００６４】
第１実施形態と同様、音声対応付けモデル適用部２０ｈは、記憶部２０ｇから読み込んだ音声対応付けモデルのパラメータと体内伝達音の特徴量（Ｙｊ’）とを用い、各ｊについて、体内伝達音の特徴量（Ｙｊ’）に対応する音声の特徴量（Ｘｊ’）を算出する（ステップＳ３１）。算出された音声の特徴量（Ｘｊ’）は音声復元部２０ｉに転送され、音声復元部２０ｉは音声の特徴量（Ｘｊ’）から音声波形を合成し、音声データを生成する（ステップＳ３２）。
【００６５】
また、骨導音対応付けモデル適用部１２０ｈは、記憶部２０ｇから読み込んだ骨導音対応付けモデルのパラメータと体内伝達音の特徴量（Ｙｊ’）とを用い、各ｊについて、体内伝達音の特徴量（Ｙｊ’）に対応する骨導音の特徴量（Ｚｊ’）を算出する（ステップＳ３３）。算出された骨導音の特徴量（Ｚｊ’）は骨導音復元部１２０ｉに転送され、骨導音復元部１２０ｉは骨導音の特徴量（Ｚｊ’）から骨導音波形を合成し、骨導音データを生成する（ステップＳ３４）。
音声復元部２０ｉで生成された音声データと骨導音データは送信部２０ｊから音声再現装置１１０に送信され、前述のように音声再現装置１１０のスピーカ１１と骨導振動子１１５で再生される。
【００６６】
〔変形例等〕
なお、本発明は上述の実施の形態に限定されるものではない。例えば、第１，第２実施形態において、声帯運動を伴わない発話時にスイッチ１４ｃをＯＦＦとすることができる構成としてもよい。これにより、フィードバック音の漏れが問題となるような静寂な環境でも本システムを利用できる。特に第２実施形態では、音声によるフィードバックを行わなくても骨導音でのフィードバックが可能であるため、声帯運動を伴わない発話時にスイッチ１４ｃをＯＦＦとできる構成は有効である。
【００６７】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【００６８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００６９】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００７０】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【産業上の利用可能性】
【００７１】
本発明の産業上の利用分野としては、例えば、非可聴つぶやき（NAM）を用いた無音電話等を例示できる。
【図面の簡単な説明】
【００７２】
【図１】図１（ａ）は、第１実施形態のシステム全体の構成を例示した概念図である。図１（ｂ）は、第１実施形態の本体の構成を例示した概念図である。
【図２】図２は、第１実施形態の計算機の機能構成を例示したブロック図である。
【図３】図３は、第１実施形態の計算機の動作を説明するためのフローチャートである。
【図４】図４は、第２実施形態のシステム全体の構成を例示した概念図である。
【図５】図５は、第２実施形態の本体の構成を例示した概念図である。
【図６】図６は、第２実施形態の計算機の機能構成を例示したブロック図である。
【図７】図７は、第２実施形態の計算機の動作を説明するためのフローチャートである。
【符号の説明】
【００７３】
１０，１００  音声再現装置
２０，１２０  計算機  
【図１】
2008129524.tif 000009
【図２】
2008129524.tif 000010
【図３】
2008129524.tif 000011
【図４】
2008129524.tif 000012
【図５】
2008129524.tif 000013
【図６】
2008129524.tif 000014
【図７】
2008129524.tif 000015