(57)【要約】  本発明の音声推定システムは、試験信号を発信する発信部２と、試験信号を受信する受信部３と、受信信号から音声を推定する音声推定部４とを有する。発信部２は音声器官に向けて試験信号を発信し、受信部３は音声器官で反射された試験信号を受信し、音声推定部４は、受信部３が受信した試験信号の反射波の波形に基づいて、音声又は音声波形を推定する。
2008062782.tif 000002
【特許請求の範囲】
【請求項１】
音声器官の形状または動きから音声または音声波形を推定する音声推定システムであって、
試験信号を音声器官に向けて発信する発信部と、
前記発信部によって発信される試験信号の音声器官での反射信号を受信する受信部と、
前記受信部によって受信される反射信号から、音声または音声波形を推定する音声推定部と、
を有する音声推定システム。
【請求項２】
音声推定部は、音声として、音素、音韻、音調、声量、声質、音質のうちの少なくとも１つの要素を推定する、請求の範囲１に記載の音声推定システム。
【請求項３】
発信部は、超音波または赤外線による試験信号を発信する請求の範囲１または請求の範囲２に記載の音声推定システム。
【請求項４】
音声推定部は、受信部が受信した反射信号の波形である受信波形から音声波形を推定する受信波形−音声波形推定部を含む、請求の範囲１から請求の範囲３のうちのいずれか１項に記載の音声推定システム。
【請求項５】
受信波形−音声波形推定部は、受信波形に対し、所定の波形変換処理を施すことによって該受信波形を音声波形に変換する波形変換フィルタ部を有し、
前記受信波形−音声波形推定部は、前記波形変換フィルタ部によって変換された音声波形を推定結果とする、請求の範囲４に記載の音声推定システム。
【請求項６】
波形変換フィルタ部は、波形変換処理として、特定の波形との演算処理、行列演算処理、フィルタ処理、周波数シフト処理のうち、少なくとも１つの処理を受信波形に施すことによって、該受信波形を音声波形に変換する、請求の範囲５に記載の音声推定システム。
【請求項７】
受信波形−音声波形推定部は、試験信号の音声器官での反射信号の波形を示す反射波形情報と対応づけて、音声波形の波形を示す音声波形情報を記憶する反射波形−音声波形対応データベースを有し、
前記受信波形−音声波形推定部は、前記反射波形−音声波形対応データベースから、受信波形の波形に対し最も合致度の高い波形を示す反射波形情報を検索し、該反射波形情報に対応づけられた音声波形情報で示される音声波形を推定結果とする、請求の範囲４に記載の音声推定システム。
【請求項８】
音声推定部は、受信部が受信した反射信号の波形である受信波形から音声を推定する受信波形−音声推定部を含む、請求の範囲１から請求の範囲３のうちのいずれか１項に記載の音声推定システム。
【請求項９】
受信波形−音声推定部は、試験信号の音声器官での反射信号の波形を示す反射波形情報と対応づけて、音声を示す音声情報を記憶する反射波形−音声対応データベースを有し、
前記受信波形−音声推定部は、前記反射波形−音声対応データベースから、受信波形の波形に対し最も合致度の高い波形を示す反射波形情報を検索し、該反射波形情報に対応づけられた音声情報で示される音声を推定結果とする、請求の範囲８に記載の音声推定システム。
【請求項１０】
受信波形−音声推定部は、
受信部が受信した反射信号の波形である受信波形から音声器官の形状を推定する受信波形−音声器官形状推定部と、
前記受信波形−音声器官形状推定部によって推定される音声器官の形状から音声を推定する音声器官形状−音声推定部と、
を含む請求の範囲８または請求の範囲９に記載の音声推定システム。
【請求項１１】
音声器官形状−音声推定部は、音声器官の形状を示す音声器官形状情報と対応づけて、音声を示す音声情報を記憶する音声器官形状−音声波形データベースを有し、
前記音声器官形状−音声推定部は、前記音声器官形状−音声対応データベースから、受信波形−音声器官形状推定部によって推定された音声器官の形状に対し最も合致度の高い形状を示す音声器官形状情報を検索し、該音声器官形状情報に対応づけられた音声情報で示される音声を推定結果とする、請求の範囲１０に記載の音声推定システム。
【請求項１２】
音声推定部は、音声から音声波形を推定する音声−音声波形推定部を含み、
前記音声−音声波形推定部は、受信波形−音声推定部によって推定される音声から音声波形を推定する、請求の範囲８から請求の範囲１１のうちのいずれか１項に記載の音声推定システム。
【請求項１３】
音声−音声波形推定部は、音声を示す音声情報と対応づけて、音声波形を示す音声波形情報を記憶する音声−音声波形対応データベースを有し、
前記音声−音声波形推定部は、前記音声−音声波形対応データベースから、受信波形−音声推定部によって推定された音声に対し最も合致度の高い音声を示す音声情報を検索し、該音声情報に対応づけられた音声波形情報で示される音声波形を推定結果とする、請求の範囲１２に記載の音声推定システム。
【請求項１４】
受信波形−音声波形推定部は、
受信部が受信した反射信号の波形である受信波形から音声器官の形状を推定する受信波形−音声器官形状推定部と、
前記受信波形−音声器官形状推定部によって推定される音声器官の形状から音声波形を推定する音声器官形状−音声波形推定部と、
を含む請求の範囲４から請求の範囲１３のうちのいずれか１項に記載の音声推定システム。
【請求項１５】
音声器官形状−音声波形推定部は、音源の情報を記憶する基本音源情報データベースを有し、
前記音声器官形状−音声波形推定部は、受信波形−音声器官形状推定部によって推定された音声器官の形状に基づいて声帯から口の外に音声波形が放射されるまでの音声器官内での音の伝達関数を導出し、導出した伝達関数に、前記基本音源情報データベースに登録されている音源を入力波形として代入し、計算して得られる出力波形を推定結果としての音声波形とする、請求の範囲１４に記載の音声推定システム。
【請求項１６】
音声器官形状−音声波形推定部は、音声器官の形状を示す音声器官情報と対応づけて、音声波形を示す音声波形情報を記憶する音声器官形状−音声波形対応データベースを有し、
前記音声器官形状−音声波形推定部は、前記音声器官形状−音声波形対応データベースから、受信波形−音声器官形状推定部によって推定された音声器官の形状に対し最も合致度の高い形状を示す音声器官形状情報を検索し、該音声器官形状情報に対応づけられた音声波形情報で示される音声波形を推定結果とする、請求の範囲１４に記載の音声推定システム。
【請求項１７】
受信波形−音声器官形状推定部は、試験信号の音声器官での反射信号の波形を示す反射波形情報と対応づけて、音声器官の形状を示す音声器官形状情報を記憶する反射波形−音声器官形状対応データベースを有し、
前記受信波形−音声器官形状推定部は、前記反射波形−音声器官形状対応データベースから、受信波形の波形に対し最も合致度の高い波形を示す反射波形情報を検索し、該反射波形情報に対応づけられた音声器官形状情報で示される音声器官の形状を推定結果とする、請求の範囲１０から請求の範囲１６のうちのいずれか１項に記載の音声推定システム。
【請求項１８】
受信波形−音声器官形状推定部は、受信波形から音声器官における各反射位置までの距離を推測し、各反射位置までの距離で示される反射物の位置関係から音声器官の形状を推定する、請求の範囲１０から請求の範囲１６のうちのいずれか１項に記載の音声推定システム。
【請求項１９】
推定対象の人物の少なくとも顔の一部を含む画像を取得する画像取得部と、
前記画像取得部が取得した画像を解析し、画像から得られる音声器官の形状または動きについての特徴量である解析特徴量を抽出する画像解析部と、
前記画像解析部によって抽出された解析特徴量から音声を推定する解析特徴量−音声推定部と、
音声推定部によって受信波形から推定される音声を、前記解析特徴量−音声推定部によって解析特徴量から推定される音声を用いて補正する推定音声補正部と、
を有する請求の範囲１から請求の範囲１８のうちのいずれか１項に記載の音声推定システム。
【請求項２０】
解析特徴量−音声推定部は、音声器官の形状または動きについての特徴量を示す特徴量情報と対応づけて、音声を示す音声情報を記憶する解析特徴量−音声対応データベースを有し、
前記解析特徴量−音声推定部は、前記解析特徴量−音声対応データベースから、画像解析部によって抽出された解析特徴量に対し最も合致度の高い特徴量を示す特徴量情報を検索し、該特徴量情報に対応づけられた音声情報で示される音声を推定結果とする、請求の範囲１９に記載の音声推定システム。
【請求項２１】
推定音声補正部は、解析特徴量から推定される音声を示す音声情報と、受信波形から推定される音声を示す音声情報との組み合わせに対応づけて、補正後の音声を示す音声情報を記憶する推定音声データベースを有し、
前記推定音声補正部は、前記推定音声データベースから、音声推定部によって受信波形から推定された音声と、解析特徴量−音声推定部によって解析特徴量から推定された音声との組み合わせに対し最も合致度の高い組み合わせを示す音声情報を検索し、該音声情報の組み合わせに対応づけられた補正後の音声を示す音声情報で示される音声を補正結果とする、請求の範囲１９または請求の範囲２０に記載の音声推定システム。
【請求項２２】
推定対象の人物の少なくとも顔の一部を含む画像を取得する画像取得部と、
前記画像取得部が取得した画像を解析し、画像から得られる音声器官の形状または動きについての特徴量である解析特徴量を抽出する画像解析部と、
前記画像解析部によって抽出された解析特徴量から音声器官の形状を推定する解析特徴量−音声器官形状推定部と、
音声推定部によって受信波形から推定される音声器官の形状を、前記解析特徴量−音声器官形状推定部によって解析特徴量から推定される音声器官の形状を用いて補正する推定音声器官形状補正部と、
を有する請求の範囲１から請求の範囲１８のうちのいずれか１項に記載の音声推定システム。
【請求項２３】
解析特徴量−音声器官形状推定部は、前記画像解析部によって抽出された解析特徴量を推定結果の音声器官の形状とする、請求の範囲２２に記載の音声推定システム。
【請求項２４】
推定音声器官形状補正部は、解析特徴量から推定される音声器官の形状を示す音声器官形状情報と、受信波形から推定される音声器官の形状を示す音声器官形状情報との組み合わせに対応付けて、補正後の音声器官の形状を示す音声器官形状情報を記憶する推定音声器官形状データベースを有し、
前記推定音声器官形状補正部は、前記推定音声器官形状データベースから、受信波形から推定された音声器官の形状と、解析特徴量から推定された音声器官の形状との組み合わせに対し最も合致度の高い組み合わせを示す音声器官形状情報を検索し、該音声器官形状情報の組み合わせに対応づけられた補正後の音声器官の形状を示す音声器官形状情報で示される音声器官の形状を補正結果とする、請求の範囲２２または請求の範囲２３に記載の音声推定システム。
【請求項２５】
推定音声器官形状補正部は、受信波形から推定された音声器官の形状と、解析特徴量から推定された音声器官の形状とに対し、所定の重み付けを行い、重み付け平均を計算することによって、音声器官の形状を補正する、請求の範囲２２または請求の範囲２３に記載の音声推定システム。
【請求項２６】
画像取得部は、顔全体、もしくは口元のうち少なくとも一方の画像を取得する、請求の範囲１９から請求の範囲２５のうちのいずれか１項に記載の音声推定システム。
【請求項２７】
画像解析部は、画像取得部が取得した画像から、顔の表情、口の動作、唇の動作、歯の動作、舌の動作、唇の輪郭、歯の輪郭、舌の輪郭のうち少なくとも一つを特定するための情報を抽出する、請求の範囲１９から請求の範囲２６のうちのいずれか１項に記載の音声推定システム。
【請求項２８】
受信信号から、音声または音声波形を推定する第１の音声推定部と、
受信信号から、本人に聞こえる音声または音声波形として、本人用の音声または音声波形を推定する第２の音声推定部と、
を有する請求の範囲１から請求の範囲２７のうちのいずれか１項に記載の音声推定システム。
【請求項２９】
第２の音声推定部は、第１の音声推定部によって受信信号から推定される音声から本人用の音声波形を推定する音声−本人用音声波形推定部を含む、請求の範囲２８に記載の音声推定システム。
【請求項３０】
音声−本人用音声波形推定部は、音声を示す音声情報に対応づけて、本人用の音声波形を示す本人用音声波形情報を記憶する音声−本人用音声波形対応データベースを有し、
前記音声−本人用音声波形推定部は、前記音声−本人用音声波形対応データベースから、音声推定部によって推定される音声に対し最も合致度の高い音声を示す音声情報を検索して、該音声情報に対応づけられた本人用音声波形情報で示される音声波形を推定結果とする、請求の範囲２９に記載の音声推定システム。
【請求項３１】
第２の音声推定部は、第１の音声推定部によって受信波形から推定される音声から本人用の音声を推定する音声−本人用音声推定部を含む、請求の範囲２８から請求の範囲３０のうちのいずれか１項に記載の音声推定システム。
【請求項３２】
音声−本人用音声推定部は、音声を示す音声情報に対応づけて、本人用の音声を示す本人用音声情報を記憶する音声−本人用音声対応データベースを有し、
前記音声−本人用音声推定部は、前記音声−本人用音声対応データベースから、第１の音声推定部によって推定される音声に対し最も合致度の高い音声を示す音声情報を検索して、該音声情報に対応づけられた本人用音声情報で示される音声を推定結果とする、請求の範囲３１に記載の音声推定システム。
【請求項３３】
第２の音声推定部は、第１の音声推定部によって受信波形から推定される音声器官の形状から、本人用の音声波形を推定する音声器官形状−本人用音声波形推定部を含む、請求の範囲２８から請求の範囲３０のうちのいずれか１項に記載の音声推定システム。
【請求項３４】
音声器官形状−本人用音声波形推定部は、音声器官の形状を示す音声器官形状情報に対応づけて、音の伝達関数の補正内容を示す補正情報を記憶する音声器官形状−伝達関数補正情報データベースを有し、
前記音声器官形状−本人用音声波形推定部は、前記音声器官形状−伝達関数補正情報データベースから、前記第１の音声推定部によって推定される音声器官の形状に対し最も合致度の高い形状を示す音声器官形状情報を検索して、該音声器官形状情報に対応づけられた補正情報に基づいて、前記第１の音声推定部によって推定される音声器官の形状に基づいて導出される伝達関数を補正し、補正した伝達関数を用いて本人用音声波形を推定する、請求の範囲３３に記載の音声推定システム。
【請求項３５】
推定対象の人物の有発音時における音声を取得する音声取得部と、
前記音声取得部によって取得される音声の時間波形と、そのときの受信波形とに基づいて、音声推定部が推定に用いる各種データを更新する学習部と、
を有する請求の範囲１から請求の範囲３４のうちのいずれか１項に記載の音声推定システム。
【請求項３６】
学習部は、音声取得部が音声の時間波形を取得したときの受信波形に対応づけられて記憶されている音声波形情報を、前記音声取得部によって取得された音声の時間波形に基づいて更新する、請求の範囲３５に記載の音声推定システム。
【請求項３７】
学習部は、音声取得部が音声の時間波形を取得したときの受信波形に対応づけられて記憶されている音声情報を、前記音声取得部によって取得された音声の時間波形から推定される音声に基づいて更新する、請求の範囲３５または請求の範囲３６に記載の音声推定システム。
【請求項３８】
学習部は、音声取得部によって取得される音声の時間波形と、そのときの受信波形とに基づいて、前記受信波形から導出される伝達関数で前記取得した音声波形が求まるような伝達関数のパラメータを算出し、その関係を示す情報を登録する、請求の範囲３５から請求の範囲３７のうちのいずれか１項に記載の音声推定システム。
【請求項３９】
発信部及び受信部が、電話機、イヤホン、ヘッドセット、装飾品、メガネのうちのいずれかに実装されている、請求の範囲１から請求の範囲３８のうちのいずれか１項に記載の音声推定システム。
【請求項４０】
発信部と受信部の少なくともどちらか一方が、本人認証が必要な機器に実装されている、請求の範囲１から請求の範囲３８のうちのいずれか１項に記載の音声推定システム。
【請求項４１】
発信部と受信部の少なくともどちらか一方が、静粛性が求められる空間や公共空間、通話が禁止されていた空間に配備されている、請求の範囲１から請求の範囲３８のうちのいずれか１項に記載の音声推定システム。
【請求項４２】
発信部と受信部の少なくともどちらか一方がアレイ構造である、請求の範囲１から請求の範囲４１のうちのいずれか１項に記載の音声推定システム。
【請求項４３】
音声取得部が、電話機、イヤホン、ヘッドセット、装飾品、メガネのうちのいずれかに実装されている、請求の範囲１から請求の範囲４２のうちのいずれか１項に記載の音声推定システム。
【請求項４４】
音声器官の形状または動きから音声または音声波形を推定する音声推定方法であって、
試験信号を音声器官に向けて発信し、
前記試験信号の音声器官での反射信号を受信し、
受信した前記反射信号から音声または音声波形を推定する、音声推定方法。
【請求項４５】
音声器官の形状または動きから音声または音声波形を推定するための音声推定プログラムであって、
コンピュータに、
音声器官で反射するよう送出された試験信号の反射信号の波形である受信波形から音声または音声波形を推定する処理を実行させるための音声推定プログラム。
【請求項４６】
コンピュータに、
受信波形に対し、所定の波形変換処理を施すことによって該受信波形を音声波形に変換する処理を実行させる請求の範囲４５に記載の音声推定プログラム。
【請求項４７】
試験信号の音声器官での反射信号の波形を示す反射波形情報と対応づけて音声波形の波形を示す音声波形情報を記憶する反射波形−音声波形対応データベースとを備えたコンピュータに、
前記反射波形−音声波形対応データベースを検索し、受信波形に対し最も合致度の高い波形を示す反射波形情報を特定する処理を実行させる請求の範囲４５に記載の音声推定プログラム。
【請求項４８】
コンピュータに、
受信波形から音声器官の形状を推定する処理、及び
推定される音声器官の形状から音声を推定する処理を実行させる請求の範囲４５に記載の音声推定プログラム。
【請求項４９】
コンピュータに、
音声から音声波形を推定する処理を実行させる請求の範囲４８に記載の音声推定プログラム。
【請求項５０】
コンピュータに、
受信波形から音声器官の形状を推定する処理、及び
推定される音声器官の形状から音声波形を推定する処理を実行させる請求の範囲４５に記載の音声推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の音声を推定するための技術分野に関し、特に、音声器官の動きから音声または音声波形を推定する音声推定システム、音声推定方法、及び、その方法をコンピュータに実行させるための音声推定プログラムに関する。
【背景技術】
【０００２】
近年、無音声、もしくは有音声だが非常に音声の小さいつぶやきでコミュニケーションするための技術が研究されつつある。このうち、無音声状態においてコミュニケーションするための技術として、大きく画像処理系と生体信号取得系の２つの音声推定方法がある。【０００３】
画像処理系の音声推定方法には、カメラ、エコー（超音波検査）、ＭＲＩ（Magnetic  Resonance  Imaging）、ＣＴ（Computerized  Tomography）スキャンを用いて口や舌の形状、または動作を取得する方法がある。その方法の例が、特開昭６１−２２６０２３号公報、文献「口内行動−発声器官の動態分析における超音波イメージングの有用性−」（中島淑貴，音声研究，２００３年，ｖｏｌ．７，Ｎｏ．３，ｐ．５５−６６）及び文献「オプティカルフローによる読唇の研究」（武田和大と他３名，ＰＣカンファレンス，２００３年）に開示されている。【０００４】
生体信号取得系の音声推定方法には、電極を用いて筋電信号を取得する方法、磁束計を用いて活動電位を取得する方法がある。その方法の一例が、文献「生体情報インターフェース技術」（忍頂寺毅、外４名，ＮＴＴ技術ジャーナル，２００３年９月，ｐ．４９）に開示されている。【０００５】
また、発声させずに音を制御する方法として、口内に試験音を送り込み、その試験音の口内からの応答音を用いて、電子楽器の楽音を制御する楽音制御装置が記載されている。その方法の一例が、特許第２６８７６９８号公報に開示されている。
【発明の開示】
【０００６】
しかしながら、カメラを用いた音声推定方法では、口の位置や形状を抽出するために特殊なマーキングやライトを用いる必要があったり、発話に重要な舌の動きや筋の活動状態がわからないという課題がある。
【０００７】
また、エコーを用いた音声推定方法では、エコーを捕らえるための送受信部を下顎に装着する必要があるという課題がある。下顎へのデバイスの装着は、耳にイヤホンを装着する場合などと違って一般的にデバイスを装着するような場所ではないため、違和感を覚えかねない。
【０００８】
また、ＭＲＩやＣＴスキャンを用いた音声推定方法では、ペースメーカを装着している人や妊婦など一部の人に利用できないという課題がある。
【０００９】
また、電極を用いた音声推定方法では、エコーを用いる場合と同様に、電極を口周辺に装着する必要があるという課題がある。口周辺へのデバイスの装着は、耳にイヤホンを装着する場合などと違って一般的にデバイスを装着するような場所ではないため、違和感を覚えかねない。
【００１０】
また、磁束計を用いた音声推定方法では、地磁気の磁力よりも１０億分の１以下という非常に小さい磁気を精度良く取得できる環境が必要であるという課題がある。
【００１１】
なお、上記特許第２６８７６９８号公報に記載されている楽音制御装置は、電子楽器の楽音を制御するための装置であり、音声を制御することまでは考慮されていないので、口内からの応答音（すなわち、反射波）から音声を推定するための技術については、何ら開示されていない。
【００１２】
本発明は、口周辺に特別な機器を装着しなくても、無音声での音声器官の動きから音声を推定することができる音声推定システム、音声推定方法及び音声推定プログラムを提供することを目的とする。
【００１３】
本発明による音声推定システムは、音声器官の形状または動きから音声または音声波形を推定する音声推定システムであって、試験信号を音声器官に向けて発信する発信部と、発信部によって発信される試験信号の音声器官での反射信号を受信する受信部と、受信部によって受信される反射信号から、音声または音声波形を推定する音声推定部とを有することを特徴とする。
【００１４】
また、本発明による音声推定方法は、音声器官の形状または動きから音声または音声波形を推定する音声推定方法であって、試験信号を音声器官に向けて発信し、試験信号の音声器官での反射信号を受信し、受信した反射信号から、音声または音声波形を推定することを特徴とする。
【００１５】
また、本発明による音声推定プログラムは、音声器官の形状または動きから音声または音声波形を推定するための音声推定プログラムであって、コンピュータに、音声器官で反射するよう送出された試験信号の反射信号の波形である受信波形から音声または音声波形を推定する処理を実行させることを特徴とする。
【００１６】
本発明によれば、試験信号を音声器官に向けて発信し、試験信号の反射信号を受信し、受信した受信信号から音声又は音声波形を推定する。これにより、反射信号の波形として音声を特徴づける音声器官の形状や動きを示す情報を得ることができ、反射信号の波形と音声又は音声波形との間の相関関係に基づいて音声又は音声波形を推定することができる。したがって、口周辺に特別な機器を装着しなくても、無音声での音声器官の動きから音声を推定することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は第１の実施形態による音声推定システムの構成例を示すブロック図である。
【図２】図２は第１の実施形態による音声推定システムの動作の一例を示すフローチャートである。
【図３】図３は音声推定部４の構成例を示すブロック図である。
【図４】図４は図３に示す音声推定部４を含む音声推定システムの動作例を示すフローチャートである。
【図５】図５は受信波形−音声波形対応データベースに登録される情報の一例を示す説明図である。
【図６】図６は音声推定部４の構成例を示すブロック図である。
【図７】図７は図６に示す音声推定部４を含む音声推定システムの動作例を示すフローチャートである。
【図８】図８は受信波形−音声対応データベースに登録される情報の一例を示す説明図である。
【図９Ａ】図９Ａは受信波形−音声対応データベースに登録される情報の一例を示す説明図である。
【図９Ｂ】図９Ｂは受信波形−音声対応データベースに登録される情報の一例を示す説明図である。
【図９Ｃ】図９Ｃは受信波形−音声対応データベースに登録される情報の一例を示す説明図である。
【図１０】図１０は音声−音声波形対応データベースに登録される情報の一例を示す説明図である。
【図１１】図１１は音声推定部４の構成例を示すブロック図である。
【図１２】図１２は図１１に示す音声推定部４を含む音声推定システムの動作例を示すフローチャートである。
【図１３】図１３は受信波形−音声器官形状対応データベースに登録される情報の一例を示す説明図である。
【図１４】図１４は音声器官形状−音声波形対応データベースに登録される情報の一例を示す説明図である。
【図１５】図１５は音声推定部４の構成例を示すブロック図である。
【図１６】図１６は図１５に示す音声推定部４を含む音声推定システムの動作例を示すフローチャートである。
【図１７】図１７は音声器官形状−音声対応データベースに登録される情報の一例を示す説明図である。
【図１８】図１８は第２の実施形態による音声推定システムの構成例を示すブロック図である。
【図１９】図１９は第２の実施形態による音声推定システムの動作の一例を示すフローチャートである。
【図２０】図２０は第２の実施形態による音声推定部４の構成例を示すブロック図である。
【図２１】図２１は図２０に示す音声推定部４２を含む音声推定システムの動作例を示すフローチャートである。
【図２２】図２２は第２の実施形態による音声推定部４の構成例を示すブロック図である。
【図２３】図２３は図２２に示す音声推定部４を含む音声推定システムの動作例を示すフローチャートである。
【図２４】図２４は第３の実施形態による音声推定システムの構成例を示すブロック図である。
【図２５】図２５は第３の実施形態による音声推定システムの動作の一例を示すフローチャートである。
【図２６】図２６は第３の実施形態による音声推定システムの動作の他の例を示すフローチャートである。
【図２７】図２７は本人用音声推定部４’の構成例を示すブロック図である。
【図２８】図２８は図２７に示す本人用音声推定部４’を含む音声推定システムの動作例を示すフローチャートである。
【図２９】図２９は第４の実施形態による音声推定システムの構成例を示すブロック図である。
【図３０】図３０は第４の実施形態による音声推定システムの構成例を示すブロック図である。
【図３１】図３１は第４の実施形態による音声推定システムの動作の一例を示すフローチャートである。
【符号の説明】
【００１８】
２    発信部
３    受信部
４    音声推定部
４’    本人用音声推定部
５    画像取得部
６    画像解析部
７    音声取得部
７’    本人用音声取得部
８    学習部
【発明を実施するための最良の形態】
【００１９】
本発明による実施形態について図面を参照して説明する。
（第１の実施形態）
図１は、第１の実施形態による音声推定システムの構成例を示すブロック図である。図１に示すように、音声推定システムは、試験信号を空気中へ送出する発信部２と、発信部２が送出した試験信号の反射信号を受信する受信部３と、受信部３が受信した反射信号（以下、単に受信信号という。）から音声又は音声波形を推定する音声推定部４とを有する。【００２０】
試験信号は、発信部２から音声器官に向けて送出され、音声器官で反射し、音声器官での反射信号となって受信部３に受信される。試験信号には、超音波信号または赤外線信号などがある。【００２１】
本実施形態において、音声とは話し言葉として発する音をいい、具体的には、音素、音韻、音調、声量、声質、音声のいずれかの要素、又はこれらの組み合わせとして示される音をいう。また、音声波形とは、１つ又は連続する音声の時間波形をいう。【００２２】
発信部２は、超音波信号や赤外線信号などの試験信号を発信する発信器である。受信部３は、超音波信号や赤外線信号などの試験信号を受信する受信器である。【００２３】
音声推定部４は、プログラムにしたがって所定の処理を実行するＣＰＵ（Central  Processing  Unit）等の情報処理装置と、プログラムを記憶する記憶装置とを有する構成である。なお、情報処理装置は、メモリを内蔵したマイクロプロセッサであってもよい。また、音声推定部４は、データベース装置と、データベース装置に接続可能な情報処理装置とを有する構成であってもよい。【００２４】
図１では、音声推定システムを利用する形態として、音声又は音声波形の推定対象とする人の口の外に発信部２及び受信部３と、音声推定部４とを配置し、発信部２が、音声器官によって形成される空洞部分１に向けて試験信号を送出する例を示している。なお、空洞部分１には、口腔や鼻腔など、空洞部分自体が音声器官として扱われている領域も含む。【００２５】
次に、図２を参照して、本実施形態における音声推定システムの動作を説明する。図２は、本実施形態による音声推定システムの動作の一例を示すフローチャートである。【００２６】
まず、発信部２が音声器官に向けて試験信号を発信する（ステップＳ１１）。ここで、試験信号は超音波信号または赤外線信号とする。発信部２は、音声又は音声波形の推定対象とする人からの操作に応じて試験信号を発信するようにしてもよいし、推定対象とする人の口が動いているときに発信するようにしてもよい。発信部２は、音声器官全てを覆う範囲で試験信号を発信する。音声は、気管・声帯・声道等の音声器官の形状（及びその変化）によって生成されるので、音声器官の形状（及びその変化）が反映されるような反射信号が得られるような試験信号を発信することが好ましい。【００２７】
なお、推定結果として要する音声の要素によっては、必ずしも音声器官を構成する諸器官全ての形状が反映されることを要しない。例えば、音素を推定するだけであれば、声道の形状が反映されればよい。【００２８】
続いて、受信部３が、音声器官の様々な部位で反射された試験信号の反射信号を受信する（ステップＳ１２）。そして、音声推定部４は、受信部３が受信した試験信号の反射信号の波形（以下、受信波形という。）に基づいて、音声又は音声波形を推定する（ステップＳ１３）。【００２９】
なお、発信部２と受信部３とは、電話機、イヤホン、ヘッドセット、装飾品、メガネなど顔の周辺に置かれ得る物に実装されることが好ましい。また、発信部２と受信部３と音声推定部４とを一体にして、電話機、イヤホン、ヘッドセット、装飾品、メガネなどに実装してもよい。また、発信部２と受信３のうちのいずれかを電話機、イヤホン、ヘッドセット、装飾品、メガネなどに実装してもよい。【００３０】
また、発信部２と受信部３とは、複数の送信機や複数の受信機を一定間隔に並べることで一つの装置として構成されるようなアレイ構造であってもよい。アレイ構造とすることで、限定したエリアへの強いパワーの信号送信や、限定したエリアからの弱い信号受信が可能になる。また、アレイ内の各機器の送受信特性を変化させることで、送信方向の制御、受信信号の到来方向の判断が送信部や受信部を動かさずに可能にできるようになる。また、発信部２と受信部３の少なくともどちらか一方が、ＡＴＭなどの本人認証が必要な機器に実装されていてもよい。【００３１】
次に、本実施形態における音声推定部４の具体的な構成例を示すとともに、本実施形態における音声推定動作について具体的に説明する。【００３２】
（実施例１）
図３は、音声推定部４の構成例を示すブロック図である。図３に示すように、音声推定部４は、受信波形−音声波形推定部４ａを有していてもよい。受信波形−音声波形推定部４ａは、受信波形を音声波形に変換する処理を行う。【００３３】
図４は、本実施例による音声推定部４を含む音声推定システムの動作例を示すフローチャートである。ここで、ステップＳ１１，Ｓ１２については、既に説明した動作と同様であるので説明を省略する。図４に示すように、本例における音声推定システムは、図２のステップＳ１３において次のように動作する。音声推定部４の受信波形−音声波形推定部４ａは、受信部３が受信した受信波形を音声波形に変換する（ステップＳ１３ａ）。【００３４】
受信波形を音声波形に変換する方法の一例として、受信波形と音声波形との対応関係を保持する受信波形−音声波形対応データベースを用いる方法がある。【００３５】
受信波形−音声波形推定部４ａは、試験信号を音声器官で反射させたときの受信波形の波形情報である受信波形情報と、音声波形の波形情報である音声波形情報とを１対１に対応づけて記憶する受信波形−音声波形対応データベースを有する。受信波形−音声波形推定部４ａは、受信部３が受信した受信波形と、受信波形−音声波形対応データベースに登録されている受信波形情報で示される波形とを比較して、受信波形と最も合致度の高い波形を示す受信波形情報を特定する。そして、特定した受信波形情報に対応づけられた音声波形情報で示される音声波形を推定結果とする。【００３６】
ここで、波形情報とは、波形を特定するための情報であって、具体的には、波形の形状やその変化、またはその特徴量を示す情報である。特徴量を示す情報の一例として、スペクトル情報がある。【００３７】
図５は、受信波形−音声波形対応データベースに登録される情報の一例を示す説明図である。【００３８】
図５に示すように、受信波形−音声波形対応データベースには、ある音声を発するときの音声器官に反射して得られる受信波形の波形情報と、そのとき発せられる音声の時間波形である音声波形の波形情報とが対応づけて格納されている。図５では、例えば、音素“ａ”を発するときの特徴的な音声器官の形状変化に対して得られる反射信号の時間に対する信号パワーを示す受信波形情報と、音素“ａ”を発するときの音声信号の時間に対する信号パワーを示す音声波形情報とが記憶されている例を示している。なお、波形情報として、スペクトル波形を示す情報を用いてもよい。【００３９】
受信波形とデータベースに登録されている受信波形情報で示される波形との比較方法として、例えば、相互相関、最小二乗法、最尤推定法などの一般的な比較方法を用いて、受信波形を、最も形状が似ているデータベース内の波形に変換する。また、データベースに登録されている受信波形情報が波形の特徴を示した特徴量である場合には、受信波形から同様の特徴量を抽出し、特徴量の差分から合致度を判定してもよい。【００４０】
また、受信波形を音声波形に変換する方法の他の例として、試験信号の受信波形に波形変換処理を施すことで音声波形に変換する方法がある。【００４１】
受信波形−音声波形推定部４ａが、所定の波形変換処理を行う波形変換フィルタ部を有している。波形変換フィルタ部が、波形変換処理として、特定の波形との演算処理、行列演算処理、フィルタ処理、周波数シフト処理のうち、少なくとも１つの処理を受信波形に施すことによって、受信波形を音声波形に変換する。なお、これらの波形変換処理は単独で用いてもよいし、組み合わせて用いてもよい。以下に、波形変換処理として挙げた、それぞれの処理について具体的に説明する。【００４２】
特定の波形との演算処理の場合、波形変換フィルタ部は、ある時間内に受信した試験信号の受信波形の、時間に対する信号パワーを示す関数ｆ（ｔ）に、予め定めておいた時間波形ｇ（ｔ）をかけ算し、ｆ（ｔ）ｇ（ｔ）を求める。その結果を推定結果の音声波形とする。【００４３】
行列演算処理の場合、波形変換フィルタ部は、ある時間内に受信した試験信号の受信波形の、時間に対する信号パワーを示す関数ｆ（ｔ）に、予め定めておいた行列Ｅをかけ算してＥｆ（ｔ）を求める。その結果を推定結果の音声波形とする。または、ある時間内に受信した試験信号の受信波形（スペクトル波形）の、周波数に対する信号パワーを示す関数ｆ（ｆ）に、予め定めておいた行列Ｅをかけ算してＥｆ（ｆ）を求めてもよい。【００４４】
フィルタ処理の場合、波形変換フィルタ部は、ある時間内に受信した試験信号の受信波形（スペクトル波形）の、周波数に対する信号パワーを示す関数ｆ（ｆ）に、予め定めておいた波形（スペクトル波形ｇ（ｆ））をかけ算し、ｆ（ｆ）ｇ（ｆ）を求める。その結果を推定結果の音声波形とする。【００４５】
周波数シフト処理の場合、波形変換フィルタ部は、ある時間内に受信した試験信号の受信波形（スペクトル波形）の、周波数に対する信号パワーを示す関数ｆ（ｆ）に、予め定めておいた周波数シフト量ａを足し算または引き算してｆ（ｆ−ａ）を求める。その結果を推定結果の音声波形とする。【００４６】
（実施例２）
本実施例は、音声推定部４が受信波形から音声を推定し、推定した音声から音声波形を推定する例である。図６は、音声推定部４の構成例を示すブロック図である。【００４７】
図６に示すように、音声推定部４は、受信波形−音声推定部４ｂ−１と、音声−音声波形推定部４ｂ−２とを有する。受信波形−音声推定部４ｂ−１は、受信波形から音声を推定する処理を行う。音声−音声波形推定部４ｂ−２は、受信波形−音声推定部４ｂ−１によって推定された音声から音声波形を推定する処理を行う。なお、受信波形−音声推定部４ｂ−１と音声−音声波形推定部４ｂ−２とが同一のコンピュータによって実現されてもよい。【００４８】
図７は、本実施例による音声推定部４を含む音声推定システムの動作例を示すフローチャートである。ここで、ステップＳ１１，Ｓ１２については、既に説明した動作と同様であるので説明を省略する。【００４９】
図７に示すように、本実施例における音声推定システムは、図２のステップＳ１３において次のように動作する。まず、音声推定部４の受信波形−音声推定部４ｂ−１が、受信部３が受信した受信波形から音声を推定する（ステップＳ１３ｂ−１）。そして、音声−音声波形推定部４ｂ−２が、受信波形−音声推定部４ｂ−１によって推定された音声から音声波形を推定する（ステップＳ１３ｂ−２）。【００５０】
受信波形から音声を推定する方法の一例として、受信波形と音声との対応関係を保持する受信波形−音声対応データベースを用いる方法がある。【００５１】
受信波形−音声推定機能部４ｂ−１が、受信波形情報と音声を示す音声情報とを１対１に対応づけて記憶する受信波形−音声対応データベースを有している。受信波形−音声推定機能部４ｂ−１は、受信部３が受信した受信波形と、受信波形−音声対応データベースに登録されている受信波形情報で示される波形とを比較して、受信波形と最も合致度の高い波形を示す受信波形情報を特定する。特定した受信波形情報に対応づけられた音声情報で示される音声を推定結果とする。【００５２】
ここで、音声情報とは、音声を特定するための情報であって、具体的には、音声を識別するための識別情報や、音声を構成する各要素の特徴量を示す情報などである。【００５３】
図８は、受信波形−音声対応データベースに登録される情報の一例を示す説明図である。図８に示すように、受信波形−音声推定対応データベースには、ある音声を発するときの音声器官に反射して得られる受信波形の波形情報と、そのとき発せられる音声の音声情報とが対応づけて格納されている。図８では、例えば、音素“ａ”を発するときの特徴的な音声器官の形状変化に対して得られる反射信号の時間に対する信号パワーを示す受信波形情報と、音素“ａ”を識別するための音声情報とが記憶されている例を示している。【００５４】
なお、音声情報は、音素（音韻）以外に、音節、音調、声量、声質（音質）等、複数の要素を組み合わせた情報であってもよい。【００５５】
図９Ａから図９Ｃは、受信波形−音声対応データベースに、複数の要素を組み合わせた音声情報を登録した例を示す。図９Ａは、音声情報として、音素を示す情報と、音調を示す情報と、声量を示す情報と、声質を示す情報とを組み合わせた情報を登録した場合の例である。【００５６】
図９Ｂは、音声情報として、音節を示す情報と、音調を示す情報と、声量を示す情報と、声質を示す情報とを組み合わせた情報を登録した場合の例である。本例では、音素を示す情報として音韻論上の最小単位の音を示すアルファベットを、音節を示す情報としてひらがなやカタカナを、音調を示す情報として基本周波数を、声質を示す情報としてスペクトルの帯域幅を設定した例を示している。なお、音声情報は、基準となる音声のスペクトル波形を示すスペクトル情報であってもよい。【００５７】
図９Ｃは、音調・声量・声質を一つの基本スペクトル波形として表現したものである。なお、受信波形情報については、既に説明した受信波形情報と同様である。また、受信波形とデータベースに登録されている受信波形情報で示される波形との比較方法についても、既に説明した方法と同様である。【００５８】
また、音声から音声波形を推定する方法の一例として、音声と音声波形との対応関係を保持する音声−音声波形対応データベースを用いる方法がある。【００５９】
音声−音声波形推定部４ｂ−２が、音声情報と音声波形情報とを１対１に対応づけて記憶する音声−音声波形対応データベースを有する。音声−音声波形推定部４ｂ−２は、推定された音声と、音声−音声波形対応データベースに登録されている音声情報で示される音声とを比較し、最も合致度の高い音声を示す音声情報を特定する。特定した音声情報に対応づけられた音声波形情報で示される音声波形を推定結果とする。【００６０】
図１０は、音声−音声波形対応データベースに登録される情報の一例を示す説明図である。【００６１】
図１０に示すように、音声−音声波形対応データベースには、例えば、音素“ａ”を識別するための音声情報と、音素“ａ”を発するときの音声信号の時間に対する信号パワーを示す音声波形情報とが対応づけて格納されている。図１０では、音声波形情報として、各音声情報での音声の時間波形情報を保持させている例を示している。なお、音声情報及び音声波形情報については、既に説明した音声情報及び音声波形情報と同様である。【００６２】
本実施例によれば、音声波形だけでなく音声を推定して得ることができる。なお、音声−音声波形推定部４ｂ−２を省略して、音声を推定する音声推定システムとして実施させることも可能である。【００６３】
（実施例３）
本実施例は、音声推定部４が試験信号の受信波形から音声器官形状を推定し、その後音声器官形状から音声波形を推定する実施例である。図１１は、音声推定部４の構成例を示すブロック図である。【００６４】
図１１に示すように、音声推定部４は、受信波形−音声器官形状推定部４ｃ−１と、音声器官形状−音声波形推定部４ｃ−２とを有している。受信波形−音声器官形状推定部４ｃ−１は、受信波形から音声器官の形状を推定する処理を行う。音声器官形状−音声波形推定部４ｃ−２は、受信波形−音声器官形状推定部４ｃ−１によって推定された音声器官の形状から音声波形を推定する処理を行う。なお、受信波形−音声器官形状推定部４ｃ−１と音声器官形状−音声波形推定部４ｃ−２とが同一のコンピュータによって実現されてもよい。【００６５】
図１２は、本実施例による音声推定部４を含む音声推定システムの動作例を示すフローチャートである。ここで、ステップＳ１１，Ｓ１２については、既に説明した動作と同様であるので説明を省略する。【００６６】
図１２に示すように、本実施例における音声推定システムは、図２のステップＳ１３において次のように動作する。まず、音声推定部４の受信波形−音声器官形状推定部４ｃ−１が、受信部３が受信した受信波形から音声器官形状を推定する（ステップＳ１３ｃ−１）。そして、音声器官形状−音声波形推定部４ｃ−２が、受信波形−音声器官形状推定部４ｃ−１によって推定された音声器官形状から音声波形を推定する（ステップＳ１３ｃ−２）。【００６７】
受信波形から音声器官の形状を推定する方法の一例として、受信波形と音声器官の形状との対応関係を保持する受信波形−音声器官形状対応データベースを用いる方法がある。【００６８】
受信波形−音声器官形状推定部４ｃ−１は、受信波形情報と音声器官の形状（またはその変化）を示す音声器官形状情報とを１対１に対応づけて記憶する受信波形−音声器官形状対応データベースを有する。受信波形−音声器官形状推定部４ｃ−１は、受信部３が受信した受信波形と、受信波形−音声器官形状対応データベースに登録されている受信波形情報で示される波形とを比較し、受信波形と最も合致度の高い波形を示す受信波形情報を特定する。特定した受信波形情報に対応づけられた音声器官形状情報で示される音声器官の形状を推定結果とする。【００６９】
図１３は、受信波形−音声器官形状対応データベースに登録される情報の一例を示す説明図である。【００７０】
図１３に示すように、受信波形−音声器官形状対応データベースには、ある音声を発するときの音声器官に反射して得られる受信波形の波形情報と、そのときの音声器官の音声器官形状情報とが対応づけて格納されている。本実施例では、音声器官形状情報として画像データを用いる例を示している。【００７１】
なお、音声器官形状情報として、音声器官を構成する諸器官の位置を示す情報や、音声器官内の反射物の位置を示す情報や、各特徴点の位置を示す情報、各特徴点における動きベクトルを示す情報や、音声器官内の音波の伝搬を示す伝搬式における各パラメータの値などを用いてもよい。受信波形情報については、既に説明した受信波形情報と同様である。また、受信波形とデータベースに登録されている受信波形情報で示される波形との比較方法についても、既に説明した方法と同様である。【００７２】
図１３では、１番目に登録されている受信波形情報に対応づけられて、大きくあけられた口の画像データが登録されている。これは、１番目に登録されているような形状変化をする受信波形が、画像データで示された口の形状をして音声を発したときに得られる受信波形であることを示している。本例の画像データで示される口の形状には、唇と舌の形状を含んでいてもよい。【００７３】
また、受信波形から音声器官の形状を推定する方法の他の例として、受信波形から音声器官の様々な反射位置までの距離を推測することによって音声器官の形状を推定する方法がある。【００７４】
受信波形−音声器官形状推定部４ｃ−１は、受信波形によって示される試験信号の往復伝搬時間や到来方向などに基づいて、音声器官における各反射物の位置を特定する。そして、特定した様々な反射物の位置を用いて反射物間の距離を測定することによって、反射物の集合体として音声器官の形状を推定する。すなわち、ある到来方向からの反射信号の往復伝播時間がわかると、その方向における反射物の位置を特定することができるので、全方位における反射物の位置を特定することによって、集合体としての反射物の形状（ここでは、音声器官の形状）を推定することができる。【００７５】
音声器官の形状を推定する処理として、音声器官内での音波の伝達関数を導出することで行ってもよい。伝達関数を、ｋｅｌｌｙの音声生成モデルなどの一般的な伝達モデルを用いて導出すればよい。受信波形−音声器官形状推定部４ｃ−１は、受信部３が音声器官内で反射した反射信号を受信する場合には、発信部２が発信した試験信号の波形（送信波形）を入力とし、受信部２が受信した反射信号の波形（受信波形）を出力として所定の伝達モデル式に代入する。このようにして、伝達関数に使用されるパラメータ（係数等）を算出することによって、音声（声帯から口の外に音声波形が放射されるまでの音声器官内での音波）の伝達関数を導出する。【００７６】
なお、伝達関数に使用される各係数がある値に応じて変化するような特性を有している場合には、特性に基づいてその値（すなわち、各係数に使用されるパラメータ）を求めることによって、伝達関数を導出してもよい。例えば、伝達関数がｙ＝ａｘ２＋ｂｘ＋ｃのような式で表せた場合において、係数ａ，ｂ，ｃが、ａ＝ｋ−１，ｂ＝ｋ−５，ｃ＝ｋ−７のように、あるｋという値によって変化する関係を有している場合には、このｋを各係数に使用されるパラメータとして算出してもよい。【００７７】
また、音声器官を構成する諸器官の位置や、音声器官内の反射物の位置を推測した上で、推測した位置関係に基づいて、そのときの音声器官の形状において声帯からの音波がどこで反射されるかを特定し、各反射位置での反射波を求める関数を組み合わせる等によって伝達関数を導出してもよい。【００７８】
また、音声器官の形状から音声波形を推定する方法の例として、音声器官の形状と音声波形との対応関係を保持する音声器官形状−音声波形対応データベースを用いる方法がある。【００７９】
音声器官形状−音声波形推定部４ｃ−２は、音声器官形状情報と音声波形情報とを１対１に対応づけて記憶する音声器官形状−音声波形対応データベースを有する。音声器官形状−音声波形推定部４ｃ−２は、受信波形−音声器官形状推定部４ｃ−１が推定した音声器官の形状に最も近い形状を示す音声器官形状情報を音声器官形状−音声波形対応データベースから検索する。検索した結果、特定される音声器官形状情報に対応づけられた音声波形情報で示される音声波形を推定結果とする。【００８０】
図１４は、音声器官形状−音声波形対応データベースに登録される情報の一例を示す説明図である。図１４に示すように、音声器官形状−音声波形対応データベースには、ある音声を発するときの音声器官の音声器官形状情報と、その音声を発するときの音声波形の波形情報とが対応づけて格納されている。【００８１】
図１４は、音声器官形状情報として画像データを用いる場合の例を示している。音声器官形状−音声波形推定部４ｃ−２は、画像認識、所定の特徴点でのマッチング、所定の特徴点での最小二乗法や最尤推定法などの一般的な比較方法を用いて、受信波形−音声器官形状推定部４ｃ−１が推定した音声器官の形状と、音声器官形状−音声波形対応データベースに登録されている音声器官形状情報で示される音声器官の形状とを比較する。音声器官形状情報は、特徴点のみの情報であってもよい。また、音声波形情報として、スペクトル波形を示す情報を用いてもよい。音声器官形状−音声波形推定部４ｃ−２は、比較した結果、最も形状が似ている（例えば、特徴量の合致度が最も高い）音声器官形状情報を特定する。【００８２】
ここで、受信波形−音声器官形状推定部４ｃ−１が伝達関数を導出する場合には、音声器官形状−音声波形推定部４ｃ−２は、導出された伝達関数を用いて音声波形を推定することも可能である。なお、音声器官形状−音声波形推定部４ｃ−２は、受信波形−音声器官形状推定部４ｃ−１によって推定された音声器官の形状から伝達関数を導出した上で、導出した伝達関数を用いて音声波形を推定してもよい。【００８３】
伝達関数から音声波形を推測する方法の一例としては、導出された伝達関数と音源の波形情報とを用いて音声波形を出力する方法がある。【００８４】
音声器官形状−音声波形推定部４ｃ−２は、音源から放射される波形を示す情報など音源の基本情報（音源情報）を記憶する基本音源情報データベースを有する。音声器官形状−音声波形推定部４ｃ−２は、導出された伝達関数に、基本音源情報データベースが保持する音源情報で示される音源を入力波形として代入して出力波形を算出することによって、その出力波形を音声波形とする。【００８５】
（実施例４）
本実施例は、音声推定部４が試験信号の受信波形から音声器官形状を推定し、推定した音声器官形状から一旦音声を推定し、推定した音声から音声波形を推定する例である。【００８６】
図１５は、音声推定部４の構成例を示すブロック図である。図１５に示すように、音声推定部４は、受信波形−音声器官形状推定部４ｄ−１と、音声器官形状−音声推定部４ｄ−２と、音声−音声波形推定部４ｄ−３とを有する。【００８７】
受信波形−音声器官形状推定部４ｄ−１は、実施例３で説明した受信波形−音声器官形状推定部４ｃ−１と同様であるため、その詳細な説明を省略する。音声−音声波形推定部４ｄ−３は、実施例２で説明した音声−音声波形推定部４ｂ−２と同様であるため、その詳細な説明を省略する。音声器官形状−音声推定部４ｄ−２は、受信波形−音声器官形状推定部４ｄ−１によって推定された音声器官の形状から音声を推定する処理を行う。【００８８】
なお、受信波形−音声器官形状推定部４ｄ−１、音声器官形状−音声推定部４ｄ−２および音声−音声波形推定部４ｄ−３が同一のコンピュータによって実現されてもよい。【００８９】
図１６は、本実施例による音声推定部４を含む音声推定システムの動作例を示すフローチャートである。ここで、ステップＳ１１，Ｓ１２については、既に説明した動作と同様であるので説明を省略する。【００９０】
図１６に示すように、本実施例における音声推定システムは、図２のステップＳ１３において次のように動作する。まず、音声推定部４の受信波形−音声器官形状推定部４ｄ−１が、試験信号の受信波形から音声器官形状を推定する（ステップＳ１３ｄ−１）。このステップでの動作は、図１２で説明したステップＳ１３ｃ−１と同様であるため、詳細な説明を省略する。【００９１】
次に、音声器官形状−音声推定部４ｄ−２が、受信波形−音声器官形状推定部４ｄ−１によって推定された音声器官形状から音声を推定する（ステップＳ１３ｄ−２）。そして、音声−音声波形推定部４ｄ−３が、音声器官形状−音声推定部４ｄ−２によって推定された音声から音声波形を推定する（ステップＳ１３ｄ−３）。【００９２】
ステップＳ１３ｄ−２において、音声器官の形状から音声を推測する方法の一例としては、音声器官の形状と音声との対応関係を保持する音声器官−音声対応データベースを用いる方法がある。【００９３】
音声器官形状−音声推定部４ｄ−２は、音声器官形状情報と音声情報とを１対１に対応づけて記憶する音声器官形状−音声対応データベースを有する。音声器官形状−音声推定部４ｄ−２は、推定された音声器官の形状に最も近い形状を示す音声器官形状情報を音声器官形状−音声対応データベースから検索することによって、音声を推定する。【００９４】
図１７は、音声器官形状−音声対応データベースに登録される情報の一例を示す説明図である。図１７に示すように、音声器官形状−音声対応データベースには、音声を特徴づけるような音声器官の形状やその変化を示す音声器官形状情報と、その音声の音声情報とが対応づけて格納されている。【００９５】
図１７では、音声器官形状情報として画像データを用いる例を示している。推定された音声器官の形状と、音声器官形状−音声対応データベースに登録されている音声器官の形状との比較方法については、既に説明した方法と同様である。具体的には、音声器官形状−音声推定部４ｄ−２は、比較した結果、最も形状が似ている（例えば、特徴量の合致度が最も高い）音声器官形状情報を特定する。【００９６】
本実施例によれば、音声波形だけでなく音声も推定して得ることができる。なお、本実施例においても、実施例２の図６に示した構成と同様に、音声−音声波形推定部４ｄ−３を省略して、音声を推定する音声推定システムとして動作させることも可能である。【００９７】
以上のように、本実施形態によれば、試験信号を音声器官に反射させた受信波形を得ることで、受信波形と音声又は音声波形との間の相関関係に基づいて、変換処理や検索処理や演算処理を行うことによって、受信波形から音声又は音声波形を推定することができる。したがって、口周辺に特別な機器を装着しなくても、無音声での音声器官の動きから音声を推定することができる。【００９８】
本システムを携帯電話機に組み込むことによって、静粛性が求められる空間や公共空間であっても、携帯電話機に向かって口を動かすだけで通話を行うといった利用形態も実現できる。このような場合には、周囲の人に迷惑をかけずに会話をしたり、周囲を気にせずプライバシ性の高い内容やセキュリティ性の高い内容（業務関連等）の会話をすることも可能となる。
（第２の実施形態）
本実施形態について、図面を参照して説明する。【００９９】
図１８は、本実施形態による音声推定システムの構成例を示すブロック図である。図１８に示すように、本実施形態による音声推定システムは、図１に示した音声推定システムの構成に、画像取得部５および画像解析部６が追加されている。【０１００】
画像取得部５は、音声又は音声波形の推定対象とする人の顔の一部を含む画像を取得する。画像解析部６は、画像取得部５が取得した画像を解析し、音声器官に関する特徴量を抽出する。また、本実施形態における音声推定部４は、受信部が受信した試験信号の受信波形と、画像解析部６が解析した特徴量とに基づいて、音声又は音声器官を推定する。【０１０１】
画像取得部５は、レンズを構成の一部に含むカメラ装置である。カメラ装置には、レンズを通して入力される画像を電気信号に変換するＣＣＤ（Charge  Coupled  Devices）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサなどの撮像素子が設けられている。画像解析部６は、プログラムにしたがって所定の処理を実行するＣＰＵ等の情報処理装置と、プログラムを記憶する記憶装置とを有する。記憶装置には、画像取得部５で取得された画像が格納される。【０１０２】
次に、図１９を参照して、本実施形態における音声推定システムの動作を説明する。図１９は、本実施形態による音声推定システムの動作の一例を示すフローチャートである。【０１０３】
まず、発信部２が音声器官に向けて試験信号を発信する（ステップＳ１１）。受信部３は、音声器官の様々な部位で反射された試験信号の反射波を受信する（ステップＳ１２）。ステップＳ１１及びＳ１２における試験信号の発信動作及び受信動作については、第１の実施形態と同様であるため、詳細な説明を省略する。【０１０４】
この試験信号の受信動作と並行して、画像取得部５は、音声又は音声波形の推定対象とする人の顔内の少なくとも一部の画像を取得する（ステップＳ２３）。ここで、画像取得部５が取得する画像の例としては、顔全体や口元である。「口元」とは、口唇とその周辺（歯、舌など）である。【０１０５】
続いて、画像解析部６は、画像取得部５が取得した画像を解析する（ステップＳ２４）。画像取得部５は、画像を解析し、音声器官に関する特徴量を抽出する。そして、音声推定部４が、受信部３が受信した試験信号の受信波形と画像解析部６が解析した特徴量とから音声又は音声波形を推定する（ステップＳ２５）。【０１０６】
画像解析部６における画像の解析方法の例としては、口唇などの輪郭からその特徴を示す特徴量を抽出する解析方法、口唇などの動きからその特徴を示す特徴量を抽出する解析方法などがある。【０１０７】
画像解析部６は、口唇モデルをベースとして口唇の形状を反映した特徴量を抽出する方法や、ピクセル（画素）をベースとして口唇の形状を反映した特徴量を抽出する方法を用いる。具体的には、次のようないくつかの方法がある。明度の見かけの速度分布であるオプティカルフローを用いて口唇及びその周辺の動き情報を抽出する方法がある。また、画像の中から口唇の輪郭を抽出して統計的にモデル化し、そこから得られるモデルパラメータを抽出する方法がある。また、画像中のピクセル自身が持つ明度などの情報に直接フーリエ変換などの信号処理を施した結果を特徴量とする方法がある。【０１０８】
なお、特徴量として、口唇の形状や動きを示す特徴量だけでなく、顔の表情、歯の動き、舌の動き、歯の輪郭、舌の輪郭を示す特徴量を抽出してもよい。特徴量は、具体的には、目、口、唇、歯および舌の位置、それらの位置関係、それらの動きを示す位置情報、または、それらの動く方向と動く距離を示す動きベクトルである。また、特徴量は、これらの組み合わせであってもよい。【０１０９】
次に、本実施形態における音声推定部４の具体的な構成例を示すとともにともに、本実施形態における音声推定動作について具体的に説明する。【０１１０】
（実施例５）
本実施例は、画像を用いて音声器官の形状の推定を補正して音声波形を推定する例である。図２０は、本実施例における音声推定部４の構成例を示すブロック図である。【０１１１】
図２０に示すように、本実施例による音声推定部４は、受信波形−音声器官形状推定部４２ａ−１と、解析特徴量−音声器官形状推定部４２ａ−２と、推定音声器官形状補正部４２ａ−３と、音声器官形状−音声波形推定部４２ａ−４とを有する。【０１１２】
受信波形−音声器官形状推定部４２ａ−１は実施例３で説明した受信波形−音声器官形状推定部４ｃ−１と同様な構成であり、音声器官形状−音声波形推定部４２ａ−４は実施例３で説明した音声器官形状−音声波形推定部４ｃ−２と同様である。そのため、これらの構成についての詳細な説明は省略する。【０１１３】
解析特徴量−音声器官形状推定部４２ａ−２は、画像解析部６が解析した特徴量から音声器官の形状を推定する処理を行う。また、推定音声器官形状補正部４２ａ−３は、特徴量から推定された音声器官の形状に基づき、受信波形から推定された音声器官の形状を補正する処理を行う。【０１１４】
なお、受信波形−音声器官形状推定部４２ａ−１、解析特徴量−音声器官形状推定部４２ａ−２、推定音声器官形状補正部４２ａ−３、および音声器官形状−音声波形推定部４２ａ−４が同一のコンピュータによって実現されてもよい。【０１１５】
図２１は、本実施例による音声推定部４を含む音声推定システムの動作例を示すフローチャートである。ここで、ステップＳ１１，Ｓ１２，Ｓ２３，Ｓ２４については、既に説明した動作と同様であるので説明を省略する。【０１１６】
図２１に示すように、本実施例における音声推定システムは、図１９のステップＳ２５において次のように動作する。まず、音声推定部４の受信波形−音声器官形状推定部４２ａ−１は、受信部３が受信した試験信号の受信波形から音声器官の形状を推定する（ステップＳ２５ａ−１）。解析特徴量−音声器官形状推定部４２ａ−２は、画像解析部６が解析した特徴量から音声器官の形状を推定する（ステップＳ２５ａ−２）。【０１１７】
受信波形−音声器官形状推定部４２ａ−１及び解析特徴量−音声器官形状推定部４２ａ−２によってそれぞれ音声器官の形状が推定されると、推定音声器官形状補正部４２ａ−３は、解析特徴量−音声器官形状推定部４２ａ−２によって推定された音声器官の形状を用いて、受信波形−音声器官形状推定部４２ａ−１によって推定された音声器官の形状を補正する（ステップＳ２５ａ−３）。すなわち、特徴量から推定された音声器官の形状を用いて、受信波形から推定された音声器官の形状を補正する。そして、音声器官形状−音声波形推定部４２ａ−４は、推定音声器官形状補正部４２ａ−３が補正した音声器官の形状から、音声波形を推定する（ステップＳ３５ａ−４）。【０１１８】
画像から得られる特徴量から音声器官の形状を推定する方法の一例としては、画像から得られる特徴量から音声器官の形状を直接推定する方法がある。この方法では、解析特徴量−音声器官形状推定部４２ａ−２は、特徴量として抽出された値を立体形状に変換することによって推定する。特徴量は、ここでは、口唇、歯の開き方や動き方、表情、舌の動き方を示す情報である。【０１１９】
また、画像から得られる特徴量から音声器官の形状を推定する方法の他の例としては、画像から得られる特徴量と音声器官の形状との対応関係を保持する解析特徴量−音声器官形状対応データベースを用いる方法がある。【０１２０】
解析特徴量−音声器官形状推定部４２ａ−２は、画像から得られる特徴量と、音声器官の形状を示す音声器官形状情報とを１対１に対応づけて記憶する解析特徴量−音声器官形状対応データベースを有する。解析特徴量−音声器官形状推定部４２ａ−２は、画像解析部６で解析した特徴量と解析特徴量−音声器官形状対応データベースに保持されている特徴量とを比較し、画像から得られる特徴量に最も合致する特徴量を特定する。特定した特徴量に対応づけられた音声器官形状情報で示される音声器官の形状を、推定した音声器官形状とする。【０１２１】
また、音声器官形状を補正する方法としては、特徴量から推定された音声器官形状と試験信号の受信波形から推定された音声器官形状との重み付け平均を算出する方法がある。推定音声器官形状補正部４２ａ−３は、推定結果の音声器官形状としてそれぞれ示される諸器官の位置や、音声器官内の反射物の位置や、各特徴点の位置、各特徴点における動きベクトルや、音声器官内の音波の伝搬を示す伝搬式における各要素の値に対し、予め定めておいた各推定結果の信頼度を示す重みを用いた重み付けを行う。そして、その重み付け平均をとった結果得られた音声器官形状情報で示される形状を、補正後の音声器官形状とする。【０１２２】
推定音声器官形状補正部４２ａ−３は、音声器官形状を補正する方法として、座標情報を用いてもよい。例えば、受信波形からの推定結果として示される、ある方向における反射物の座標情報を（１０，２０）とし、画像から得られる特徴量で示される音声器官のある部位の座標を（１５，２５）とする。推定音声器官形状補正部４２ａ−３は、それら２つの座標情報を１：１で重み付けして、（（１０＋１５）／２，（２０＋２５）／２）という座標情報に補正する。【０１２３】
また、音声器官形状を補正する方法の他の例としては、特徴量から推定される音声器官形状と受信波形から推定される音声器官形状との組み合わせと、補正後の音声器官形状との対応関係を保持する推定音声器官形状データベースを用いる方法がある。【０１２４】
推定音声器官形状補正部４２ａ−３は、画像から得られる特徴量から推定される音声器官の形状を示す第１の音声器官形状情報と、受信波形から推定される音声器官の形状を示す第２の音声器官形状情報との組み合わせに対応付けて、補正後の音声器官の形状を示す第３の音声器官形状情報を記憶する推定音声器官形状データベースを有する。【０１２５】
推定音声器官形状補正部４２ａ−３は、画像から得られる特徴量から推定される音声器官の形状と受信波形から推定される音声器官の形状との組み合わせに対し最も合致度の高い形状の組み合わせを示す第１の音声器官形状情報と第２の音声器官形状情報との組み合わせを推定音声器官形状データベースから検索する。検索した結果、特定される組み合わせに対応づけられた第３の音声器官形状情報で示される音声器官の形状を補正結果とする。【０１２６】
なお、本実施例では、音声器官形状−音声波形推定部４２ａ−４が、補正した音声器官の形状から音声波形を推定する場合を示したが、第１の実施形態で示した音声器官形状−音声推定部を本実施例の構成に有してもよい。この場合、補正した音声器官の形状から音声を推定することも可能である。また、第１の実施形態で説明した音声−音声波形推定部を本実施例の構成に有してもよい。この場合、補正した音声器官の形状から推定された音声から音声波形を推定することも可能である。【０１２７】
本実施例によれば、受信波形から音声波形を推定する過程で、受信波形から音声器官の形状を推定するとともに、画像から取得した特徴量からも音声器官の形状を推定する。そして、それぞれの推定結果を用いて音声器官の形状を補正した上で音声波形を推定するので、より再現性の高い音声波形を推定することができる。【０１２８】
（実施例６）
本実施例は、画像を用いて音声の推定を補正して音声波形を推定する例である。図２２は、本実施例による音声推定部４の構成例を示すブロック図である。【０１２９】
図２２に示すように、本実施例による音声推定部４は、受信波形−音声推定部４２ｂ−１と、解析特徴量−音声推定部４２ｂ−２と、推定音声補正部４２ｂ−３と、音声−音声波形推定部４２ｂ−４とを有する。【０１３０】
受信波形−音声推定部４２ｂ−１は実施例２で説明した受信波形−音声推定部４ｂ−１と同様な構成であり、音声−音声波形推定部４２ｂ−４は実施例２で説明した音声−音声波形推定部４ｂ−２と同様である。そのため、これらの詳細な説明は省略する。【０１３１】
解析特徴量−音声推定部４２ｂ−２は、画像解析部６が解析した特徴量から音声を推定する処理を行う。推定音声補正部４２ｂ−３は、特徴量から推定された音声に基づき、受信波形から推定された音声を補正する処理を行う。【０１３２】
なお、受信波形−音声推定部４２ｂ−１、解析特徴量−音声推定部４２ｂ−２、推定音声補正部４２ｂ−３、および音声−音声波形推定部４２ｂ−４が同一のコンピュータによって実現されてもよい。【０１３３】
図２３は、本実施例による音声推定部４を含む音声推定システムの動作例を示すフローチャートである。ここで、ステップＳ１１，Ｓ１２，Ｓ２３，Ｓ２４については、既に説明した動作と同様であるので説明を省略する。【０１３４】
図２３に示すように、本実施例における音声推定システムは、図１９のステップＳ２５において次のように動作する。まず、音声推定部４の受信波形−音声推定部４２ｂ−１は、受信部３が受信した試験信号の受信波形から音声を推定する（ステップＳ２５ｂ−１）。解析特徴量−音声推定部４２ｂ−２は、画像解析部６が解析した特徴量から音声を推定する（ステップＳ２５ｂ−２）。【０１３５】
受信波形−音声推定部４２ｂ−１及び解析特徴量−音声推定部４２ｂ−２によってそれぞれ音声が推定されると、推定音声補正部４２ｂ−３は、解析特徴量−音声推定部４２ｂ−２によって推定された音声を用いて、受信波形−音声推定部４２ｂ−１によって推定された音声を補正する（ステップＳ２５ｂ−３）。すなわち、特徴量から推定された音声に基づき、受信波形から推定された音声を補正する。そして、音声−音声波形推定部４２ｂ−４は、推定音声補正部４２ｂ−３が補正した音声に基づいて音声波形を推定する（ステップＳ３５ｂ−４）。【０１３６】
画像から得られる特徴量から音声を推定する方法の一例としては、画像から得られる特徴量と音声との対応関係を保持する解析特徴量−音声対応データベースを用いる方法がある。【０１３７】
解析特徴量−音声推定部４２ｂ−２は、画像から得られる特徴量と、音声情報とを１対１に対応づけて記憶する解析特徴量−音声対応データベースを有する。解析特徴量−音声推定部４２ｂ−２は、画像解析部６で解析した特徴量と解析特徴量−音声器官形状対応データベースに保持されている特徴量とを比較し、特徴量の合致の度合いが最も高い特徴量と対応づけられた音声情報で示される音声を、推定した音声とする。【０１３８】
音声を補正する方法としては、特徴量から推定された音声と試験信号の受信波形から推定された音声との重み付け平均を算出する方法がある。推定音声補正部４２ｂ−３は、推定結果の音声としてそれぞれ示される特定の要素を示す値に対し、所定の重み付けを行う。そして、重み付け平均を求めた結果得られる音声情報で示される音声を、補正後の音声とする。【０１３９】
また、音声を補正する方法の他の例としては、特徴量から推定される音声と試験信号の受信波形から推定される音声との組み合わせと、補正後の音声との対応関係を保持する補正音声データベースを用いる方法がある。【０１４０】
推定音声補正部４２ｂ−３は、画像から得られる特徴量から推定される音声を示す第１の音声情報と、受信波形から推定される音声を示す第２の音声情報との組み合わせに対応づけて、補正後の音声を示す第３の音声情報を記憶する推定音声データベースを有する。推定音声補正部４２ｂ−３は、画像から得られる特徴量から推定された音声と受信波形から推定された音声との組み合わせに対し最も合致度の高い音声の組み合わせを示す第１の音声情報と第２の音声情報との組み合わせを推定音声データベースから検索する。検索した結果、特定される組み合わせに対応づけられた第３の音声情報で示される音声を補正結果とする。【０１４１】
なお、本実施例では、音声推定部４として音声波形までを推定する例を示したが、第１の実施形態と同様に、音声−音声波形推定部４２ｂ−４を省略して、推定結果として音声を示す音声情報を出力するような音声通信システムであってもよい。【０１４２】
本実施例によれば、受信波形から音声を推定するだけでなく、画像から取得した特徴量からも音声を推定し、それぞれの推定結果を用いて補正した音声を推定結果とするので、より再現性の高い音声を推定することができる。【０１４３】
以上のように、本実施形態によれば、画像から解析した音声器官の特徴を使って、受信波形から推定される音声や音声器官形状を補正することができるので、実際の音声により近い音声又は音声波形を推定することができる。また、音声の個性といった特徴をより再現できるようになる。
（第３の実施形態）
本実施形態について、図面を参照して説明する。【０１４４】
図２４は、本実施形態による音声推定システムの構成例を示すブロック図である。本実施形態による音声推定システムは、図２４に示すように、図１に示した音声推定システムの構成に、本人に聞かせるための音声である本人用音声を推定する本人用音声推定部４’が追加されている。【０１４５】
人間は、音声を発する際、自分で発した音声を聞くというフィードバックをかけて音声を調整している。このため、推定した音声を本人にフィードバックすることは重要である。しかし、他人が聞く音声と本人が聞く音声とは異なる。このため、たとえ音声推定部４が音声を完全に再現したとしても、本人が聞いたときに違和感を覚える可能性がある。【０１４６】
そこで、本実施形態では、推定対象の人物から発せられる音声を推定する音声推定部４に加えて、推定対象の人物が自分で発した音声を聞いたときの音声である本人用音声又は本人用音声波形を推定する本人用音声推定部４’を備えている。【０１４７】
本人用音声のみを推定する場合には、音声推定部４を省略することも可能である。本人用音声推定部４’は、基本的には、既に説明した音声推定部４と同様の構成によって実現することができる。なお、音声推定部４と本人用音声推定部４’とが同一のコンピュータによって実現されていてもよい。【０１４８】
次に、図２５を参照して、本実施形態における音声推定システムの動作を説明する。図２５は、本実施形態による音声推定システムの動作の一例を示すフローチャートである。【０１４９】
まず、発信部２が音声器官に向けて試験信号を発信する（ステップＳ１１）。受信部３は、音声器官の様々な部位で反射された試験信号の反射波を受信する（ステップＳ１２）。ステップＳ１１及びＳ１２における試験信号の発信動作及び受信動作については、第１の実施形態と同様である。そして、受信部３が受信した試験信号の受信波形に基づいて、本人用音声推定部４’は本人用音声又は本人用音声波形を推定する（ステップＳ３３）。【０１５０】
このとき、本人用音声推定部４’の出力を推定対象の人物に聞かせるためのイヤホンを備えているとすると、本人用音声推定部４’が推定した本人用音声、または本人用音声推定部４’が推定した本人用音声波形を音声に変換したものを、イヤホンを介して推定対象の人物に対して出力してもよい。【０１５１】
なお、本人用音声推定部４’の構成や具体的な動作は、基本的には音声推定部４と同様であるため、説明は省略する。本人用音声推定部４’は、受信波形と本人用音声波形とを対応づけた受信波形−本人用音声波形対応データベースを用いることによって本人用音声波形を推定してもよい。また、受信波形に波形変換を施して音声波形に変換するときに用いるパラメータを、本人用音声波形に変換するためのパラメータにすることによって本人用音声波形を推定してもよい。【０１５２】
また、受信波形と本人用音声とを対応づけた受信波形−本人用音声対応データベースを用いることによって本人用音声を推定してもよい。また、本人用音声と本人用音声波形とを対応づけた本人用音声−本人用音声波形対応データベースを用いて、さらに本人用音声波形を推定してもよい。【０１５３】
また、音声器官形状と本人用音声波形とを対応づけた音声器官形状−本人用音声波形対応データベースを用いることによって本人用音声波形を推定してもよい。また、音声器官形状と本人用音声とを対応づけた音声器官形状−本人用音声対応データベースを用いることによって本人用音声を推定してもよい。また、本人の耳に到達するまでの伝達モデルを用いて、受信波形や音声器官形状に基づく、本人用音声波形を求めるための伝達関数を導出することによって本人用音声波形を推定してもよい。【０１５４】
図２６は、本実施形態による音声推定システムの動作の他の例を示すフローチャートである。【０１５５】
図２６に示すように、まず、音声推定部４が、試験信号の受信波形に基づいて、音声、音声波形、又は音声器官形状を推定する（ステップＳ３３−１）。本人用音声推定部４’は、音声推定部４が推定した音声、音声波形又は音声器官形状に基づいて、本人用音声又は本人用音声波形を推定する（ステップＳ３３−２）。なお、ステップＳ３３−１における音声推定動作、音声波形推定動作及び音声器官推定動作については、第１の実施形態で説明したのと同様である。【０１５６】
この場合における本人用音声推定部４’の構成や具体的な動作についても、基本的には、本人用音声または本人用音声波形を推定するために用いる情報が本人用となるだけで、音声推定部４と同様である。【０１５７】
本人用音声推定部４’は、音声推定部４が推定した音声と本人用音声波形とを対応づけた音声−本人用音声波形対応データベースを用いることで本人用音声波形を推定してもよい。また、本人用音声推定部４’は、音声推定部４が推定した音声波形に、本人用音声波形に変換するための波形変換処理を施すことによって本人用音声波形を推定してもよい。また、本人用音声推定部４’は、音声推定部４が推定した音声器官形状と本人用音声波形とを対応づけた音声器官形状−本人用音声波形対応データベースを用いることで本人用音声波形を推定してもよい。【０１５８】
また、本人用音声推定部４’は、音声推定部４によって推定される音声器官形状から、伝達関数を補正して本人用伝達関数を導出し、その本人用伝達関数から本人用音声波形を推定することも可能である。以下に、その実施例を説明する。【０１５９】
（実施例７）
図２７は、音声推定部４が推定した音声器官形状から本人用伝達関数を導出して本人用音声波形を推定する場合の音声推定部４及び本人用音声推定部４’の構成例を示すブロック図である。【０１６０】
図２７に示すように、音声推定部４は、実施例３で説明した受信波形−音声器官形状推定部４ｃ−１を有し、本人用音声推定部４’は、音声器官形状−本人用音声波形推定部４ｃ−２’を有する。音声器官形状−本人用音声波形推定部４ｃ−２’は、音声推定部４の受信波形−音声器官形状推定機能部４ｃ−１によって推定された音声器官の形状から本人用の音声波形を推定する処理を行う。【０１６１】
図２８は、本実施例による音声推定部４及び本人用音声推定部４’を含む音声推定システムの動作例を示すフローチャートである。ここで、ステップＳ１１，Ｓ１２については、既に説明した動作と同様であるので説明を省略する。【０１６２】
図２８に示すように、本実施例における音声推定システムは、図２６に示すステップＳ３３−１において、音声推定部４の受信波形−音声器官形状推定部４ｃ−１が、試験信号の受信波形から音声器官形状を推定する（ステップＳ３３ａ−１）。このステップでの動作は、図１２で説明したステップＳ１３ｃ−１と同様であるため、詳細な説明を省略する。【０１６３】
そして、図２６に示すステップＳ３３−２において、本人用音声推定部４’の音声器官形状−本人用音声波形推定部４ｃ−２’は、受信波形−音声器官形状推定機能部４ｃ−１によって推定された音声器官形状から本人用音声波形を推定する（ステップＳ３３ａ−２）。【０１６４】
音声器官の形状から本人用音声波形を推定する方法の一例として、音声器官形状と伝達関数補正情報との対応関係を保持する音声器官形状−伝達関数補正情報データベースを用いる方法がある。【０１６５】
音声器官形状−本人用音声波形推定部４ｃ−２’は、音声器官形状情報と、音の伝達関数の補正内容を示す補正情報とを１対１に対応づけて記憶する音声器官形状−伝達関数補正情報データベースを有する。音声器官形状−本人用音声波形推定部４ｃ−２’は、音声推定部４によって推定された音声器官の形状に対し最も合致度の高い形状を示す音声器官形状情報を音声器官形状−伝達関数補正情報データベースから検索する。検索した結果、特定される音声器官形状情報に対応づけられた補正情報に基づいて、伝達関数を補正する。そして、補正した伝達関数を用いて本人用音声波形を推定する。【０１６６】
なお、音声器官形状−伝達関数補正情報データベースに登録する補正情報は、行列式であってもよいし、伝達関数の各係数または各係数に使用されるパラメータ別に保持してもよい。【０１６７】
伝達関数は、音声推定部４の受信波形−音声器官形状推定機能部４ｃ−１が導出してもよい。本人用音声推定部４’の音声器官形状−本人用音声波形推定部４ｃ−２’が、推定された音声器官の形状から伝達関数を上述した方法を用いて導出した上で、補正してもよい。【０１６８】
さらに、次のようにしてもよい。音声器官形状−本人用音声波形推定部４ｃ−２’は、音声器官形状情報と本人用の音声波形情報とを対応づけて記憶する音声器官形状−本人用音声波形対応データベースを有する。音声器官形状−本人用音声波形推定部４ｃ−２’は、音声推定部４によって推定される音声器官の形状に対し最も合致度の高い形状を示す音声器官形状情報を音声器官形状−本人用音声波形対応データベースから検索する。検索した結果、特定される音声器官形状情報に対応づけられた本人用の音声波形情報で示される音声波形を推定結果とする。【０１６９】
本実施例によれば、音声推定部４の推定結果（本実施例では、伝達関数）を利用して本人用音声波形を推定することができるので、一から推定するのに比べ処理負荷を軽減させつつ、本人用音声波形を推定することができる。【０１７０】
以上のように、本実施形態によれば、音声を発しなくても、発したときに聞こえていた音声に近い音声を本人に聞かせることができる。結果、発話人は、その声を元に音声を調整させつつ、安心して無音の会話をつづけることができる。
（第４の実施形態）
本実施形態について、図面を参照して説明する。【０１７１】
図２９は、本実施形態による音声推定システムの構成例を示すブロック図である。本実施形態による音声推定システムは、図２９に示すように、図１に示した音声推定システムの構成に、音声取得部７および学習部８が追加されている。【０１７２】
音声取得部７は、推定対象の人物が実際に発した音声を取得する。学習部８は、推定対象の人物から発せられる音声又は音声波形を推定するために必要な各種データや、推定対象の人物が自分で発した音声を聞いたときの音声又は音声波形を推定するために必要な各種データを学習する。なお、音声推定システムが本人用音声または音声波形を推定する場合には、図３０に示すように、さらに、本人用音声取得部７’が加わった構成であってもよい。【０１７３】
音声取得部７の一例として、マイクロフォンがある。本人用音声取得部７’は、マイクロフォンであってもよいが、イヤホンのような形状の骨伝導マイクロフォンであってもよい。学習部８は、プログラムにしたがって所定の処理を実行するＣＰＵ等の情報処理装置と、プログラムを記憶する記憶装置とを有する。【０１７４】
次に、図３１を参照して、本実施形態における音声推定システムの動作を説明する。図３１は、本実施形態における音声推定システムの動作の一例を示すフローチャートである。【０１７５】
本実施形態では、有発音時においても、発信部２が音声器官に向けて試験信号を発信する（ステップＳ１１）。受信部３は、音声器官の様々な部位で反射された試験信号の反射波を受信する（ステップＳ１２）。ステップＳ１１及びＳ１２における試験信号の発信動作及び受信動作については、第１の実施形態と同様であるため、詳細な説明を省略する。【０１７６】
この試験信号の受信動作と並行して、音声取得部７が、実際に発せられた音声を取得する（ステップＳ４３）。具体的には、音声取得部７は、推定対象の人物から実際に発せられた音声の時間波形である音声波形を受信する。なお、音声取得部７とともに、本人用音声取得部７’が、実際に本人に聞こえている音声の時間波形を取得してもよい。【０１７７】
音声取得部７または本人用音声取得部７’が音声波形を受信すると、学習部８は、音声推定部４や本人用音声推定部４’が推定した音声波形と、その音声波形を推定するために用いた各種データを取得する（ステップＳ４４）。学習部８は、音声推定部４や本人用音声推定部４’が推定した音声波形と、音声取得部７が取得した実際の音声波形とを用いて、推定するために用いた各種データを更新する（ステップＳ４５）。続いて、更新したデータを音声推定部４や本人用音声推定部４’にフィードバックする（ステップＳ４６）。学習部８は、音声推定部４または本人用音声推定部４’に更新データを入力し、音声推定部４または本人用音声推定部４’に更新データを記憶させる。【０１７８】
学習部８が更新するデータとしては、音声推定部４または本人用音声推定部４’が保持する各データベースの内容、伝達関数の導出アルゴリズムの情報がある。【０１７９】
データの更新方法の例として、５つの方法を説明する。【０１８０】
１つ目は、取得した音声波形を各データベースにそのまま登録するものである。２つ目は、取得した音声波形が算出されるような伝達関数のパラメータの関係を示す情報を登録するものである。３つ目は、推定した音声波形と取得した音声波形との重み付け平均を取った音声波形をデータベースに保存するものである。【０１８１】
４つ目は、推定した音声波形と取得した音声波形との重み付け平均を取った音声波形が算出されるような伝達関数のパラメータの関係を示す情報を登録するものである。５つ目は、取得した音声波形と受信波形から推定された音声波形との差分や、取得した音声波形から推定される音声と受信波形から推定された音声との差分を求め、その差分を、推定結果を補正するための補正情報として登録するものである。【０１８２】
学習部８が伝達関数のパラメータの関係を示す情報を登録することによって学習を行う場合、音声推定部４は、伝達関数を導出する際に、その領域に記憶されている関係式に基づいて伝達関数に用いられるパラメータを求めればよい。また、学習部８が、求めた差分を補正情報として登録することによって学習を行う場合、音声推定部４は、受信波形から音声または音声波形を推定した結果に対し、補正情報として示される差分を加えればよい。なお、補正情報は、音声または音声波形を推定する過程で行われる処理の結果に対して補正を行った情報であってもよい。【０１８３】
以下に、各データベース及び伝達関数の導出アルゴリズムの学習方法について、具体例を用いて説明する。【０１８４】
（１）受信波形−音声波形対応データベース
本データベースの学習方法の一例として、受信部３が受信した受信波形と音声取得部７が取得した音声波形とを対応づけて本データベースに登録することによって学習する方法がある。【０１８５】
学習部８は、有発音時において受信部３が受信した受信波形の、時間に対する信号パワーの変化を示すＲｘ（ｔ）と、受信波形と同時刻に音声取得部７が取得した音声波形の、時間に対する信号パワーを示すＳ（ｔ）とを対応づけて保存する。このとき、Ｒｘ（ｔ）が既に本データベースに保存されているときは、それに対応する音声波形情報としてＳ（ｔ）を上書きすればよい。Ｒｘ（ｔ）が保存されていなければ、新たに、その情報とＳ（ｔ）とを対応づけて追加すればよい。【０１８６】
また、次の方法でもよい。学習部８は、有発音時において受信部３が受信した受信波形の、周波数に対する信号パワーを示すＲｘ（ｆ）と、受信波形と同時刻に音声取得部７が取得した音声波形の、周波数に対する信号パワーを示すＳ（ｆ）とを対応づけて保存する。このとき、Ｒｘ（ｆ）が既に本データベースに保存されているときは、それに対応する音声波形情報としてＳ（ｆ）を上書きすればよい。Ｒｘ（ｆ）が保存されていなければ、新たに、その情報とＳ（ｆ）とを対応づけて追加すればよい。【０１８７】
本データベースの学習方法の他の例として、受信部３が受信した受信波形から検索される本データベースに保存された音声波形と、音声取得部７が取得した音声波形とを重み付け平均して更新する学習方法がある。【０１８８】
学習部８は、音声取得部７が取得した音声波形のＳ（ｔ）と、受信部３で受信した受信波形のＲｘ（ｔ）と最も合致度の高い波形を示す受信波形情報に対応づけられて本データベースに登録されている音声波形のＳ’（ｔ）とを（ｍ・Ｓ（ｔ）＋ｎ・Ｓ’（ｔ）／（ｍ＋ｎ））のように重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る受信波形が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形のＲｘ（ｔ）と音声取得部７が取得した音声波形のＳ（ｔ）とを新たに対応付けて追加すればよい。【０１８９】
また、次の方法でもよい。学習部８は、音声取得部７が取得した音声波形のＳ（ｆ）と、受信部３で受信した受信波形のＲｘ（ｆ）と最も合致度の高い波形を示す受信波形情報に対応づけられて本データベースに登録されている音声波形のＳ’（ｆ）とを（ｍ・Ｓ（ｆ）＋ｎ・Ｓ’（ｆ）／（ｍ＋ｎ））のように重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る受信波形が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形のＲｘ（ｆ）と音声取得部７が取得した音声波形のＳ（ｆ）とを新たに対応付けて追加すればよい。【０１９０】
（２）受信波形−音声対応データベース
本データベースの学習方法の一例として、受信部３が受信した受信波形と音声取得部７が取得した音声波形から推定される音声とを対応づけて本データベースに登録することによって学習する方法がある。【０１９１】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｔ）と、受信波形と同時刻に音声取得部７が取得した音声波形のＳ（ｔ）から推定される音声とを対応づけて本データベースに保存する。このとき、Ｒｘ（ｔ）が既に本データベースに保存されているときは、それに対応する音声情報としてＳ（ｔ）から推定される音声を示す音声情報を上書きすればよい。Ｒｘ（ｔ）が保存されていなければ、新たに、その受信波形情報とＳ（ｔ）から推定される音声情報とを対応づけて追加すればよい。【０１９２】
また、次の方法でもよい。学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｆ）と、受信波形と同時刻に音声取得部７が取得した音声波形のＳ（ｆ）から推定される音声とを対応づけて本データベースに保存する。このとき、Ｒｘ（ｆ）が既に本データベースに保存されているときは、それに対応する音声情報としてＳ（ｆ）から推定される音声を示す音声情報を上書きすればよい。Ｒｘ（ｆ）が保存されていなければ、新たに、その受信波形情報とＳ（ｆ）から推定される音声情報とを対応づけて追加すればよい。【０１９３】
ここで、音声波形のＳ（ｔ）またはＳ（ｆ）から音声を推定する方法としては、ＤＰ（Dynamic  Programming）マッチング法、ＨＭＭ（Hidden  Markov  Model）法、音声−音声波形対応データベースの検索などの方法を用いることができる。【０１９４】
（３）音声−音声波形対応データベース
本データベースの学習方法の一例として、受信部３が受信した受信波形から推定される音声と音声取得部７が取得した音声波形とを対応づけて本データベースに登録することによって学習する方法がある。【０１９５】
学習部８は、有発音時において受信部３が受信した受信波形から音声推定部４によって推定された音声と、受信波形と同時刻に音声取得部７が取得した音声波形のＳ（ｔ）またはＳ（ｆ）とを対応づけて本データベースに保存する。このとき、受信波形から推定された音声が既に本データベースに保存されているときは、それに対応する音声波形情報としてＳ（ｔ）またはＳ（ｆ）を上書きすればよい。推定された音声が保存されていなければ、新たに、その情報とＳ（ｔ）またはＳ（ｆ）とを対応づけて追加すればよい。【０１９６】
本データベースの学習方法の他の例として、推定された音声から検索される本データベースに保存された音声波形と、音声取得部７が取得した音声波形とを重み付け平均して更新する学習方法がある。【０１９７】
学習部８は、音声取得部７が取得した音声波形のＳ（ｔ）と、受信部３で受信した受信波形から推定された音声と最も合致度の高い音声を示す音声情報に対応づけられて本データベースに登録されている音声波形のＳｄ（ｔ）とを、（ｍ・Ｓ（ｔ）＋ｎ・Ｓｄ（ｔ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る音声が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形のＲｘ（ｔ）から推知された音声と音声取得部７が取得した音声波形のＳ（ｔ）とを新たに対応付けて追加すればよい。【０１９８】
また、次の方法でもよい。学習部８は、音声取得部７が取得した音声波形のＳ（ｆ）と、受信部３で受信した受信波形から推定された音声と最も合致度の高い音声を示す音声情報に対応づけられて本データベースに登録されている音声波形のＳｄ（ｆ）とを、（ｍ・Ｓ（ｆ）＋ｎ・Ｓｄ（ｆ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る音声が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形のＲｘ（ｆ）から推知された音声と音声取得部７が取得した音声波形のＳ（ｆ）とを新たに対応付けて追加すればよい。【０１９９】
（４）解析特徴量−音声対応データベース
本データベースの学習方法の一例として、画像解析部６が解析した特徴量と音声取得部７が取得した音声波形から推定される音声とを対応づけて本データベースに登録することによって学習する方法がある。【０２００】
学習部８は、有発音時において画像取得部５が取得した画像から画像解析部６によって解析された特徴量と、その画像と同時刻に音声取得部７が取得した音声波形のＳ（ｔ）またはＳ（ｆ）から推定される音声とを対応づけて本データベースに保存する。このとき、画像解析部６が解析した特徴量が既に本データベースに保存されているときは、それに対応する音声情報としてＳ（ｔ）またはＳ（ｆ）から推定される音声を上書きすればよい。特徴量が保存されていなければ、新たに、その情報とＳ（ｔ）またはＳ（ｆ）から推定される音声とを対応づけて追加すればよい。なお、音声波形から音声を推定する方法は既に説明した方法を用いればよい。【０２０１】
（５）推定音声データベース
本データベースの学習方法の一例として、受信部３が受信した受信波形から推定される音声と画像解析部６が解析した特徴量から推定される音声との組み合わせと、音声取得部７が取得した音声波形から推定される音声とを対応づけて本データベースに登録することによって学習する方法がある。なお、音声波形から音声を推定する方法は既に説明した方法を用いればよい。【０２０２】
（６）受信波形−音声器官形状対応データベース
本データベースの学習方法の一例として、受信部３が受信した受信波形と音声取得部７が取得した音声波形から推定される音声器官形状とを対応づけて本データベースに登録することによって学習する方法がある。【０２０３】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｔ）と、受信波形と同時刻に音声取得部７が取得した音声波形のＳ（ｔ）から推定される音声器官形状とを対応づけて本データベースに保存する。ここで、音声波形のＳ（ｔ）から音声器官形状を推定する方法としては、Ｋｅｌｌｙの音声生成モデルからの推測、音声器官形状−音声波形対応データベースの検索などの方法を用いることができる。【０２０４】
また、次の方法でもよい。学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｆ）と、受信波形と同時刻に音声取得部７が取得した音声波形のＳ（ｆ）から推定される音声器官形状とを対応づけて本データベースに保存する。ここで、音声波形のＳ（ｆ）から音声器官形状を推定する方法としては、Ｋｅｌｌｙの音声生成モデルからの推測、音声器官形状−音声波形対応データベースの検索などの方法を用いることができる。【０２０５】
（７）音声器官形状−音声波形対応データベース
本データベースの学習方法の一例として、受信部３が受信した受信波形から推定される音声器官形状と音声取得部７が取得した音声波形とを対応づけて本データベースに登録することによって学習する方法がある。【０２０６】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｔ）から推定される音声器官形状と、受信波形と同時刻に音声取得部７が取得した音声波形のＳ（ｔ）とを対応づけて本データベースに保存する。このとき、受信波形から推定された音声器官形状が既に本データベースに保存されているときは、それに対応する音声波形情報としてＳ（ｔ）を上書きすればよい。音声器官形状が保存されていなければ、新たに、その情報とＳ（ｔ）とを対応づけて追加すればよい。【０２０７】
また、次の方法でもよい。学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｆ）から推定される音声器官形状と、受信波形と同時刻に音声取得部７が取得した音声波形のＳ（ｆ）とを対応づけて本データベースに保存する。このとき、受信波形から推定された音声器官形状が既に本データベースに保存されているときは、それに対応する音声波形情報としてＳ（ｆ）を上書きすればよい。音声器官形状が保存されていなければ、新たに、その情報とＳ（ｆ）とを対応づけて追加すればよい。【０２０８】
本データベースの学習方法の他の例として、受信部３が受信した受信波形から推定される音声器官形状から検索される本データベースに保存された音声波形と、音声取得部７が取得した音声波形とを重み付け平均して更新する学習方法がある。【０２０９】
学習部８は、音声取得部７が取得した音声波形のＳ（ｔ）と、受信部３で受信した受信波形から推定される音声器官形状と最も合致度の高い形状を示す音声器官形状情報に対応づけられて本データベースに登録されている音声波形のＳｄ（ｔ）とを、（ｍ・Ｓ（ｔ）＋ｎ・Ｓｄ（ｔ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る音声器官形状が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形から推定される音声器官形状と音声取得部７が取得した音声波形のＳ（ｔ）とを新たに対応付けて追加すればよい。【０２１０】
また、次の方法でもよい。学習部８は、音声取得部７が取得した音声波形のＳ（ｆ）と、受信部３で受信した受信波形から推定される音声器官形状と最も合致度の高い形状を示す音声器官形状情報に対応づけられて本データベースに登録されている音声波形のＳｄ（ｆ）とを、（ｍ・Ｓ（ｆ）＋ｎ・Ｓｄ（ｆ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る音声器官形状が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形から推定される音声器官形状と音声取得部７が取得した音声波形のＳ（ｆ）とを新たに対応付けて追加すればよい。【０２１１】
（８）解析特徴量−音声器官形状対応データベース
本データベースの学習方法の一例として、画像解析部６が解析した特徴量と音声取得部７が取得した音声波形から推定される音声器官形状とを対応づけて本データベースに登録することによって学習する方法がある。【０２１２】
学習部８は、有発音時において画像取得部５が取得した画像から画像解析部６によって解析された特徴量と、その画像と同時刻に音声取得部７が取得した音声波形のＳ（ｔ）またはＳ（ｆ）から推定される音声器官形状とを対応づけて本データベースに保存する。このとき、画像解析部６が解析した特徴量が既に本データベースに保存されているときは、それに対応する音声器官情報として、Ｓ（ｔ）またはＳ（ｆ）から推定される音声器官形状を示す音声器官形状情報を上書きすればよい。特徴量が保存されていなければ、新たに、その情報とＳ（ｔ）またはＳ（ｆ）から推定される音声器官形状を示す音声器官形状情報とを対応づけて追加すればよい。【０２１３】
なお、音声波形から音声器官形状を推定する方法は既に説明した方法を用いればよい。【０２１４】
（９）推定音声器官形状データベース
本データベースの学習方法の一例として、受信部３が受信した受信波形から推定される音声器官形状と画像解析部６が解析した特徴量から推定される音声器官形状との組み合わせと、音声取得部７が取得した音声波形から推定される音声器官形状とを対応づけて本データベースに登録することによって学習する方法がある。【０２１５】
学習部８は、有発音時において受信部３が受信した受信波形から推定される音声器官形状と、同時刻に画像取得部５が取得した画像から画像解析部６によって解析された特徴量から推定される音声器官形状との組み合わせと、同時刻に音声取得部７が取得した音声波形Ｓ（ｔ）またはＳ（ｆ）から推定される音声器官形状とを対応づけて本データベースに保存する。【０２１６】
なお、音声波形から音声器官形状を推定する方法は既に説明した方法を用いればよい。【０２１７】
（１０）音声器官形状−音声対応データベース
本データベースの学習方法の一例として、受信部３が受信した受信波形から推定される音声器官形状と音声取得部７が取得した音声波形から推定される音声とを対応づけて本データベースに登録することによって学習する方法がある。【０２１８】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｔ）から推定される音声器官形状と、受信波形と同時刻に音声取得部７が取得した音声波形のＳ（ｔ）から推定される音声とを対応づけて本データベースに保存する。【０２１９】
また、次の方法でもよい。学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｆ）から推定される音声器官形状と、受信波形と同時刻に音声取得部７が取得した音声波形のＳ（ｆ）から推定される音声とを対応づけて本データベースに保存する。【０２２０】
なお、音声波形から音声を推定する方法は既に説明した方法を用いればよい。【０２２１】
（１１）受信波形−本人用音声波形対応データベース
本データベースの学習方法の一例として、受信部３が受信した受信波形と本人用音声取得部７が取得した音声波形から推定される本人用音声波形とを対応づけて本データベースに登録することによって学習する方法がある。【０２２２】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｔ）と、同時刻に音声取得部７が取得した音声波形のＳ（ｔ）から推定される本人用音声波形のＳ’（ｔ）とを対応づけて保存する。このとき、Ｒｘ（ｔ）が既に本データベースに保存されているときは、それに対応する本人用音声波形情報としてＳ’（ｔ）を上書きすればよい。Ｒｘ（ｔ）が保存されていなければ、新たに、その情報とＳ’（ｔ）とを対応づけて追加すればよい。ここで、音声波形のＳ（ｔ）から本人用音声波形のＳ’（ｔ）を推定する方法としては、音声波形のＳ（ｔ）に、波形変換処理を施すことによって本人用音声波形のＳ’（ｔ）に変換する方法を用いればよい。【０２２３】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｆ）と、同時刻に音声取得部７が取得した音声波形のＳ（ｆ）から推定される本人用音声波形のＳ’（ｆ）とを対応づけて保存する。このとき、Ｒｘ（ｆ）が既に本データベースに保存されているときは、それに対応する本人用音声波形情報としてＳ’（ｆ）を上書きすればよい。Ｒｘ（ｆ）が保存されていなければ、新たに、その情報とＳ’（ｆ）とを対応づけて追加すればよい。ここで、音声波形のＳ（ｆ）から本人用音声波形のＳ’（ｆ）を推定する方法としては、音声波形のＳ（ｆ）に、波形変換処理を施すことによって本人用音声波形のＳ’（ｆ）に変換する方法を用いればよい。【０２２４】
本データベースの学習方法の他の例として、受信部３が受信した受信波形から検索される本データベースに保存された本人用音声波形と、音声取得部７が取得した音声波形から推定される本人用音声波形とを重み付け平均して更新する学習方法がある。【０２２５】
学習部８は、音声取得部７が取得した音声波形のＳ（ｔ）から推定される本人用音声波形のＳ’（ｔ）と、受信部３で受信した受信波形と最も合致度の高い波形を示す受信波形情報に対応づけられて本データベースに登録されている本人用音声波形のＳｄ’（ｔ）とを、（ｍ・Ｓ’（ｔ）＋ｎ・Ｓｄ’（ｔ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る受信波形が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形と音声取得部７が取得した音声波形のＳ（ｔ）から推定される本人用音声波形のＳ’（ｔ）とを新たに対応付けて追加すればよい。【０２２６】
また、次の方法でもよい。学習部８は、音声取得部７が取得した音声波形のＳ（ｆ）から推定される本人用音声波形のＳ’（ｆ）と、受信部３で受信した受信波形と最も合致度の高い波形を示す受信波形情報に対応づけられて本データベースに登録されている本人用音声波形のＳｄ’（ｆ）とを、（ｍ・Ｓ’（ｆ）＋ｎ・Ｓｄ’（ｆ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る受信波形が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形と音声取得部７が取得した音声波形のＳ（ｆ）から推定される本人用音声波形のＳ’（ｆ）とを新たに対応付けて追加すればよい。【０２２７】
本データベースの学習方法の他の例としては、受信部３が受信した受信波形と本人用音声取得部７’が取得した本人用音声波形とを対応づけて本データベースに登録することによって学習する方法がある。【０２２８】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｔ）と、同時刻に本人用音声取得部７’が取得した本人用音声波形のＳ’（ｔ）とを対応づけて保存する。このとき、Ｒｘ（ｔ）が既に本データベースに保存されているときは、それに対応する本人用音声波形情報としてＳ’（ｔ）を上書きすればよい。Ｒｘ（ｔ）が保存されていなければ、新たに、その情報とＳ’（ｔ）とを対応づけて追加すればよい。【０２２９】
また、次の方法でもよい。学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｆ）と、同時刻に本人用音声取得部７’が取得した本人用音声波形のＳ’（ｆ）とを対応づけて保存する。このとき、Ｒｘ（ｆ）が既に本データベースに保存されているときは、それに対応する本人用音声波形情報としてＳ’（ｆ）を上書きすればよい。Ｒｘ（ｆ）が保存されていなければ、新たに、その情報とＳ’（ｆ）とを対応づけて追加すればよい。【０２３０】
本データベースの学習方法の他の例としては、受信部３が受信した受信波形から検索される本データベースに保存された本人用音声波形と、本人用音声取得部７’が取得した本人用音声波形とを重み付け平均して更新する学習方法がある。【０２３１】
学習部８は、本人用音声取得部７’が取得した本人用音声波形のＳ’（ｔ）と、受信部３で受信した受信波形と最も合致度の高い波形を示す受信波形情報に対応づけられて本データベースに登録されている本人用音声波形のＳｄ’（ｔ）とを、（ｍ・Ｓ’（ｔ）＋ｎ・Ｓｄ’（ｔ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る受信波形が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形と本人用音声取得部７’が取得した本人用音声波形のＳ’（ｔ）とを新たに対応付けて追加すればよい。【０２３２】
また、次の方法でもよい。学習部８は、本人用音声取得部７’が取得した本人用音声波形のＳ’（ｆ）と、受信部３で受信した受信波形と最も合致度の高い波形を示す受信波形情報に対応づけられて本データベースに登録されている本人用音声波形のＳｄ’（ｆ）とを、（ｍ・Ｓ’（ｆ）＋ｎ・Ｓｄ’（ｆ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る受信波形が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形と本人用音声取得部７’が取得した本人用音声波形のＳ’（ｆ）とを新たに対応付けて追加すればよい。【０２３３】
（１２）受信波形−本人用音声対応データベース
本データベースの学習方法の一例として、受信部３が受信した受信波形と音声取得部７が取得した音声波形から推定される本人用音声とを対応づけて本データベースに登録することによって学習する方法がある。【０２３４】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｔ）と、同時刻に音声取得部７が取得した音声波形のＳ（ｔ）から推定される本人用音声とを対応づけて保存する。このとき、Ｒｘ（ｔ）が既に本データベースに保存されているときは、それに対応する本人用音声情報としてＳ（ｔ）から推定される本人用音声を上書きすればよい。Ｒｘ（ｔ）が保存されていなければ、新たに、その情報とＳ（ｔ）から推定される本人用音声とを対応づけて追加すればよい。【０２３５】
また、次の方法でもよい。学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｆ）と、同時刻に音声取得部７が取得した音声波形のＳ（ｆ）から推定される本人用音声とを対応づけて保存する。このとき、Ｒｘ（ｆ）が既に本データベースに保存されているときは、それに対応する本人用音声情報としてＳ（ｆ）から推定される本人用音声を上書きすればよい。Ｒｘ（ｆ）が保存されていなければ、新たに、その情報とＳ（ｆ）から推定される本人用音声とを対応づけて追加すればよい。【０２３６】
ここで、音声波形から本人用音声を推定する方法の例を挙げる。音声波形のＳ（ｔ）またはＳ（ｆ）より音声を推定してから本人用音声を推定する方法がある。音声波形のＳ（ｔ）より本人用音声波形のＳ’（ｔ）を推定してから本人用音声を推定する方法がある。音声波形のＳ（ｆ）より本人用音声波形のＳ’（ｆ）を推定してから本人用音声を推定する方法がある。このとき、音声から本引用音声を推定する方法としては、音調、声量、声質などの各パラメータを変更する方法であってもよい。【０２３７】
本データベースの学習方法の他の例として、受信部３が受信した受信波形と本人用音声取得部７’が取得した本人用音声波形から推定される本人用音声とを対応づけて本データベースに登録することによって学習する方法がある。【０２３８】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｔ）と、同時刻に本人用音声取得部７’が取得した本人用音声波形のＳ’（ｔ）から推定される本人用音声とを対応づけて保存する。このとき、Ｒｘ（ｔ）が既に本データベースに保存されているときは、それに対応する本人用音声波形としてＳ’（ｔ）から推定される本人用音声を上書きすればよい。Ｒｘ（ｔ）が保存されていなければ、新たに、その情報とＳ’（ｔ）から推定される本人用音声とを対応づけて追加すればよい。【０２３９】
また、次の方法でもよい。学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｆ）と、同時刻に本人用音声取得部７’が取得した本人用音声波形のＳ’（ｆ）から推定される本人用音声とを対応づけて保存する。このとき、Ｒｘ（ｆ）が既に本データベースに保存されているときは、それに対応する本人用音声波形としてＳ’（ｆ）から推定される本人用音声を上書きすればよい。Ｒｘ（ｆ）が保存されていなければ、新たに、その情報とＳ’（ｆ）から推定される本人用音声とを対応づけて追加すればよい。【０２４０】
（１３）本人用音声−本人用音声波形対応データベース
本データベースの学習方法の一例として、受信部３が受信した受信波形から推定される本人用音声と音声取得部７が取得した音声波形から推定される本人用音声波形とを対応づけて本データベースに登録することによって学習する方法がある。【０２４１】
このとき、受信部３が受信した受信波形のＲｘ（ｔ）から推定される本人用音声が既に本データベースに保存されているときは、それに対応する本人用音声波形情報として音声波形のＳ（ｔ）から推定される本人用音声波形のＳ’（ｔ）を上書きすればよい。Ｒｘ（ｔ）が保存されていなければ、新たに、その情報とＳ（ｔ）から推定される本人用音声波形Ｓ’（ｔ）とを対応づけて追加すればよい。【０２４２】
また、受信部３が受信した受信波形のＲｘ（ｆ）から推定される本人用音声が既に本データベースに保存されているときは、それに対応する本人用音声波形情報として音声波形のＳ（ｆ）から推定される本人用音声波形のＳ’（ｆ）を上書きすればよい。Ｒｘ（ｆ）が保存されていなければ、新たに、その情報とＳ（ｆ）から推定される本人用音声波形Ｓ’（ｆ）とを対応づけて追加すればよい。【０２４３】
本データベースの学習方法の他の例として、受信部３が受信した受信波形から推定される本人用音声から検索される本データベースに保存された本人用音声波形と、音声取得部７が取得した音声波形から推定される本人用音声波形とを重み付け平均して更新する学習方法がある。【０２４４】
学習部８は、音声取得部７が取得した音声波形のＳ（ｔ）から推定される本人用音声波形のＳ’（ｔ）と、受信部３で受信した受信波形から推定される本人用音声と最も合致度の高い音声を示す本人用音声情報に対応づけられて本データベースに登録されている本人用音声波形のＳｄ’（ｔ）とを、（ｍ・Ｓ’（ｔ）＋ｎ・Ｓｄ’（ｔ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。【０２４５】
合致度を求めた結果、所定の合致度を上回る本人用音声が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形から推定される本人用音声と音声取得部７が取得した音声波形のＳ（ｔ）から推定される本人用音声波形のＳ’（ｔ）とを新たに対応付けて追加すればよい。【０２４６】
また、次の方法でもよい。学習部８は、音声取得部７が取得した音声波形のＳ（ｆ）から推定される本人用音声波形のＳ’（ｆ）と、受信部３で受信した受信波形から推定される本人用音声と最も合致度の高い音声を示す本人用音声情報に対応づけられて本データベースに登録されている本人用音声波形のＳｄ’（ｆ）とを、（ｍ・Ｓ’（ｆ）＋ｎ・Ｓｄ’（ｆ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。【０２４７】
合致度を求めた結果、所定の合致度を上回る本人用音声が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形から推定される本人用音声と音声取得部７が取得した音声波形のＳ（ｆ）から推定される本人用音声波形のＳ’（ｆ）とを新たに対応付けて追加すればよい。【０２４８】
本データベースの学習方法の他の例としては、受信部３が受信した受信波形から推定される本人用音声と本人用音声取得部７’が取得した本人用音声波形とを対応づけて本データベースに登録することによって学習する方法がある。【０２４９】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｔ）から推定される本人用音声と、同時刻に本人用音声取得部７’が取得した本人用音声波形のＳ’（ｔ）とを対応づけて保存する。このとき、Ｒｘ（ｔ）から推定される本人用音声が既に本データベースに保存されているときは、それに対応する本人用音声波形情報としてＳ’（ｔ）を上書きすればよい。Ｒｘ（ｔ）から推定される本人用音声が保存されていなければ、新たに、その情報とＳ’（ｔ）とを対応づけて追加すればよい。【０２５０】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｆ）から推定される本人用音声と、同時刻に本人用音声取得部７’が取得した本人用音声波形のＳ’（ｆ）とを対応づけて保存する。このとき、Ｒｘ（ｆ）から推定される本人用音声が既に本データベースに保存されているときは、それに対応する本人用音声波形情報としてＳ’（ｆ）を上書きすればよい。Ｒｘ（ｆ）から推定される本人用音声が保存されていなければ、新たに、その情報とＳ’（ｆ）とを対応づけて追加すればよい。【０２５１】
本データベースの学習方法の他の例としては、受信部３が受信した受信波形から推定される本人用音声から検索される本データベースに保存された本人用音声波形と、本人用音声取得部７’が取得した本人用音声波形とを重み付け平均して更新する学習方法がある。【０２５２】
学習部８は、本人用音声取得部７’が取得した本人用音声波形Ｓ’（ｔ）と、受信部３で受信した受信波形から推定される本人用音声と最も合致度の高い音声を示す音声情報に対応づけられて本データベースに登録されている本人用音声波形Ｓｄ’（ｔ）とを、（ｍ・Ｓ’（ｔ）＋ｎ・Ｓｄ’（ｔ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。【０２５３】
合致度を求めた結果、所定の合致度を上回る音声が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形から推定される本人用音声と本人用音声取得部７’が取得した本人用音声波形のＳ’（ｔ）とを新たに対応付けて追加すればよい。【０２５４】
学習部８は、本人用音声取得部７’が取得した本人用音声波形Ｓ’（ｆ）と、受信部３で受信した受信波形から推定される本人用音声と最も合致度の高い音声を示す音声情報に対応づけられて本データベースに登録されている本人用音声波形Ｓｄ’（ｆ）とを、（ｍ・Ｓ’（ｆ）＋ｎ・Ｓｄ’（ｆ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。【０２５５】
合致度を求めた結果、所定の合致度を上回る音声が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形から推定される本人用音声と本人用音声取得部７’が取得した本人用音声波形のＳ’（ｆ）とを新たに対応付けて追加すればよい。【０２５６】
（１４）解析特徴量−本人用音声対応データベース
本データベースの学習方法の一例として、画像解析部６が解析した特徴量と音声取得部７が取得した音声波形から推定される本人用音声とを対応づけて本データベースに登録することによって学習する方法がある。【０２５７】
学習部８は、有発音時において画像取得部５が取得した画像から画像解析部６によって解析された特徴量と、その画像と同時刻に音声取得部７が取得した音声波形のＳ（ｔ）またはＳ（ｆ）から推定される本人用音声とを対応づけて本データベースに保存する。【０２５８】
本データベースの学習方法の他の例としては、画像解析部６が解析した特徴量と本人用音声取得部７’が取得した本人用音声波形から推定される本人用音声とを対応づけて本データベースに登録することによって学習する方法がある。【０２５９】
学習部８は、有発音時において画像取得部５が取得した画像から画像解析部６によって解析された特徴量と、その画像と同時刻に本人用音声取得部７’が取得した本人用音声波形のＳ’（ｔ）またはＳ’（ｆ）から推定される本人用音声とを対応づけて本データベースに保存する。【０２６０】
（１５）推定本人用音声データベース
本データベースの学習方法の一例として、受信部３が受信した受信波形から推定される本人用音声と画像解析部６が解析した特徴量から推定される本人用音声との組み合わせと、音声取得部７が取得した音声波形から推定される本人用音声とを対応づけて本データベースに登録することによって学習する方法がある。【０２６１】
（１６）音声器官形状−伝達関数補正情報データベース
本データベースの学習方法の一例として、次の３つの処理を行うことで学習する方法がある。１つ目の処理は、受信部３が受信した受信波形から推定される音声器官形状と音声取得部７が取得した音声波形とから第１の伝達関数を推定することである。２つ目の処理は、受信部３が受信した受信波形から推定される音声器官形状と本人用音声取得部７’が取得した本人用音声波形とから第２の伝達関数を推定することである。３つ目の処理は、第１の伝達関数と第２の伝達関数との差と受信波形から推定される音声器官形状とを対応づけて本データベースに登録するである。【０２６２】
（１７）音声器官形状−本人用音声波形対応データベース
本データベースの学習方法の一例として、受信部３が受信した受信波形から推定される音声器官形状と音声取得部７が取得した音声波形から推定される本人用音声波形とを対応づけて本データベースに登録することによって学習する方法がある。【０２６３】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｔ）から推定される音声器官形状と、受信波形と同時刻に音声取得部７が取得した音声波形のＳ（ｔ）から推定される本人用音声波形のＳ’（ｔ）とを対応づけて本データベースに保存する。このとき、受信波形から推定された音声器官形状が既に本データベースに保存されているときは、それに対応する本人用音声波形情報としてＳ’（ｔ）を上書きすればよい。音声器官形状が保存されていなければ、新たに、その情報とＳ’（ｔ）とを対応づけて追加すればよい。【０２６４】
また、次の方法でもよい。学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｆ）から推定される音声器官形状と、受信波形と同時刻に音声取得部７が取得した音声波形のＳ（ｆ）から推定される本人用音声波形のＳ’（ｆ）とを対応づけて本データベースに保存する。このとき、受信波形から推定された音声器官形状が既に本データベースに保存されているときは、それに対応する本人用音声波形情報としてＳ’（ｆ）を上書きすればよい。音声器官形状が保存されていなければ、新たに、その情報とＳ’（ｆ）とを対応づけて追加すればよい。【０２６５】
本データベースの学習方法の他の例として、受信部３が受信した受信波形から推定される音声器官形状から検索される本データベースに保存された本人用音声波形と、音声取得部７が取得した音声波形から推定される本人用音声波形とを重み付け平均して更新する学習方法がある。【０２６６】
学習部８は、音声取得部７が取得した音声波形のＳ（ｔ）から推定される本人用音声波形のＳ’（ｔ）と、受信部３で受信した受信波形から推定される音声器官形状と最も合致度の高い形状を示す音声器官形状情報に対応づけられて本データベースに登録されている本人用音声波形のＳｄ’（ｔ）とを、（ｍ・Ｓ’（ｔ）＋ｎ・Ｓｄ’（ｔ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。【０２６７】
合致度を求めた結果、所定の合致度を上回る音声器官形状が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形から推定される音声器官形状と音声取得部７が取得した音声波形のＳ（ｔ）から推定される本人用音声波形のＳ’（ｔ）とを新たに対応付けて追加すればよい。【０２６８】
また、次の方法でもよい。学習部８は、音声取得部７が取得した音声波形のＳ（ｆ）から推定される本人用音声波形のＳ’（ｆ）と、受信部３で受信した受信波形から推定される音声器官形状と最も合致度の高い形状を示す音声器官形状情報に対応づけられて本データベースに登録されている本人用音声波形のＳｄ’（ｆ）とを、（ｍ・Ｓ’（ｆ）＋ｎ・Ｓｄ’（ｆ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存してもよい。【０２６９】
合致度を求めた結果、所定の合致度を上回る音声器官形状が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形から推定される音声器官形状と音声取得部７が取得した音声波形のＳ（ｆ）から推定される本人用音声波形のＳ’（ｆ）とを新たに対応付けて追加すればよい。【０２７０】
本データベースの学習方法の他の例として、受信部３が受信した受信波形から推定される音声器官形状と本人用音声取得部７’が取得した本人用音声波形とを対応づけて本データベースに登録することによって学習する方法がある。【０２７１】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｔ）から推定される音声器官形状と、受信波形と同時刻に本人用音声取得部７’が取得した本人用音声波形のＳ’（ｔ）とを対応づけて本データベースに保存する。このとき、受信波形から推定された音声器官形状が既に本データベースに保存されているときは、それに対応する本人用音声波形情報としてＳ’（ｔ）を上書きすればよい。音声器官形状が保存されていなければ、新たに、その情報とＳ’（ｔ）とを対応づけて追加すればよい。【０２７２】
次の方法でもよい。学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｆ）から推定される音声器官形状と、受信波形と同時刻に本人用音声取得部７’が取得した本人用音声波形のＳ’（ｆ）とを対応づけて本データベースに保存する。このとき、受信波形から推定された音声器官形状が既に本データベースに保存されているときは、それに対応する本人用音声波形情報としてＳ’（ｆ）を上書きすればよい。音声器官形状が保存されていなければ、新たに、その情報とＳ’（ｆ）とを対応づけて追加すればよい。【０２７３】
また、本データベースの学習方法の他の例として、受信部３が受信した受信波形から推定される音声器官形状から検索される本データベースに保存された本人用音声波形と、本人用音声取得部７’が取得した本人用音声波形とを重み付け平均して更新する学習方法がある。【０２７４】
学習部８は、本人用音声取得部７’が取得した本人用音声波形のＳ’（ｔ）と、受信部３で受信した受信波形から推定される音声器官形状と最も合致度の高い形状を示す音声器官形状情報に対応づけられて本データベースに登録されている本人用音声波形のＳｄ’（ｔ）とを、（ｍ・Ｓ’（ｔ）＋ｎ・Ｓｄ’（ｔ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る音声器官形状が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形から推定される音声器官形状と本人用音声取得部７’が取得した本人用音声波形のＳ’（ｔ）とを新たに対応付けて追加すればよい。【０２７５】
学習部８は、本人用音声取得部７’が取得した本人用音声波形のＳ’（ｆ）と、受信部３で受信した受信波形から推定される音声器官形状と最も合致度の高い形状を示す音声器官形状情報に対応づけられて本データベースに登録されている本人用音声波形のＳｄ’（ｆ）とを、（ｍ・Ｓ’（ｆ）＋ｎ・Ｓｄ’（ｆ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る音声器官形状が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形から推定される音声器官形状と本人用音声取得部７’が取得した本人用音声波形のＳ’（ｆ）とを新たに対応付けて追加すればよい。【０２７６】
（１８）音声器官形状−本人用音声対応データベース
本データベースの学習方法の一例として、受信部３が受信した受信波形から推定される音声器官形状と音声取得部７が取得した音声波形から推定される本人用音声とを対応づけて本データベースに登録することによって学習する方法がある。【０２７７】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｔ）から推定される音声器官形状と、受信波形と同時刻に音声取得部７が取得した音声波形のＳ（ｔ）から推定される本人用音声とを対応づけて本データベースに保存する。このとき、受信波形から推定された音声器官形状が既に本データベースに保存されているときは、それに対応する本人用音声情報としてＳ（ｔ）から推定される本人用音声を上書きすればよい。音声器官形状が保存されていなければ、新たに、その情報とＳ（ｔ）から推定される本人用音声とを対応づけて追加すればよい。【０２７８】
また、次の方法でもよい。学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｆ）から推定される音声器官形状と、受信波形と同時刻に音声取得部７が取得した音声波形のＳ（ｆ）から推定される本人用音声とを対応づけて本データベースに保存する。このとき、受信波形から推定された音声器官形状が既に本データベースに保存されているときは、それに対応する本人用音声情報としてＳ（ｆ）から推定される本人用音声を上書きすればよい。音声器官形状が保存されていなければ、新たに、その情報とＳ（ｆ）から推定される本人用音声とを対応づけて追加すればよい。【０２７９】
ここで、音声取得部７が取得した音声波形から本人用音声を推定する方法の例を挙げる。音声波形のＳ（ｔ）またはＳ（ｆ）より音声を推定してから本人用音声を推定する方法がある。音声波形のＳ（ｔ）より本人用音声波形のＳ’（ｔ）を推定してから本人用音声を推定する方法がある。音声波形のＳ（ｆ）より本人用音声波形のＳ’（ｆ）を推定してから本人用音声を推定する方法がある。このとき、音声から本人用音声を推定する方法としては、既に説明したように、音調、声量、声質などの各パラメータを変更する方法であってもよい。【０２８０】
また、本データベースの学習方法の他の例として、受信部３が受信した受信波形から推定される音声器官形状から検索される本データベースに保存された本人用音声波形と、本人用音声取得部７’が取得した本人用音声波形から推定される本人用音声とを重み付け平均して更新する学習方法がある。【０２８１】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｔ）から推定される音声器官形状と、受信波形と同時刻に本人用音声取得部７’が取得した本人用音声波形のＳ’（ｔ）とから推定される本人用音声とを対応づけて本データベースに保存する。このとき、受信波形から推定された音声器官形状が既に本データベースに保存されているときは、それに対応する本人用音声情報としてＳ’（ｔ）から推定される本人用音声を上書きすればよい。音声器官形状が保存されていなければ、新たに、その情報とＳ’（ｔ）から推定される本人用音声とを対応づけて追加すればよい。【０２８２】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｆ）から推定される音声器官形状と、受信波形と同時刻に本人用音声取得部７’が取得した本人用音声波形のＳ’（ｆ）とから推定される本人用音声とを対応づけて本データベースに保存する。このとき、受信波形から推定された音声器官形状が既に本データベースに保存されているときは、それに対応する本人用音声情報としてＳ’（ｆ）から推定される本人用音声を上書きすればよい。音声器官形状が保存されていなければ、新たに、その情報とＳ’（ｆ）から推定される本人用音声とを対応づけて追加すればよい。【０２８３】
（１９）音声−本人用音声波形対応データベース
本データベースの学習方法の一例として、受信部３が受信した受信波形から推定される音声と音声取得部７が取得した音声波形から推定される本人用音声波形とを対応づけて本データベースに登録することによって学習する方法がある。【０２８４】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｔ）から推定される音声と、受信波形と同時刻に音声取得部７が取得した音声波形のＳ（ｔ）から推定される本人用音声波形のＳ’（ｔ）とを対応づけて本データベースに保存する。このとき、受信波形から推定された音声が既に本データベースに保存されているときは、それに対応する本人用音声波形情報としてＳ’（ｔ）を上書きすればよい。音声が保存されていなければ、新たに、その情報とＳ’（ｔ）とを対応づけて追加すればよい。【０２８５】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｆ）から推定される音声と、受信波形と同時刻に音声取得部７が取得した音声波形のＳ（ｆ）から推定される本人用音声波形のＳ’（ｆ）とを対応づけて本データベースに保存する。このとき、受信波形から推定された音声が既に本データベースに保存されているときは、それに対応する本人用音声波形情報としてＳ’（ｆ）を上書きすればよい。音声が保存されていなければ、新たに、その情報とＳ’（ｆ）とを対応づけて追加すればよい。【０２８６】
本データベースの学習方法の他の例として、受信部３が受信した受信波形から推定される音声から検索される本データベースに保存された本人用音声波形と、音声取得部７が取得した音声波形から推定される本人用音声波形とを重み付け平均して更新する学習方法がある。【０２８７】
学習部８は、音声取得部７が取得した音声波形のＳ（ｔ）から推定される本人用音声波形のＳ’（ｔ）と、受信部３で受信した受信波形から推定される音声と最も合致度の高い音声を示す音声情報に対応づけられて本データベースに登録されている本人用音声波形のＳｄ’（ｔ）とを、（ｍ・Ｓ’（ｔ）＋ｎ・Ｓｄ’（ｔ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る音声が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形から推定される音声と音声取得部７が取得した音声波形のＳ（ｔ）から推定される本人用音声波形のＳ’（ｔ）とを新たに対応付けて追加すればよい。【０２８８】
学習部８は、音声取得部７が取得した音声波形のＳ（ｆ）から推定される本人用音声波形のＳ’（ｆ）と、受信部３で受信した受信波形から推定される音声と最も合致度の高い音声を示す音声情報に対応づけられて本データベースに登録されている本人用音声波形のＳｄ’（ｆ）とを、（ｍ・Ｓ’（ｆ）＋ｎ・Ｓｄ’（ｆ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る音声が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形から推定される音声と音声取得部７が取得した音声波形のＳ（ｆ）から推定される本人用音声波形のＳ’（ｆ）とを新たに対応付けて追加すればよい。【０２８９】
本データベースの学習方法の他の例として、受信部３が受信した受信波形から推定される音声と本人用音声取得部７’が取得した本人用音声波形とを対応づけて本データベースに登録することによって学習する方法がある。【０２９０】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｔ）から推定される音声と、受信波形と同時刻に本人用音声取得部７’が取得した本人用音声波形のＳ’（ｔ）とを対応づけて本データベースに保存する。このとき、受信波形から推定された音声が既に本データベースに保存されているときは、それに対応する本人用音声波形情報としてＳ’（ｔ）を上書きすればよい。音声が保存されていなければ、新たに、その情報とＳ’（ｔ）とを対応づけて追加すればよい。【０２９１】
学習部８は、有発音時において受信部３が受信した受信波形のＲｘ（ｆ）から推定される音声と、受信波形と同時刻に本人用音声取得部７’が取得した本人用音声波形のＳ’（ｆ）とを対応づけて本データベースに保存する。このとき、受信波形から推定された音声が既に本データベースに保存されているときは、それに対応する本人用音声波形情報としてＳ’（ｆ）を上書きすればよい。音声が保存されていなければ、新たに、その情報とＳ’（ｆ）とを対応づけて追加すればよい。【０２９２】
また、本データベースの学習方法の他の例として、受信部３が受信した受信波形から推定される音声から検索される本データベースに保存された本人用音声波形と、本人用音声取得部７’が取得した本人用音声波形とを重み付け平均して更新する学習方法がある。【０２９３】
学習部８は、本人用音声取得部７’が取得した本人用音声波形のＳ’（ｔ）と、受信部３で受信した受信波形から推定される音声と最も合致度の高い音声を示す音声情報に対応づけられて本データベースに登録されている本人用音声波形のＳｄ’（ｔ）とを（ｍ・Ｓ’（ｔ）＋ｎ・Ｓｄ’（ｔ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る音声が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形から推定される音声と本人用音声取得部７’が取得した本人用音声波形のＳ’（ｔ）とを新たに対応付けて追加すればよい。【０２９４】
学習部８は、本人用音声取得部７’が取得した本人用音声波形のＳ’（ｆ）と、受信部３で受信した受信波形から推定される音声と最も合致度の高い音声を示す音声情報に対応づけられて本データベースに登録されている本人用音声波形のＳｄ’（ｆ）とを、（ｍ・Ｓ’（ｆ）＋ｎ・Ｓｄ’（ｆ）／（ｍ＋ｎ））のようにｍ：ｎで重み付け平均する。得られた値を本データベースに上書き保存する。合致度を求めた結果、所定の合致度を上回る音声が登録されていない場合には、重み付け平均せずに、受信部３で受信した受信波形から推定される音声と本人用音声取得部７’が取得した本人用音声波形のＳ’（ｆ）とを新たに対応付けて追加すればよい。【０２９５】
（２０）音波の伝達関数を導出するアルゴリズム
本アルゴリズムの学習方法の一つとして、受信部３が受信した受信波形を入力とし、音声取得部７が取得した音声波形を出力とする伝達関数を作成し、伝達関数の各係数同士の関係を補正する学習方法がある。【０２９６】
学習部８は、伝達関数の導出アルゴリズムを示す情報として、伝達関数の各係数同士の関係を指定する旨の情報を音声推定部４に通知する。学習部８が所定の領域に伝達関数の各係数同士の関係を示す関係式を記憶しておいてもよい。【０２９７】
本実施形態によれば、学習部８が、実際に発した音声に基づいて推定に用いる各種データを更新するので、推定精度（すなわち音声の再現性）を高めることができる。また、個人の特性などを簡単に反映させることができる。【０２９８】
上述した実施形態による本発明を、次のように利用することが可能である。【０２９９】
騒音の他人への配慮が必要な、電車内などの静寂性が求められる空間において、電話での通話に本発明を利用することができる。この場合、発信部、受信部、および音声推定部または本人用音声推定部が携帯電話機に設けられているものとする。【０３００】
電車内で携帯電話機を口に向けて持ち、無発声で口を動かすと、携帯電話機の音声推定部が音声又は音声波形を推定する。携帯電話機は、推定した音声又は音声波形による音声情報を公衆網を介して相手の電話機に送信する。このとき、携帯電話機内の音声推定部が音声波形を推定すると、携帯電話機は、通常の携帯電話機のマイクで取得した音声波形を処理する工程と同様の工程を実行して相手の電話機に送信してもよい。【０３０１】
その際、携帯電話機は、音声推定部や本人用音声推定部で推定された音声又は音声波形をスピーカで再生してもよい。これにより、携帯電話機の持ち主は、自分が無発音で何を話しているかを確認することができ、フィードバックをかけることができる。【０３０２】
また、カラオケで歌を歌う際に、その歌を自分の持歌とするプロの歌手の声で歌えるサービスに本発明を適用することが考えられる。【０３０３】
この場合、カラオケ用マイクに発信部および受信部が設けられ、カラオケ機器の本体に音声推定部が設けられている。そして、音声推定部には各データベースや伝達関数が、各歌の歌手による音声又は音声波形に対応して登録されている。そのカラオケ機器を利用してマイクに向けて歌に合わせて口を動かすと、実施形態および実施例で説明した動作により、その歌を持歌とするプロの歌手の声がスピーカから出力される。このようにして、一般の人でもプロの歌手の声で歌を歌う感覚を得ることができる。【０３０４】
本発明の音声推定方法を実行させるためのプログラムを、コンピュータが読み取り可能な記録媒体に記録してもよい。【０３０５】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。【０３０６】
この出願は、２００６年１１月２０日に出願された日本出願の特願２００６−３１３３０９の内容が全て取り込まれており、この日本出願を基礎として優先権を主張するものである。
【図１】
2008062782.tif 000003
【図２】
2008062782.tif 000004
【図３】
2008062782.tif 000005
【図４】
2008062782.tif 000006
【図５】
2008062782.tif 000007
【図６】
2008062782.tif 000008
【図７】
2008062782.tif 000009
【図８】
2008062782.tif 000010
【図９Ａ】
2008062782.tif 000011
【図９Ｂ】
2008062782.tif 000012
【図９Ｃ】
2008062782.tif 000013
【図１０】
2008062782.tif 000014
【図１１】
2008062782.tif 000015
【図１２】
2008062782.tif 000016
【図１３】
2008062782.tif 000017
【図１４】
2008062782.tif 000018
【図１５】
2008062782.tif 000019
【図１６】
2008062782.tif 000020
【図１７】
2008062782.tif 000021
【図１８】
2008062782.tif 000022
【図１９】
2008062782.tif 000023
【図２０】
2008062782.tif 000024
【図２１】
2008062782.tif 000025
【図２２】
2008062782.tif 000026
【図２３】
2008062782.tif 000027
【図２４】
2008062782.tif 000028
【図２５】
2008062782.tif 000029
【図２６】
2008062782.tif 000030
【図２７】
2008062782.tif 000031
【図２８】
2008062782.tif 000032
【図２９】
2008062782.tif 000033
【図３０】
2008062782.tif 000034
【図３１】
2008062782.tif 000035
【手続補正書】
【提出日】平成21年8月19日(2009.8.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声器官の形状または動きから音声または音声波形を推定する音声推定システムであって、
試験信号を音声器官に向けて発信する発信部と、
前記発信部によって発信される試験信号の音声器官での反射信号を受信する受信部と、
前記受信部によって受信される反射信号の波形である受信波形から、音声または音声波形を推定する受信波形−音声波形推定部を含む音声推定部と、
を有する音声推定システム。
【請求項２】
受信波形−音声波形推定部は、受信波形に対し、所定の波形変換処理を施すことによって該受信波形を音声波形に変換する波形変換フィルタ部を有し、
前記受信波形−音声波形推定部は、前記波形変換フィルタ部によって変換された音声波形を推定結果とする、請求項１に記載の音声推定システム。
【請求項３】
波形変換フィルタ部は、波形変換処理として、特定の波形との演算処理、行列演算処理、フィルタ処理、周波数シフト処理のうち、少なくとも１つの処理を受信波形に施すことによって、該受信波形を音声波形に変換する、請求項２に記載の音声推定システム。
【請求項４】
受信波形−音声波形推定部は、試験信号の音声器官での反射信号の波形を示す反射波形情報と対応づけて、音声波形の波形を示す音声波形情報を記憶する反射波形−音声波形対応データベースを有し、
前記受信波形−音声波形推定部は、前記反射波形−音声波形対応データベースから、受信波形の波形に対し最も合致度の高い波形を示す反射波形情報を検索し、該反射波形情報に対応づけられた音声波形情報で示される音声波形を推定結果とする、請求項１に記載の音声推定システム。
【請求項５】
音声推定部は、受信部が受信した反射信号の波形である受信波形から音声を推定する受信波形−音声推定部を含む、請求項１に記載の音声推定システム。
【請求項６】
受信波形−音声推定部は、試験信号の音声器官での反射信号の波形を示す反射波形情報と対応づけて、音声を示す音声情報を記憶する反射波形−音声対応データベースを有し、
前記受信波形−音声推定部は、前記反射波形−音声対応データベースから、受信波形の波形に対し最も合致度の高い波形を示す反射波形情報を検索し、該反射波形情報に対応づけられた音声情報で示される音声を推定結果とする、請求項５に記載の音声推定システム。
【請求項７】
受信波形−音声推定部は、
受信部が受信した反射信号の波形である受信波形から音声器官の形状を推定する受信波形−音声器官形状推定部と、
前記受信波形−音声器官形状推定部によって推定される音声器官の形状から音声を推定する音声器官形状−音声推定部と、
を含む請求項５または６に記載の音声推定システム。
【請求項８】
音声器官形状−音声推定部は、音声器官の形状を示す音声器官形状情報と対応づけて、音声を示す音声情報を記憶する音声器官形状−音声波形データベースを有し、
前記音声器官形状−音声推定部は、前記音声器官形状−音声対応データベースから、受信波形−音声器官形状推定部によって推定された音声器官の形状に対し最も合致度の高い形状を示す音声器官形状情報を検索し、該音声器官形状情報に対応づけられた音声情報で示される音声を推定結果とする、請求項７に記載の音声推定システム。
【請求項９】
音声推定部は、音声から音声波形を推定する音声−音声波形推定部を含み、
前記音声−音声波形推定部は、受信波形−音声推定部によって推定される音声から音声波形を推定する、請求項５から８のうちのいずれか１項に記載の音声推定システム。
【請求項１０】
音声−音声波形推定部は、音声を示す音声情報と対応づけて、音声波形を示す音声波形情報を記憶する音声−音声波形対応データベースを有し、
前記音声−音声波形推定部は、前記音声−音声波形対応データベースから、受信波形−音声推定部によって推定された音声に対し最も合致度の高い音声を示す音声情報を検索し、該音声情報に対応づけられた音声波形情報で示される音声波形を推定結果とする、請求項１０に記載の音声推定システム。
【請求項１１】
受信波形−音声波形推定部は、
受信部が受信した反射信号の波形である受信波形から音声器官の形状を推定する受信波形−音声器官形状推定部と、
前記受信波形−音声器官形状推定部によって推定される音声器官の形状から音声波形を推定する音声器官形状−音声波形推定部と、
を含む請求項１から１０のうちのいずれか１項に記載の音声推定システム。
【請求項１２】
音声器官形状−音声波形推定部は、音源の情報を記憶する基本音源情報データベースを有し、
前記音声器官形状−音声波形推定部は、受信波形−音声器官形状推定部によって推定された音声器官の形状に基づいて声帯から口の外に音声波形が放射されるまでの音声器官内での音の伝達関数を導出し、導出した伝達関数に、前記基本音源情報データベースに登録されている音源を入力波形として代入し、計算して得られる出力波形を推定結果としての音声波形とする、請求項１１に記載の音声推定システム。
【請求項１３】
音声器官形状−音声波形推定部は、音声器官の形状を示す音声器官情報と対応づけて、音声波形を示す音声波形情報を記憶する音声器官形状−音声波形対応データベースを有し、
前記音声器官形状−音声波形推定部は、前記音声器官形状−音声波形対応データベースから、受信波形−音声器官形状推定部によって推定された音声器官の形状に対し最も合致度の高い形状を示す音声器官形状情報を検索し、該音声器官形状情報に対応づけられた音声波形情報で示される音声波形を推定結果とする、請求項１１に記載の音声推定システム。
【請求項１４】
受信波形−音声器官形状推定部は、試験信号の音声器官での反射信号の波形を示す反射波形情報と対応づけて、音声器官の形状を示す音声器官形状情報を記憶する反射波形−音声器官形状対応データベースを有し、
前記受信波形−音声器官形状推定部は、前記反射波形−音声器官形状対応データベースから、受信波形の波形に対し最も合致度の高い波形を示す反射波形情報を検索し、該反射波形情報に対応づけられた音声器官形状情報で示される音声器官の形状を推定結果とする、請求項７から１３のうちのいずれか１項に記載の音声推定システム。
【請求項１５】
受信波形−音声器官形状推定部は、受信波形から音声器官における各反射位置までの距離を推測し、各反射位置までの距離で示される反射物の位置関係から音声器官の形状を推定する、請求項７から１３のうちのいずれか１項に記載の音声推定システム。
【請求項１６】
推定対象の人物の少なくとも顔の一部を含む画像を取得する画像取得部と、
前記画像取得部が取得した画像を解析し、画像から得られる音声器官の形状または動きについての特徴量である解析特徴量を抽出する画像解析部と、
前記画像解析部によって抽出された解析特徴量から音声を推定する解析特徴量−音声推定部と、
音声推定部によって受信波形から推定される音声を、前記解析特徴量−音声推定部によって解析特徴量から推定される音声を用いて補正する推定音声補正部と、
を有する請求項１から１５のうちのいずれか１項に記載の音声推定システム。
【請求項１７】
解析特徴量−音声推定部は、音声器官の形状または動きについての特徴量を示す特徴量情報と対応づけて、音声を示す音声情報を記憶する解析特徴量−音声対応データベースを有し、
前記解析特徴量−音声推定部は、前記解析特徴量−音声対応データベースから、画像解析部によって抽出された解析特徴量に対し最も合致度の高い特徴量を示す特徴量情報を検索し、該特徴量情報に対応づけられた音声情報で示される音声を推定結果とする、請求項１６に記載の音声推定システム。
【請求項１８】
推定音声補正部は、解析特徴量から推定される音声を示す音声情報と、受信波形から推定される音声を示す音声情報との組み合わせに対応づけて、補正後の音声を示す音声情報を記憶する推定音声データベースを有し、
前記推定音声補正部は、前記推定音声データベースから、音声推定部によって受信波形から推定された音声と、解析特徴量−音声推定部によって解析特徴量から推定された音声との組み合わせに対し最も合致度の高い組み合わせを示す音声情報を検索し、該音声情報の組み合わせに対応づけられた補正後の音声を示す音声情報で示される音声を補正結果とする、請求項１６または１７に記載の音声推定システム。
【請求項１９】
推定対象の人物の少なくとも顔の一部を含む画像を取得する画像取得部と、
前記画像取得部が取得した画像を解析し、画像から得られる音声器官の形状または動きについての特徴量である解析特徴量を抽出する画像解析部と、
前記画像解析部によって抽出された解析特徴量から音声器官の形状を推定する解析特徴量−音声器官形状推定部と、
音声推定部によって受信波形から推定される音声器官の形状を、前記解析特徴量−音声器官形状推定部によって解析特徴量から推定される音声器官の形状を用いて補正する推定音声器官形状補正部と、
を有する請求項１から１５のうちのいずれか１項に記載の音声推定システム。
【請求項２０】
解析特徴量−音声器官形状推定部は、前記画像解析部によって抽出された解析特徴量を推定結果の音声器官の形状とする、請求項１９に記載の音声推定システム。
【請求項２１】
推定音声器官形状補正部は、解析特徴量から推定される音声器官の形状を示す音声器官形状情報と、受信波形から推定される音声器官の形状を示す音声器官形状情報との組み合わせに対応付けて、補正後の音声器官の形状を示す音声器官形状情報を記憶する推定音声器官形状データベースを有し、
前記推定音声器官形状補正部は、前記推定音声器官形状データベースから、受信波形から推定された音声器官の形状と、解析特徴量から推定された音声器官の形状との組み合わせに対し最も合致度の高い組み合わせを示す音声器官形状情報を検索し、該音声器官形状情報の組み合わせに対応づけられた補正後の音声器官の形状を示す音声器官形状情報で示される音声器官の形状を補正結果とする、請求項１９または２０に記載の音声推定システム。
【請求項２２】
推定音声器官形状補正部は、受信波形から推定された音声器官の形状と、解析特徴量から推定された音声器官の形状とに対し、所定の重み付けを行い、重み付け平均を計算することによって、音声器官の形状を補正する、請求項１９または２０に記載の音声推定システム。
【請求項２３】
画像取得部は、顔全体、もしくは口元のうち少なくとも一方の画像を取得する、請求項１６から２２のうちのいずれか１項に記載の音声推定システム。
【請求項２４】
画像解析部は、画像取得部が取得した画像から、顔の表情、口の動作、唇の動作、歯の動作、舌の動作、唇の輪郭、歯の輪郭、舌の輪郭のうち少なくとも一つを特定するための情報を抽出する、請求項１６から２３のうちのいずれか１項に記載の音声推定システム。
【請求項２５】
受信信号から、音声または音声波形を推定する第１の音声推定部と、
受信信号から、本人に聞こえる音声または音声波形として、本人用の音声または音声波形を推定する第２の音声推定部と、
を有する請求項１から２４のうちのいずれか１項に記載の音声推定システム。
【請求項２６】
第２の音声推定部は、第１の音声推定部によって受信信号から推定される音声から本人用の音声波形を推定する音声−本人用音声波形推定部を含む、請求項２５に記載の音声推定システム。
【請求項２７】
音声−本人用音声波形推定部は、音声を示す音声情報に対応づけて、本人用の音声波形を示す本人用音声波形情報を記憶する音声−本人用音声波形対応データベースを有し、
前記音声−本人用音声波形推定部は、前記音声−本人用音声波形対応データベースから、音声推定部によって推定される音声に対し最も合致度の高い音声を示す音声情報を検索して、該音声情報に対応づけられた本人用音声波形情報で示される音声波形を推定結果とする、請求項２６に記載の音声推定システム。
【請求項２８】
第２の音声推定部は、第１の音声推定部によって受信波形から推定される音声から本人用の音声を推定する音声−本人用音声推定部を含む、請求項２５から２７のうちのいずれか１項に記載の音声推定システム。
【請求項２９】
音声−本人用音声推定部は、音声を示す音声情報に対応づけて、本人用の音声を示す本人用音声情報を記憶する音声−本人用音声対応データベースを有し、
前記音声−本人用音声推定部は、前記音声−本人用音声対応データベースから、第１の音声推定部によって推定される音声に対し最も合致度の高い音声を示す音声情報を検索して、該音声情報に対応づけられた本人用音声情報で示される音声を推定結果とする、請求項２８に記載の音声推定システム。
【請求項３０】
第２の音声推定部は、第１の音声推定部によって受信波形から推定される音声器官の形状から、本人用の音声波形を推定する音声器官形状−本人用音声波形推定部を含む、請求項２５から２７のうちのいずれか１項に記載の音声推定システム。
【請求項３１】
音声器官形状−本人用音声波形推定部は、音声器官の形状を示す音声器官形状情報に対応づけて、音の伝達関数の補正内容を示す補正情報を記憶する音声器官形状−伝達関数補正情報データベースを有し、
前記音声器官形状−本人用音声波形推定部は、前記音声器官形状−伝達関数補正情報データベースから、前記第１の音声推定部によって推定される音声器官の形状に対し最も合致度の高い形状を示す音声器官形状情報を検索して、該音声器官形状情報に対応づけられた補正情報に基づいて、前記第１の音声推定部によって推定される音声器官の形状に基づいて導出される伝達関数を補正し、補正した伝達関数を用いて本人用音声波形を推定する、請求項３０に記載の音声推定システム。
【請求項３２】
推定対象の人物の有発音時における音声を取得する音声取得部と、
前記音声取得部によって取得される音声の時間波形と、そのときの受信波形とに基づいて、音声推定部が推定に用いる各種データを更新する学習部と、
を有する請求項１から３１のうちのいずれか１項に記載の音声推定システム。
【請求項３３】
学習部は、音声取得部が音声の時間波形を取得したときの受信波形に対応づけられて記憶されている音声波形情報を、前記音声取得部によって取得された音声の時間波形に基づいて更新する、請求項３２に記載の音声推定システム。
【請求項３４】
学習部は、音声取得部が音声の時間波形を取得したときの受信波形に対応づけられて記憶されている音声情報を、前記音声取得部によって取得された音声の時間波形から推定される音声に基づいて更新する、請求項３２または３３に記載の音声推定システム。
【請求項３５】
学習部は、音声取得部によって取得される音声の時間波形と、そのときの受信波形とに基づいて、前記受信波形から導出される伝達関数で前記取得した音声波形が求まるような伝達関数のパラメータを算出し、その関係を示す情報を登録する、請求項３２から３４のうちのいずれか１項に記載の音声推定システム。
【請求項３６】
発信部及び受信部が、電話機、イヤホン、ヘッドセット、装飾品、メガネのうちのいずれかに実装されている、請求項１から３５のうちのいずれか１項に記載の音声推定システム。
【請求項３７】
発信部と受信部の少なくともどちらか一方が、本人認証が必要な機器に実装されている、請求項１から３５のうちのいずれか１項に記載の音声推定システム。
【請求項３８】
発信部と受信部の少なくともどちらか一方が、静粛性が求められる空間や公共空間、通話が禁止されていた空間に配備されている、請求項１から３５のうちのいずれか１項に記載の音声推定システム。
【請求項３９】
発信部と受信部の少なくともどちらか一方がアレイ構造である、請求項１から３８のうちのいずれか１項に記載の音声推定システム。
【請求項４０】
音声取得部が、電話機、イヤホン、ヘッドセット、装飾品、メガネのうちのいずれかに実装されている、請求項１から３９のうちのいずれか１項に記載の音声推定システム。
【請求項４１】
音声器官の形状または動きから音声または音声波形を推定する音声推定システムであって、
試験信号を音声器官に向けて発信する発信部と、
前記発信部によって発信される試験信号の音声器官での反射信号を受信する受信部と、
反射信号と音声波形とを対応づけて記憶するデータベースと、
前記受信部によって受信される反射信号を前記データベースと照合し、対応する音声波形を発声の波形として出力する音声推定部と、
を有する音声推定システム。
【請求項４２】
前記データベースに記憶されている音声波形は、発声者以外に聞こえる音声の波形、もしくは、発声者に聞こえる音声の波形である、請求項４１に記載の音声推定システム。
【請求項４３】
音声器官の形状または動きから音声または音声波形を推定する音声推定方法であって、
試験信号を音声器官に向けて発信し、
前記試験信号の音声器官での反射信号を受信し、
受信した前記反射信号から音声または音声波形を推定する、音声推定方法。
【請求項４４】
音声器官の形状または動きから音声または音声波形を推定する音声推定方法であって、
試験信号を音声器官に向けて発信し、
前記発信部によって発信される試験信号の音声器官での反射信号を受信し、
反射信号と音声波形とを対応づけてデータベースに記憶させ、
前記受信部によって受信される反射信号を前記データベースと照合し、対応する音声波形を発声の波形として出力する、音声推定方法。
【請求項４５】
前記データベースに記憶されている音声波形は、発声者以外に聞こえる音声の波形、もしくは、発声者に聞こえる音声の波形である、請求項４４に記載の音声推定方法。
【請求項４６】
音声器官の形状または動きから音声または音声波形を推定するための音声推定プログラムであって、
コンピュータに、
音声器官で反射するよう送出された試験信号の反射信号の波形である受信波形から音声または音声波形を推定する処理を実行させるための音声推定プログラム。
【請求項４７】
コンピュータに、
受信波形に対し、所定の波形変換処理を施すことによって該受信波形を音声波形に変換する処理を実行させる請求項４６に記載の音声推定プログラム。
【請求項４８】
試験信号の音声器官での反射信号の波形を示す反射波形情報と対応づけて音声波形の波形を示す音声波形情報を記憶する反射波形−音声波形対応データベースとを備えたコンピュータに、
前記反射波形−音声波形対応データベースを検索し、受信波形に対し最も合致度の高い波形を示す反射波形情報を特定する処理を実行させる請求項４６に記載の音声推定プログラム。
【請求項４９】
コンピュータに、
受信波形から音声器官の形状を推定する処理、及び
推定される音声器官の形状から音声を推定する処理を実行させる請求項４６に記載の音声推定プログラム。
【請求項５０】
コンピュータに、
音声から音声波形を推定する処理を実行させる請求項４９に記載の音声推定プログラム。
【請求項５１】
コンピュータに、
受信波形から音声器官の形状を推定する処理、及び
推定される音声器官の形状から音声波形を推定する処理を実行させる請求項４６に記載の音声推定プログラム。
【国際調査報告】
2008062782.tif 000036
2008062782.tif 000037
2008062782.tif 000038
2008062782.tif 000039
2008062782.tif 000040
2008062782.tif 000041