(57)【要約】【課題】遠隔監視などで音声情報をモニターする場合に、モニターに必要な環境音は残しつつ、発言者の音声プライバシーのために、音声情報に含まれるスピーチの明瞭性を低減させること。【解決手段】本発明の音声信号合成方法は、受信部にて音声信号を受信し、母音領域識別部が音声信号中の母音領域を識別し、声道関数解析部が母音領域を構成する声道伝達関数および励振を解析し、音声合成部が、音声信号の母音領域の少なくとも一部の声道伝達関数の情報を、置換用音声の声道伝達関数の情報を用いて変更し、元の母音とは異なる音で再生されるように、変更された声道伝達関数を用いて音声を合成することによって、変更音声信号を合成する。これにより、スピーチは不明瞭化される一方で、コンテキスト情報を失わずにモニターをすることが可能となる。【選択図】図１
2009294642.tif 000002
【特許請求の範囲】
【請求項１】
音声信号を合成する音声信号合成方法であって、
受信部が音声信号を受信し、
母音領域識別部が前記音声信号中の母音領域を識別し、
声道関数解析部が前記母音領域を構成する声道伝達関数および励振を解析し、
音声合成部が、前記音声信号の、前記母音領域の少なくとも一部の声道伝達関数の情報を、置換用音声を解析して取得した前記置換用音声の声道伝達関数の情報を用いて変更し、前記母音領域の少なくとも一部が元の母音とは異なる音で再生されるように、変更された前記声道伝達関数を用いて音声を合成することによって、変更音声信号を合成する、
ことを特徴とする音声信号合成方法。
【請求項２】
前記音声合成部は、前記音声信号を不明瞭化するように、少なくとも一部の前記母音領域の音声信号を前記変更音声信号に変更することを特徴とする請求項１記載の音声信号合成方法。
【請求項３】
前記声道関数解析部は、前記音声信号を線形予測コード化法（ＬＰＣ）を用いて前記母音領域の解析を行うことを特徴とする請求項１記載の音声信号合成方法。
【請求項４】
前記声道関数解析部に含まれるＬＰＣ係数計算部が、前記置換用音声と前記母音領域に対して前記線形予測コード化法による解析を施してＬＰＣ係数を計算し、
前記音声合成部が、前記母音領域のＬＰＣ係数の代わりに前記置換用音声のＬＰＣ係数を用いて、前記変更された声道伝達関数を設定して前記変更音声信号を合成する、
ことを特徴とする請求項３記載の音声信号合成方法。
【請求項５】
前記声道関数解析部は、ケプストラル法を用いて前記音声信号を解析することを特徴とする請求項１記載の音声信号合成方法。
【請求項６】
前記声道関数解析部は、多バンド励振表現（ＭＢＥ）ボコーダを用いて前記音声信号を解析することを特徴とする請求項１記載の音声信号合成方法。
【請求項７】
音節識別部が、前記声道伝達関数の解析の前に、前記母音領域内の音節を識別することを特徴とする請求項１記載の音声信号合成方法。
【請求項８】
前記音節識別部が、各母音領域内の音節を、前記音声信号の音声セグメントの識別および音節境界の識別により判断することを特徴とする請求項７記載の音声信号合成方法。
【請求項９】
前記音節識別部が、前記音声信号中のピッチおよび声音比率に基づいて、人間のスピーチ領域中の母音音節を識別することを特徴とする請求項８記載の音声信号合成方法。
【請求項１０】
前記置換用音声は母音から選択されることを特徴とする請求項１記載の音声信号合成方法。
【請求項１１】
前記置換用音声が、音色あるいは合成された母音から選択されることを特徴とする請求項１記載の音声信号合成方法。
【請求項１２】
前記置換用音声が、前記音声信号内のスピーチの話者とは異なる話者の話した母音音から選択されることを特徴とする請求項１０記載の音声信号合成方法。
【請求項１３】
前記置換用音声は、変更される前記声道伝達関数自体を利用しないで取得される音であることを特徴とする請求項１記載の音声信号合成方法。
【請求項１４】
前記置換用音声は、ランダムに選択された音であることを特徴とする請求項１記載の音声信号合成方法。
【請求項１５】
前記音声合成部は、各母音の前記声道伝達関数を異なる置換音の伝達関数に置き換えて前記変更音声信号を合成することを特徴とする請求項１記載の音声信号合成方法。
【請求項１６】
前記音声合成部は、更に前記声道伝達関数の励振を変更することを特徴とする請求項１記載の音声信号合成方法。
【請求項１７】
更に、前記音声信号を受信した後、変動成分分離手段により、前記音声信号を急速変動成分と低速変動成分とに分離することを特徴とする請求項１記載の音声信号合成方法。
【請求項１８】
音声信号を合成する音声信号合成システムであって、
音声信号を受信する受信部と、
前記音声信号中の母音領域を識別する母音領域識別部と、
前記母音領域を構成する声道伝達関数および励振を解析する声道関数解析部と、
前記音声信号の、前記母音領域の少なくとも一部の声道伝達関数の情報を、置換用音声を解析して取得した前記置換用音声の声道伝達関数の情報を用いて変更し、前記母音領域の少なくとも一部が元の母音とは異なる音で再生されるように、変更された前記声道伝達関数を用いて音声を合成することによって、変更音声信号を生成する音声合成部と、
を備えることを特徴とする音声信号合成システム。
【請求項１９】
前記音声合成部は、前記音声信号を不明瞭化するように、少なくとも一部の前記母音領域の音声信号を前記変更音声信号に変更することを特徴とする請求項１８記載の音声信号合成システム。
【請求項２０】
前記声道関数解析部は、前記音声信号を線形予測コード化法（ＬＰＣ）を用いて前記母音領域の解析を行うことを特徴とする請求項１８記載の音声信号合成システム。
【請求項２１】
さらに、前記置換用音声および前記母音領域に対して前記線形予測コード化法による解析を施してＬＰＣ係数を計算するＬＰＣ係数計算部を前記声道関数解析部に備え、
前記音声合成部が、前記母音領域のＬＰＣ係数の代わりに前記置換用音声のＬＰＣ係数を用いて、前記変更された声道伝達関数を設定する、
ことを特徴とする請求項２０記載の音声信号合成システム。
【請求項２２】
前記声道関数解析部は、ケプストラル法を用いて前記音声信号を処理することを特徴とする請求項１８記載の音声信号合成システム。
【請求項２３】
前記声道関数解析部は、多バンド励振表現（ＭＢＥ）ボコーダを用いて前記音声信号を処理することを特徴とする請求項１８記載の音声信号合成システム。
【請求項２４】
前記声道伝達関数の計算の前に、前記母音領域内の音節を識別する音節識別部を備えることを特徴とする請求項１８記載の音声信号合成システム。
【請求項２５】
前記音節識別部は、各母音領域内の音節を、前記音声信号の音声セグメントの識別および音節境界の識別により判断することを特徴とする請求項２４記載の音声信号合成システム。
【請求項２６】
前記音節識別部は、前記音声信号中のピッチおよび声音比率に基づいて、人間のスピーチ領域中の母音音節を識別することを特徴とする請求項２５記載の音声信号合成システム。
【請求項２７】
前記置換用音声は母音から選択されることを特徴とする請求項１８記載の音声信号合成システム。
【請求項２８】
前記置換用音声が、音色あるいは合成された母音から選択されることを特徴とする請求項１８記載の音声信号合成システム。
【請求項２９】
前記置換用音声が、前記音声信号内のスピーチの話者とは異なる話者の話した母音音から選択されることを特徴とする請求項２７記載の音声信号合成システム。
【請求項３０】
前記置換用音声は、交換される前記声道伝達関数自体を利用しないで取得される音であることを特徴とする請求項１８記載の音声信号合成システム。
【請求項３１】
前記置換用音声は、ランダムに選択された音であることを特徴とする請求項１８記載の音声信号合成システム。
【請求項３２】
前記音声合成部は、各母音の前記声道伝達関数を異なる置換音の伝達関数に置き換えて前記変更音声信号を合成することを特徴とする請求項１８記載の音声信号合成システム。
【請求項３３】
前記音声合成部は、更に前記声道伝達関数の励振を変更することを特徴とする請求項１８記載の音声信号合成システム。
【請求項３４】
更に、前記音声信号を受信した後、前記音声信号を急速変動成分と低速変動成分とに分離する変動成分分離手段を備えることを特徴とする請求項１８記載の音声信号合成システム。
【請求項３５】
音声信号を合成する音声信号合成システムのためのコンピュータプログラムであって、
コンピュータを、
音声信号を受信する受信部と、
前記音声信号中の母音領域を識別する母音領域識別部と、
前記母音領域を構成する声道伝達関数および励振を解析する声道関数解析部と、
前記音声信号の、前記母音領域の少なくとも一部の声道伝達関数の情報を、置換用音声  を解析して取得した前記置換用音声の声道伝達関数の情報を用いて変更し、前記母音領域の少なくとも一部が元の母音とは異なる音で再生されるように、変更された前記声道伝達関数を用いて音声を合成することによって、変更音声信号を生成する音声合成部と、
として動作させるための音声信号合成システム用のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、環境音を残しつつ音声情報に含まれるスピーチの明瞭性を低減させる音声信号合成方法、システムおよび音声信号合成のためのコンピュータプログラムに関する。
【背景技術】
【０００２】
音声コミュニケーションは、仮想空間、監視、遠隔コラボレーションといった多くの電子的な支援システムにおいて重要な要素になり得る。従来からの口頭での通信経路に加えて、音声は明瞭なスピーチでなくても有用なコンテキスト情報を提供することもできる。高齢者ケア、監視、職場でのコラボレーションおよび仮想コラボレーション空間といったある状況下では、遠隔側のリスナーに対し、プライバシーに関わる部分はわかりにくくする（ぼかす）一方で、音声情景の他の側面を音声モニタリング可能とすることは有用である。話の明瞭さを低減することで、受け入れがたいほどはプライバシーを損なうことなく、高齢者ケア、監視、職場でのコラボレーションおよび仮想コラボレーション空間などへの応用を実現することができる。
【０００３】
セキュリティサーベイランス、高齢者のホームモニタリング、あるいは常時遠隔から注意が必要だったり、コラボレーションシステムのような遠隔監視を含んだりする状況では、人々はしばしばプライバシーへの懸念を示す。高齢者はビデオモニタリングがわずらわしいと指摘している。防犯上のシナリオでは、ガラスの割れる音、銃声、叫び声等の音は調査対象の事象とされる。高齢者ケアのシナリオでは、治療が必要であることを示す音の例として、長時間やかんが鳴り続けている音、何かが落下した音、誰かが泣いている音などがある。このため、記録される発言者のプライバシーの権利に配慮しつつ、防犯と安全モニタリングシステムに必要な環境的および韻律的（prosodic）な情報提供も行うシステムの開発が必要である。
【０００４】
遠隔ワークプレースでの懸念に対するシナリオでは、遠隔の参加者が存在しているという感覚を与える点と、完全にプライバシーを損なうことなくどんな活動が起きているのかを知らせるという点に、音声情報経路の価値が生じ得る。
【０００５】
コールらは、単語の認識における子音および母音の影響を研究するうえで、ＴＩＭＩＴ（Texas Instruments/Massachusetts Institute of Technology）コーパスの文を使用した。彼らは、子音のみや母音のみといった様々な音を、手動でノイズに置き換え、被験者にそれぞれの文を最大５回聞かせた。母音だけをノイズに交換した場合には、８１．９％の単語が認識され、４９．８％の文は全部の単語が認識されることを見出した。そして、母音と弱い鳴音（例えば、： ｌ， ｒ， ｙ， ｗ， ｍ， ｎ， ｎｇ）をノイズで置き換えると、平均で１４．４％の認識となり、完全に理解される文は存在しなかった（非特許文献２）。
【０００６】
キューリーポートらは、最初のコールらの条件に対して追試を行い、母音のみを変形したノイズに手動で置き換えた。コールらとは異なり、被験者は最大２回まで聞くことを許された。ＴＩＭＩＴの文における単語の認識率は低く、一文あたり３３．９９％の単語の認識率であったため、２回以上聞くことができると理解度が上がる可能性が示唆される（非特許文献４）。
【０００７】
キューリーポートとコールはともに、母音をノイズに置き換えたときには単語の認識率が低下することを見出し、コールは更に母音と弱鳴音をノイズに置き換えると、完全に理解できる文はなく、単語の１４．４％しか認識できないことを見出した。
【非特許文献５】ゴーティエ（Gauthier）、他３名、「文字認知の技能に関わるフォント調整（Font tuning associated with expertise in letter perception）」、パーセプション（Perception）、２００６年、第３５号、頁５４１〜５５９
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第６，６４０，２０８号明細書
【非特許文献】
【０００９】
【非特許文献１】ケリー  ケイン（Kelly Cane）、「視覚検知デバイスのプライバシー認知：ユーザの能力の影響と検知デバイスのタイプ（Privacy Perceptions of Visual Sensing Devices: Effects of Users' Ability and Type of Sensing Device）」、 修士論文、ジョージア工科大学（Georgia Institute of Technology）、[online]、２００６年、[平成２０年１２月３日検索]、インターネット<URL:http://smartech.gatech.edu/dspace/handle/1853/11581>
【非特許文献２】Ｒ．Ａ．コール（R.A. Cole）、他４名、「流暢なスピーチの単語認識における子音対母音の寄与（The contribution of consonants versus vowels to word recognition in fluent speech）」、ＩＣＡＳＳＰ−９６予稿集、１９９６年、第２巻、頁８５３〜８５６
【非特許文献３】ジョン  Ｓ  ガロフォロ（John S. Garofolo）、他６名、「ＴＩＭＩＴ音響−音声  連続スピーチコーパス（TIMIT acoustic-phonetic continuous speech corpus）」、リングイスティック  データ  フォーラム（Linguistic Data Consortium）、フィラデルフィア、[online]、[平成２０年１２月３日検索]、インターネット<URL:http://www.ldc.upenn.edu/Catalog/CatalogEntry.jsp?catalogId=LDC93S1>
【非特許文献４】ダイアン  キューリーポート（Diane Kewley-Port）、他２名、「若年正常聴覚者と高齢難聴者における子音対母音情報の文の明瞭さへの寄与（Contribution of consonant versus vowel information to sentence intelligibility for young normal-hearing and elderly hearing-impaired listeners）」、ザ  ジャーナル  オブ  ザ  アコースティック  ソサエティ  オブ  アメリカ（The Journal of the Acoustical Society of America）、２００７年、第２２巻、第４号、頁２３６５〜２３７５
【非特許文献６】Ｊ  キャンベル（J. Campbell）、他１名、「 米国政府ＬＰＣ−１０ｅアルゴリズムを適用したスピーチの音声／非音声分類（Voiced/unvoiced classification of speech with applications to the U.S. Government LPC-10e algorithm）」、ＩＥＥＥ国際音響音声信号会議予稿（IEEE Int. Conf. Acoust. Sp. Sig. Proc.）、１９８６年、頁４７３〜４７６
【非特許文献７】デービッド  Ｔ  チャッペル（David T. Chappell)、他１名、「連結スピーチ合成のためのスペクトル平滑化（Spectral smoothing for concatenative speech synthesis）」、インターナショナル  カンファレンス  オン  スポークン  ランゲッジ  プロセッシング、１９９８年、（ICSL-1998）、ペーパー０８４９(paper0849)
【非特許文献８】Ｊ  マコール（J. Makhoul）、「線形予測：チュートリアルレビュー（Linear Prediction: A Tutorial Review）」、ＩＥＥＥ予稿集（Proceedings of the IEEE）、１９７５年４月、第６３巻、第４号、頁５６１〜５８０
【非特許文献９】ダニエル  Ｗ  グリフィン（Griffin, Daniel W.）、「マルチバンド励起ボコーダ（Multi-band excitation vocoder）、マサチューセッツ工科大学（Massachusetts Institute of Technology）、１９８７年、博士号論文、[online]、[平成２０年１２月３日検索]、インターネット<URL:http://hdl.handle.net/1721.1/4219>
【非特許文献１０】Ｄ．Ｇ．チルダーズ（Childers, D.G.）、他２名、「ケプストラム：処理ガイド（The cepstrum: A guide to processing）」、ＩＥＥＥ予稿集（Proceedings of the IEEE）、１９７７年、第６５巻、第１０号頁１４２８〜１４４３
【非特許文献１１】Ｓ.Ｆ.ボール（S.F. Boll）、「スペクトル抑制を用いたスピーチ中の音響ノイズ抑制（Suppression of acoustic noise in speech using spectral subtraction）」、ＩＥＥＥ  トランザクション  オン  アコースティック  スピーチ  アンド  シグナルプロセッシング（IEEE Trans. Acoust., Speech, Signal Process.）、１９７９年４月、第２７巻、頁１１３〜１２０
【発明の概要】
【発明が解決しようとする課題】
【００１０】
モニターされる人のプライバシーのために、スピーチにおける単語の認識率はできるだけ低いことが理想である。一方で、ほとんどの環境音を維持し、スピーチはスピーチらしい音で保持されることも望まれ、これらを両立させることを可能にするための音声信号合成方法が必要である。
【課題を解決するための手段】
【００１１】
本発明は、音声信号中のスピーチの認識率を低下させ、一方で韻律情報および環境音を保持するシステムおよび方法に関するものである。音声信号は、スピーチのピッチ（音の高低）および相対的なエネルギーといった韻律情報から、母音領域中の音節が識別された後に、母音領域（vocalic region）が分離されるよう処理される。各音節に対する声道伝達関数（vocal tract transfer function）は１以上の予め記録された母音の音に置き換えられる。さらに、交換される母音の特徴は交換される音節の特徴とは独立（無関係）としておくとよい。変更された声道伝達関数は元の韻律情報とともに合成され、変更された音声信号を、そのピッチおよびスピーチのエネルギーに加え、環境音も維持したまま生成する。
【００１２】
本発明の音声合成方法は、受信部が音声信号を受信し、母音領域識別部が前記音声信号中の母音領域を識別し、声道関数解析部が前記母音領域を構成する声道伝達関数および励振を解析し、音声合成部が、前記音声信号の、前記母音領域の少なくとも一部の声道伝達関数の情報を、置換用音声を解析して取得した前記置換用音声の声道伝達関数の情報を用いて変更し、前記母音領域の少なくとも一部が元の母音とは異なる音で再生されるように、変更された前記声道伝達関数を用いて音声を合成することによって、変更音声信号を合成する、ことを特徴とする。
また、本発明の音声合成システムは、音声信号を受信する受信部と、前記音声信号中の母音領域を識別する母音領域識別部と、前記母音領域を構成する声道伝達関数および励振を解析する声道関数解析部と、前記音声信号の、前記母音領域の少なくとも一部の声道伝達関数の情報を、置換用音声を解析して取得した前記置換用音声の声道伝達関数の情報を用いて変更し、前記母音領域の少なくとも一部が元の母音とは異なる音で再生されるように、変更された前記声道伝達関数を用いて音声を合成することによって、変更音声信号を生成する音声合成部と、を備えることを特徴とする。
さらに、本発明のコンピュータプログラムは、コンピュータを、音声信号を受信する受信部と、前記音声信号中の母音領域を識別する母音領域識別部と、前記母音領域を構成する声道伝達関数および励振を解析する声道関数解析部と、前記音声信号の、前記母音領域の少なくとも一部の声道伝達関数の情報を、置換用音声を解析して取得した前記置換用音声の声道伝達関数の情報を用いて変更し、前記母音領域の少なくとも一部が元の母音とは異なる音で再生されるように、変更された前記声道伝達関数を用いて音声を合成することによって、変更音声信号を生成する音声合成部と、として動作させるためのコンピュータプログラムである。
【発明の効果】
【００１３】
本発明によれば、受信した音声信号のスピーチの認識性を低下させた音声信号を合成することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態における、音声信号からスピーチの明瞭さを低下させる方法に関する。
【図２】元のスピーチ信号と、少なくとも一つの母音領域をある母音の音に置き換えられた処理済のスピーチ信号とを比較するスペクトルを示す図である。
【図３】本発明のシステムを実現するコンピュータプラットフォームの例示的な実施形態を示す。
【発明を実施するための形態】
【００１５】
以下の詳細な説明において、対応する図面中の符号は、同様の機能要素については同様の番号を付してある。これらの図面は例示であって、その手法を限定するものではなく、個々の実施形態と適用例は今回の発明の原理を示すためのものである。これらの適用例は当業者が実施可能な程度に十分な詳細が記載されており、他の適用例への適用、構成の変更や各構成要素の変更および／または置き換えが、本発明の範囲および思想から逸脱することなく適用できることは理解されるだろう。従って、以下の詳細な説明は限定的に解釈されるものではない。加えて、記述される多様な実施形態は、一般用のコンピュータ上で動作するソフトウェアの形態、専用のハードウェアから成る形態、あるいはソフトウェアとハードウェアとの組み合わせにより実現されるものである。
【００１６】
本発明は、音声信号中のスピーチの明瞭さを低減する一方で、韻律情報と環境音を残すシステムおよび方法に関するものである。音声信号は少なくとも母音領域 (vocalic region)に対して声道伝達関数と励振（excitation）を計算した後、母音領域を分離する処理が施される。声道伝達関数は、別途予め記録された置換用の音の、置換音伝達関数に置き換えられる。変更声道伝達関数は、少なくとも母音領域ではスピーチを不明瞭化しつつ、ピッチおよびエネルギーに加え環境音を維持しつつ生成されるように、励振情報とともに合成される。あるいは、少なくとも母音領域の元の音声信号を、不明瞭な音声信号が生成されるような変更音声信号で置き換える。
【００１７】
本発明の実施形態によれば、イントネーションおよびほとんどの環境音を識別できる程度に維持したままスピーチの明瞭さを低減させるために、母音領域が識別され、識別された母音領域の声道伝達関数は予め録音された母音や発声音に基づく交換用の声道伝達関数に置換される。第１に、通常の人間のスピーチ範囲内のピッチの発声領域が識別される。各音声領域内での話されるリズムを維持するため、音節がエネルギー曲線（energy contour）に基づいて決定される。各音節の声道伝達関数は他者の発声する母音や発声音の置換声道伝達関数に置換され、置換された母音の特性は話された音節の特性とは独立した（相互の因果関係がない）ものとしておく。音声信号は元のピッチおよびエネルギー、そして変更された声道伝達関数を利用して再合成される。
【００１８】
本発明の実施形態によれば、モニタリング用のアプリケーションにおいて、不明瞭化されたスピーチに対する音声モニタリングは未処理のスピーチと比べて耳障りではない。このような音声モニタリングはビデオモニタリングの代替あるいは拡張として利用することができる。処理において環境音を維持することで、関心のある音をモニタリングで識別することができる。自然音の維持および環境音の識別が可能なため、モニタリング中のプライバシー保護のための妥協を大幅に少なくしながら有効な遠隔監視を可能とする音声モニタリング方法となり得る。重要な音というものには多くの対象が際限なくあるので、こうしたモニタリングシステムは自動的に重要な音を検出する機能を有するシステムを増加させることにも寄与するだろう。
【００１９】
一つの実施形態では、音声信号中のスピーチの明瞭さを更に減少させるために、聴取者が子音に集中できるように母音をノイズに置換するのではなく、音節の母音領域が無関係な母音に置き換えられる。あるいは、無関係な母音は、異なる声道から生成され、一方、発言者の非母音の音は韻律を含めて維持される。ホワイトノイズ、周期ノイズあるいは整形ノイズの利用の代わりに、もともと話された各音節の母音領域中の母音領域が、予め録音された他の発言者からの母音に置き換えられる。こうすることで、聴取者は単純にノイズを無視して子音に集中するだけでなく、どの母音が正しいのかも判断しなければならなくなるため、明瞭さをより低下させることになる。（英語の母音は１５音か、異なる方言を組み合わせても最大２０程度であるので、比率としては小さい）。さらに、多数の発言者でテストしたときよりも一人の発言者の発言を聞く方が認識率は良くなり、誤った母音をしばしば伴う異なる声道の利用は、さらに困惑させる効果を与える。
【００２０】
本発明の一実施形態は、自動的に発言の明瞭さを低減させる方法である。前述の考え方においては、子音、母音そして鳴音の位置にラベルを付して、そのラベルをどのスピーチ信号部分がノイズに置き換えられるべきかの決定に用いた。自動化手法では、母音と弱い鳴音はすべて音声化あるいは母音化され、各音節の母音領域の変更によって明瞭さを低減させることができる。
【００２１】
ここで述べたようなモニタリングのシナリオでは、韻律情報、すなわちピッチと相対的な強度との関係を保持しておくことが望ましい。このようにすることで、リスナーは、スピーチを他の音と区別でき、もし誰かが苦痛の声を挙げたとしたら、リスナーあるいはモニターはその音声から苦痛の声を判断することができる。同時に、環境音は可能な限り保存することができる。このような条件を満たすために、音声領域信号から韻律情報を分離するようにスピーチ信号は処理される。言語解析にはいくつかの方法があり、線形予測コード化法（ＬＰＣ：Linear Prediction Coding）、ケプストラル（cepstral）および多バンド励振表現（ＭＢＥ：multi-band excitation representations）等が挙げられる。この実施例では、ＬＰＣを分離処理に用いたが、他のスペクトル分析手法も当然用いることができる。
【００２２】
本発明の一つ態様としては、入力されたスピーチ中の母音に関する声道伝達関数を表現するＬＰＣ係数を、過去に録音された発言者の話した鳴音から取得し、記憶しておいたＬＰＣ係数で置き換え、置き換えた状態で音声を合成する方法がある。実現例の一つとしては、ＴＩＭＩＴ訓練をされた発言者から抽出した比較的安定した状態の母音を用いる（ＴＩＭＩＴについては非特許文献３を参照されたい。）。
【００２３】
図１は、ＬＰＣ計算を用いてスピーチの明瞭さを低下させるシステムおよび方法の一実施形態の概要図である。ステップ１００２では、予め録音された母音１０４のＬＰＣ係数（１０２）がＬＰＣプロセッサにより計算される。受信モジュールから取得された入力音声信号１０６は、不明瞭化されるスピーチを含んでいる。ステップ１００４では、入力されたスピーチ中で音声領域が判断され、もし存在すれば、母音音節検出手段１０８によって、各音声領域にある音節が検出される。ステップ１００６でＬＰＣ計算音声検出部１１０が、母音音節から分離された、ＬＰＣ係数１１２と、ゲインおよびピッチ１１４と、を生成することによって、ピッチを計算することができる。母音音節検出部１０８では、ＬＰＣ計算からあるいはそれとは別に、音声比率が計算され、人間のスピーチ範囲内のピッチで母音音節を判断する。ステップ１００８では、識別された母音音節のＬＰＣ係数１１２は、置換部により、予め計算されたＬＰＣ係数（１０２）の一つに置き換えられ、変換ＬＰＣ係数（１１６）を生成する。ＬＰＣ係数は母音音節として認識されない音の部分は変更せずにおく。元の入力されたスピーチ１０６から計算されたゲインおよびピッチを、変更ＬＰＣ係数とともに用いて、ステップ１０１０では、音声合成部によって不明瞭化されたスピーチが合成される。変換後の音声信号１１８は不明瞭化されたスピーチを含むが、そのときに存在した環境音に加えて、元のスピーチのゲインおよびピッチも維持している。合成ステップ１０１０において、変更された音声信号１１８全体が、新たなＬＰＣ表現での変更ＬＰＣ係数から合成されてもよい。あるいは、母音領域の変更された音声信号１１８は、置換声道伝達関数と励振（ｅｘｃｉｔａｔｉｏｎ）により合成することもできる。交換手段は、不明瞭な音声信号が得られるように、元の音声信号１０６のうち変更された音声信号１１８に対応する部分だけを、変更された音声信号１１８と交換する。
【００２４】
「母音音節検出」
【００２５】
先に説明したように、各音節の母音領域のＬＰＣ係数１１２を、予め他の発言者から取得して記憶させておいたＬＰＣ係数（１０２）で置き換えることもできる。母音音節検出における第一の工程（上記ステップ１００４）は、声のセグメントを判断し、各声のセグメント中の音節境界を判断することである。
【００２６】
まず、短い音声セグメントに対して、自己相関（autocorrelation）を計算する。自己相関のピーク値のオフセットによりピッチが概算され（自己相関のピーク値のオフセットあるいは遅延はピッチの周期に対応する）、フレーム中の全エネルギーに対する自己相関のピーク値の比率により、声の量（発声比率(voicing ratio)）の計測がなされる。これらのアルゴリズムは、例えば特許文献１に開示されている。また、非特許文献６のような他の発声計算手法も利用することができる。
【００２７】
概算されたピッチが大人のスピーチとして妥当な値であって、発声比率が０．２以上であれば、そのスピーチは母音であると判断してもよい。
【００２８】
音節境界はゲインやピッチのようなエネルギーにもとづいて判断される。たとえば、ゲインＧはＬＰＣモデルから計算される。Ｇは１００Ｈｚをカットオフ周波数とするローパスフィルタを用いて平坦化（smoothed）される。発声領域中の極小値が識別され、各凹み中のＧの最小値の位置が音節境界として判断される。
【００２９】
「予め計算された母音の選択」
【００３０】
多くの母音音や母音音の組み合わせを、交換用の声道伝達関数として用いることができる。この音の組み合わせが変更された音声の品質に影響する。たとえば、弱い鳴音「ｗａ」はビート音（beating）を生じることが検出され、母音音節検出部は誤りを生じた。これは、例えばスペクトルスムージングのような、遷移を滑らかにする他の処理を施すことが有効である。
【００３１】
予め計算された母音の選択方法としては、例えば低ピッチの女性か高ピッチの男性が話した「ａｅ」のような、比較的はっきりしない母音の使用がある。すなわち、よりはっきりしない母音を用いる方が、一般的により歪みが小さくなり、母音音節検出部は、もっと極端な母音の組み合わせである、「ｉｙ」や「ｕｗ」などを用いたときよりも誤りを生じる。「ａｅ」の使用により明瞭さが低下するが、少しの割合の単語は、処理された文を気楽に聞く分には、まだ明瞭であった。
【００３２】
さらに明瞭さを低減させるために、２つの異なる置換用母音を選び、一方は低ピッチの女性の話した「ｉｙ」を使って得たものを、もう一方は高ピッチの男性の話した「ｕｗ」を使って得たものを用いた。結果として明瞭さが低減した。しかし、「ｉｙ」は共通母音で、「ｉｙ」と「ｕｗ」は声道の形状は非常に異なるので、二つの母音音節が近接しているときには不自然な音を生ずる。置換用の母音として男性と女性の話す「ｕｗ」を用いたところ不自然な遷移は減少した。他の方法によっても不自然な遷移を減少させることができる（例えば非特許文献７）。
【００３３】
なお、予め計算された置換用母音ＬＰＣ係数の選択の仕方を変えても、スピーチの明瞭さをさらに低減させることができる。より多くの、より極端なピッチの発声者、例えば非常に低いピッチの男性や非常に高いピッチの女性を代わりに使うこともできる。
【００３４】
発言者のアイデンティティを維持する必要がある場合、あるいは少なくとも異なる発言者を区別できる性能が必要な場合、置換ＬＰＣ係数は現在測定されているスピーチで計測されたパラメータに基づいて、発言者依存で決定してもよい。（例えば平均ピッチ、平均スペクトルあるいはケプストラ、または発言者を区別するのに有効な他の特徴など。）
【００３５】
対照的に、発言者をより隠したいのであれば、例えばゆっくりランダムに値を変更するなどのように、ピッチおよびエネルギーの変更を励振部で行わせることもできる。
【００３６】
もし、さらにスピーチの不明瞭化が必要な場合には、以下で述べるような、スピーチセグメントのＬＰＣ係数の更なる変更をすることもできる。まず、例えば、音節のＬＰＣ係数は、例えばｆやｓｈなどの、他の子音からのＬＰＣ係数に変更できる。あるいは、各音節のＬＰＣ係数は一人以上の異なる発言者が話したランダムな音声学上の単位の係数に置き換えることもできる。あるいは、スピーチが検出されたとき、音節と非音声部分のＬＰＣ係数を、２つの近接するセグメントで異なる音声学上の単位が用いられている箇所で、他の発言者の音声学上の単位からの係数に置き換える。さらに、トーンや合成された母音あるいは他の音を、伝達関数が計算された置換音として用いることもできる。
【００３７】
また、置換用の母音音のアイデンティティは交換される音節のアイデンティティとは独立していてよい。さらに、交換用の音伝達関数選択はランダムでもよい。
【００３８】
「ＬＰＣ解析」
【００３９】
スピーチは、１６ｋＨｚで１６極ＬＰＣモデルを用いた（例えば非特許文献８を参照）。ＬＰＣ係数、ＬＰＣｓｉは選択された代替母音のそれぞれについて計算される。第１の最小値ｍｉｎ（Ｌ，Ｍ） ＬＰＣフレームを置き換えることで、Ｌフレーム、ＬＰＣｓｉ（０， …， Ｌ−１）を表すＬＰＣ係数は、Ｍフレームの音節、ＬＰＣｍ（０， …， Ｍ-１）の母音領域のＬＰＣモデルに、置き換えられる。もし、Ｍ＞Ｌであれば、最後のフレームの係数がＭフレームがあるまでは、使用される。
【００４０】
変更ＬＰＣ関数を用いることで、スピーチは元の発言者からのＬＰＣピッチおよびゲインの情報を用いて合成され、ステップ１０１０に記載のように、ほとんど不明瞭なスピーチを生成することができる。
【００４１】
非スピーチ音あるいは環境音は同様の手法で処理される。ほとんどの非スピーチ音は別として、もしあるなら少しの音は母音音節として識別すべきで、それゆえ非スピーチ音は、ＬＰＣモデルによる歪みによってのみ変更される。
【００４２】
「処理されたスピーチの例」
【００４３】
図２は、どのようにしてスピーチのフォルマント（formants）が２つの異なる母音ペアを使った処理後に変更されるかを示す、いくつかのスペクトル２０２，２０４，２０６である。トップのスペクトル２０２は、未処理の文ＤＲ３＿ＦＤＦＢ０＿ＳＸ１４８で、ＴＩＭＩＴコーパスからのもである。垂直軸２０８は周波数で、水平軸２１０は時間であり、シェーディングレベルは、明るいシェーディング２１２が暗いシェーディング２１４よりも強い、特定の周波数および時間における振幅に対応付けられる。中間のスペクトル２０４および下のスペクトル２０６は、２人の他の発言者からのＬＰＣ係数を用いて母音領域が処理された処理済スピーチの例である。中間のスペクトル２０４では、置換母音は、常に「ｕｗ」である。下のスペクトルでは、置換母音は、「ｕｗ」と 「ａｙ」である。 ２つの処理されたバージョンである２１６ｂと２１６ｃの母音セグメント２１６は、上の２１６ａとは異なるが、一方で２１８ａ、２１８ｂ、２１８ｃの非母音セグメントのスペクトルの特徴は維持されている（スペクトルはＡｕｄａｃｙを用いて作成した。<http://Audacity.Sourceforge.Net/>）。
【００４４】
「明瞭性」
【００４５】
１２人の被験者によって、処理済みスピーチおよび未処理スピーチの明瞭性、および、処理済みおよび未処理の環境音の認識を比較するために、明瞭性の試験が行われた。試験では、音声ファイルが被験者に対して再生されて、刺激のタイプ（スピーチ、音あるいは両方）の区別と、聞こえた単語と音の識別と、をしてもらった。被験者の答えは、実際のモニタリングをシミュレートするため一回目の再生で記録し、その後被験者には何度でも再生することを認めた後で再度記録をした。
【００４６】
環境音の認識は、処理済みの環境音（一回目７８％、複数回後８３％）と未処理の環境音（一回目８５％、複数回後８６％）とで比較的似ていた。スピーチと環境音とが両方存在すると、単語の正答率が非常に低くなる（一回目３％、複数回後１７％）。発音検出部が処理済の文の母音領域の少なくとも９５％を正しく検出したときに、単語の認識率は、処理済の文は一回目は７％、好きなだけ再生した後は１７％であった。
【００４７】
ピッチは一般にこの処理工程では維持されるが、人間の固有の声は、その発言者のものではない声道伝達関数を用いたので、簡単には判別されない。さらに、韻律情報が維持されるので、聴取者は陳述なのか質問なのかについてはまだ判断することができる。
【００４８】
「更なる実現例」
【００４９】
ここでの実現例は広く研究された自己相関ベースのＬＰＣ音声コード化システムを利用して構成されているが、例えばマルチバンド励振（ＭＢＥ）ボコーダ（ピッチを緩やかなパラメータとして利用する合成による分析法（analysis-by-synthesis method）でスピーチ信号を声音（周期的）と非声音（ノイズ状）とに分離する（非特許文献９））などの方法も適用可能である。この方法ではピッチ、声道伝達関数および残留部分（非声部分）はすべて同時に評価される。非声部分に対する声の出力比は、先に述べた自己相関法と同様の、発声の程度の計測方法を与える。混合励振法の利用は、非声の残存部分に影響を与えずに処理が出来る点で、スピーチの母音（発声）領域の分離に更に有効である。他の実現例としては、ピッチ、発声、そして声道伝達関数を算出するためにケプストラムを使う。この方法では、低いケプストラル係数は声道伝達関数の形状を低く記述し、高いケプストラル係数は、発声あるいは母音のスピーチの間のピッチ期間に対応した位置にピークを現す（非特許文献１０）。
【００５０】
同様に、声音比が、上述の母音セグメントを識別するために使われるものである一方で、発声されたスピーチ認識の手法は、スペクトル形状分類をはじめとして、多様に用いることができる。例えば、１９８２米国Ｄ．Ｏ．Ｄ．標準  １０１５  ＬＰＣ−１０ボコーダは、ゼロクロス周波数、スペクトル傾斜、そしてスペクトルピークを参照して発声状態の決定を行う識別分類器を含んでいる（非特許文献６）。
【００５１】
他の実施形態としては、システムは、入力信号を急速変動する成分と低速変動（rapidly-varying and slowly-varying）する成分とに分離することも有効である。すなわち、スピーチの周波数スペクトルは非常に高速に変化し、一方で様々な環境音（サイレン、口笛、風、雷、雨）はそうではない。これらのゆっくりと変動する音（ゆっくりとスペクトルが変化する音）はスピーチではなく、したがって、たとえスピーチと同時に発生したものであっても、このアルゴリズムによって変更する必要がない。長時間バックグランド（背景）の計算を行い、それを入力信号から差し引くことで前景を抽出することによって、前景であるスピーチをゆっくり変化するバックグランドノイズから分離する試みについては、多様な公知のアルゴリズムがある（非特許文献１１）。こうした分離と、先に開示した音声のスピーチの識別および変更手法と、を同時に適用することで、本システムで実行される信号変更は「前景」だけに制限でき、変動やノイズの多い環境でのロバスト性をより向上できる。
【００５２】
「コンピュータによる実現例」
【００５３】
図３は、本発明の実施形態に関わるコンピュータ／サーバーシステム３００の実現例を例示したものである。このシステム３００は、コンピュータ／サーバプラットフォーム３０１、周辺装置３０２、およびネットワークリソース３０３を含んで構成される。
【００５４】
コンピュータプラットフォーム３０１は、情報をコンピュータプラットフォーム３０１内の多様なモジュールとの間で通信するためのデータバス３０４あるいは他の通信機構を有している。そして、プロセッサ（ＣＰＵ）３０５は、情報処理や他の計算および制御処理を行うために、バス３０４と接続されている。コンピュータプラットフォーム３０１はさらに、多様な情報やプロセッサ３０５で処理される命令を記憶する、ランダムアクセスメモリ（RAM）や他の動的記憶装置のような揮発性記憶領域３０６がバス３０４に接続されている。揮発性記憶領域３０６はプロセッサ３０５の処理において一時的な変数や中間情報を記憶するために用いられてもよい。コンピュータプラットフォーム３０１は、統計情報や、基本入出力システム（BIOS）のような、プロセッサ３０５の命令や、様々なシステムのパラメータを記憶するために、バス３０４に接続されたリードオンリーメモリ（ROM）や他の静的記憶装置を備えても良い。
【００５５】
コンピュータプラットフォーム３０１には、システム管理者あるいはユーザに情報を提示するために、CRT、プラズマディスプレイ、ＥＬディスプレイあるいは液晶ディスプレイなどのディスプレイ３０９が、バス３０４を介して接続されている。入力装置（キーボード）３１０はアルファベットおよび他のキーを備えており、プロセッサ３０５との通信や指示のためにバス３０４に接続されている。他のユーザ用入力装置としては、方向に関する情報を通信し、ディスプレイ３０９上でのカーソルの動きを制御するマウス、トラックボールあるいはカーソル方向キーのようなカーソル制御装置３１１がある。この入力装置は通常２軸での自由度をもっており、第１の軸（例えばｘ）および第２の軸（例えばｙ）を持つことで平面上での位置をそのデバイスで特定できることとなる。
【００５６】
外部記憶装置３１２を、拡張あるいは取り外し可能な記憶容量をコンピュータプラットフォーム３０１に提供するために、バス３０４を介してコンピュータプラットフォーム３０１に接続してもよい。コンピュータシステム３００の一例で、外付けのリムーバブルメモリ（外部記憶装置３１２）は他のコンピュータシステムとのデータ交換を容易にするために、使用されてもよい。
【００５７】
本発明は、ここに記述された技術を実現するためのコンピュータシステム３００の使い方に関連するものである。実施形態として、コンピュータプラットフォーム３０１のような機械上に、本発明に関するシステムを搭載する。本発明の一形態としては、ここで記載された技術を、揮発性メモリ３０６中の１以上の命令による１以上の処理をプロセッサ３０５に処理させることで実現させる。こうした命令は不揮発性記憶領域３０８のような他のコンピュータ読取可能な媒体から、揮発性メモリ３０６に読み出してもよい。揮発性メモリ３０６中に保持された一連の命令をプロセッサ３０５に実行させることで、ここに述べた処理ステップを実現させる。他の形態としては、ハードウェアの電子回路を、発明を実現するソフトウェアと、一部置き換え、あるいは、組み合わせてもよい。なお、本発明は特定のスペックを有するハードウェアやソフトウェアの組み合わせに限定されるものではない。
【００５８】
ここで、コンピュータ可読媒体とは、プロセッサ３０５が実行するための命令を提供するために用いられるあらゆる媒体を指す。コンピュータ可読媒体は機械読取可能媒体の一例であり、ここで述べた、いかなる方法もしくは技術を実現するための命令をも保持することができるものである。このような媒体は多様な形態をとり、不揮発性媒体、揮発性媒体、そして通信媒体といったものに限られない。不揮発性媒体としては、例えば、記憶装置（不揮発性記憶領域３０８）のような、光、磁気ディスクが含まれる。揮発性媒体としては、例えば揮発性記憶装置３０６のような動的メモリを含む。通信媒体は、データバス３０４のような配線を含む同軸ケーブル、銅線、光ファイバーなどであってよい。通信媒体は、電磁波や赤外光データ通信のような、音波や光を利用したものも含む。
【００５９】
コンピュータ可読媒体の一般的な形態は、例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープあるいは他の磁気媒体、CD-ROMあるいは他の光記憶媒体、パンチカード、紙テープなどの穴の配置を用いる媒体、RAM、ROM、EPROM、フラッシュEPROM、フラッシュドライブ、メモリーカードなどのメモリチップやカートリッジ、通信波、あるいはコンピュータが読むことのできる他の媒体、といった通常のコンピュータ可読媒体を含む。
【００６０】
さまざまな形態のコンピュータ可読媒体が、プロセッサ３０５で処理される１以上の処理を実行させるために用いられることができる。例えば、その命令が最初はリモートコンピュータから磁気ディスクに保持されてもよい。あるいは、リモートコンピュータがその命令を動的記憶装置にロードして、モデムを用いた電話回線を通じてこれを送信してもよい。コンピュータシステム３００に接続されたモデムは、電話回線を通じてデータを受け取るとともに、データを赤外線信号に変換して赤外線として伝送するようにしてもよい。赤外線検出装置は、赤外線信号に重畳されたデータを受信し、適当な回路がそのデータをデータバス３０４に伝送する。バス３０４は揮発性記憶領域３０６にデータを伝送し、プロセッサ３０５がその命令を参照して実行できる状態におく。揮発メモリ（揮発性記憶領域３０６）から受け取った命令はプロセッサ３０５により処理される前あるいは後に不揮発性記憶装置３０８に保存されるようにしてもよい。命令は、周知のネットワークデータ通信プロトコルのいずれかで、インターネットを介してコンピュータプラットフォーム３０１にダウンロードするようにしてもよい。
【００６１】
コンピュータプラットフォーム３０１は、データバス３０４に結合したネットワークインターフェースカード３１３のような通信インターフェースも有する。通信インターフェース３１３はローカルネットワーク３１５に接続されたネットワークリンク３１４に接続し、双方向のデータ通信が可能とされる。例えば、通信インターフェース３１３はＩＳＤＮカードやモデムと一体化され、対応する電話回線でのデータ通信を行わせるようにしてもよい。他の例としては、LANや802.11a, 802.11b, 802.11g として周知の無線LANリンクに適合したデータ通信接続を行うローカルエリアネットワークインターフェースカード（LAN NIC）を使用したり、Bluetooth(登録商標)を使用したりして、実現してもよい。いずれの場合でも、通信インターフェース３１３は、様々なタイプの情報を表すデジタルデータストリームを伝送する、電気、電磁、あるいは光信号を送受信する。
【００６２】
ネットワークリンク３１４は、１以上の他のネットワークとのデータ通信を通常可能とする。例えば、ネットワークリンク３１４は、ローカルネットワーク３１５を介して、ホストコンピュータ３１６やネットワークストレージやサーバー３２２への接続を提供する。加えて、あるいは代替として、ネットワークリンク３１４は、インターネットのような、広域あるいはグローバルネットワーク３１８にゲートウェイ／ファイアウォール３１７を通じて接続する。そしてコンピュータプラットフォーム３０１はインターネット３１８上のどこかにある、例えばリモートネットワークストレージ／サーバーといった、ネットワークリソースにもアクセスすることが可能となる。一方、コンピュータプラットフォーム３０１は、ローカルエリアネットワーク３１５および／またはインターネット３１８上のいかなる位置にいるクライアントからもアクセスされることができるようにしてもよい。ネットワーククライアント３２０および３２１は、プラットフォーム３０１と同様のコンピュータプラットフォームに基づいて構築しても良い。
【００６３】
ローカルネットワーク３１５およびインターネット３１８は、共に電気、電磁、あるいは光信号を、データ信号ストリームを伝播するために用いる。なお、デジタルデータをコンピュータプラットフォーム３０１に入出させる、多様なネットワークを通じた信号、ネットワークリンク３１４上や、通信インターフェース３１３を介した信号は情報伝送の伝送波の例示的な形態である。
【００６４】
コンピュータプラットフォーム３０１は、メッセージの送信、プログラムコードを含むデータの受信を、インターネット３１８およびLAN３１５を含む多様なネットワーク、ネットワークリンク３１４および通信インターフェース３１３を介して行うことができる。インターネットの例では、コンピュータプラットフォーム３０１はネットワークサーバとして機能し、クライアント３２０および／または３２１で実行されるアプリケーションプログラム用の、リクエストコードやデータを、インターネット３１８、ゲートウェイ／ファイアウォール３１７、ローカルエリアネットワーク３１５および通信インターフェース３１３を介して伝送する。同様に、他のネットワークリソースからコードを受信してもよい。
【００６５】
受信したコードはプロセッサ３０５によって受信時に実行されるか、不揮発記憶装置３０８あるいは揮発記憶装置３０６に保存する、あるいは他の不揮発性記憶領域に記憶して、後で実行してもよい。このようにしてコンピュータ３０１は伝送波からアプリケーションコードを取得できる。
【００６６】
最後に、ここに記載した方法や技法は、特定の装置固有に成り立つものでなく、いかなる適当な構成要素の組み合わせによっても実現できることを理解されたい。また、この開示の示唆に従って、多様な一般用途の装置を用いてもよい。またここで開示した手法を実現する専用の装置を作成することも有効である。この発明は特定の例示に基づいて記述されているが、それらは全て限定的にするためではなく、例示するためのものである。当業者であれば、ハードウェア、ソフトウェアおよびファームウェアの多くの異なる組み合わせが本発明を実施するのに適当であることは理解され得ることであろう。例えば、ソフトウェアの記述は、アセンブラ, C/C++, pearl, shell, PHP, Java（登録商標）といった多様なプログラムあるいはスクリプト言語を用いて実現できる。
【００６７】
さらに、当業者であればここに開示された本発明の明細書および実施例に基づいて、本発明の他の改良もまた明らかであろう。実施形態に記述された多様な観点や構成は、このコンピュータにより実現される画像検索システムを単独もしくは組み合わることにより利用することができる。明細書および実施例は例示的なものと解釈され、真の発明の示す範囲および思想はクレームにより示されるものである。
【符号の説明】
【００６８】
３００  コンピュータシステム
３０１  コンピュータプラットフォーム
３０２  周辺装置
３０３  ネットワークリソース
【図１】
2009294642.tif 000003
【図２】
2009294642.tif 000004
【図３】
2009294642.tif 000005