(57)【要約】【課題】  音声チャネル上での会話における音声品質を修正するための方法、装置及び製造物品を提供する。【解決手段】  音声チャネル上での会話における音声品質を修正するための技術が開示される。例えば、音声チャネル上で伝送可能な発話と関連した音声品質を修正するための方法は、次のステップを含む。発話の意図された受け手が発話を受け取る前に、発話を獲得する。発話の現在の音声品質を判断する。発話の現在の音声品質を、少なくとも１つの以前に獲得した発話と関連した少なくとも１つの所望の音声品質と比較して、現在の音声品質が所望の音声品質と実質的に合致するかどうかを判断する。現在の音声品質が所望の音声品質と実質的に合致しない場合、発話の少なくとも１つの特性を修正して、発話の現在の音声品質を所望の音声品質に変更する。所望の音声品質を有した状態で、発話を意図された受け手に提示する。【選択図】      図５
2013534650.tif 000002
【特許請求の範囲】
【請求項１】
音声チャネル上で伝送可能な発話に関連した音声品質を修正するための方法であって、
前記発話の意図された受け手が前記発話を受け取る前に、前記発話を獲得するステップと、
前記発話の現在の音声品質を判断するステップと、
前記発話の前記現在の音声品質を、少なくとも１つの以前に獲得した発話と関連した少なくとも１つの所望の音声品質と比較して、前記現在の音声品質が前記所望の音声品質と実質的に合致するかどうかを判断するステップと、
前記現在の音声品質が前記所望の音声品質と実質的に合致しない場合、前記発話の少なくとも１つの特性を修正して、前記発話の前記現在の音声品質を前記所望の音声品質に変更するステップと、
前記所望の音声品質を有する前記発話を前記意図された受け手に提示するステップと、
を含む方法。
【請求項２】
前記発話の音声品質は、前記発話の知覚可能な気分又は感情を含む、請求項１に記載の方法。
【請求項３】
前記発話の音声品質は、前記発話の知覚可能な意図を含む、請求項１に記載の方法。
【請求項４】
前記所望の音声品質は、前記発話の話者のプリファレンスに基づいて手動で選択される、請求項１に記載の方法。
【請求項５】
前記所望の音声品質は、前記発話と関連した実質的な文脈、及び、前記発話が前記意図された受け手にどのように聞こえるべきかに関する判断に基づいて自動的に選択される、請求項１に記載の方法。
【請求項６】
前記所望の音声品質は、前記発話のコンテンツを分析し、目的を達成するために前記発話がどのように聞こえるべきかに関する音声の合致を判断することによって自動的に判断される、請求項５に記載の方法。
【請求項７】
音声の合致は、前記発話の前記話者について以前に作成された１つ又は複数の音声モデルに基づいて判断される、請求項６に記載の方法。
【請求項８】
前記１つ又は複数の音声モデルの少なくとも１つは、背景的データ収集を介して作成される、請求項７に記載の方法。
【請求項９】
前記１つ又は複数の音声モデルの少なくとも１つは、明示的データ収集を介して作成される、請求項７に記載の方法。
【請求項１０】
前記修正するステップにおいて修正される前記発話の少なくとも１つの特性は、前記発話と関連した韻律を含む、請求項１に記載の方法。
【請求項１１】
前記話者が１つ又は複数の発話をマーク付けするステップをさらに含む、請求項１に記載の方法。
【請求項１２】
前記マーク付けされた発話を分析して、次の所望の音声品質を判断する、請求項１１に記載の方法。
【請求項１３】
望ましくない言葉を含むと判断したとき、前記発話の前記コンテンツを編集するステップをさらに含む、請求項１に記載の方法。
【請求項１４】
前記発話を伝送する前に、前記発話の前記少なくとも１つの特性が修正される、請求項１に記載の方法。
【請求項１５】
前記発話を伝送した後に、前記発話の前記少なくとも１つの特性が修正される、請求項１に記載の方法。
【請求項１６】
音声チャネル上で伝送可能な発話と関連した音声品質を修正するための装置であって、
メモリと、
前記メモリに作動可能に結合され、かつ、
前記発話の意図された受け手が前記発話を受け取る前に、前記発話を獲得し、
前記発話の現在の音声品質を判断し、
前記発話の前記現在の音声品質を、少なくとも１つの以前に獲得した発話と関連した少なくとも１つの所望の音声品質と比較して、前記現在の音声品質が前記所望の音声品質と実質的に合致するかどうかを判断し、
前記現在の音声品質が前記所望の音声品質と実質的に合致しない場合、前記発話の少なくとも１つの特性を修正して、前記発話の前記現在の音声品質を前記所望の音声品質に変更し、
前記所望の音声品質を有する前記発話を前記意図された受け手に提示する、
ように構成された少なくとも１つのプロセッサ・デバイスと、
を含む装置。
【請求項１７】
前記発話の音声品質は、前記発話の知覚可能な気分又は感情を含む、請求項１６に記載の装置。
【請求項１８】
前記発話の音声品質は、前記発話の知覚可能な意図を含む、請求項１６に記載の装置。
【請求項１９】
前記所望の音声品質は、前記発話の話者のプリファレンスに基づいて手動で選択される、請求項１６に記載の装置。
【請求項２０】
前記所望の音声品質は、前記発話と関連した実質的な文脈、及び、前記発話が前記意図された受け手にどのように聞こえるべきかに関する判断に基づいて自動的に選択される、請求項１６に記載の装置。
【請求項２１】
前記修正するステップにおいて修正される前記発話の少なくとも１つの特性は、前記発話と関連した韻律を含む、請求項１６に記載の装置。
【請求項２２】
前記少なくとも１つのプロセッサ・デバイスは、前記話者が１つ又は複数の発話をマーク付けするのを可能にするようにさらに構成される、請求項１６に記載の装置。
【請求項２３】
前記マーク付けされた発話を分析して、次の所望の音声品質を判断する、請求項２２に記載の装置。
【請求項２４】
前記少なくとも１つのプロセッサ・デバイスは、望ましくない言葉を含むと判断したとき、前記発話の前記コンテンツを編集するようにさらに構成される、請求項１６に記載の装置。
【請求項２５】
音声チャネル上で伝送可能な発話と関連した音声品質を修正するための製造物品であって、前記製造物品は、実行されたとき、コンピュータに、
前記発話の意図された受け手が前記発話を受け取る前に、前記発話を獲得させ、
前記発話の現在の音声品質を判断させ、
前記発話の前記現在の音声品質を、少なくとも１つの以前に獲得した発話と関連した少なくとも１つの所望の音声品質と比較して、前記現在の音声品質が前記所望の音声品質と実質的に合致するかどうかを判断させ、
前記現在の音声品質が前記所望の音声品質と実質的に合致しない場合、前記発話の少なくとも１つの特性を修正して、前記発話の前記現在の音声品質を前記所望の音声品質に変更させ、
前記所望の音声品質を有する前記発話を前記意図された受け手に提示させる、上にコンピュータ可読プログラム・コードが有形に具体化されたコンピュータ可読ストレージ媒体を含む、製造物品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、音声信号処理に関し、より特定的には、音声チャネル上での会話における音声品質の変更に関する。
【背景技術】
【０００２】
移動するには費用がかかり、経費削減が強化される風潮の中で、より多くのビジネスは対面会議（face-to-face meeting）ではなく、電話及び他の遠隔方法によって行なわれる。従って、それがビジネスを行う共通モードになってきており、個人は、音声チャネルを利用するだけで印象を作り出す必要があるので、これらの遠隔通信において「できるだけ良い印象」を与えることが望ましい。
【０００３】
しかしながら、どの日でも又は日中のどの特定の時点でも、会話の音声が「最良の状態」であるとは言い切れない。話者は、説得力のあるセールストーク又は人を引き付けるプレゼンテーションを行いたいと望むが、信頼できる、精力的である等といったように聞こえるために、話者が望む熱意のレベルを自然にマスターすることはできない。
【０００４】
一部のユーザは、失語症、自閉症、又は難聴などの障害により、特定の状況において必要とされる韻律範囲を獲得することができない。
【０００５】
代替案として、テキストで連絡し、テキストの手掛かりを用いて感情、活力（エネルギー）等を示すことが挙げられる。しかしながら、テキストは、必ずしも、ビジネスを行うのに使用する理想的なチャネルとは限らない。
【０００６】
別の選択肢として、他の特性（情緒、身振り等）を活用して熱心に主張することができる対面会議が挙げられる。しかしながら、前述のように、対面会議は、ビジネス遂行上常に可能というわけではない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第７，３７３，３０１号明細書
【特許文献２】米国特許第７，４５１，０７９号明細書
【特許文献３】米国特許公開第２００８／００４０１１０号明細書
【特許文献４】米国特許第６，９６１，７０４号明細書
【特許文献５】米国特許第６，８７３，９５３号明細書
【特許文献６】米国特許第７，０６９，２１６号明細書
【特許文献７】米国特許第７，１３９，０３１号明細書
【特許文献８】米国特許第６，８０７，５６３号明細書
【特許文献９】米国特許第６，９７２，８０２号明細書
【特許文献１０】米国特許第５，５２１，８１６号明細書
【特許文献１１】米国特許公開第２００９／０２５９４７１号明細書
【特許文献１２】米国特許第５，７９７，１２３号明細書
【特許文献１３】米国特許第５，８０６，０２１号明細書
【特許文献１４】米国特許第５，５５９，９２７号明細書
【特許文献１５】米国特許第５，８６０，０６４号明細書
【特許文献１６】米国特許第７，３７９，８７１号明細書
【特許文献１７】米国特許第７，５０６，２６２号明細書
【特許文献１８】米国特許公開第２００５／０２７３７００号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の原理は、音声チャネル上での会話における音声品質を修正するための技術を提供する。本技術はまた、話者が、こうした修正を選択的に管理することも可能にする。
【課題を解決するための手段】
【０００９】
例えば、本発明の一態様によると、音声チャネル上での会話における音声品質を修正するための技術が開示される。例えば、音声チャネル上で伝送可能な発話（spoken utterance）と関連した音声品質を修正するための方法が、次のステップを含む。発話の意図された受け手が発話を受け取る前に、発話を獲得する。発話の現在の音声品質を判断する。発話の現在の音声品質を、少なくとも１つの以前に獲得した発話と関連した少なくとも１つの所望の音声品質と比較して、現在の音声品質が所望の音声品質と実質的に合致するかどうかを判断する。現在の音声品質が所望の音声品質と実質的に合致しない場合、発話の少なくとも１つの特性を修正して、発話の現在の音声品質を所望の音声品質に変更する。所望の音声品質を有した状態で、発話を意図された受け手に提示する。
【００１０】
発話の音声品質は、発話の知覚可能な気分（mood）又は感情（例えば、幸せである、悲しい、自信がある、熱意のある、等）を含むことができる。発話の音声品質は、発話の知覚可能な意図（質問、命令(コマンド）、嫌味、皮肉等）を含むことができる。
【００１１】
所望の音声品質は、発話の話者のプリファレンス（ユーザ・インターフェースを介して選択可能な）に基づいて、手動で選択することができる。
【００１２】
所望の音声品質は、発話と関連した実質的な文脈、及び、発話が意図された受け手にどのように聞こえるべきかに関する判断に基づいて自動的に選択される。一実施形態において、所望の音声品質は、発話のコンテンツを分析して、目的を達成するために発話がどのように聞こえるべきかに関する音声の合致（voice match）を判断することによって自動的に判断される。音声の合致は、発話の話者について以前に作成された１つ又は複数の音声モデルに基づいて判断される。１つ又は複数の音声モデルの少なくとも１つは、背景的データ収集（例えば、話者に対して実質的にトランスペアレントな）又は明示的データ収集（例えば、話者の明確な知識及び／又は関与による）を介して作成することができる。
【００１３】
この方法はまた、話者が１つ又は複数の発話をマーク付けすることを含むこともできる。マーク付けされた発話を分析して、次の所望の音声品質を判断することができる。
【００１４】
この方法はまた、望ましくない言葉を含むと判断したとき、発話のコンテンツを編集することもできる。
【００１５】
修正するステップにおいて修正される発話の少なくとも１つの特性は、発話と関連した韻律を含むことができる。一実施形態において、発話を伝送する前に、発話の少なくとも１つの特性を修正することができる（例えば、音声チャネルの話者側端において）。発話を伝送した後に、発話の少なくとも１つの特性が修正される（例えば、音声チャネルの意図された受け手側端において）。
【００１６】
本発明の他の態様は、上述の方法ステップを実施及び／又は実現するための装置及び製造物品を含む。
【００１７】
本発明のこれらの及び他の特徴、目的及び利点は、添付図面と共に解釈されるべき、その例証的な実施形態についての以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態による、特定の話者についての音声モデルを作成するためのシステムの図である。
【図２】本発明の実施形態による、不適切な発話の代りに適切な発話を用いるためのシステムの図である。
【図３】本発明の実施形態による、所望の韻律特性を選択するためのユーザ・インターフェースの図である。
【図４】本発明の実施形態による、音声信号を処理するための方法の図である。
【図５】本発明の１つ又は複数の実施形態による、１つ又は複数のステップ及び／又はコンポーネントを実装するためのコンピューティング・システムの図である。
【発明を実施するための形態】
【００１９】
本発明の原理は、本明細書では、電話での会話の文脈で説明される。しかしながら、本発明の原理は、電話での会話における使用に限定されるものではなく、寧ろ、音声品質を修正したいと望むいずれの適切な音声チャネルにも従って適用できることを理解すべきである。このため、示される実施形態に対して本発明の範囲内にある多数の修正を行うことができる。つまり、本明細書で述べられる特定の実施形態に対するどのような制限も意図されておらず、又は推論されるべきではない。
【００２０】
本明細書で用いられる場合、「韻律（prosody）」という用語は、発話の特性であり、かつ、音声のリズム、強勢及びイントネーションの１つ又は複数を指すことができる。韻律は、これらに限定されるものではないが、話者の感情の状態；言葉が平叙文であるか、質問であるか、又は命令（コマンド）であるか；話者が皮肉若しくはいやみを言っているのか；強調、対比、及び焦点；又は文法若しくは語彙の選択により符号化することができない言葉の他の要素を含む、話者若しくは言葉の種々の特徴を表すことができる。音響学の観点から言えば、口頭言語（oral language）の「韻律」は、言語音の音節長、音の大きさ、ピッチを含む。
【００２１】
本明細書で用いられる場合、「音声品質」という句（フレーズ）は、一般に、低ビットレート・コーディング及びパケット伝送等に起因する伝送エラー、ノイズ、歪み及び損失の意味の音声品質ではなく、例えば、幸せそうな音声、悲しそうな音声、熱意のある音声、無感情の音声等といった、知覚可能な音声の気分又は感情を指すように意図される。また、本明細書で用いられる「音声品質」は、文法及び語彙の選択によって伝えられるもの以外の手段により伝えられる、例えば、命令、質問、いやみ、皮肉等といった知覚可能な音声の意図を指すこともできる。
【００２２】
発話が、他の何らかの方法で獲得され、比較され、修正され、提示され、又は扱われるとき、それは、一般に、発話を表す１又は複数の電気信号が、音声信号の入力、処理及び出力技術を用いて他の何らかの方法で獲得され、比較され、修正され、提示され、又は扱われることを意味すると理解されることを理解すべきである。
【００２３】
本発明の例証となる実施形態は、ほんの一例として無感情の音声を熱のこもった音声に変換するなど、音声モーフィング（speech morphing）（変更）技術を用いて、音声サンプル内の要点を強調し、話者の音声を選択的に変換してある品質を別の品質の代わり示すことによって、背景セクションにおいて上述した欠点、及び他の欠点を克服する。
【００２４】
このことにより、ユーザは、その音声の気分（ユーザの声で表されるような）が最良の状態でないときでさえ、電話の音声チャネルを用いて、ビジネスをより効果的に行うことができるようになる。
【００２５】
さらに、本発明の例証となる実施形態により、ユーザが、会話の際にユーザの声がどのように聞こえることを望むかを示すことが可能になる。このシステムはまた、話される材料の文脈が与えられた場合、ユーザがどのように適切に聞こえるべきかを自動的に判断することもできる。このことは、話者が話しているコンテンツを分析し、次に、より適切に強調するために、話者がどのように聞こえるべきかに関する「音声の合致」を作成することによって達成することができる。
【００２６】
さらに、本発明の例証となる実施形態はまた、話者によりマーク付けされた、以前の「うまくいった」会話又は「うまくいかなかった」会話を自動的に分析することもできる。次に、「うまくいった」会話の韻律及び音声品質を、類似したトピックについての将来の会話にマッピングすることができる。
【００２７】
同様に、本発明の例証となる実施形態は、例えば、「幸せそうな声」、「真剣な声」等といった、感情の状態を示す異なる音声モデルを作成することもできる。
【００２８】
ユーザは、特定の会話において自分の声がどのように（例えば、熱意のあるように、がっかりしたように等）「聞こえる」ことを望むかを先験的に示すことができる。
【００２９】
本発明の例証となる実施形態はまた、話された材料（material）の文脈が与えられた場合、ユーザがどのように適切に聞こえるべきかを自動的に判断することもできる。このことは、話者が話しているコンテンツを分析し（音声認識及びテキスト分析を用いて）、次に、より適切に強調するために、話者がどのように聞こえるべきかに関する「音声の合致」を作成することによって達成することができる。
【００３０】
「ターゲット音声（target voice）」のベースラインを確立するために、ユーザは、例えば「陽気な」、「真剣な」等といった所望の気分における自分の音声モデルを作成する。これにより、ユーザは、カスタマイズされた音声モデルの組を有し、そこでは、修正される範囲は「知覚される感情」だけである。
【００３１】
異なる感情の状態を示す音声モデルを作成する際の別の選択肢を、「明示的」データ収集としてではなく、「背景的」データ収集として行うことができる。ユーザは、通常の活動に従って話をし、所定のセグメント中にユーザが「幸せである」と感じるか又は「悲しい」と感じるかを「マーク付け」することができる。ユーザが、自分が「幸せである」、「悲しい」等と知覚する間に生成される音声のセグメントを用いて、「感情音声」データベースにポピュレートすることができる。
【００３２】
別の方法は、「幸せそうな声」、「真剣な声」等を自動的に識別することを必要とする。このシステムは、長期間、ユーザを自動的に監視し、記録する。各々異なる気分と相関する複数の音響特徴を用いて、「幸せそうな声」、「真剣な声」等のセグメントが自動的に検出される。
【００３３】
フレーズ・スプライシング（phrase splicing）技術を用いて、ユーザが話していることの「陽気な声」バージョン又はより「真剣な」バージョンを反映する言葉の文字列を作成することができる。
【００３４】
音声認識を用いてユーザが話している言葉を自動的に認識し、次に、これを再合成して、ユーザが伝える（project）ことを選択する気分／韻律を伝えることができる。
【００３５】
ユーザが、「幸せそうな音声のサンプル」又は「真剣な音声サンプル」のデータベース及びレパートリを作成できない場合、システムは、規則生成方法を用いてユーザの音声を合成し、「幸せである」又は「悲しい」ことを示すことができる、例えば、さらに高い基本周波数にシフトさせて、より「活気に富んだ」音声をもたらすことができる。
【００３６】
韻律の修正に加えて、この技術はまた、ユーザが話していることのコンテンツを編集することもできる。ユーザが不適切な言葉を使用した場合に、例えば、好ましくないフレーズを排除するように又はより許容可能な同義語と置き換えるように、文を再合成することができる。
【００３７】
ユーザの声を多数のモードで表すモデルが作成されると、ユーザは、様々な範囲の選択肢から、ユーザが特定の会話においてどんな声を伝えることを選択するか、又は会話の特定の部分においてどんな声を伝えることを選択するかを決定することができる。このことは、「幸せそうな声」、「真剣な声」等といったユーザ・インターフェース上の「ボタン」を用いてインスタンス化することができる。選択する前に、ユーザのために、利用可能な気分の各々における音声文字列のサンプルを再生することができる。
【００３８】
本発明の例証となる実施形態は、様々な韻律の障害をもった話者を助けるように展開することができる。これらの母集団は、先天的に単調な声をもつ個人、様々なタイプの失語症をもつ個人、聴覚障害のある個人、又は自閉症をもつ個人を含み得る。ある場合には、これらの個人は、自分がどのターゲットの達成を試みているかが分かっていたとしても、その韻律を修正することができない。他の場合には、個人は、「幸せそうな音声」と、例えば自閉症の話者などの関連した音声品質との間の相互関係を認識することができない。「幸せそうな音声」をマーク付けする「ボタン」を選択し、これにより異なる韻律の変化を自動的に導入できることが望ましい。
【００３９】
後者のグループについては、個人自身が、「自分が幸せである／悲しい等のときに、自分はこのように聞こえる」ことについて、システムを「訓練する」ことができないことに留意されたい。これらの場合、それらの音声韻律を変更する、規則に支配された修正が導入され、これによりそれらの音声が再合成される。
【００４０】
図１は、本発明の実施形態による、特定の話者についての音声モデルを作成するためのシステムを示す。示されるように、話者１０８は、電話で通信する。電話システムは、有線であっても又は無線であってもよい。本発明の原理は、音声信号を受信／送信するのに用いられる音声チャネル又は通信システムのタイプに限定されることを意図するものではない。
【００４１】
話者の音声は、音声データ・コレクタ１０１を通して集められ、自動音声認識装置１０２を通され、そこでテキストに書き換えられる。音声データ・コレクタ１０１は、システムによって処理される音声のためのストレージ・リポジトリとすることができる。自動音声認識装置１０２は、音声をテキストに書き換えるためのいずれの従来の自動音声認識（ＡＳＲ）技術を用いることもできる。
【００４２】
音声分析装置１０３は、音声分析を、自動音声認識装置１０２が出力したテキストに適用する。音声分析の例として、これらに限定されるものではないが、論じられるトピックの決定、話者の識別、話者の性別、話者の感情、音声の量及び場所対背景の非音声ノイズ等が挙げられる。
【００４３】
自動気分検出器１０４が作動されて、話者の声が「幸せである」、「悲しい」、「退屈である」等のように伝達されているかどうかを判断する。つまり、自動気分検出器１０４は、ユーザ１０８が発した言葉の「音声品質」を判断する。気分は、これらに限定されるものではないが、エネルギー、ピッチ及び韻律を含む、音声信号内の種々の特徴を調べることによって検出することができる。検出器１０４において適用することができる感情／気分検出技術の例は、特許文献１、特許文献２、及び特許文献３において説明されており、既知の技術である。
【００４４】
韻律特徴抽出器１０５を介して、話者の気分と関連した韻律特徴が抽出される。話者のレパートリ内に適切な「気分のフレーズ」がない場合には、フレーズ・スプライス生成器１０６を介して、所望のターゲット気分を示す新しいフレーズを生成する。話者のレパートリ内に所望の気分を示す適切なフレーズがある場合には、韻律特徴エンハンサ（prosodic feature enhancer）１０７を用いて、現在のフレーズに「気分の増強」が付け加えられる。モジュール１０５、１０６及び１０７において用いることができる韻律特徴抽出、フレーズ・スプライシング、及び特徴強化の技術の例は、特許文献４、特許文献５及び特許文献６に記載されており、既知の技術である。
【００４５】
図２は、本発明の実施形態による、不適切な発話を、適切な発話で置き換えるためのシステムを示す。図示されるように、話者２０６は、電話で通信する。同様に、本発明の原理は、いずれかの特定のタイプの電話システムに限定されるものではない。話者の音声は、音声データ・コレクタ２０１（図１の１０１と同じ又はこれと類似の）を通して集められ、自動音声認識装置２０２（図１の１０２と同じ又はこれと類似の）を通され、そこでテキストに書き換えられる。音声分析装置２０３（図１の１０３と同じ又はこれと類似の）は、音声分析をテキスト出力に適用する。
【００４６】
次に、テキスト分析装置２０４によりテキストが分析され、（例えば、不敬の、無礼な等）不適切な言葉が用いられたかどうかを判断する。不適切な言葉が識別された場合、適切なテキストを導入し、これを、自動テキスト置換モジュール２０５を介して置き換える。次に、従来の修正されたテキスト読み上げ（text-to-speech）技術を介して、テキストを、モジュール２０５内の話者の声に再合成する。モジュール２０４及び２０５において適用することができる、不適切な言葉に関するテキスト分析及び置換のための技術は、特許文献７、特許文献８、特許文献９及び特許文献１０に記載されており、既知の技術である。
【００４７】
図３は、本発明の実施形態による、所望の韻律特性を選択するためのユーザ・インターフェースを示す。電話に出ている話者３０３は会話をしており、自分がこの特定の電話で「幸せそうに」又は「真剣に」聞こえることを望んでいることが分かっている。話者は、自分の声をその所望のターゲット韻律に自動的に変える、電話装置（ユーザ・インターフェース）３０１上の１つ又は複数のボタン（キー）を作動させる。フレーズ・スプライス・セレクタ３０２が、適切な韻律フレーズ・スプライスを抽出し、ユーザが修正されることを望む現在のフレーズに取って代わる。
【００４８】
図３の方法は、２つのステップで機能する。第１に、フレーズ・セグメンタ（phrase segmenter）が、セグメント化するための適切なフレーズを検出する。本明細書で用いることができるフレーズ・セグメンタの例は、特許文献１１、特許文献１２、及び特許文献１３に記載されており、既知の技術である。第２に、フレーズがセグメント化されると、ユーザが所望する推奨される感情に基づいて、セグメントの各々の中の感情が変更される。本明細書で用いることができる感情変更の例は、特許文献１４、特許文献１５及び特許文献１６に記載されており、既知の技術である。
【００４９】
本発明の例証となる実施形態により、ユーザ自身が幸せである、悲しい等として知覚した、生成された音声のセグメントをマーク付けする（注釈付けする）ことも可能になる。このことは図３に示されており、ユーザ３０３が再び電話（ユーザ・インターフェース）３０１上の１つ又は複数のボタンを用いて、分析のためにユーザの発話を選択する開始時間と停止時間を示すことができる。これにより、多くの利点が可能になる。第１に、例えば、ユーザからのフィードバックを集めることにより、感情データベースの作成３０４が可能になる。第２に、例えば、エラー分析３０４を行って、システムが、ユーザが仮定したものとは異なる感情を生成した箇所を判断し、将来の音声の感情生成を改善することができる。本明細書で用いることができる音声注釈付け技術の例は、特許文献１７、特許文献１８に記載されており、既知の技術である。
【００５０】
図４は、本発明の実施形態による、音声信号を処理するための方法を示す。ステップ４００において、電話に出ている人により生成された音声セグメントがスプライスされ、処理される。ステップ４０１において、音声セグメントの「感情コンテンツ」を分類することができるかどうかについての判断がなされる。分類できる場合、ステップ４０２において、フレーズの感情コンテンツが、この文脈において必要とされるもの、及び／又は、ユーザがこの電話に対して所望する韻律メッセージングとして示したものに合致するかどうかについての判断がなされる。
【００５１】
ステップ４０１において感情コンテンツを分類することができない場合、システムは、次の音声セグメントの処理を続ける。
【００５２】
ステップ４０２において判断されるように、感情コンテンツがこの特定の会話の要件に合致する場合、システムは、ステップ４００における次の音声セグメントを処理する。ステップ４０２において判断されるように、感情コンテンツがこの会話に関する所望の要件に合致しない場合、ステップ４０３において、システムは、この音声セグメントを韻律的に適切なセグメントとリアルタイムに置き換えるための機構があるかどうかをチェックする。この音声セグメントを適切な音声セグメントと置き換えるための機構がある場合、ステップ４０４において、置き換えが行われる。オリジナルの音声セグメントと置き換えることができる直ちに入手可能な音声セグメントがない場合、ステップ４０５において、音声をオフライン・システムに送り、適切な韻律コンテンツを有するこのメッセージの将来の再生のための置換物（replacement）を生成する。
【００５３】
当業者により認識されるように、本発明の態様は、システム、装置、方法、又はコンピュータ・プログラム製品として具体化することができる。従って、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロ・コード等を含む）、又は、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形を取ることができ、これらは全て、本明細書において、一般的に「回路」、「モジュール」又は「システム」と呼ぶことができる。さらに、本発明の態様は、コンピュータ可読プログラム・コードが組み込まれた、１つ又は複数のコンピュータ可読媒体内に具体化されたコンピュータ・プログラム製品の形を取ることができる。
【００５４】
１つ又は複数のコンピュータ可読媒体の任意の組み合わせを用いることができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読ストレージ媒体とすることができる。コンピュータ可読ストレージ媒体は、例えば、これらに限定されるものではないが、電子、磁気、光学、電磁気、赤外線若しくは半導体のシステム、装置若しくはデバイス、又は上記のもののいずれかの適切な組み合わせとすることができる。コンピュータ可読ストレージ媒体のより具体的な例（非網羅的なリスト）として、以下のもの、すなわち、１つ又は複数の配線を有する電気的接続、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ）、光ファイバ、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記のいずれかの適切な組み合わせが挙げられる。本明細書の文脈においては、コンピュータ可読ストレージ媒体は、命令実行システム、装置若しくはデバイスによって又はこれらと関連して用いるためのプログラムを収容又は格納することが可能ないずれかの有形媒体とすることができる。
【００５５】
コンピュータ可読信号媒体は、例えばベースバンドに、又は搬送波の一部として、コンピュータ可読プログラム・コードが組み入れられた伝搬データ信号を含むことができる。このような伝搬信号は、これらに限定されるものではないが、電磁気、光又はそれらのいずれかの適切な組み合わせを含む、種々の異なる形態のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではなく、かつ、命令実行システム、装置若しくはデバイスによって又はこれらと関連して用いるためのプログラムを通信し、伝搬又は搬送することができる、いずれかのコンピュータ可読媒体とすることができる。
【００５６】
コンピュータ可読媒体上に具体化されたプログラム・コードは、これらに限定されるものではないが、無線、有線、光ファイバ・ケーブル、ＲＦ等、又は上記のいずれかの適切な組み合わせを含む、いずれかの適切な媒体を用いて、伝送することができる。
【００５７】
本発明の態様についての操作を実行するためのコンピュータ・プログラム・コードは、Ｊａｖａ、ＳｍａｌｌＴａｌｋ、Ｃ＋＋等のようなオブジェクト指向型プログラミング言語、及び、「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続き型プログラミング言語を含む、１つ又は複数のプログラミング言語のいずれかの組み合わせで書くことができる。プログラム・コードは、完全にユーザのコンピュータ上で実行されるか、一部がユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして実行されるか、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行されるか、又は完全に遠隔コンピュータ若しくはサーバ上で実行される場合がある。最後のシナリオにおいては、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）若しくは広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続されるか、又は、（例えば、インターネット・サービス・プロバイダを用いたインターネットを通じて）外部コンピュータへの接続がなされる場合がある。
【００５８】
本発明の態様は、本明細書において、本発明の実施形態による方法、装置（システム）及びコンピュータ・プログラム製品のフローチャート図及び／又はブロック図を参照して説明される。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図におけるブロックの組み合わせは、コンピュータ・プログラム命令によって実装できることが理解されるであろう。これらのコンピュータ・プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えて、マシンを製造し、その結果、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作を実施するための手段を生成するようになる。
【００５９】
これらのコンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他の装置を特定の方式で機能させるように指示することができるコンピュータ可読媒体内に格納し、その結果、そのコンピュータ可読媒体内に格納された命令が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作を実装する命令を含む製品を製造するようになる。
【００６０】
コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他の装置上にロードして、そのコンピュータ、他のプログラム可能データ処理装置、又は他の装置上で行われる一連の動作ステップによりコンピュータ実装プロセスを生成し、その結果、コンピュータ又は他のプログラム可能装置上で実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作を実装するためのプロセスをもたらすようになる。
【００６１】
再び図１−図４を参照すると、図中の図は、本発明の種々の実施形態による、システム、方法及びコンピュータ・プログラムの可能な実装のアーキテクチャ、機能及び動作を示す。これに関して、フローチャート又はブロック図中の各ブロックは、モジュール、セグメント、又はコードの部分を表すことができ、これは、指定された論理機能を実施するための１つ又は複数の実行可能命令を含む。また、幾つかの代替的な実施において、ブロック内に示された機能は、図中に示された順番とは異なる順番で行ない得ることに留意すべきである。例えば、連続して示される２つのブロックを、実際には、実質的に同時に実行することができ、或いは場合により、関与する機能に応じてブロックを逆の順番で実行することもできる。また、ブロック図及び／又はフローチャート説明図中の各ブロック、並びにブロック図及び／又はフローチャート説明図中のブロックの組み合わせは、指定された機能又は動作を実行する専用のハードウェア・ベースのシステム、或いは専用のハードウェアとコンピュータ命令の組み合わせによって、実施することができることにも留意されたい。
【００６２】
従って、例えば図１−図４に示されるような本発明の技術は、本明細書で説明されるように、システムの提供を含むことができ、このシステムは、別個のモジュール（例えば、ソフトウェア、ハードウェア、又はソフトウェア及びハードウェアを含むモジュール）を含むことができる。ほんの一例として、モジュールは、これらに限定されるものではないが、音声データ・コレクタ・モジュール、自動音声認識装置モジュール、音声分析モジュール、自動気分検出モジュール、テキスト分析モジュール、自動音声置換モジュール、韻律特徴抽出器モジュール、句スプライス・クリエータ・モジュール、韻律特徴エンハンサ・モジュール、ユーザ・インターフェース・モジュール及び句スプライス・セレクタ・モジュールを含むことができる。これら及び他のモジュールは、例えば、図１−図４の文脈において説明され、示されたステップを実行するように構成することができる。
【００６３】
１つ又は複数の実施形態は、汎用コンピュータ又はワークステーション上で実行されているソフトウェアを利用することができる。図５を参照すると、こうした実施は、プロセッサ５０２、メモリ５０４、及び、例えばディスプレイ５０６及びキーボード５０８によって形成された入力／出力インターフェースを用いるものである。本明細書で用いられる「プロセッサ」という用語は、例えば、ＣＰＵ（中央処理装置）及び／又は他の形態の処理回路を含むもののような、いずれかの処理装置を含むように意図される。さらに、「プロセッサ」という用語は、１より多い個々のプロセッサを指すことができる。「メモリ」という用語は、例えば、ＲＡＭ（ランダム・アクセス・メモリ）、ＲＯＭ（読み出し専用メモリ）、固定メモリ・デバイス（例えば、ハードドライブ）、取り外し可能メモリ・デバイス（例えば、ディスケット）、フラッシュ・メモリ等のような、プロセッサ又はＣＰＵと関連したメモリを含むように意図される。さらに、本明細書で用いられる「入力／出力インターフェース」というフレーズは、例えば、データを処理装置に入力するための１つ又は複数の機構（例えば、キーボード又はマウス）、及び処理装置と関連した結果を提供する１つ又は複数の機構（例えば、ディスプレイ又はプリンタ）を含むように意図される。
【００６４】
データ処理ユニット５１２の一部として、例えばバス５１０を介して、プロセッサ５０２、メモリ５０４、及びディスプレイ５０６及びキーボード５０８のような入力／出力インターフェースを相互接続することができる。例えばバス５１０を介した適切な相互接続は、コンピュータ・ネットワークとのインターフェース、及びディスケット又はＣＤ−ＲＯＭドライブのような媒体インジケータ５１６に提供することができ、媒体５１８とのインターフェースに提供することができ、ネットワーク・カードのようなネットワーク・インターフェース５１４に提供することもできる。
【００６５】
プログラム・コードを格納及び／又は実行するのに適したデータ処理システムは、システム・バス５１０を通じてメモリ要素５０４に直接又は間接的に結合された少なくとも１つのプロセッサ５０２を含むことができる。メモリ要素は、プログラム・コードの実際の実施中に用いられるローカルメモリ、大容量記憶装置、及び、実施中に大容量記憶装置からコードを取り出さなければならない回数を減らすために少なくとも幾つかのプログラム・コードの一時的なストレージを提供するキャッシュ・メモリを含むことができる。
【００６６】
入力／出力デバイス即ちＩ／Ｏデバイス（これらに限定されるものではないが、キーボード５０８、ディスプレイ５０６、ポインティング・デバイス等）は、直接（例えばバス５１０を介して）システムに結合することもでき、又は介在するＩ／Ｏコントローラ（明確にするために省略）を通じてシステムに結合することもできる。
【００６７】
ネットワーク・インターフェース５１４のようなネットワーク・アダプタをシステムに結合させて、データ処理システムが、介在する私設ネットワーク又は公衆ネットワークを通じて他のデータ処理システム又は遠隔プリンタ若しくはストレージ・デバイスに結合できるようにすることもできる。モデム、ケーブル・モデム及びイーサネット・カードは、現在入手可能なネットワーク・アダプタのタイプのうちのほんの数例である。
【００６８】
本明細書で用いられる場合、「サーバ」は、サーバ・プログラムを実行する物理的データ処理システム（例えば、図５に示されるようなシステム５１２）を含む。そのような物理的サーバは、ディスプレイ及びキーボードを含む場合も、含まない場合もあることが理解されるであろう。
【００６９】
上述した本発明の例示的な実施形態は、多数の異なる方法で実施できることが理解されるであろう。本明細書において提供された本発明の教示が与えられれば、当業者は、本発明の他の実施形態を企図することができるであろう。実際には、本発明の例証となる実施形態を、本明細書において添付の図面を参照しながら説明したが、本発明はそれらの正確な実施形態に限定されないこと、及び、当業者であれば、本発明の範囲又は思想から逸脱することなく、種々の他の変更及び修正を行い得ることを理解すべきである。
【符号の説明】
【００７０】
１０１、２０１：音声データ・コレクタ
２０１、１０２：自動音声認識装置
１０３：音声分析装置
１０４：自動気分検出器
１０６：フレーズ・スプライス生成器
１０７：韻律特徴エンハンサ
１０８、２０６、３０３：話者
２０３：音声分析装置
２０４：テキスト分析装置
２０５：自動テキスト置換モジュール
３１０：電話（ユーザ・インターフェース）
５０２：プロセッサ
５０４：メモリ
５０６：ディスプレイ
５０８：キーボード
５１０：バス
５１２：データ処理ユニット（システム）
５１４：ネットワーク・インターフェース
５１６：媒体インジケータ
５１８：媒体
【図１】
2013534650.tif 000003
【図２】
2013534650.tif 000004
【図３】
2013534650.tif 000005
【図４】
2013534650.tif 000006
【図５】
2013534650.tif 000007
【国際調査報告】
2013534650.tif 000008