(57)【要約】【課題】音声合成装置を利用する利用者が、音声発話時のタイミングに合わせて、合成音声に応じた振動を直接感じ取ってもらい、心理的な自信喪失感を軽減することができる。【解決手段】本発明の発話補助装置は、テキスト入力手段を通じて入力されたテキストに基づいて音声波形を生成する音声波形生成手段と、音声波形生成手段からの音声波形に基づき所定の時間区間毎の波形パワー値を算出する波形パワー算出手段と、波形パワー算出手段からの各時間区間の波形パワー値に応じた物理振動量を求める物理振動変換手段と、各時間区間の波形パワー値に応じた物理振動量に基づく振動を発話者に与える振動伝導手段とを備えることを特徴とする。【選択図】      図１
2010224392.tif 000002
【特許請求の範囲】
【請求項１】
テキスト入力手段を通じて入力されたテキストに基づいて音声波形を生成する音声波形生成手段と、
上記音声波形生成手段からの上記音声波形に基づき所定の時間区間毎の波形パワー値を算出する波形パワー算出手段と、
上記波形パワー算出手段からの上記各時間区間の波形パワー値に応じた物理振動量を求める物理振動変換手段と、
上記各時間区間の波形パワー値に応じた物理振動量に基づく振動を発話者に与える振動伝導手段と
を備えることを特徴とする発話補助装置。
【請求項２】
上記音声波形生成手段からの上記音声波形に応じた音声を出力する音声出力手段をさらに備え、
上記振動伝導手段が、発話者の喉、頬骨又は頸部に接触可能なものであり、上記音声出力手段から音声が出力されるタイミングで、当該出力音声に対応する上記時間区間の波形パワー値に応じた振動を発話者に伝えるものである
ことを特徴とする請求項１に記載の発話補助装置。
【請求項３】
上記音声波形生成手段が、複数の音声素片データ及び韻律情報を格納するデータベースを備え、上記データベースを参照して、入力テキストに対応する合成音声を生成するものであることを特徴とする請求項１又は２に記載の発話補助装置。
【請求項４】
上記振動伝導手段が、バイブレータ又は骨伝導スピーカであることを特徴とする請求項１〜３のいずれかに記載の発話補助装置。
【請求項５】
テキスト入力手段及び振動伝導手段を備える発話補助装置の発話補助方法であって、
音声波形生成手段が、上記テキスト入力手段を通じて入力されたテキストに基づいて音声波形を生成する音声波形生成工程と、
波形パワー算出手段が、上記音声波形生成手段からの上記音声波形に基づき所定の時間区間毎の波形パワー値を算出する波形パワー算出工程と、
物理振動変換手段が、上記波形パワー算出手段からの上記各時間区間の波形パワー値に応じた物理振動量を求め、この物理振動量を上記振動伝導手段に供給する物理振動変換工程と
を有することを特徴とする発話補助方法。
【請求項６】
テキスト入力手段及び振動伝導手段を備える発話補助装置を、
上記テキスト入力手段を通じて入力されたテキストに基づいて音声波形を生成する音声波形生成手段、
上記音声波形生成手段からの上記音声波形に基づき所定の時間区間毎の波形パワー値を算出する波形パワー算出手段と、
上記波形パワー算出手段からの上記各時間区間の波形パワー値に応じた物理振動量を求め、この物理振動量を上記振動伝導手段に供給する物理振動変換手段
として機能させることを特徴とする発話補助プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話補助装置、方法及びプログラムに関し、例えば、声帯切除をした利用者が音声合成装置を用いて発話する際に、心理的な自信喪失感を改善できるように補助する装置に適用し得るものである。
【背景技術】
【０００２】
例えば、入力されたテキストを音声に変換し、合成音声を出力する音声合成装置があり、このような音声合成装置は、様々な利用分野に利用されている。
【０００３】
従来の音声合成方法としては、例えば特許文献１に記載される技術がある。特許文献１に記載されているように、従来の音声合成方法は、言語処理部が、入力された日本語テキストの形態素解析、構文解析を行い、アクセント位置付きのかな文字列を生成する。韻律パターン生成部で、言語処理部２０１からのアクセント位置付きのかな文字列から、韻律情報（例えば、個々の音素の継続時間長、個々の時間区間（フレーム）での声の高さ、および無音区間が存在する場合その継続時間長）を算出する。そして、音素波形生成部は、韻律生成部２０からの韻律情報に基づいて合成音声波形を生成して出力するというものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２０８１８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、音声合成装置の利用態様として、例えば、病気や事故等により声帯を切除した者が音声合成装置を利用する場合がある。
【０００６】
例えば、声帯切除前に自身の音声を録音して音声データをデータベース化しておき、自身が入力したテキストを、自身の声（声質）で自身の口調（話し方）で合成音声を出力するというものである。これにより、利用者個人の特性や感情表現、発話の自然性といった本人性を再現することができる。
【０００７】
しかしながら、このような利用態様においては、次のような課題が生じ得る。
【０００８】
通常、健常者は、自身が発話した音声を、発話者本人の耳だけでなく、喉や頬骨などから直接伝わる振動も感じ取っており、これにより自身の発話音声を聴取している。
【０００９】
しかし、声帯を切除した者が、上記のような音声合成装置を利用して本人性を再現した合成音声を出力する場合、耳から発話音性を聴取できたとしても、喉や頬骨などから直接伝わる振動を感じ取ることができない。
【００１０】
自身の生の声は通常、骨に伝導し、鼓膜を振動させて耳に届く声が耳からの声により優先される。これに対して、合成音声は、他人の声同様、口から発した声が空気中を伝わって耳から聞いた声であり、自身の持つ「自分の声」とのイメージとの間にギャップが生じ得ることがある。また、合成音声の不完全さに起因する「自分の声」とのイメージとの間のギャップが生じ得ることがある。例えば、合成音声の品質の劣化に伴い、自分らしくない声質となったり、話し方や間の取り方が異なったりすることがある。
【００１１】
このような場合、発話者は、不快感を感じ自信を持って発言することができなくなってしまうことが、しばしば発生する。
【００１２】
このような合成音声の不完全さに起因する心理的な自信の喪失に対する改善策として、人間の発話・認知機構に基づく情報の補償が有効である。
【００１３】
つまり、音声の発話時における喉や頬骨などから直接伝わる振動を、合成音声の生成タイミングにあわせて合成音声から擬似的に生成し、合成音声の出力タイミングにこれを感じ取ることができれば、自身が、今発話しているという強い実感を得ることができ、また、合成音声の不完全さに起因する自信喪失感を軽減することができる。
【００１４】
そのため、音声合成装置を利用する利用者が、音声発話時のタイミングに合わせて、合成音声に応じた振動を直接感じ取ってもらい、心理的な自信喪失感を軽減することができる発話補助装置、方法及びプログラムが求められている。
【課題を解決するための手段】
【００１５】
第１の本発明の発話補助装置は、（１）テキスト入力手段を通じて入力されたテキストに基づいて音声波形を生成する音声波形生成手段と、（２）音声波形生成手段からの音声波形に基づき所定の時間区間毎の波形パワー値を算出する波形パワー算出手段と、（３）波形パワー算出手段からの各時間区間の波形パワー値に応じた物理振動量を求める物理振動変換手段と、（４）各時間区間の波形パワーに応じた物理振動量に基づく振動を発話者に与える振動伝導手段とを備えることを特徴とする。
【００１６】
第２の本発明の発話補助方法は、テキスト入力手段及び振動伝導手段を備える発話補助装置の発話補助方法であって、（１）音声波形生成手段が、テキスト入力手段を通じて入力されたテキストに基づいて音声波形を生成する音声波形生成工程と、（２）波形パワー算出手段が、音声波形生成手段からの音声波形に基づき所定の時間区間毎の波形パワー値を算出する波形パワー算出工程と、（３）物理振動変換手段が、波形パワー算出手段からの各時間区間の波形パワー値に応じた物理振動量を求め、この物理振動量を振動伝導手段に供給する物理振動変換工程とを有することを特徴とする。
【００１７】
第３の本発明の発話補助プログラムは、テキスト入力手段及び振動伝導手段を備える発話補助装置を、（１）テキスト入力手段を通じて入力されたテキストに基づいて音声波形を生成する音声波形生成手段、（２）音声波形生成手段からの音声波形に基づき所定の時間区間毎の波形パワー値を算出する波形パワー算出手段と、（３）波形パワー算出手段からの各時間区間の波形パワー値に応じた物理振動量を求め、この物理振動量を振動伝導手段に供給する物理振動変換手段として機能させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、音声合成装置を利用する利用者が、音声発話時のタイミングに合わせて、合成音声に応じた振動を直接感じ取ってもらい、心理的な自信喪失感を軽減することができる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施形態の発話補助装置の構成を示す構成図である。
【図２】第１の実施形態の音声合成部の機能を説明するブロック図である。
【図３】第１の実施形態のパワー算出部の機能を説明するブロック図である。
【図４】第１の実施形態のパワー算出部によるフレームの波形パワーの算出方法を説明する説明図である。
【図５】第１の実施形態の各フレームの波形パワーから物理振動量を生成する方法を説明する説明図である。
【図６】第１の実施形態の発話補助装置による処理を説明するフローチャートである。
【発明を実施するための形態】
【００２０】
（Ａ）第１の実施形態
以下では、本発明の発話補助装置、方法及びプログラムの第１の実施形態を、図面を参照しながら説明する。
【００２１】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の発話補助装置の構成を説明する構成図である。図１において、第１の実施形態は、テキスト入力部１０１、音声合成部１０２、パワー算出部１０３、振動生成部１０４、振動伝導部１０５、出力部１０６を少なくとも有して構成される。
【００２２】
音声合成部１０２、パワー算出部１０３及び振動生成部１０４は、例えば、パーソナルコンピュータ等の情報処理装置が実現する機能である。これらの機能は、ソフトウェア処理により実現することができ、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等のハードウェア構成を備える情報処理装置において、ＲＯＭに格納される処理プログラムをＣＰＵが読み出し実行することにより、これらの機能が実現される。
【００２３】
テキスト入力部１０１は、利用者の操作により所望のテキスト入力を行うものであり、入力されたテキストデータを音声合成部１０２に与えるものである。テキスト入力部１０１は、例えばキーボード、タッチパネルなどが該当する。
【００２４】
音声合成部１０２は、テキスト入力部１０１から入力されたテキストデータに基づいて、フレーム（所定の処理時間区間）毎あるいは呼気段落単位で合成音声波形を生成して、合成音声波形をパワー算出部１０３及び出力部１０６に与えるものである。
【００２５】
音声合成部１０２による音声合成方法としては、例えば特許文献１に記載されるような既存の方法を広く適用することができる。ここでは、例えば図２を参照しながら音声合成方法を説明する。
【００２６】
図２は、音声合成部１０２の内部構成を示す。なお、音声合成部１０２の内部構成については、特開２００７−２３３２１６号公報に記載されている内容を適用可能である。図２に示すように、音声合成部１０２は、言語処理部２０１、韻律生成部２０２、波形生成部２０３、一時格納部２０４、単語辞書２０５、音声素片データベース２０６を少なくとも有する。
【００２７】
言語処理部２０１は、入力テキス文字列の形態素解析や構文解析を行い、アクセント、イントネーション等を決定し、アクセント位置付きのかな文字列（中間言語）を韻律生成部２０２に与えるものである。
【００２８】
言語処理部２０１は、単語辞書２０５を参照して、入力テキスト文字列に対して形態素解析、構文解析等のテキスト処理を行い、音声合成の単位である音素単位に分割し、解析によって得られた韻律情報を付して合成ターゲットとして出力するものである。ここで、単語辞書２０５には、各単語の読み仮名、文法情報、アクセント型、アクセント結合規則などが登録された辞書である。
【００２９】
また、言語処理部２０１は、単語辞書２０５のアクセント結合規則を参照しながら、単語系列の文法的又は意味的なまとまりに応じてアクセント位置を付与するものである。
【００３０】
さらに、言語処理部２０１は、アクセント位置を付与した文法的又は意味的なまとまり（アクセント句）から係り受けを判断し、係り受けのあるアクセント句を呼気段落として形成するものである。
【００３１】
韻律生成部２０２は、言語処理部２０１から出力された合成ターゲットを構成するターゲット音素列に対し、合成すべき音声の韻律に対応する音響特徴量パラメータ（ターゲットパラメータ）を生成し、各音素に付するターゲット音素からなるターゲット音素列として出力するものである。
【００３２】
ここで、韻律情報は、音声合成に必要なパラメータであり、例えば、音声素片、各音素の継続時間長、ピッチ（個々のフレームでの声の高さ）、無音区間が存在する場合にはその継続時間長などが該当する。
【００３３】
また、音声素片データベース２０６には、例えば声帯切除前に、声帯切除をする利用者から収録した音声データを分析、加工した音声素片データをデータベース化したものである。
【００３４】
波形生成部２０３は、韻律生成部２０２からターゲット音素列が与えられると、音声素片データベース２０６を参照して、音素片データを取り出して音声素片データの波形を合成ターゲットに従って互いに接続し、音声波形を生成し出力するものである。波形生成部２０３による波形生成方法としては、種々の方法を適用することができ、例えば、音声素片をピッチ周期毎にずらして重ね合わせる波形重畳法などを適用することができる。
【００３５】
一時格納部２０４は、波形生成部２０３により生成された合成音声波形を一時的に格納した後、格納した合成音声波形を出力するものである。これは、合成音声波形の生成処理の時間効率（すなわち、生成波形データの生成ビットレート）が一定でない場合が生じ得る。例えば、入力されるテキスト文字列が多い場合と少ない場合とでは、合成音声波形の生成に必要なＣＰＵ処理量が大きく異なる場合等がある。この場合、フレーム単位あるいは呼気段落単位で生成された合成音声波形を一時格納部２０４に一旦格納することで、後続処理を一定のビットレートで行うようにすることができる。
【００３６】
パワー算出部１０３は、音声合成部１０２から合成音声波形を受け取り、所定の時間区間の波形パワー値を算出し、各時間区間の波形パワー値の時系列変化を求めるものである。また、パワー算出部１０３は、算出した各時間区間の波形パワーを振動生成部１０４に与えるものである。
【００３７】
図３は、パワー算出部１０３の内部構成を示す内部構成図である。図３に示すように、パワー算出部１０３は、窓掛け部３０１、波形パワー算出部３０２を少なくとも有する。
【００３８】
窓掛け部３０１は、音声合成部１０２からの合成音声波形から、所定の時間区間を窓掛けにより切り出し、例えばハニング窓、ハミング窓などの窓掛け処理を行うものである。
【００３９】
図４は、合成音声波形に対して所定の時間区間の窓掛け処理を説明する説明図である。
【００４０】
ここでは、１つのフレーム区間の信号の強さを算出するために、そのフレームを代表する波形データを切り出す処理を行う。図４に示すように、第１の実施形態ではフレームの中心時刻を窓の中心として、フレーム間隔の２倍の大きさのハニング窓にて切り出しを行う。窓関数は、ハミング窓、ガウス窓、テーパ窓等、適宜変えても良い、また窓長はパワーの移動平均値の時間分解能であり、フレーム周期の２倍を基本として、利用用途に応じて、適宜変更しても良い。
【００４１】
第１の実施形態では、この切り出し波形の各サンプル値を２乗値を累積したものを当該フレーム区間の波形パワー値とする。ここで、算出する波形パワー値の時系列情報は、生成された合成音声のパワー時系列の移動平均値であり、その算出方法として、絶対値を累積するなど、波形の振幅を数値化できる方法であれば適宜変えてもよい。
【００４２】
後述するように、振動生成部１０４により波形パワーに応じた物理振動量に変換し、振動伝導部１０５により物理振動量に応じた振動を出力ことになるが、波形パワーに応じた振動を出力するまでの感度（応答性）を良くするために、比較的短時間の時間区間とする。
【００４３】
波形パワー算出部３０２は、窓掛け部３０１により切り出された所定の時間区間の波形データ（窓掛け波形データ）の波形パワー値を算出するものである。
【００４４】
ここで、波形パワー算出部３０２による波形パワー値の算出方法としては、例えば窓掛け波形データに対して、所定のサンプリング周波数によりサンプリングを行い、窓掛け波形データのサンプル値を求める。そして、この窓掛け波形データの各サンプル値を２乗したものを１フレーム区間内で累積した値を、当該フレーム区間の波形パワー値とする。
【００４５】
なお、波形パワー算出部３０２による波形パワー値の算出方法は、上記の例に限定されるものではなく、窓掛け波形データの各サンプル値を移動平均することができれば良いので、例えば、各サンプル値の絶対値を累積した値を、当該フレーム区間の波形パワー値としても良い。
【００４６】
振動生成部１０４は、パワー算出部１０３により算出された各フレーム区間の波形パワー値に基づいて物理振動量を求め、その物理振動量を振動伝導部１０５に与えるものである。
【００４７】
ここで、振動生成部１０４による各フレーム区間の波形パワー値から物理振動量を生成する方法としては、例えば、波形パワー値の大きさに比例した物理振動量を生成する方法を適用することができる。
【００４８】
図５は、波形パワー値の大きさに応じて物理振動量を生成する一例を示す図である。振動生成部１０４は、図５に示すような比例関係を示す関係情報を保持しておく。そして、パワー算出部１０３から各フレームの波形パワー値を受け取ると、振動生成部１０４は、図５に示すような関係情報を参照して、対応する物理振動量を求める。つまり、振動生成部１０４は、各フレームの波形パワー値に所定の定数を乗じることにより物理振動量を求める。
【００４９】
また、別の方法として、振動生成部１０４は、各フレーム区間の波形パワー値を量子化し、その量子化値に応じた物理振動量を求めるようにしてもよい。この場合、振動生成部１０４は、各フレーム区間の波形パワー値の量子化値に対応する複数の物理振動量を予め設定しておき、対応する物理信号量を選択するようにしても良いし、また量子化により得られた量子化値に所定の定数を乗じて物理振動量を求めるようにしても良い。
【００５０】
振動伝導部１０５は、振動生成部１０４で生成された物理振動量に応じて物理的に振動するものであり、利用者（人体）の喉や頬骨や頸部等に振動を伝えるものである。振動伝導部１０５は、例えば、振動器（例えばバイブレータ）や骨伝導出力装置（例えば骨伝導スピーカ等）などが該当する。
【００５１】
これにより、合成音声の生成タイミングに合わせて、合成音声から擬似的に生成した振動を、利用者に直接伝えることができる。そのため、利用者自身が、今発話したことを実感することができ、合成音声の不完全さに起因する自信喪失感を軽減させることができる。
【００５２】
また、振動伝導部１０５は、人体の皮膚に貼付ができるように、例えばバイブレータを包んだ柔らかい布パッドや皮膚貼付用テープなどの装着部材が付されており、これにより利用者の喉や頸部等に装着する。
【００５３】
出力部１０６は、音声合成部１０２により合成された合成音声波形に基づいて合成音声を出力するものであり、例えば、スピーカ等が該当する。
【００５４】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の発話補助装置１００を用いた発話補助方法の動作について図６を参照しながら説明する。
【００５５】
まず、発話補助装置１００を利用する利用者は、例えばキーボードなどのテキスト入力部１０１を用いて、所望のテキスト文字列を入力する（ステップＳ１０１）。
【００５６】
テキスト入力部１０１に入力されたテキスト文字列は音声合成部１０２に与えられ、音声合成部１０２において、テキスト文字列は合成音声波形が生成される（ステップＳ１０２）。
【００５７】
音声合成部１０２により合成された合成音声波形は、パワー算出部１０３に与えられ、パワー算出部１０３により、短時間でなるフレームの時間区間の波形パワー値がフレーム毎に算出される（ステップＳ１０３）。
【００５８】
パワー算出部１０３では、音声合成波形から１フレームの時間区間を切り出し、例えばハニング窓やハミング窓等の窓処理を行う。パワー算出部１０３は、この１フレームの時間区間を窓処理することにより、切り出された窓掛け波形データの各サンプル値を２乗したものを累積した２乗平均値を求めて、これを当該フレームの波形パワー値とする。
【００５９】
また、パワー算出部１０３は、このような波形パワー算出処理を各フレーム間隔で行うことで、窓掛け波形データの各フレームの波形パワーの時系列を得る。
【００６０】
次に、パワー算出部１０３により算出された各フレームの波形パワーは、振動生成部１０４に与えられる。振動生成部１０４では、各フレームの波形パワー値に応じた物理振動量が求められる（ステップＳ１０４）。
【００６１】
振動生成部１０４では、各フレームの波形パワー値の大きさに比例するよう、振動伝導部１０５を振動させる物理振動量を求めることができればよく、例えば、各フレームの波形パワー値に所定の定数を乗算して物理振動量を求めたり、各フレームの波形パワー値を量子化し、その量子化値に対応する物理振動量を求めたりすること等で実現できる。
【００６２】
また、振動生成部１０４は、各フレームの波形パワー値に応じた物理振動量を求めるが、パワー算出部１０３が各フレームの波形パワー値を時系列で求めるため、振動生成部１０４が求める物理振動量も各フレームについて時系列のものとなる。
【００６３】
振動伝導部１０５は、振動生成部１０４により生成された物理振動量により利用者に対して振動を伝導する（ステップＳ１０５）。
【００６４】
（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、利用者がテキスト入力すると、スピーカ等の出力部から合成音声が出力されると共に、利用者の頸部等に合成音声の大きさに応じた振動がフィードバックされるので、利用者に心理的な側面でのより強い安心感を与えることができる。
【００６５】
（Ｂ）他の実施形態
第１の実施形態では、生成される音声波形の短時間パワーをバイブレータ等の振動伝導部を用いて頸部等にフィードバックする方法を説明したが、骨伝導スピーカなどを用いることで代替することも可能である。
【符号の説明】
【００６６】
１００…振動伝導部、１０１…テキスト入力部、１０２…音声合成部、１０３…パワー算出部１０３…振動生成部、１０５…振動伝導部、１０６…出力部。
【図１】
2010224392.tif 000003
【図２】
2010224392.tif 000004
【図３】
2010224392.tif 000005
【図４】
2010224392.tif 000006
【図５】
2010224392.tif 000007
【図６】
2010224392.tif 000008