(57)【特許請求の範囲】
【請求項１】
送信者が作成したデータを送信する送信側装置と、該送信側装置から受信したデータを音声合成して読み上げる受信側装置とからなる音声合成装置において、
前記送信側装置には、音素の集合データとしての音声データを複数記憶する音声記憶手段と、
送信者の音声の特徴を抽出し、前記音声記憶手段の各音声データと音素ごとに比較して類似度が最大となる所定の音声データを決定するとともに、前記送信者の音声に近似させるため前記決定した所定の音声データを修正する特徴量修正データを作成する処理手段と、
前記所定の音声データを指定する指定データ及び前記特徴量修正データを送信する送信手段とを設け、
前記受信側装置には、前記送信側装置から送信された前記各データを受信する受信手段と、
前記送信側装置と同じ内容の音声記憶手段と、
前記受信した指定データに基づいて前記音声記憶手段から該当する音声データを読み込み、前記受信した特徴量修正データに基づいて前記読み込んだ音声データを修正した修正音声データを作成するとともに、前記修正音声データに基づいてデータを読み上げて音声合成を行う処理手段とを設けたこと、
を特徴とする音声合成装置。
【請求項２】
前記送信側装置には、さらにテキストデータを入力する入力手段と、前記テキストデータを送信する送信手段を設け、
前記受信側装置の処理手段は、受信した前記テキストデータに基づいてアクセント位置又はポーズ長を含む韻律パラメータを予測した音声インデックスデータを作成すると共に、前記修正音声データと前記音声インデックスデータとに基づいて音声合成を行うこと、  を特徴とする請求項１に記載の音声合成装置。
【請求項３】
前記送信側装置には、さらにテキストデータを入力する入力手段を設け、
前記送信側装置の処理手段は、前記テキストデータに基づいてアクセント位置又はポーズ長を含む韻律パラメータを予測した音声インデックスデータを作成し、
前記送信手段は、前記音声インデックスデータも送信するとともに、
前記受信側装置の処理手段は、前記修正音声データと受信した前記音声インデックスデータとに基づいて音声合成を行うこと、
を特徴とする請求項１に記載の音声合成装置。
【請求項４】
音素の集合データとしての音声データを複数記憶する音声記憶手段の中から音声合成側で使用すべき音声データを指定する指定データと、この指定データにより指定した音声データを修正する特徴量修正データを音声合成側に送信し、
前記音声記憶手段と同じ内容の音声記憶手段を備える前記音声合成側で、前記送信された指定データと前記特徴量修正データに基づいて音声合成する音声合成方法におけるデータ作成方法であって、
入力音声に対して音素ごとの特徴量を抽出し、
この特徴量と前記音声記憶手段の各音声データとを音素ごとに比較して、前記入力音声と類似度が最大となる所定の音声データを決定すると共に、この所定の音声データを指定する指定データを決定し、
さらに、この決定した所定の音声データを前記入力音声により近似するように当該音声データを修正する特徴量修正データを作成すること、
を特徴とする音声合成方法におけるデータ作成方法。
【請求項５】
音素の集合データとしての音声データを複数記憶する音声記憶手段の中から音声合成に使用すべき音声データを読み出し、この読み出した音声データを修正し、この修正した修正音声データに基づいて音声合成の対象となるデータを読み上げるようにした音声合成方法であって、
入力音声に対して音素ごとの特徴量を抽出し、この特徴量と前記音声記憶手段と同じ内容の送信側の音声記憶手段の各音声データとを音素ごとに比較することで、前記入力音声と類似度が最大となる所定の音声データを指定する指定データと、この指定データにより指定される音声データを前記入力音声により近似させるための特徴量修正データと、を受信し、
この受信した指定データを用いて前記音声記憶手段の中から音声合成の対象となる音声データを読み出し、
このように読み出した音声データに対して、前記受信した特徴量修正データで、前記読み出した音声データが前記入力音声により近似するように修正し、
このように修正した修正音声データに基づいて、前記音声合成の対象となるデータを読み上げるようにしたこと、
を特徴とする音声合成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声合成方法に関し、殊に、電子メールなどで送られてくる電子データとしてのテキストデータを、このテキストデータの作成者などの音声で音声合成して読み上げる音声合成方法に関する。
【０００２】
【従来の技術】
近年インターネットの普及により、電子メールでの文書のやり取りが頻繁に行われるようになった。通常電子メールでの文書のやり取りはテキストベースで行われ、電子メールの受信者はパソコン（パーソナルコンピュータ）やＰＤＡ（Personal Data Assistants）の画面上で電子メールの内容を目視により確認する。しかし、この電子メールの内容を送信者の音声で聞きたい、あるいは自己の音声で受信者に聞かせたいという要望がある。音声は、性別はもとより、年齢、体格、風貌や性格などにより異なり、人間の特徴をよく表すからである。つまり、受信者にとって音声での電子メールの内容確認は、まだ会ったことのない電子メールの送信者の具体的な人物像が思い浮かんできたり、電子メールの文書の行間では表せない送信者の感情を読み取ることができたりする。また、送信者にとっても同様であり、例えば、文書だけでは表せない行間を表現して受信者に伝えることができたりする。
【０００３】
ところで、自己の音声をデジタル記録して音声ファイルを作成し、これを電子メールで相手方に送信することもできる。例えば、ｗａｖ形式で自己の音声をデジタル記録して、これを電子メールの添付ファイルとして送信する方法である。ｗａｖ形式の音声ファイルは、Ｗｉｎｄｏｗｓ（マイクロソフト社の登録商標）をＯＳ（Operating System）とするパソコンなどで一般的に使用されるものであり、動作が軽く音質が大変よいなどの特徴がある。しかし、ｗａｖ形式の音声ファイルは、ほんの数秒（２〜３秒）の音声を記録するだけで１００ｋＢ（キロバイト）以上のデータサイズになってしまう。比較の仕方によっても異なるが、同じ内容の文書を保存・記録するとして、ｗａｖ形式の音声ファイルは、ｔｘｔ形式の文書ファイル（テキストデータ）に比べて数千倍のデータサイズを必要とする（場合によっては差が一万倍以上になることもある）。したがって、パソコンのハードディスクの容量やフロッピーディスクの容量など及び電子メールの送受信に要する時間などから、ｗａｖ形式の音声ファイルを電子メールに添付することは非現実的であり、ほとんど行われていない。これは、Ｗｉｎｄｏｗｓばかりでなく他のＯＳにおける音声ファイル（例えばＡＩＦＦ形式）でも同様である。
【０００４】
最近、音声データを圧縮する手段としてＭＰ３という音声データ圧縮規格が使用されるようになり、ＭＰ３に関連する商品が多数販売されるようになった。このＭＰ３は「ＭＰＥＧ−１ Ａｕｄｉｏ Ｌａｙｅｒ−３」の略であり、人間にとって聞くことのできない周波数帯域の音声データ（つまり不要な部分の音声データ）をカットすることなどにより、ＣＤ並みの音質を確保しつつ、もとの音声ファイルの約１／１０にデータサイズを圧縮することができる。しかし、ＭＰ３規格で音声データを圧縮しても約１／１０がやっとであり、まだテキストデータに比べてデータサイズはかなり大きく、送信者側のパソコンや受信者側のパソコンのハードウェアに対する負担が大きいと共に、電子メールの送受信に時間を要する。
また、音声ファイルに共通していえることであるが、テキストファイルのように簡単に音声ファイルを編集することができない。したがって、音声ファイル作成の際、つまり音声入力する際に、言いよどんだり言い間違えたりなどの失敗が許されない。
【０００５】
一方、近年、テキストデータを機械的に読み上げる音声合成に関する研究が盛んに行なわれている。このうち音声データベースを用いたコーパスベース（Corpus Base）の音声合成では、テキストデータをより人間に近い発音に音声合成するため、以下の方法をとっている。
【０００６】
〔手順１〕    先ず、読み上げ用テキストデータの形態素解析を行なう。これは、読み上げ用テキストデータがどのような単語とどのような助詞・助動詞・活用語尾で構成されるかを構文解析することである。具体的には、「僕は日本人です。」というテキストを、／僕／は／日本人／です。／という正しい構文解析を行なうことを指す。ちなみに、「日本人」という単語は、“日本／人”というように、“日本”と“人”という構文解析も可能である。この手順１は、それを間違いなく“日本人”という単語であるということを認識する過程である。
【０００７】
〔手順２〕    形態素解析で得られた各単語・構文情報をもとに、音素の選択・各単語のアクセントの位置・イントネーション・ポーズなどを決定する。この過程では、例えば、“日本人”という単語を音声合成するための音素を選択し、さらにその選択された音素のピッチやアクセントを決定する。“日本人”という言葉を構成する“Ｎｉ”という発音でも、文字にすると“にほんじん”や“ニックネーム”というふうに、単語が違っていてもテキストは“に”と変わらないが、その音素を考えた場合、単語によって、また、後に続く発音や単語のアクセントによって音素は異なる。また、音素の長さ・高さ・強さも異なる。
つまり、この手順２で、各単語・構文情報をもとに、音声合成が自然に聞こえるための各音素について最適な長さ・高さ・強さを決定し、さらに音素系列における最適なイントネーション・ポーズなどを決定する。
【０００８】
〔手順３〕    手順２で得られた各データをインデックス化し、音声合成装置にこのインデックス化したデータを引き渡して音声合成を行ない、テキストデータを読み上げる。
【０００９】
このようにすることで、男・女といったように、予め決められた特定の音声での音声合成を行い、テキストデータを読み上げること（音声出力すること）が可能になっている。したがって、ｗａｖ形式やＭＰ３形式の音声データを送受信するのと違い、データサイズを少なくすることも可能である。また、編集も容易である。
【００１０】
【発明が解決しようとする課題】
しかしながら、人間の音声は犯罪捜査に使われるように千差万別であり、男女のみの二者択一的な音声選択では、電子メールの送信者の具体的な人物像が湧いてこないし、テキストデータには表されていない行間を読み取ることもできない。また、電子メールの送信者にとっては、自己の人物像を受信者に湧かせたり、テキストデータでは表せない行間を受信者に読み取らせることができない。さらには、二者択一的な音声選択では面白みに欠ける。これは、フロッピーディスクなどの記憶媒体で、テキストベースの電子データをやり取りする場合も同様である。
【００１１】
従って、電子メールなどの送信者（テキストデータの作成者）の具体的な人物像などが湧き、あるいは、テキストデータでは表せない行間を読み取ることなどができ、さらには、多様な音声を楽しむことなどができ、しかも、電子データのデータサイズを少なくして送受信して音声合成することができる方策が望まれる。
そこで、本発明は、上記課題を解決することを主たる目的とする。
【００１２】
【課題を解決するための手段】
本発明の音声合成装置（請求項１）では、送信側装置からは、送信者の音声と類似度が最大になる音声データを受信側装置の音声記憶手段（音声データベース）の中から指定する指定データと、前記指定データにより指定される音声データに修正を施す特徴量修正データを送信する。一方、音声合成用の受信側装置では、これらデータを受信すると、音声記憶手段から受信した指定データに基づいて対応する音声データを読み出し、このように読み出した音声データに受信した特徴量修正データで修正を施して修正音声データを作成し、音声合成を行う。
この構成においては、送信者の音声に特徴が類似する所定の音声データを指定する指定データで、音声記憶手段に記憶されている音声データが読み出される。そして、この読み出した音声データに対して、より前記音声に近似するように音声データの修正を行う。このため、送信者の音声（入力音声）により近い音声で音声合成し、データを読み上げることが可能になる。
ちなみに、例えば実施形態の「音声データベースＤＢ」は、請求項の「音声記憶手段」に相当する。また、実施形態の「音声規範データ作成部１１ａ」は、類似度が最大となる所定のデータの選択、及び特徴量修正データの作成を行う請求項の「処理手段」に相当する。また、実施形態の「音声合成部２１ａ」は、修正音声データの作成、及び音声合成を行う請求項の「処理手段」に相当する。また、実施形態の「ＤＢ指定データ」は請求項の音声データを指定する「指定データ」に相当する。また、実施形態の「テキストデータ」及び「音声インデックスデータ」は、請求項における「修正音声データに基づいてデータを読み上げ…」の「データ」に相当する。
【００１３】
また、本発明は、音声記憶手段の中から音声合成側で使用すべき音声データを指定する指定データと、この指定データにより指定した音声データを修正する特徴量修正データを音声合成側に送信し、送信側と同じ内容の音声記憶手段を備える音声合成側で受信したデータ（指定データ、特徴量修正データ）に基づいて音声合成の対象となるデータ（実施形態におけるテキストデータ、音声インデックスデータ）を読み上げるようにした音声合成方法におけるデータ作成方法であり、入力音声に対して類似度が最大となる所定の音声データを決定すると共に、この所定の音声データを指定する指定データを決定し、さらに、この決定した所定の音声データを前記入力音声により近似するように当該音声データを修正する特徴量修正データを作成することを特徴とする（請求項４）。
また、本発明は、送信側の音声記憶手段と同じ内容の音声記憶手段を備える音声合成側の装置を用い、受信した指定データと特徴量修正データに基づいて音声合成の対象となるデータを読み上げるようにした音声合成方法である（請求項５）。
この構成（請求項４・請求項５）においては、前記した音声合成装置（請求項１〜請求項３）と同様に入力音声に類似度が最大となる音声データが音声合成側で読み出されるように指定することができる。かつ、この類似度が最大となる音声データに対して入力音声により近似するように特徴量修正データに修正を施すことができる。このため、入力された音声（入力音声、送信者の音声）により近い音声で音声合成を行うことが可能になる。
【００１４】
【発明の実施の形態】
以下、本発明の音声合成装置、音声合成方法におけるデータ作成方法、及び音声合成方法の実施の形態を、図面を参照して詳細に説明する。なお、本発明の実施の形態は、（１）▲１▼指定データ（以下「ＤＢ指定データ」という）及び音素の特徴量修正データ（以下「特徴量修正データ」という）を▲２▼音声インデックスデータとは別に持つ第１の実施形態と、（２）▲１▼ＤＢ指定データ及び特徴量修正データを▲２▼音声インデックスデータと一緒に持つ第２の実施形態の、２つの実施形態に分けて説明する。
【００１５】
◎第１の実施形態；
先ず、第１の実施形態の説明を行う。本実施形態では、電子データとして、電子メールを送受信する。
図１は音声合成方法の送信者側及び受信者側で行う処理を、図２は音声規範データの作成を、図３は受信者側で行う処理を、図４はハードウェアの構成をそれぞれ示す。
【００１６】
≪ハードウェア構成≫
本実施形態の音声合成方法は、図４に示すように、すくなくとも送信者側装置（送信側装置、送信側）１０、受信者側装置（受信側装置、受信側、音声合成側）２０及び電子データ転送手段３０をもって実施される。
【００１７】
電子メールの送信者に係る送信者側装置１０は、中央処理装置１１、外部記憶装置１２、入出力装置１３、ＤＳＵ（Digital Service Unit）１４がバス１５に接続された構成を有する。中央処理装置１１は、送信者側装置１０を統括的に制御すると共に、入力された音声から音声合成の規範となる音声規範データＭＤを作成する音声規範データ作成部１１ａ（音声規範データ作成エンジン）及びテキストデータ作成部１１ｂを有する。外部記憶装置１２は、各種データやプログラムを格納すると共に、音声規範データＭＤを作成するための音声データＤｎを多数記憶した音声データベースＤＢを有する。音声データＤｎのそれぞれは、図２などに示すように音素の集合データである。入出力装置１３には、テキストデータＴＸを入力するためのキーボードや音声入力を行うためのサウンドシステムなどが、Ｉ／Ｏ装置を介して接続されている（図示外）。また、ＤＳＵ１４は、ＩＳＤＮなどのデジタル回線のユーザ側に設置する電子データの送受信装置である。この送信者側装置１０は、携帯可能あるいは車両設置可能なものであってもよい。
【００１８】
電子メールの受信者に係る受信者側装置２０は、中央処理装置２１、外部記憶装置２２、入出力装置２３、ＤＳＵ２４がバス２５に接続された構成を有する。中央処理装置２１は、受信者側装置２０を統括的に制御する他、送信者側装置１０から送られてくる音声規範データＭＤに基づいてテキストデータＴＸを音声合成する音声合成部２１ａ（音声合成エンジン）を有する。外部記憶装置２２は、各種データやプログラムを格納すると共に、音声規範データＭＤに基づいて音声合成を行うための音声データＤｎ（音素の集合データ）を多数記憶した音声データベースＤＢを有する。入出力装置２３には、キーボードや合成された音声を出力するサウンドシステムなどが、Ｉ／Ｏ装置を介して接続されている（図示外）。また、ＤＳＵ２４は、ＩＳＤＮなどのデジタル回線のユーザ側に設置する電子データの送受信装置である。なお、受信者側装置２０の音声データベースＤＢと送信者側装置１０の音声データベースＤＢは、同じ内容のものである。この受信者側装置２０は、送信者側装置１０と同様に携帯可能あるいは車両設置可能なものであってもよい。
【００１９】
電子データ転送手段３０は、ここではＩＳＤＮなどのデジタル通信回線である。なお、電子データ転送手段３０は、アナログの公衆電話回線などでもよい。有線か無線かは問わない。また、フロッピーディスクなどの電子データ記憶媒体を宅配や郵送する電子データ転送手段であってもよい。あるいは、インターネット上のサイトから電子データが配信（ダウンロード）される態様や、雑誌などで配布される態様など、メディアを介した態様も電子データ転送手段３０に含まれる。いずれの態様も、本発明における「送信」及び「受信」に該当する。
【００２０】
≪音声合成方法≫
本実施形態の音声合成方法は、図１に示すように、電子メールの送信者側で行う処理と受信者側で行う処理とに分けられる。
送信者側では、音声規範データの作成（Ｓ１）、テキストデータの作成（Ｓ２）、そして、作成された音声規範データ及びテキストデータの送信が行われる（Ｓ３、電子メールの送信）。なお、ステップＳ１の音声規範データの作成とステップＳ２のテキストデータの作成は、その順序が逆でもよい。一方、受信者側では、音声規範データ及びテキストデータの受信（Ｓ５、電子メールの受信）、音声データの読み込み及び修正（Ｓ６）、音声インデックスデータの作成（Ｓ７）、そして、音声合成（Ｓ８）が行われる。なお、ステップＳ６の音声データの読み込み及び修正とステップＳ７の音声インデックスデータの作成は、その順序が逆でもよい。また、受信者側では、音声規範データＭＤの記憶が、必要に応じて行われる。
以下、送信者側の処理と受信者側の処理とに分けて詳細に説明する。
【００２１】
〔送信者側の処理〕
第１の実施形態の音声合成方法では、電子メールの送信者は、図４で例示した送信者側装置１０を用いて、音声規範データＭＤ及びテキストデータＴＸを作成し、これを電子メールで受信者に向けて送信する。なお、本実施形態では、電子メールの送信者が、送信者自身に似せた声で音声合成させる音声規範データＭＤを作成するものとする。
ちなみに、音声規範データＭＤは、ＤＢ指定データｘｎ及び特徴量修正データＦＤからなる（図３参照）。特徴量修正データＦＤは、特許請求の範囲における音素の変換データに該当する。
【００２２】
（１）音声規範データの作成；    先ず、送信者は自分の声を送信者側装置１０に入出力装置１３から音声入力する（Ｓ１１）。音声入力するのは、音素系列に偏りのない文書（定型文）もしくは５０音である。入力した音声は、音声規範データ作成部１１ａで特徴抽出され、入力音声の音素ごとの特徴量ｉが抽出される（Ｓ１２）。ちなみに、本実施形態の特徴量ｉは、基本周波数とスペクトル包絡からなる。ここで、スペクトル包絡は音声スペクトルの概形である。なお、特徴量としては、次の表に示すようなものを使用することもできる。
【００２３】
【表１】
0003712227.tif 000002
【００２４】
次に、音声規範データ作成部１１ａは、特徴抽出した入力音声の音素ごとの特徴量ｉと音声データベースＤＢが記憶する音声データＤｎ(n=1・2・・・n)の音素ごとの特徴量の類似度を計算し、全体を比較する（Ｓ１３）。そして、入力音声と類似度が最大である特定の音声データＤxnを、音声データベースＤＢの中から決定する（Ｓ１４）。以後この音声データＤxnを標準音声データＤｓとする。ちなみに、音声データベースＤＢの中から標準音声データＤｓを特定するためのデータ（アドレスなど）が、ＤＢ指定データｘｎになる。なお、受信者側装置２０と送信者側装置１０の音声データベースＤＢは同じものである。
【００２５】
続いて、音声規範データ作成部１１ａは、標準音声データＤｓが持つ各音素に対して、先に得られた各音素ごとの特徴量ｉを基に、特徴量修正データＦＤを作成する（Ｓ１５）。この特徴量修正データＦＤとＤＢ指定データｘｎとで、送信者の声の情報である音声規範データＭＤが構成される。
【００２６】
ここで、特徴量修正データＦＤの作成方法をさらに説明する。
▲１▼基本周波数の修正；  音素ｋの特徴量である基本周波数ｆkと入力された音声の基本周波数ｆの差が範囲内｜ｆk−ｆ｜＜ａで最小となるようなαを求め、ｆk−αを基本周波数ｆkとして置き換える。つまり、ある範囲内（範囲ａ）において、ｆkをｆに近似させるため、あるいは等しくするため、αを計算する（αは音素ｋの基本周波数ｆkと入力音声の基本周波数ｆの差になる）。ここで範囲ａは、｜ｆk−ｆ｜の数値が大きくなりすぎないようにするための閾値でもある。この閾値により修正したｆk（＝ｆk−α）が修正する前のｆkから大きくかけ離れた周波数にならず、修正する前のｆkのもつ特徴を維持する。ちなみに、修正する前のｆkが“あ”と聞こえるための基本周波数であるとすると、修正したｆk（＝ｆk−α）を使用した音声が“あ”と聞こえる限界の範囲（閾値）がａである。
【００２７】
▲２▼スペクトル包絡の修正；  音素ｋのスペクトル包絡を表す特徴量を入力音声の特徴量に近似させる。ただし、音素ｋのスペクトル包絡の修正量は、所定の閾値範囲内とする。
【００２８】
（２）テキストデータの作成；    音声合成の対象となるテキストデータＴＸは、入出力装置１３から文字をキー入力し、テキストデータ作成部１１ｂで作成される（図１(a)のＳ２）。ちなみに、テキストデータＴＸの内容は「こんにちは…」である。
【００２９】
（３）音声規範データ及びテキストデータの送信；    作成された音声規範データＭＤ及びテキストデータＴＸは、電子メールにより受信者宛てに送信される（図１(a)のＳ３）。このうち音声規範データＭＤは、電子メールの添付ファイルとして送信される。なお、送信される音声規範データＭＤやテキストデータＴＸは、文字や数字のデータであり、データサイズはｗａｖｅ形式やＭＰ３形式の音声データなどに比べて遥かに小さい。したがって、送信者側及び受信者側のハードウェアに与える負担が小さいと共に、送受信に要する時間を小さくすることができる。
【００３０】
〔受信者側の処理〕
第１の実施形態の音声合成方法では、電子メールの受信者は、図４で例示した受信者側装置２０を用いて、次のように音声合成を行う（図３参照）。
【００３１】
（１）標準音声データの読み込み・修正；    受信者側装置２０のＤＳＵ２４は、電子データ転送手段３０を介して電子メールを受信する（Ｓ５１）。次に、受信者側装置２０の音声合成部２１ａは、電子メールに添付された音声規範データＭＤのうち、ＤＢ指定データｘｎに基づいて音声データベースＤＢを検索し、該当する音声データＤｘｎ（つまり標準音声データＤｓ）を読み込む。続いて、音声規範データＭＤのうちの特徴量修正データＦＤに基づいて、読み込んだ標準音声データＤｓに修正を施し修正音声データＤｓ’を作成する（Ｓ５２）。修正音声データＤｓ’は、送信者の音声の特徴が反映され、送信者の音声に近似した音声（音素）になっている。
【００３２】
（２）音声インデックスデータの作成；    受信した電子メールのうち「こんにちは…」という内容のテキストデータＴＸについて、音声合成部２１ａでテキスト解析及び音律予測を行い、音声インデックスデータＩＤを作成する（Ｓ５３）。音声インデックスデータＩＤは、図３の吹き出しに示す構造を有する。なお、テキスト解析は、音声合成して出力したいテキストデータのテキスト解析を行い、べた書きのテキストを単語ごと（つまり形態素ごと）に分割して、アクセントの位置やポーズ長などを決定する。また、音律予測は、前記テキスト解析のデータにもとづいて、音声合成して出力したい音素系列の韻律パラメータを音素ごとに予測する。
ちなみに、音声インデックスデータＩＤに記述された音素「k,o,n,n,i,ch,i,w,a…」は、音素指定データである。
【００３３】
（３）音声合成；    前記（１）で作成した修正音声データＤｓ’と前記（２）で作成した音声インデックスデータＩＤに基づいて音声合成を行う（Ｓ５４）。具体的には、修正音声データＤｓ’の修正済み音素を用いて、音声インデックスデータＩＤの音素指定データの順序どおりに音素系列を組み上げ（k,o,n,n,i,ch,i,w,a…）、その系列に基づいて音声合成を行いテキストデータＴＸを読み上げる。このようにすることで、受信者は、送信者の音声（送信者の音声と同等あるいは近似した音声）で電子メールの内容を聞くことができる。
【００３４】
なお、音声規範データＭＤは個人に特有のものであるが、この音声規範データＭＤを外部記憶装置２２に記憶しておけば、次回、同じ送信者から電子メールを受信する際に、音声規範データＭＤが添付されていなくとも、電子メールの内容をこの送信者の声で音声合成して読み上げることができる。この際、送信者のｅ−ｍａｉｌアドレスや電話番号などのユニークな番号をアドレスとして、音声規範データＭＤを保存しておくのがよい。同じ送信者からの電子メールに対して、当該送信者用の音声規範データＭＤを即座に呼び出して、電子メールの内容を音声合成して読み上げることができるからである。
【００３５】
このように音声合成することにより、受信者は、テキストデータでは表せない行間を読み取ることなどなどができ、かつ送受信される電子データのデータサイズも音声ファイルに比べてはるかに少なくすることができる。また、音声規範データを受信者側装置に記憶することにより、同じ送信者が再度電子メールを送る際には、テキストデータ（音声インデックスデータ）を送信するだけでよいので、送受信される電子データのデータサイズをさらに少なくすることができる。さらに、送信者は、音声規範データを作成する際に、テキストデータの内容そのものを読み上げる必要がなく、定型文分や５０音を読み上げればよいだけである。したがって、オフィス空間で音声規範データを作成しても、テキストデータの内容そのものを読み上げるのと異なり、周囲に違和感を与えない。加えて、一度作成した音声規範データは、繰り返し使用することができるので、電子メール送信のたびに定型文や５０音を読み上げる必要はない。ましてや、音声ファイルを電子メールで送信するのと異なり、テキストデータの内容が異なるような場合でも、その都度テキストデータの内容そのものを読み上げる必要がない。さらに、音声ファイルと異なり、テキストファイルの修正・編集は極めて容易である。また、受信者は、電子メールの内容確認が、自動車の運転などの他の作業と並行して行なえる。
【００３６】
なお、上記実施形態では、音声インデックスデータの作成を受信者側で行ったが、送信者側で行って電子メールに添付するようにしてもよい。送信者側で音声インデックスデータを作成することにより、送信者が自由に音素の長さ・高さ・強さなどを編集することができ、より自分の意図した音声（アクセントやイントネーションなど）を合成させることが可能になるからである。このように音声インデックスデータを送信者の側で作成すると共に、電子メールに添付して送信する場合は、電子メールには音声合成の対象となるテキストデータが存在しなくともよい。音声インデックスデータの音素指定データの順序どおりに音素系列を組み上げて、音声合成することができるからである。この場合、音声インデックスデータはテキストデータに由来するものであり、この音声インデックスデータが特許請求の範囲の記載におけるテキストデータに該当する。
【００３７】
◎第２の実施形態；
次に、第２の実施形態の音声合成方法の説明を行う。なお、第１の実施形態と同一の部材・要素などについては、第１の実施形態で使用した図面を参酌すると共に同一の符号を付し、その説明を省略する。ここで、図５は音声合成方法の送信者側及び受信者側で行う処理を、図６は音声合成方法における各データの関係を、図７は受信者側で行う処理をそれぞれ示す。
この第２の実施形態では、音声インデックスデータを送信者側で作成すると共に、音声インデックスデータと音声規範データを併記した書式の併合音声規範データを、電子メールで受信者側に送信する。
【００３８】
≪ハードウェア構成≫
第２の実施形態の音声合成方法は、第１の実施形態に使用されるハードウェアをそのまま適用することができるので、ハードウェア構成の説明を省略する。但し、第２の実施形態では、音声インデックスデータＩＤを送信者側装置１０で作成する。したがって、送信者側装置１０の音声規範データ作成部２１ａは、音声インデックスデータＩＤの作成が可能なものである。
【００３９】
≪音声合成方法≫
第２の実施形態の音声合成方法も第１の実施形態の音声合成方法と同様、電子メールの送信者側で行う処理と受信者側で行う処理とに分けられる。
送信者側では、音声規範データの作成（Ｓ１０１）、テキストデータの作成（Ｓ１０２）、テキストデータにもとづいての音声インデックスデータの作成（Ｓ１０３）、音声規範データと音声インデックスデータの併合、つまり併合音声規範データの作成が行われ（Ｓ１０４）、そして、併合音声規範データの送信が行われる（Ｓ１０５、電子メールの送信）。一方、受信者側では、併合音声規範データの受信（Ｓ１０６、電子メールの受信）、音声データの読み込み及び修正（Ｓ１０７）、そして、音声合成が行われる（Ｓ８）。
以下、送信者側の処理と受信者側の処理とに分けて詳細に説明する。
【００４０】
〔送信者の処理〕
（１）音声規範データの作成、（２）テキストデータの作成、（３）音声インデックスデータの作成を、それぞれ行う。それぞれの作成手順は、第１の実施形態で説明したのと同じであるので、その説明を省略する。なお、前記の通り、音声インデックスデータＩＤは、送信者側で作成する。この点第１の実施形態と異なる。
【００４１】
（４）併合音声規範データの作成；    音声規範データＭＤと音声インデックスデータＩＤを併合して併合音声規範データＣＭＤを作成する。併合音声規範データＣＭＤは、図６（ｃ）に示すように、ＤＢ指定データｘｎと音声インデックスデータＩＤの内容全部とこの音声インデックスデータＩＤの音素指定データに対応した特徴量修正データＦＤを有する。
【００４２】
（５）併合音声規範データの送信；    作成された併合音声規範データＣＭＤは、電子メールにより受信者宛てに送信される（図５(a)のＳ１０５）。送信される併合音声規範データＣＭＤは、文字や数字のデータでありデータサイズは、ｗａｖｅ形式やＭＰ３形式の音声データなどに比べて遥かに小さい。したがって、送信者側及び受信者側のハードウェアに与える負担が小さいと共に、送受信に要する時間を小さくすることができる。なお、電子メールには、テキストデータＴＸは不用である。併合音声規範データＣＭＤが有する音素指定データに基づいて音素系列を組み上げ、音声合成することができるからである。但し、受信者が目視で電子メールの内容を確認できるように、テキストデータＴＸを電子メールに記載してもよい。
【００４３】
〔受信者側の処理〕
第２の実施形態の音声合成方法では、電子メールの受信者は、図４で示した受信者側装置２０を用いて、次のように音声合成を行う（図７参照）。
【００４４】
（１）標準音声データの読み込み・修正；    受信者側装置２０のＤＳＵ２４は、電子データ転送手段３０を介して電子メールを受信する（Ｓ１５１）。次に、受信者側装置２０の音声合成部２１ａは、電子メールに添付された併合音声規範データＣＭＤのうち、ＤＢ指定データｘｎに基づいて音声データベースＤＢを検索し、該当する音声データＤｘｎ（つまり標準音声データＤｓ）を読み込む。続いて、併合音声規範データＣＭＤのうち、特徴量修正データＦＤに基づいて読み込んだ標準音声データＤｓに修正を施し修正音声データＤｓ’を作成する（Ｓ１５２）。修正音声データＤｓ’は、送信者の音声の特徴が反映され、送信者の音声に近似した音声（音素）になっている。
【００４５】
（２）音声合成；    作成した修正音声データＤｓ’と併合音声規範データＣＭＤの音声インデックスデータＩＤに由来する部分のデータに基づいて音声合成を行う（Ｓ１５３）。具体的には、修正音声データＤｓ’の修正済み音素を用いて、併合音声規範データＣＭＤの音素指定データの順序どおりに音素系列を組み上げ（k,o,n,n,i,ch,i,w,a…）、その系列に基づいて音声合成を行い送信者がステップＳ１０２で作成したテキストデータＴＸを読み上げる。このようにすることで、受信者は、送信者の音声（送信者の音声と同等あるいは近似した音声）で電子メールの内容を聞くことができる。
【００４６】
このように音声合成することにより、第１の実施形態と同様にテキストデータでは表せない行間を読み取ることなどができ、かつ送受信される電子データのデータサイズも音声ファイルを送受信するのに比べて少なくすることができる。また、特徴量修正データを全ての音素に対して準備する必要がないので、第１の実施形態よりもデータサイズを小さくすることも可能である。なお、本実施形態において、受信者に送られる併合音声規範データのうち、音声インデックスデータに由来する部分が、特許請求の範囲におけるテキストデータに該当する。
【００４７】
以上説明した本発明は、上記した実施の形態に限定されることなく広く変更実施することができる。
例えば、似せる声は送信者自身のものでなくと、家族や友人、あるいは他人のものでもよい。受信者にとって聞いたことのない声であっても、多様な音声で電子データの内容（テキストデータ）を聞くことができ、面白みを味わうことができるからである。
【００４８】
【発明の効果】
本発明（音声合成装置、音声合成方法におけるデータ作成方法、及び音声合成方法）によれば、送信者などの声で電子メールの内容を聞くことができるので、受信者には送信者などの具体的人物像が湧いてきたり、テキストデータでは表せない行間を読み取ったりすることができる。また、受信者は、多様な声で面白味を味わいながらテキストデータの内容を聞くことができる。しかも、音声ファイルを送受信するのと異なり、データサイズを小さくすることができる。さらには、音声ファイルを送受信するのと異なり、送信者は、テキストデータの内容そのものを読み上げる必要がない。加えて、指定データ及び特徴量修正データ（音声規範データ）は、電子データとして構成されるため再利用が可能である。かつ、指定データ及び特徴量修正データは、テキストデータの内容に影響されないので、異なるテキストデータを作成する場合においても、そのテキストデータに合わせて指定データ及び特徴量修正データを再度作成する必要がない。
【００４９】
特に、請求項２に記載の発明によれば、受信側装置で音声インデックスデータを作成するので、送信側装置での負荷を低減することができる。また、請求項３に記載の発明によれば、送信側装置で音声インデックスデータを作成するので、受信側装置での負荷を低減することができる。また、本発明によれば、送受信されるデータサイズを確実に小さくすることができると共に、確実に送信者が意図する音声で受信者側に音声合成させてテキストデータの内容を聞かせることができる。また、請求項４の発明によれば、音声合成側で使用する指定データ、特徴量修正データを適切に決定及び作成することができる。また、請求項５に記載の発明によれば、指定データ、特徴量修正データに基づいて、より入力音声に近似させて音声合成を行い、読み上げ対象のデータを読み上げることができる。
【図面の簡単な説明】
【図１】    第１の実施形態の音声合成方法の処理を示す流れ図であり、（ａ）は送信者側の処理を、（ｂ）は受信者側の処理を示す。
【図２】    第１の実施形態の音声合成方法の送信者側で行う音声規範データの作成をデータの構成と共に示す流れ図である。
【図３】    第１の実施形態の音声合成方法の受信者側で行う処理をデータの構成と共に示す流れ図である。
【図４】    第１の実施形態の音声合成方法が適用されるハードウェアの構成を示すブロック図である。
【図５】    第２の実施形態の音声合成方法の処理を示す流れ図であり、（ａ）は送信者側の処理を、（ｂ）は受信者側の処理を示す。
【図６】    第２の実施形態の音声合成方法における各データの関係を説明する図であり、（ａ）は音声インデックスデータの構成を、（ｂ）は音声規範データの構成を、（ｃ）は併合音声規範データの構成を示す。
【図７】    第２の実施形態の音声合成方法の受信者側で行う処理をデータの構成と共に示す図である。
【符号の説明】
１０  …  送信者側装置（送信者）
２０  …  受信者側装置（受信者）
ＭＤ  …  音声規範データ
ＴＸ  …  テキストデータ
ＤＢ  …  音声データベース
Ｄｎ  …  音声データ
Ｄｓ・Ｄｘｎ  …  標準音声データ（特定の音声データ）
ｘｎ  …  ＤＢ指定データ（音声データベース指定データ）
ＦＤ  …  特徴量変換データ（音素の変換データ）
【図１】
0003712227.tif 000003
【図２】
0003712227.tif 000004
【図３】
0003712227.tif 000005
【図４】
0003712227.tif 000006
【図５】
0003712227.tif 000007
【図６】
0003712227.tif 000008
【図７】
0003712227.tif 000009