(57)【要約】【課題】声色を調整した、メッセージなどの読み上げを実現できる音声処理システムを提供する。【解決手段】  少なくとも一つの端末１を含む音声処理システムであって、端末１が音声の入力を受け入れる。システムにおいて端末１にて受け入れた音声から、その音声の特徴量情報を抽出する。そして抽出した特徴量情報を格納しておき、処理の対象となる文字列を受け入れると、格納された特徴量情報に基づいて、受け入れた音声の特徴にて、受け入れた文字列を読み上げる音声信号を生成する音声処理システムである。【選択図】図２
2009157746.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つの端末を含む音声処理システムであって、
前記端末は、音声の入力を受け入れる音声入力部を有し、
前記端末にて受け入れた音声から、その音声の特徴量情報を抽出する抽出手段と、
前記抽出した特徴量情報を格納する格納手段と、
処理の対象となる文字列を受け入れる文字列受入手段と、
前記格納された特徴量情報に基づいて、前記受け入れた音声の特徴にて、前記受け入れた文字列を読み上げる音声信号を生成する生成手段と、
を備えたことを特徴とする音声処理システム。
【請求項２】
音声の入力を受け入れる音声入力手段と、
前記受け入れた音声から、その音声の声色を表す声色特徴量情報を抽出する抽出手段と、
前記抽出した声色特徴量情報を送信する送信手段と、
処理の対象となる文字列を受け入れる文字列受入手段と、
前記文字列を読み上げる音声信号であって、声色特徴量情報を用いて生成された音声信号を再生する再生手段と、
を備えたことを特徴とする端末装置。
【請求項３】
請求項２に記載の端末装置であって、
前記音声入力手段が受け入れた音声の情報を電話回線網を介して送出するとともに、当該電話回線網を介して受け入れられる音声の情報に基づいて、音声信号の再生を行う音声通話手段をさらに含み、
前記抽出手段は、前記音声通話手段を介して通話を行っている間に、前記音声入力手段が受け入れられた音声からその音声の声色を表す声色特徴量情報を抽出することを特徴とする端末装置。
【請求項４】
請求項２または３に記載の端末装置であって、
前記文字列受入手段は、他の端末装置から送信された文字列を受け入れ、
前記再生手段は、前記文字列の送信元である他の端末装置の利用者の声色特徴量情報を用いて生成された音声信号を再生することを特徴とする端末装置。
【請求項５】
請求項４に記載の端末装置であって、
前記再生手段は、前記文字列の送信元である他の端末装置の利用者と、自端末装置の利用者との間の関係に応じた声色特徴量情報を用いて生成された音声信号を再生することを特徴とする端末装置。
【請求項６】
請求項２から５のいずれか一項に記載の端末装置であって、
前記声色特徴量情報は、スペクトル、基本周波数、フォルマント、音韻継続長、パワーの少なくとも一つを含む情報であることを特徴とする端末装置。
【請求項７】
利用者側の端末から、利用者を識別する情報とともに、当該利用者に係る声色を表す声色特徴量情報を取得する手段と、
当該取得した利用者を識別する情報と声色特徴量情報とを関連づけて保持する保持手段と、
利用者側の端末から、他の端末へ送出する文字情報を取得して、前記保持手段から、取得元の端末の利用者を特定する情報に関連づけられている声色特徴量情報を取り出す手段と、
前記取得した文字情報の読み上げ音声を合成する手段と、
当該合成した音声を、前記取り出した声色特徴量情報とともに、前記文字情報の送出先である他の端末へ送信する手段と、
を備えたことを特徴とするサーバ装置。
【請求項８】
利用者側の端末から、利用者を識別する情報とともに、当該利用者に係る声色を表す声色特徴量情報を取得する手段と、
当該取得した利用者を識別する情報と声色特徴量情報とを関連づけて保持する保持手段と、
利用者側の端末から、他の端末へ送出する文字情報を取得して、前記保持手段から、取得元の端末の利用者を特定する情報に関連づけられている声色特徴量情報を取り出す手段と、
前記取り出した声色特徴量情報を用い、前記取得した文字情報の読み上げ音声を合成する手段と、
当該合成した音声を、前記文字情報の送出先である他の端末へ送信する手段と、
を備えたことを特徴とするサーバ装置。
【請求項９】
端末に入力された音声から、その音声の特徴量情報を抽出する工程と、
前記抽出した特徴量情報を保持する工程と、
処理の対象となる文字列を受け入れる工程と、
前記格納された特徴量情報に基づいて、前記受け入れた音声の特徴にて、前記受け入れた文字列を読み上げる音声信号を生成する工程と、
を備えたことを特徴とする音声処理方法。
【請求項１０】
コンピュータを、
音声の入力を受け入れる音声入力手段と、
前記受け入れた音声から、その音声の声色を表す声色特徴量情報を抽出する抽出手段と、
前記抽出した声色特徴量情報を送信する送信手段と、
処理の対象となる文字列を受け入れる手段と、
前記文字列を読み上げる音声信号であって、声色特徴量情報を用いて生成された音声信号を受け入れて再生する手段と、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、読み上げ音声を生成する音声処理システム、端末装置、サーバ装置、音声処理方法、及びプログラムに関する。
【背景技術】
【０００２】
遠隔地にいる相手に対してメッセージを伝達するものとして、近年では、携帯電話機の電子メールなどが利用されている。また、電子メールなどの文字列に基づいて音声を合成し、読み上げを行わせる技術がある。
【特許文献１】特開２００５−１３４４８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の読み上げの技術では、予め定められた声色にて音声を合成できるにとどまり、例えばメッセージ送信者の声色や、任意のキャラクターの声色などを用いて再生させることはできない。
【０００４】
なお従来から携帯電話機では利用者の通話音声の入力を受けて、この通話音声の音素と周波数とを表す特徴量を取得して転送し、当該特徴量に基づいて音声データを復元する技術が用いられている（特許文献１）。しかし、この技術では、発話者の発話した通りの音声を再生できるのみであり、任意の文を読み上げることはできない。
【０００５】
本発明は上記実情に鑑みて為されたもので、声色を調整して、メッセージなどの読み上げを実現できる音声処理システム、端末装置、サーバ装置、音声処理方法、及びプログラムを提供することを、その目的の一つとする。
【課題を解決するための手段】
【０００６】
上記従来例の問題点を解決するための本発明は、音声処理システムであって、少なくとも一つの端末を含む音声処理システムであって、前記端末は、音声の入力を受け入れる音声入力部を有し、前記端末にて受け入れた音声から、その音声の特徴量情報を抽出する抽出手段と、前記抽出した特徴量情報を格納する格納手段と、処理の対象となる文字列を受け入れる文字列受入手段と、前記格納された特徴量情報に基づいて、前記受け入れた音声の特徴にて、前記受け入れた文字列を読み上げる音声信号を生成する生成手段と、を備えたものである。
【０００７】
また本発明の一態様に係る端末装置は、音声の入力を受け入れる音声入力手段と、前記受け入れた音声から、その音声の声色を表す声色特徴量情報を抽出する抽出手段と、前記抽出した声色特徴量情報を送信する送信手段と、処理の対象となる文字列を受け入れる文字列受入手段と、前記文字列を読み上げる音声信号であって、声色特徴量情報を用いて生成された音声信号を再生する手段と、を備えたものである。
【０００８】
ここで前記音声入力手段が受け入れた音声の情報を電話回線網を介して送出するとともに、当該電話回線網を介して受け入れられる音声の情報に基づいて、音声信号の再生を行う音声通話手段をさらに含み、前記抽出手段は、前記音声通話手段を介して通話を行っている間に、前記音声入力手段が受け入れられた音声からその音声の声色を表す声色特徴量情報を抽出することとしてもよい。
【０００９】
また前記文字列受入手段は、他の端末装置から送信された文字列を受け入れ、前記再生手段は、前記文字列の送信元である他の端末装置の利用者の声色特徴量情報を用いて生成された音声信号を再生してもよい。このとき、前記再生手段は、前記文字列の送信元である他の端末装置の利用者と、自端末装置の利用者との間の関係に応じた声色特徴量情報を用いて生成された音声信号を再生してもよい。さらに、ここまでにいう声色特徴量情報は、スペクトル、基本周波数、フォルマント、音韻継続長、パワーの少なくとも一つを含んでもよい。
【００１０】
さらに本発明の一態様に係るサーバ装置は、利用者側の端末から、利用者を識別する情報とともに、当該利用者に係る声色を表す声色特徴量情報を取得する手段と、当該取得した利用者を識別する情報と声色特徴量情報とを関連づけて保持する保持手段と、利用者側の端末から、他の端末へ送出する文字情報を取得して、前記保持手段から、取得元の端末の利用者を特定する情報に関連づけられている声色特徴量情報を取り出す手段と、前記取得した文字情報の読み上げ音声を合成する手段と、当該合成した音声を、前記取り出した声色特徴量情報とともに、前記文字情報の送出先である他の端末へ送信する手段と、を備えたものである。
【００１１】
さらに本発明に係るサーバ装置は、利用者側の端末から、利用者を識別する情報とともに、当該利用者に係る声色を表す声色特徴量情報を取得する手段と、当該取得した利用者を識別する情報と声色特徴量情報とを関連づけて保持する保持手段と、利用者側の端末から、他の端末へ送出する文字情報を取得して、前記保持手段から、取得元の端末の利用者を特定する情報に関連づけられている声色特徴量情報を取り出す手段と、前記取り出した声色特徴量情報を用い、前記取得した文字情報の読み上げ音声を合成する手段と、当該合成した音声を、前記文字情報の送出先である他の端末へ送信する手段と、を備えたものである。
【００１２】
さらに本発明の別の態様に係る音声処理方法は、端末に入力された音声から、その音声の特徴量情報を抽出する工程と、前記抽出した特徴量情報を保持する工程と、処理の対象となる文字列を受け入れる工程と、前記格納された特徴量情報に基づいて、前記受け入れた音声の特徴にて、前記受け入れた文字列を読み上げる音声信号を生成する工程と、を備えたものである。
【００１３】
さらに本発明の別の態様に係るプログラムは、コンピュータを、音声の入力を受け入れる音声入力手段と、前記受け入れた音声から、その音声の声色を表す声色特徴量情報を抽出する抽出手段と、前記抽出した声色特徴量情報を送信する送信手段と、処理の対象となる文字列を受け入れる手段と、前記文字列を読み上げる音声信号であって、声色特徴量情報を用いて生成された音声信号を受け入れて再生する手段と、として機能させるものである。
【発明の効果】
【００１４】
本発明によれば、声色を調整した、メッセージなどの読み上げを実現できる。
【発明を実施するための最良の形態】
【００１５】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る音声処理システムは、図１に例示するように、複数の端末装置１ａ，１ｂ…１ｎと、通信網システム２と、この通信網システム２側に設けられたサーバ装置２０とを含んで構成されている。
【００１６】
ここに端末装置１は例えば携帯電話機であり、以下では携帯電話機を例として説明するが、これに限られず、携帯型の端末やゲーム機、さらにはパーソナルコンピュータなどであっても構わない。
【００１７】
本実施の形態の端末装置１は、図２に例示するように、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、音声入力部１５と、音声出力部１６と、通信部１７とを含んで構成されている。
【００１８】
ここで制御部１１は、例えばＭＰＵ（Micro Processing Unit）等のプログラム制御デバイスである。この制御部１１は記憶部１２に格納されているプログラムに従って動作する。本実施の形態ではこの制御部１１は、操作部１３から入力される利用者の操作に従って、呼び出し先を発呼する。また、通信部１７から入力される着呼要求に応答して、呼び出されていることを報知し、利用者の操作に応じて着信の処理を行って呼を接続する。
【００１９】
さらにこの制御部１１は、呼の接続中は、音声入力部１５から入力される音声信号を符号化して通信部１７を介して送出する。また通信部１７を介して入力される音声信号を復号して音声出力部１６を介して鳴動出力する。
【００２０】
これにより、本実施の形態の制御部１１は、携帯電話機としての処理を行う。なお、端末装置１が携帯電話機でない場合は、これらの処理は必ずしも必要なものではない。
【００２１】
また、この制御部１１は通話中などにおいて音声入力部１５から入力された音声の信号を用いて、当該音声の信号から少なくとも一つの特徴量情報を抽出する。この特徴量情報には、対象となった音声における声色を特徴づける声色特徴量情報を含む。そして制御部１１は、この特徴量情報を出力する。この特徴量情報は、他の端末装置１において生成または再生される音声の生成処理に用いられる。これら制御部１１の具体的な処理の内容については、後に詳しく述べる。
【００２２】
記憶部１２は、ＲＡＭ（Random Access Memory）や、ＲＯＭ（Read Only Memory）を含んで構成されている。この記憶部１２には制御部１１によって実行されるプログラムが保持される。このプログラムは、例えばコンピュータ可読な記録媒体であるＤＶＤ−ＲＯＭやＣＤ−ＲＯＭ等に格納されて提供され、この記憶部１２に複写されるものであってもよい。また、この記憶部１２には、各利用者を特定する情報が格納される。ここでの例のように、端末装置１が携帯電話機である場合は、この利用者を特定する情報は、電話番号など電話回線網側で端末装置１を特定するために利用される情報でよい。さらに、この記憶部１２は、制御部１１のワークメモリとしても動作する。
【００２３】
操作部１３は、テンキーや、各種の操作キーを含んで構成されている。この操作部１３は、利用者が行ったキー操作などの内容を制御部１１に出力する。表示部１４は、例えば液晶表示ディスプレイであり、制御部１１から入力される指示に従って情報を表示する。
【００２４】
音声入力部１５は、マイクと、当該マイクで収録された音声をＡ／Ｄ変換してディジタルの音声信号に変換する回路とを含む。この音声入力部１５は、収録した音声を表す音声信号を制御部１１に出力する。音声出力部１６は、制御部１１から音声信号の入力を受け入れて、Ｄ／Ａ変換してアナログの音声信号に変換し、スピーカーを介して当該音声信号の表す音声を鳴動出力する。通信部１７は、制御部１１から入力される指示に従い、通信網システム２との間で、制御情報や、音声情報、パケット情報などの送受を行う。
【００２５】
本実施の形態の通信網システム２は、携帯電話回線網であり、端末装置１との間で無線にて制御情報や音声情報、パケット情報等の各種情報の送受を行っている。また、この通信網システム２は、端末装置１から受信する発呼要求を受けて、当該要求に係る発呼先となる端末装置１へ着呼の要求を送出する。
【００２６】
通信網システム２のサーバ装置２０は、端末装置１から電子メールのデータなどの文字列の情報を、データパケット（送受信の対象となるデータを所定サイズのデータ単位に切り分けたもの）として受信し、その宛先として指定された端末装置１へ送信する。
【００２７】
また、このサーバ装置２０は、受信した文字列の情報に基づいて音声情報の生成処理を行い、当該生成した音声情報を端末装置１へ送出してもよい。このサーバ装置２０の具体的な処理の内容についても後に述べる。
【００２８】
本発明の実施の形態に係る音声処理システムは、全体として、図３に例示するように、音声入力部３１と、音声特徴抽出部３２と、音声合成部３３と、特徴量データベース３４と、声色変換部３５と、音声出力部３６とを含む。これらのうち、音声入力部３１と、音声出力部３６とは端末装置１側に配されるが、残る音声特徴抽出部３２と、音声合成部３３と、特徴量データベース３４と、声色変換部３５とは、端末装置１とサーバ装置２０とのどちらに配されてもよい。
【００２９】
例えば、図４（ａ）には、音声特徴抽出部３２としての処理を端末装置１の制御部１１が実行し、音声合成部３３と、特徴量データベース３４と、声色変換部３５としての処理をサーバ装置２０が実行する例が示されている。
【００３０】
以下、各部について説明する。音声入力部３１は、利用者の音声を表す音声信号の入力を受け入れて音声特徴抽出部３２へ送出する。この音声入力部３１は、例えば音声通話中の利用者の音声信号を取得して、音声特徴抽出部３２へ送出してもよい。また音声入力部３１は、記憶部１２から端末装置１の利用者（発話者）を特定する情報（電話番号など）を読み出して、音声情報とともに音声特徴抽出部３２へ送出してもよい。
【００３１】
音声特徴抽出部３２は、音声入力部３１から利用者（発話者）を特定する情報とともに入力される音声信号から、その音声信号で表される音声の声色に係る特徴量情報を抽出する。この特徴量情報は例えば、スペクトル、基本周波数、フォルマント、音韻継続長、パワーの少なくとも一つを含む。また、この音声特徴抽出部３２は、抽出した特徴量情報と、発話者を特定する情報とを関連づけて出力する。
【００３２】
スペクトルは、音声信号に対して、ＦＦＴ（高速フーリエ変換）等の周波数成分分解の処理を施して得られるもので、音声の周波数成分ごとの強度の情報を表すものである。
【００３３】
基本周波数は、例えば音声信号の一部を窓関数で抽出してＦＦＴを行い、その絶対値の対数を演算して逆ＦＦＴを行ってケプストラムを得ておき、さらにこのケプストラムのうち、高ケフレンシ部分のピークを得て、そのピークに対応するケフレンシの逆数をとることで得られる。フォルマントは、スペクトルのピーク位置を検出することで得られる。音韻継続長は、音声を音韻単位に分割し、各音韻の継続長の平均などとして得ることができる。さらにパワーは、音声信号の振幅レベルを検出することで得られる。
【００３４】
音声合成部３３は、利用者（送信者）側の端末から処理の対象となる文字列の情報と、利用者（送信者）を特定する情報とを受け入れる。そして、当該受け入れた文字列の情報を表す音声情報を生成する。本実施の形態では、この音声合成部３３は、従来一般的な音声合成処理を行うものとし、音声特徴抽出部３２が抽出した特徴量情報を利用する必要はない。
【００３５】
特徴量データベース３４は、音声特徴抽出部３２が抽出した特徴量情報と、それに関連づけられて出力された発話者を特定する情報とを互いに関連づけて保持する。すなわち、この特徴量データベース３４には、図５に示すように、発話者である利用者を特定する情報と、その発話者の音声に基づく特徴量情報とが関連づけて保持されることとなる。
【００３６】
声色変換部３５は、処理の対象となる文字列情報に関連づけられた送信者の情報を参照し、当該送信者である利用者の情報に関連づけられた特徴量情報を特徴量データベース３４から読み出す。声色変換部３５は、処理の対象となった文字列情報を表す音声情報の入力を音声合成部３３から受けて、当該音声情報を、読み出した特徴量情報に基づいて補正し、読み出した特徴量情報によって表される声色の音声情報に変換する。
【００３７】
音声出力部３６は、声色変換部３５が出力する音声情報に基づいて音声を鳴動出力する。なお、このとき、処理の対象となった文字列を併せて表示することとしてもよい。
【００３８】
次に、図４（ａ）に示す構成を有する本発明の実施の形態に係る音声処理システムの動作について説明する。端末装置１では音声入力部３１が、音声通話中の利用者の音声信号を取得している。そして端末装置１は、通話している利用者の音声を表す音声信号を音声特徴抽出部３２へ出力している。
【００３９】
端末装置１の音声特徴抽出部３２では、入力された音声信号に基づいて、声の質に関連するスペクトルや基本周波数やフォルマント、発声速度に関連する音韻継続長、発声強度に関するパワーなど利用者の声色を模式的に再現するに必要な特徴量情報を生成する。そして音声特徴抽出部３２は、この特徴量情報を、利用者を特定する情報（例えば端末装置１に設定された電話番号や利用者名の情報など）に関連づけてサーバ装置２０へ送出する。
【００４０】
サーバ装置２０は、端末装置１で生成された特徴量情報と、それに関連した利用者を特定する情報とを受信し、これらの情報を互いに関連づけて、特徴量データベース３４に格納する（図５）。
【００４１】
ここで端末装置１ａの利用者が端末装置１ｂの利用者宛に文字列を送信するときの動作について、図６を参照しながら説明する。このとき端末装置１ａは、当該文字列の情報と宛先の情報とを利用者の指示操作によって受け入れる（Ｓ１）。そして端末装置１ａは、電話回線網を介して、端末装置１ａの利用者を特定する情報（電話番号など）とともに、受け入れた文字列の情報を指定された宛先へ送信する（Ｓ２）。
【００４２】
端末装置１ｂ側の利用者は、端末装置１ａから送信された文字列の情報を電話回線網を介して受信する。この端末装置１ｂでは、文字列の情報とともに受け入れた情報に基づいて、送信元の利用者を特定する情報を取得する（Ｓ３）。そして、当該取得した、利用者を特定する情報と、受信した文字列の情報とをサーバ装置２０へ送出する（Ｓ４）。
【００４３】
サーバ装置２０では、特徴量データベース３４を参照し、受信した利用者を特定する情報に関連づけられている特徴量情報を読み出す（Ｓ５）。また、サーバ装置２０の音声合成部３３は、受信した文字列の情報に基づいて、当該文字列の情報を読み上げる音声情報を合成して生成する（Ｓ６）。サーバ装置２０の声色変換部３５は、音声合成部３３が生成した音声情報を、特徴量データベース３４から読み出した特徴量を用いて変換し、端末装置１ａの利用者が文字列を読み上げたかのような音声情報を生成する（Ｓ７）。そして、サーバ装置２０は、この音声情報を文字列情報の送信元である端末装置１ｂへ送信出力する（Ｓ８）。
【００４４】
端末装置１ｂでは、サーバ装置２０から音声情報を受信すると、受信した文字列情報を表示出力するとともに（Ｓ９）、サーバ装置２０から受信した音声情報に基づいて音声を鳴動する（Ｓ１０）。
【００４５】
なお、ここでは読み上げの対象となる文字列の情報を受信する端末装置１ｂが、送信元である端末装置１ａの利用者を特定する情報を受けて、サーバ装置２０へ、当該端末装置１ａの利用者を特定する情報に関連づけられた特徴量情報を要求することとしている。しかしながら、本実施の形態はこれに限られず、例えばサーバ装置２０は、端末装置１ａが文字列情報を送出したとき、当該文字列情報を端末装置１ｂへ伝達する電話回線網の一部をなしてもよい。この場合サーバ装置２０は、端末装置１ａが送信する文字列の情報を受けて、端末装置１ａの利用者を特定する情報に関連づけられた特徴量情報を読み出す。そして、この読出した特徴量情報と、受信した文字列の情報とを、宛先となっている端末装置１ｂへ送出する。
【００４６】
さらに本実施の形態は、この構成に限られるものでもなく、例えば図４（ｂ）に示すように、音声特徴抽出部３２と、声色変換部３５としての処理を端末装置１の制御部１１が実行し、音声合成部３３と、特徴量データベース３４としての処理をサーバ装置２０が実行することとしてもよい。
【００４７】
この図４（ｂ）に示した例の場合、端末装置１ａの利用者が端末装置１ｂの利用者宛に文字列を送信するときの動作は次の図７に示すようになる。すなわち、端末装置１ａが当該文字列の情報と宛先の情報とを利用者の指示操作によって受け入れ（Ｓ１１）、電話回線網を介して、端末装置１ａの利用者を特定する情報（電話番号など）とともに、受け入れた文字列の情報を指定された宛先へ送信する（Ｓ１２）。
【００４８】
端末装置１ｂ側の利用者は、端末装置１ａから送信された文字列の情報を電話回線網を介して受信する。この端末装置１ｂでは、文字列の情報とともに受け入れた情報に基づいて、送信元の利用者を特定する情報を取得する（Ｓ１３）。そして、当該取得した、利用者を特定する情報と、受信した文字列の情報とをサーバ装置２０へ送出する（Ｓ１４）。
【００４９】
サーバ装置２０では、特徴量データベース３４を参照し、受信した利用者を特定する情報に関連づけられている特徴量情報を読み出す（Ｓ１５）。また、サーバ装置２０の音声合成部３３は、受信した文字列の情報に基づいて、当該文字列の情報を読み上げる音声情報を合成して生成し（Ｓ１６）、処理Ｓ１５で読み出した特徴量情報と、処理Ｓ１６で生成した音声情報とを端末装置１ｂへ送信する（Ｓ１７）。
【００５０】
端末装置１ｂの声色変換部３５は、サーバ装置２０から受信した音声情報を、それとともに受信した特徴量を用いて変換し、端末装置１ａの利用者が文字列を読み上げたかのような音声情報を生成し（Ｓ１８）、受信した文字列情報を表示出力するとともに（Ｓ１９）、当該生成した音声情報に基づく音声を鳴動する（Ｓ２０）。
【００５１】
この場合も、サーバ装置２０は、端末装置１ａが文字列情報を送出したとき、当該文字列情報を端末装置１ｂへ伝達する電話回線網の一部をなしてもよい。この場合サーバ装置２０は、端末装置１ａが送信する文字列の情報を受けて、端末装置１ａの利用者を特定する情報に関連づけられた特徴量情報を読み出す。そして、受信した文字列の情報を読み上げる音声情報を合成し、この合成した音声情報と、読み出した特徴量情報と、文字列の情報とを宛先となっている端末装置１ｂへ送出する。
【００５２】
さらに、図４（ｃ）に示すように、音声特徴抽出部３２と、音声合成部３３と、特徴量データベース３４と、声色変換部３５との各部の処理をサーバ装置２０が実行することとしてもよい。
【００５３】
この図４（ｃ）に示した例の場合、サーバ装置２０は、端末装置１の音声入力部３１に入力された利用者の音声の情報を取得する。そして、当該取得した音声の情報に基づいて音声の特徴量情報を抽出し、特徴量データベース３４に格納することになる。
【００５４】
ここでサーバ装置２０が端末装置１の利用者の音声の情報を取得する方法としては、例えばサーバ装置２０が端末装置１に関係する呼における利用者の音声の情報を抽出してもよい。またサーバ装置２０が、端末装置１の利用者からの呼を受けて、当該呼を介して受信される音声情報を記録し、取得することとしてもよい。この動作は、いわゆる留守番電話機能と同様の処理で実現できる。
【００５５】
なお、この図４（ｃ）に示した例においては、端末装置１ａの利用者が端末装置１ｂの利用者宛に文字列を送信するときの動作は、図６に示したものと同様となる。
【００５６】
さらに、本実施の形態は、図４（ｄ）に示すように、音声特徴抽出部３２と、音声合成部３３と、特徴量データベース３４と、声色変換部３５との各部の処理を端末装置１において実行することとしてもよい。
【００５７】
この図４（ｄ）に示した例の場合、端末装置１は、予め他の利用者の音声の特徴量情報を受け入れて、特徴量データベース３４に格納しておく。すなわち、この図４（ｄ）に示した例においては、例えば端末装置１ａの音声特徴抽出部３２は通話中に、その端末装置１ａの利用者の音声から特徴量情報を抽出する。そして当該抽出した特徴量情報と、端末装置１ａの利用者を特定する情報とを、文字列の情報などの送信先となる端末装置１ｂへ、予め送信しておく。端末装置１ｂでは、特徴量データベース３４に、利用者を特定する情報と受信した特徴量情報とを関連づけて格納する。
【００５８】
この図４（ｄ）に示した例において、端末装置１ａの利用者が端末装置１ｂの利用者宛に文字列を送信するときには、次の図８に示すようになる。すなわち端末装置１ａが当該文字列の情報と宛先の情報とを利用者の指示操作によって受け入れると（Ｓ３１）、電話回線網を介して、端末装置１ａの利用者を特定する情報（電話番号など）と、受け入れた文字列の情報を指定された宛先へ送信する（Ｓ３２）。
【００５９】
端末装置１ｂ側の利用者は、端末装置１ａから送信された文字列の情報を電話回線網を介して受信する。この端末装置１ｂでは、文字列の情報とともに、送信元の利用者を特定する情報を取得する（Ｓ３３）。
【００６０】
端末装置１ｂは、特徴量データベース３４を参照し、受信した利用者を特定する情報に関連づけられている特徴量情報を読み出す（Ｓ３４）。そして受信した文字列の情報に基づいて、当該文字列の情報を読み上げる音声情報を合成して生成し（Ｓ３５）、処理Ｓ３４で読み出した特徴量情報を用いて、処理Ｓ３５で生成した音声情報を変換し、端末装置１ａの利用者が文字列を読み上げたかのような音声情報を生成し（Ｓ３６）、受信した文字列情報を表示出力するとともに（Ｓ３７）、当該生成した音声情報に基づく音声を鳴動する（Ｓ３８）。
【００６１】
なお、特徴量データベース３４に格納されている特徴量情報は、新たな特徴量情報が受け入れられた場合には、その後の処理においては当該新たな特徴量情報を利用することとしてもよい。この場合、端末装置１は、通話中などに取得した利用者の音声の情報を、繰り返し音声特徴抽出部３２に出力（ないし送信）して、新たな特徴量情報を生成させる。そして、特徴量データベース３４では、新たに生成された特徴量情報を、対応する利用者を特定する情報に関連づけて、上書きして保持する。これにより、直近に得られた特徴量情報を利用できるようになる。
【００６２】
また音声特徴抽出部３２は、次のように動作してもよい。すなわち、音声特徴抽出部３２は、音声入力部３１から利用者（発話者）を特定する情報とともに入力される音声信号から、その音声信号で表される音声の声色に係る特徴量情報を抽出するとともに、特徴量データベース３４に、入力された、利用者を特定する情報に関連づけて保持されている特徴量情報を取得する。そして、新たに抽出した特徴量情報と、過去に抽出され特徴量データベース３４に保持されていた特徴量情報とを比較して、その相違が予め定めた閾値を超えている場合は、抽出した特徴量情報を破棄して、特徴量データベース３４に格納された情報を更新させないようにしてもよい。
【００６３】
また、入力される音声情報に、所定レベルを超える雑音が含まれる場合は、特徴量情報の抽出を行わないか、または抽出した特徴量情報を、特徴量データベース３４に保持させないよう処理を行ってもよい。例えば、音声特徴抽出部３２が、入力された音声情報に含まれる雑音のレベルを推定し、当該レベルが予め定められた閾値を超える場合に、特徴量情報の抽出を行わないことにしてもよい。
【００６４】
さらに、ここまでの説明では、端末装置１の利用者の声色に変換する例について述べたが、これに限られるものではない。例えば、著名人の声の特徴量情報を特徴量データベース３４に格納しておき、指示により、当該著名人の特徴量情報を利用して声色の変換を行うこととしてもよい。この場合、特徴量情報を特定するために、例えば著名人の氏名などに関連づけて特徴量情報を保持させておく。
【００６５】
そして、読み上げの対象となる文字列の送信元、または当該文字列の受信側において、読み上げ音声の設定として、特徴量情報を特定する情報を入力する。そして声色変換部３５が、当該入力された情報で特定される特徴量情報を用いて合成された音声情報を変換する。この処理を行うことで、任意の人物の声で読み上げを行わせることができるようになる。
【００６６】
さらにここまでの説明では、特徴量データベース３４が、利用者を特定する情報と当該情報で特定される利用者の音声の特徴量情報とを関連づけて記録しているが、例えば通話中に取得した音声から特徴量情報を抽出するときに、音声特徴抽出部３２が、発信元の利用者を特定する情報と、着信側の利用者を特定する情報（発呼された電話番号など）との双方を取得し、抽出した特徴量情報に対して、発信元の利用者を特定する情報と、着信側の利用者を特定する情報とを関連づけて特徴量データベース３４に格納することとしてもよい。
【００６７】
この場合、例えば端末装置１ａ側から端末装置１ｂへ送信された文字列の情報を読み上げる音声について、その声色の変換処理を行う際に、端末装置１ａの利用者を特定する情報と端末装置１ｂの利用者を特定する情報とに関連づけられた特徴量情報を取得して利用することとしてもよい。つまり端末装置１ｂ側では、文字列の情報の送信元の利用者と、自端末装置１ｂの利用者との双方に応じた声色特徴量情報等を用いて生成された音声を出力することとなる。これによって、端末装置１ａから端末装置１ｂへ送られたメッセージを読み上げるときの声色と、端末装置１ａから端末装置１ｃへ送られたメッセージを読み上げるときの声色とを異ならせるなど、読み上げの対象となる文字列の授受に係る利用者の間の関係に応じて、読み上げの声色を異ならせる。
【００６８】
本実施の形態によれば、声色を調整した、メッセージなどの読み上げを実現できる。
【図面の簡単な説明】
【００６９】
【図１】本発明の実施の形態に係る音声処理システムの構成例を表す概略ブロック図である。
【図２】本発明の実施の形態に係る端末装置の構成例を表すブロック図である。
【図３】本発明の実施の形態に係る音声処理システムの例を表す機能ブロック図である。
【図４】本発明の実施の形態に係る音声処理システムの構成例を表す機能ブロック図である。
【図５】本発明の実施の形態に係る音声処理システムの特徴量データベースに保持されるデータの内容例を表す説明図である。
【図６】本発明の実施の形態に係る音声処理システムの動作例を表すフローチャート図である。
【図７】本発明の実施の形態に係る音声処理システムのもう一つの動作例を表すフローチャート図である。
【図８】本発明の実施の形態に係る音声処理システムのさらにもう一つの動作例を表すフローチャート図である。
【符号の説明】
【００７０】
１  端末装置、２  通信網システム、１１  制御部、１２  記憶部、１３  操作部、１４  表示部、１５  音声入力部、１６  音声出力部、１７  通信部、２０  サーバ装置、３１  音声入力部、３２  音声特徴抽出部、３３  音声合成部、３４  特徴量データベース、３５  声色変換部、３６  音声出力部
【図１】
2009157746.tif 000003
【図２】
2009157746.tif 000004
【図３】
2009157746.tif 000005
【図４】
2009157746.tif 000006
【図５】
2009157746.tif 000007
【図６】
2009157746.tif 000008
【図７】
2009157746.tif 000009
【図８】
2009157746.tif 000010