(57)【要約】【課題】音声案内システムにおいて、オペレータの音声から合成音声に切り替わった際の、ユーザが感じる違和感を軽減する技術を提供する。【解決手段】話者識別部４２が、オペレータ１６の音声から抽出した特徴量を用いて、オペレータ１６の音声に最も当てはまりの良い識別モデルを、予め用意された複数の識別モデルの中から選択する。合成音声生成部４３が、選択された識別モデルに対応する音声データを読み出して、オペレータが決定したユーザに提供する音声に関する情報に対応する、オペレータの音声の音質に近い音質を有する合成音声を生成する。【選択図】図２
2008241898.tif 000002
【特許請求の範囲】
【請求項１】
オペレータの音声から抽出した特徴量を用いて、オペレータの音声に最も当てはまりの良い識別モデルを、予め用意された複数の識別モデルの中から選択する話者識別手段と、
上記選択された識別モデルに対応する音声データを読み出して、オペレータが決定したユーザに提供する音声に関する情報に対応する、オペレータの音声の音質に近い音質を有する合成音声を生成する合成音声生成手段と、
を備える音声合成装置。
【請求項２】
請求項１に記載の音声合成装置において、
上記話者識別手段は、
複数の識別モデルを記憶する識別モデル記憶手段と、
入力されたオペレータの音声から第一の特徴量を抽出する第一特徴量抽出手段と、
上記第一の記特徴量を、上記識別モデル記憶手段から読み込んだ各識別モデルに入力して、各識別モデルごとに尤度を計算する尤度計算手段と、
上記計算された尤度を最大にする識別モデルを選択する選択手段と、
を備え、
上記合成音声生成手段は、
上記複数の各識別モデルに対応する音声データを記憶する音声データ記憶手段と、
上記選択された識別モデルに対応する音声データを、上記音声データ記憶手段から読み出す音声データ選択手段と、
上記読み出された音声データを用いて、入力されたオペレータが決定したユーザに提供する音声に関する情報に対応する、オペレータの音声の音質に近い音質を有する合成音声を生成する合成手段と、
を備える、
ことを特徴とする音声合成装置。
【請求項３】
請求項２に記載の音声合成装置において、
オペレータの音声から第二の特徴量を抽出する第二特徴量抽出手段と、
上記第二の特徴量を用いて、上記合成音声の音質が上記オペレータの音声の音質に近づくように上記合成音声を変形し変形音声を生成する変形手段と、
をさらに備えることを特徴とする音声合成装置。
【請求項４】
請求項３に記載の音声合成装置において、
上記計算された尤度の最大値が所定の閾値αより大又は以上であれば、または、上記計算された尤度の最大値が所定の閾値βより小又は以下であれば、上記変形音声を出力し、そうでなければ、上記合成音声を出力するように制御する制御手段、
をさらに備えることを特徴とする音声合成装置。
【請求項５】
請求項３に記載の音声合成装置において、
上記計算された尤度の最大値が、所定の閾値αより大又は以上であり、かつ、所定の閾値βより小又は以下であれば、上記変形音声を出力し、そうでなければ、上記合成音声を出力するように制御する制御手段、
をさらに備えることを特徴とする音声合成装置。
【請求項６】
話者識別手段が、オペレータの音声から抽出した特徴量を用いて、オペレータの音声に最も当てはまりの良い識別モデルを、予め用意された複数の識別モデルの中から選択する話者識別ステップと、
合成音声生成手段が、上記選択された識別モデルに対応する音声データを読み出して、オペレータが決定したユーザに提供する音声に関する情報に対応する、オペレータの音声の音質に近い音質を有する合成音声を生成する合成音声生成ステップと、
を有する音声合成方法。
【請求項７】
オペレータが選択したユーザに提供する音声についての情報と、オペレータの音声とを受け付ける取得手段と、
上記受け付けたユーザに提供する音声についての情報と、上記受け付けたオペレータの音声とに基づいて、オペレータが決定した情報に対応する、オペレータの音声の音質に近い音質を有する合成音声又は変形音声を生成する請求項１から請求項５の何れかに記載の音声合成装置と、
上記生成された合成音声又は変形音声を、通信網を通じてユーザに提供する提供手段と、
を有する音声案内システム。
【請求項８】
オペレータが選択した、ユーザに提供する音声についての情報を受け付ける第一取得ステップと、
オペレータの音声を受け付ける第二取得ステップと、
請求項１から請求項５の何れかに記載の音声合成装置が、上記受け付けたユーザに提供する音声についての情報と、上記受け付けたオペレータの音声とに基づいて、オペレータが決定した情報に対応する、オペレータの音声の音質に近い音質を有する合成音声又は変形音声を生成する生成ステップと、
上記生成された合成音声又は変形音声を、通信網を通じてユーザに提供する提供ステップと、
を有する音声案内方法。
【請求項９】
請求項１から請求項５の何れかに記載の音声合成装置としてコンピュータを機能させるための音声合成プログラム。
【請求項１０】
請求項９に記載の音声合成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声を合成する装置、方法、プログラム及びその記録媒体に関する。また、音声合成装置によって合成音声を生成し、オペレータの代わりに合成音声でユーザに情報を提供する音声案内システム、方法に関する。
【背景技術】
【０００２】
従来、下記のような音声案内システムがあった（例えば、非特許文献１参照。）。
【０００３】
ユーザは、通信網を介して、コールセンタのオペレータと対話を行う。オペレータは、予め登録された回答音声の候補の中から、上記対話を通じてユーザに適した回答音声を選択する。音声合成装置は、オペレータの代わりに、上記選択された回答音声を再生する。オペレータは、回答音声を選択した後は、ユーザから解放され、他のユーザと対話を行い、適切な回答音声を同様に選択する。
【０００４】
このように、オペレータはユーザとの対話、回答音声の選択のみを行い、回答音声の再生を音声合成装置に行わせることにより、ユーザ１人あたりのオペレータの対応時間を低減することができた。言い換えれば、オペレータ１人あたりの対応可能件数を増加させることができるため、対応件数あたりのオペレータの数を減少させることができた。これにより、従来技術による音声案内システムは、コールセンタのコストを削減することができた。
【０００５】
しかし、従来技術による音声案内システムでは、音声合成装置が再生する音声は、ユーザと対話をしたオペレータの音声を考慮せずに作成されていた。したがって、ユーザは、直前まで対話をしていたオペレータの音声とは、話者性が異なる合成音声によるアナウンスを聴取していた。
【非特許文献１】ＮＴＴアイティ株式会社、［online］、平成１６年１１月３０日、［平成１９年３月１６日検索］、インターネット＜URL: http://www.ntt-it.co.jp/press/2004/041130/041130vcj.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来技術による音声案内システムでは、最初に対話をしていたオペレータの音声の話者性と、音声合成装置が再生する回答音声の話者性とが異なるため、ユーザに不自然さや違和感を与えるという問題があった。
【課題を解決するための手段】
【０００７】
オペレータの音声から抽出した特徴量を用いて、オペレータの音声に最も当てはまりの良い識別モデルを、予め用意された複数の識別モデルの中から選択する。選択された識別モデルに対応する音声データを読み出して、オペレータが決定したユーザに提供する音声に関する情報に対応する、オペレータの音声の音質に近い音質を有する合成音声を生成する。
【発明の効果】
【０００８】
音声合成装置が再生する音声の話者性を、最初に対話をしていたオペレータの音声の話者性に近づけることにより、ユーザに不自然さや違和感を与えることがなくなる。これにより、ユーザの充足度を高めることができる。
【発明を実施するための最良の形態】
【０００９】
［第一実施形態］
第一実施形態による音声案内システム１の機能構成について説明する。音声案内システム１には、図１に示すように、ユーザ１０が対話を行うための入出力部１７と、オペレータ１６が対話を行うための入出力部１５とが通信網１３を介して接続されている。通信網１３は、電話網、携帯電話網、ＩＰ通信網、インターネット等の任意の通信網であり、対話を行うことができるものであれば、有線・無線、公衆網・専用線を問わない。入出力部１５、１７は、電話の送受話器、携帯電話、ハンドセット等である。
【００１０】
通信網１３と入出力部１５との間には、オペレータ１６からの指示を受けて、入出力部１７の接続先を、入出力部１５と音声合成装置１１の何れか一方に切り替える切替部１２が設けられている。最初の状態では、切替部１２は、入出力部１５に接続されている。
【００１１】
また、例えば、オペレータ１６が決定したユーザに提供する音声に関する情報を取得する第一取得部１４ａと、オペレータ１６の音声を取得する第二取得部１４ｂとがそれぞれ設けられており、第一取得部１４ａは取得した情報を、第二取得部１４ｂは取得したオペレータの音声をそれぞれ音声合成装置１１に渡たす。第一取得部１４ａは、例えば、キーボード、ポインティングデバイス、マイク等の入力手段である。第二取得部１４ｂは、例えば、マイク等の入力手段である。音声合成装置１１は、渡された情報とオペレータ１６の音声とを用いて、オペレータ１６の音声の話者性に近い話者性を持つ合成音声を生成して、ユーザ１０に提供するものである。
【００１２】
図７を参照して、音声案内システム１の処理の流れについて説明をする。図７は、音声案内システム１の処理の流れを例示するフローチャートである。
【００１３】
＜ステップＳ１＞
ユーザ１０は、入出力部１７を用いて通信網１３を介してオペレータ１６と対話を行う。その対話の中で、ユーザ１０は、得たいと考えている情報の特徴を伝える。オペレータ１６は、ユーザ１０が得たいと考えている情報を特定する。
【００１４】
＜ステップＳ２＞
オペレータ１６は、その対話を通じて、ユーザに提供する音声を決定する。オペレータ１６は、その決定したユーザに提供する音声に関する情報を第一取得部１４ａに入力する。これにより、ユーザに提供する音声に関する情報は、第一取得部１４ａによって取得されて、音声合成装置１１に出力される。決定された情報は、例えば、テキスト情報、識別情報等の情報である。
【００１５】
例えば、ユーザがオペレータに電話番号を問い合わせている等の場合には、上記決定された情報は、「０３−××××−××××」等の１０個の数字からなるテキスト情報である。×は０から９までの数字である。
【００１６】
また、ユーザ１０に提供する音声をテキスト情報として用意しておき、各テキスト情報に対して異なる識別情報を予め定めておく。そして、オペレータ１６が、その識別情報を決定して、第一取得部１４ａに入力してもよい。この場合には、この識別情報が、音声合成装置１１に渡される。この場合、音声合成装置１１は、図示していない記憶部に各識別情報に対応するテキスト情報を記憶している。そして、渡された識別情報に対応するテキスト情報をこの記憶部から読み出して後述する音声合成処理を行う。
【００１７】
＜ステップＳ３＞
切替部１２を切り替えるための切替指令情報が、オペレータ１６によって、図示していない入力手段から入力される。切替指令情報は、切替部１２に渡される。切替部１２は、切替指令情報を受けて、音声合成装置１１から出力される音声が、ユーザ１０に出力されるように切替部１２を切り替える。すなわち、ユーザ１０が聴取する音声が、オペレータの音声から音声合成装置１１が出力した音声に切り替えられる。
【００１８】
＜ステップＳ４＞
オペレータ１６の音声が、第二取得部１４ｂに入力されて、音声合成装置１１に渡される。ここで、オペレータ１６の音声とは、オペレータ１６自身の音声だけではなく、第二取得部１４ｂや入出力部１５で収音されたオペレータ１６の周囲の環境から発生した音を含んでいてもよい。
【００１９】
＜ステップＳ５＞
音声合成装置１１は、入力された情報とオペレータの音声とを用いて、オペレータの音声の音質に近づけた合成音声を生成して、ユーザ１０に提供する。
【００２０】
以下、図２と図８を参照して、音声合成装置１１の機能構成、ステップＳ５の処理の詳細について説明する。図２は、音声合成装置１１の機能構成を例示する図であり、図８は、ステップＳ５を構成する各処理の流れを例示するフローチャートである。図２は、音声合成装置１１を重点的に説明するための図であるため、入出力部１５、切替部１２、通信網１３等が省略されている点に留意する。
【００２１】
図２に例示するように、音声合成装置１１は、入力されたオペレータの音声を用いて、予め用意した識別モデルの中から当てはまりのよい識別モデルを選択する話者識別部４２と、オペレータが選択した情報と、話者識別部４２が選択した識別モデルについての情報（例えば、識別モデルのＩＤ）とが入力され、オペレータの音声の話者性に近い合成音声を生成する合成音声生成部４３とを備える。
【００２２】
話者識別部４２は、オペレータの音声から第一の特徴量を抽出する第一特徴量抽出部４２１と、予め用意され異なるＩＤが付けられた各識別モデル４２２１〜４２２ｎを格納する識別モデル記憶部４２２と、識別モデル記憶部４２２から読み込んだ各識別モデルに上記抽出された特徴量を入力して、各識別モデルごとに尤度を計算して選択部４２３に出力する尤度計算部４２０と、計算された尤度を最大化する識別モデルのＩＤを選択して合成音声生成部４３に出力する選択部４２３とを例えば備える。
【００２３】
合成音声生成部４３は、各識別モデル４２２１〜４２２ｎに対応した、音声データ４３３１〜４３３ｎが格納された音声データ記憶部４３３と、選択部４２３で選択された識別モデルのＩＤに対応する音声データを音声データ記憶部４３３から読み出して合成部４３１に出力する音声データ選択部４３２と、第一取得部１４ａで取得された情報と、音声データ選択部４３２で選択された音声データとを用いて、オペレータ１６が選択したユーザ１０に提供する音声に関する情報に対応する、オペレータの音声の音質に近い音質を有する合成音声を生成する合成部４３１とを例えば備える。
【００２４】
≪ステップＳ５１（図８）≫
第一特徴量抽出部４２１は、入力されたオペレータ１６の音声から、特徴量を抽出して、尤度計算部４２０に送る。特徴量として、例えば、スペクトル包絡、ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ）等の任意の音響特徴量、音声特徴量を用いることができる。また、それらの特徴量の計算方法も任意である。本実施形態では、特徴量として、音声認識、話者識別等で一般的に用いられているＭＦＣＣを用いる場合を例に挙げて説明をする。特徴量としてＭＦＣＣを用いる場合、音声を所定の時間長で分割した各フレームｔごとに、ＭＦＣＣを計算する。
【００２５】
≪ステップＳ５２≫
尤度計算部４２０は、第一特徴量抽出部４２１が計算した特徴量と、識別モデル記憶部４２２から読み込んだ識別モデルとを用いて、各識別モデルごとに尤度を計算して、選択部４２３に送る。本実施形態においては、各識別モデルごとの尤度と共に、その識別モデルに付されたＩＤを併せて送る。
【００２６】
識別モデルを、混合正規分布（以下、ＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）とする。）を用いて表現した場合を例に挙げて、尤度計算部４２０の処理について説明をする。
【００２７】
フレームｔのＭＦＣＣをＸｔ、混合分布数をＭ、モデルパラメータをλ，ｄ次元ガウス関数をｂｉ（・）、混合重みをｃｉ（Σｉｃｉ＝１である。）、Ｕｉを平均ベクトル、σｉを共分散行列、・Ｔを・の転置とすると、フレームｔにおける第一の尤度Ｐ（Ｘｔ｜λ）は、以下のように表される。
【数１】
2008241898.tif 000003
【００２８】
なお、モデルパラメータλは、Ｍ個のモデルパラメータλｉ（ｉ＝１，…，Ｍ）から構成され、各モデルパラメータλｉは、混合重みｃｉ、平均ベクトルＵｉ、共分散行列σｉから構成される。
【数２】
2008241898.tif 000004
【００２９】
モデルパラメータを構成する、混合重みｃｉ、平均ベクトルＵｉ、共分散行列σｉは、各識別モデルに対応した音声データから予め計算しておく。すなわち、各音声データごとにモデルパラメータλを計算する。これらの各識別モデルごとに計算したモデルパラメータλは、異なるＩＤが付けられて、識別モデル記憶部４２２に予め格納される。識別モデルを読み込むとは、対応するモデルパラメータλを読み込むことを意味する。
【００３０】
本実施形態では、尤度計算部４２０は、複数のフレーム（例えば、第一番目のフレーム１から第Ｔ番目のフレームＴの各フレーム）ごとに、第一の尤度Ｐ（Ｘｔ｜λ）を計算してその対数を取る。そして、それらを加算して、第二の尤度Ｐ（Ｘ｜λ）を計算して、選択部４２３に送る。
【数３】
2008241898.tif 000005
【００３１】
≪ステップＳ５３≫
選択部４２３は、尤度計算部４２０が各識別モデルごとに計算した尤度（本実施形態においては、第二の尤度Ｐ（Ｘ｜λ））を最大にする識別モデルを選択する。そして、その最大にする識別モデルについての情報を、合成音声生成部４３に送る。識別モデルについての情報とは、ここでは、識別モデルと対応する音声データに付されたＩＤである。
【００３２】
≪ステップＳ５４≫
合成音声生成部４３の音声データ選択部４３２は、選択部４２３が選択した識別モデルに対応する音声データを音声データ記憶部４３３から読み出して、合成部４３１に送る。具体的には、合成音声生成部４３は、選択部４２３から送られた識別モデルのＩＤと同じＩＤを持つ音声データを音声データ記憶部４３３から読み出す。
【００３３】
≪ステップＳ５５≫
合成部４３１は、音声データ選択部４３２から送られた音声データを用いて、オペレータが決定したユーザに提供する音声に関する情報に対応する、オペレータの音声の音質に近い音質を有する合成音声を生成する。生成された合成音声は、ユーザ１０に提供される。
【００３４】
合成音声を作成する方法は何れの周知技術を用いてもよい。以下では、合成方式として、波形接続型の音声合成を用い、オペレータ１６が決定したユーザ１０に提供する音声についての情報として、テキスト情報を用いた場合を例に挙げて説明する。
【００３５】
合成部４３１は、図３に例示するように、テキスト解析部４３１１、韻律生成部４３１２、合成処理部４３１３、読み・アクセント辞書記憶部４３１４、韻律生成規則記憶部４３１５から構成される。
【００３６】
図９を参照して、合成部４３１の処理例を説明する。図９は、合成部４３１の処理の流れを例示する図である。
【００３７】
≪ステップＳ５５１≫
テキスト解析部４３１１は、入力されたテキスト情報を形態素解析し、得られた形態素情報から、読み・アクセント辞書記憶部４３１４から読み込んだ読み・アクセント辞書を参照して、入力テキスト情報の読み・アクセントを決定する。解析された形態素、決定された読み、決定されたアクセントに関する情報は、韻律生成部４３１２と合成処理部４３１３に送られる。
【００３８】
例えば、「お電話しますか？」というテキスト情報が入力された場合、テキスト解析部４３１１は、「オデンワ［０２］シマスカ？［０２］」と形態素解析を行い、読みとアクセントを決定する。ここで、下線の部分は読みの部分であり、［０２］はアクセントの部分を表す。
【００３９】
≪ステップＳ５５２≫
韻律生成部４３１２は、上記解析された形態素、決定された読み、決定されたアクセントから、韻律生成規則記憶部４３１５から読み込んだ韻律生成規則を参照して、合成音声の韻律を生成する。生成された韻律は、合成処理部４３１３に送られる。
【００４０】
例えば、韻律は、図３の韻律生成部４３１２の右側に例示したように、横軸を時間、縦軸を基本周波数とするグラフにおける曲線で表すことができる。図３の韻律生成部４３１２の右側に例示したグラフの曲線は、「オデンワ［０２］シマスカ？［０２］」に関する情報に対応する韻律である。
【００４１】
≪ステップＳ５５３≫
合成処理部４３１３は、上記解析された形態素、決定された読み、決定されたアクセント、上記決定された韻律等に合った音声を、音声データ４３１６の中から選択、接続して合成音声を生成する。音声データ４３１６は、音声データ選択部４３２から送られた音声データ、すなわち、選択部４２３が選択した識別モデルに対応する、音声データ記憶部４３３の中から音声データ選択部４３２が選択した１つの音声データである。音声データ４３１６には、図３に例示するように、該当音声の音韻、該当音声の前後の音韻及び韻律がそれぞれ対応付けられた複数の音声データが格納されている。合成処理部４３１３は、該当音声の音韻、該当音声の前後の音韻及び韻律をインデックスとして、音声データ４３１６を参照して、音声データ４３１６の中から音声を選択、接続して合成音声を生成する（例えば、参考文献１参照。）。
【００４２】
〔参考文献１〕平井俊男、外７名，「コーパス・ベース音声合成システム  ＸＩＭＥＲＡ」，信学技報，社団法人電子情報通信学会，ＳＰ２００５−１８（２００５−５），ｐ．３７−４２
このように、尤度を最大にする識別モデルに対応した音声データから合成音声を生成することにより、オペレータ１６の音声の音質又は声質に近い合成音声、言い換えればオペレータの話者性を反映した合成音声を生成することができる。これにより、ユーザ１０が聴取する音声が、オペレータ１６の音声から合成音声に切り替わった際の違和感やギャップ等を軽減することができる。
【００４３】
［第二実施形態］
第二実施形態による音声案内システムは、音声合成装置１１に代えて、図４に例示する音声合成装置２１を備え、この音声合成装置２１が、生成した合成音声を変形して、さらにオペレータ１６の音声の音質に近づけた変形音声を生成する点で、第一実施形態による音声案内システム１とは異なる。すなわち、音声合成装置２１が、図８の破線で示すステップＳ５６ａの処理を行う点で、第一実施形態による音声案内システムとは異なる。他の機能構成、処理については第一実施形態と同様であるため説明を省略する。図４は、音声合成装置２１の機能構成を例示する図である。また、図１０は、ステップＳ５６ａの処理の流れを例示するフローチャートである。
【００４４】
図４に例示するように、音声合成装置２１は、話者識別部４２、合成音声生成部４３、第二特徴量抽出部６４、変形部６５を備える。話者識別部４２と、合成音声生成部４３は第一実施形態と同様のものである。
【００４５】
≪ステップＳ５６ａ１≫
第二特徴量抽出部６４は、オペレータの音声から第二の特徴量（話者性パラメータ）を抽出して、変形部６５に送る。第二の特徴量である話者性パラメータは、音声の発声者（話者）の個人性を表すパラメータである。例えば、話者性パラメータとして、基本周波数、発話速度、パワー等の任意の音響特徴量を用いることができる。話者性パラメータを抽出する方法は任意の周知技術を用いてもよい。第二特徴量抽出部６４は、例えば、オペレータの音声を一定の時間長のフレームに分割して、そのフレームごとに基本周波数を抽出して、変形部６５に送る。
【００４６】
≪ステップＳ５６ａ２≫
変形部６５は、話者性パラメータを用いて、合成音声生成部４３が生成した合成音声の音質がオペレータ１６の音声の音質に近づくように、合成音声を変形して、変形音声を生成する。生成された変形音声は、ユーザ１０に提供される。音声を変形する方法は何れの周知技術を用いてもよい。
【００４７】
以下、話者性パラメータとして、基本周波数を用いた場合を例に挙げて説明をする。この場合、変形部６５は、図５に例示するように、基本周波数抽出部６５１、平均値計算部６５２、平行移動部６５３、再合成部６５４を備える。
【００４８】
基本周波数抽出部６５１は、合成音声生成部４３が生成した合成音声の基本周波数を抽出して、平均値計算部６５２に送る。具体的には、基本周波数抽出部６５１は、合成音声を一定の時間長のフレームに分割して、そのフレームごとに基本周波数を抽出する。基本周波数を求める方法としては、ケプストラム法、ラグ法、ＴＥＭＰＯ法等の任意の手法を用いることができる。
【００４９】
平均値計算部６５２は、基本周波数抽出部６５１が抽出した基本周波数の平均値と、第二特徴量抽出部６４が抽出した基本周波数の平均値とをそれぞれ求めて、平行移動部６５３に送る。ここで、基本周波数の平均値とは、例えば、オペレータが所定の長さの一文を読み上げた音声における基本周波数の平均値、一定の時間長における基本周波数の平均値、一定のフレーム数における基本周波数の平均値である。上記一文、上記時間長、上記フレーム数が長い又は多いほど、基本周波数の平均値を精度良く求めることができる。すなわち、話者固有の声の高さ・低さを抽出し易くなり、その分だけ本実施形態が奏する効果も増す。
【００５０】
平行移動部６５３は、上記求まった基本周波数抽出部６５１が抽出した基本周波数の平均値が、上記求まった第二特徴量抽出部６４が抽出した基本周波数の平均値に合うように、基本周波数の概形（図３の韻律生成部４３１２の右側に例示した曲線と同様のもの）を平行移動により変更する。
【００５１】
再合成部６５４は、上記変更された基本周波数の概形に合わせて音声を再合成して、変形音声を生成する。再合成する際の方法としては、ＰＳＯＬＡ等の信号処理方法を用いることができる（例えば、参考文献２参照。）。
【００５２】
〔参考文献２〕Ryo Mochizuki and Tetsunori Kobayashi, ”A low-band spectrum envelope modeling for high quality pitch modification”, Proc. IEEE International Conference on Acoustics, Speech, and Signal,Processing (ICASSP 2004), Vol.1, pp.645-648 (2004-5).
このように、オペレータ１６の音声から抽出した第二の特徴量を用いて、オペレータ１６の音声の音質に近づくように合成音声に変形を加えることにより、さらにオペレータ１６の音声の音質に近い変形音声を生成することができる。これにより、音声を切り替える際の違和感やギャップをさらに軽減することができる。
【００５３】
また、本実施形態によれば、オペレータの音声に十分近い識別モデルと音声データの組を用意しなくても、オペレータの話者性を十分に反映した変形音声を生成することができる。このため、予め用意する識別モデルと音声データの組の数を少なくしても、音声を切り替える際の違和感やギャップを小さくすることができるというメリットがある。
【００５４】
［第三実施形態］
第三実施形態のよる音声案内システムは、音声合成装置２１に変えて、図６に例示する音声合成装置３１を備え、この音声合成装置３１が、合成音声をオペレータの音声に類似させるための変形量が大きくなる場合には変形を行わないという制御を行う点で、第二実施形態による音声案内システムとは少なくとも異なる。すなわち、音声合成装置２１が、図８に一点鎖線で示すステップＳ５６ｂの処理を行う点で、第二実施形態による音声案内システムとは異なる。他の機能構成、処理については第二実施形態と基本的には同様であるため説明を省略する。図６は、音声合成装置３１の機能構成を例示する図である。また、図１１は、ステップＳ５６ｂの処理の流れを例示するフローチャートである。
【００５５】
図６に例示するように、音声合成装置３１は、例えば、話者識別部４２、合成音声生成部４３、第二特徴量抽出部６４、変形部６５、制御部８０を備える。制御部８０は、例えば、合成音声と変形音声のうちどちらを生成・出力するかを判断する判断部８３と、判断部８３の判断結果に応じて、各接続を切り替える切替部８１ａ〜８１ｃを備える。
【００５６】
≪ステップＳ５６ｂ１（図８）≫
制御部８０の判断部８３は、尤度の最大値が、所定の閾値α以上であり、かつ、所定の閾値β以下であるかどうか、すなわちα≦尤度の最大値≦βであるかどうかを判断する。尤度の最大値は、話者識別部４２の選択部４２３（図２）が選択した尤度を最大にする識別モデルの尤度である。第三実施形態においては、この尤度の最大値が話者識別部４２から判断部８３に渡される。
【００５７】
この例では、判断部８３は、α≦尤度の最大値≦βであるかどうかを判断しているが、代わりに、α＜尤度の最大値＜β、α＜尤度の最大値≦β、α≦尤度の最大値＜βかどうかを判断してもよい。
【００５８】
所定の閾値αと所定の閾値βは、尤度の定義、合成音声の生成方法、変形音声の生成方法、求める音声の品質等により異なるため、適切な結果が得られるように適宜定める。
【００５９】
制御部８０が、α≦尤度の最大値≦βであるかどうか等を判断基準とする理由については後述する。
【００６０】
≪ステップＳ５６ｂ２≫
α≦尤度の最大値≦βであれば、制御部８０は、合成音声を変形して変形音声を生成して出力するように制御する。具体的には、判断部８３は、各切替部８１ａ〜８１ｃに、変形音声を生成して出力する旨の信号を送り、その信号を受けて、各切替部８１ａ〜８１ｃはスイッチを切り替える。この例では、各切替部８１ａ〜８１ｃは、図６のＹｅｓが表示された端子に接続するようにスイッチを切り替える。
【００６１】
そして、音声合成装置３１は、図１１のステップＳ５６ｂ３（合成音声の生成）、ステップＳ５６ｂ４（第二の音響特徴量の抽出）、ステップＳ５６ｂ５（変形音声の生成）の処理を行う。ステップＳ５６ｂ３とステップＳ５６ｂ４の処理は、第一実施形態と第二実施形態で説明したステップＳ５５（図８）、ステップＳ５６ａ１（図１０）とステップＳ５６ａ２の処理と同様であるため、説明を省略する。
【００６２】
≪ステップＳ５６ｂ６≫
α≦尤度の最大値≦βでなければ、制御部８０は、変形音声を生成せずに、合成音声を出力するように制御する。具体的には、判断部８３は、各切替部８１ａ〜８１ｃに、変形音声を生成・出力しない旨の信号を送り、その信号を受けて、各切替部８１ａ〜８１ｃはスイッチを切り替える。この例では、各切替部８１ａ〜８１ｃは、図６のＮｏが表示された端子に接続するようにスイッチを切り替える。
【００６３】
そして、音声合成装置３１は、図１１のステップＳ５６ｂ７（合成音声の生成）を行う。ステップＳ５６ｂ７の処理は、第一実施形態で説明をしたステップＳ５５（図８）と同様であるため説明を省略する。
【００６４】
尤度の最大値が所定の閾値α以上である場合には、合成音声の音質がオペレータの音声の音質に既に十分に近い。このため、この合成音声から変形音声を生成しても、生成された変形音声の音質が、オペレータの音声の音質に近づかない可能性、さらにはオペレータの音声の音質から遠ざかる可能性がある。
【００６５】
一方、尤度の最大値が所定の閾値β以下である場合には、オペレータの音声の音質に近づけるための変形量が大きい。このため、この合成音声から変形音声を生成すると、生成された変形音声が、オペレータの音声の音質に近づく可能性はあるものの、自然性や了解度が劣化した低品質なものになる可能性がある。
【００６６】
このため、本実施形態において、制御部８０は、α≦尤度の最大値≦βであるかどうか等を判断基準として、合成音声を生成・出力するか、変形音声を生成・出力するかを決めている。
【００６７】
このように、合成音声から変形音声を生成する際の変形量が大きくなり、自然性・了解度が劣化するおそれがある場合には、変形音声を生成・出力せずに、合成音声を生成・出力するという制御を行うことにより、音声の切り替えによる違和感・ギャップの軽減と、ユーザ１０に提供する音声の自然性・了解度の確保とを両立することができる。
【００６８】
［変形例等］
図７に例示するステップＳ２〜Ｓ４の処理の順序は任意である。すなわち、ステップＳ２〜Ｓ４の何れの処理を先に行ってもよく、また、これらのステップの処理を同時に行ってもよい。
【００６９】
第一取得部１４ａ（図１）と第二取得部１４ｂの２つの取得手段に代えて、マイク等の電気音響変換器からなる１つの取得手段である第三取得部１４ｃを設けてもよい。この場合、オペレータ１６は、ユーザに提供する情報を自らの声で第三取得部１４ｃに入力する。そして、オペレータ１６の声で入力された情報は、音声合成装置１１に出力される。
【００７０】
ステップＳ４（図７）の処理を行う代わりに、図１に破線で示すように、ステップＳ１のユーザ１０とオペレータ１６との間の対話において、入出力部１５で収音されたオペレータ１６の音声が、音声合成装置１１に入力されるようにしてもよい。
【００７１】
図１１に破線で示すように、ステップＳ５６ｂ１の前に、合成音声の生成を行うステップＳ５６０の処理を行ってもよい。この場合には、ステップＳ５６ｂ３とステップＳ５６ｂ７の処理は行わない。他の処理については、上記と同様である。
【００７２】
ステップＳ５６ｂ１（図１１）において、判断部８３（図６）が、α≦尤度の最大値、α＜尤度の最大値、尤度の最大値≦β、尤度の最大値＜βの何れかひとつの判断をして、合成音声を生成するか、変形音声を生成するかの判断をしてもよい。
【００７３】
ステップＳ５６ｂ６（図１１）において、α≦尤度の最大値≦βでない場合に、切替部８１ａ（図６）と切替部８１ｃのみをＮｏの方の端子に接続するようにスイッチを切り替えてもよい。すなわち、制御部８０は、最終的に合成音声を出力するように制御しさえすれば、変形音声を生成するように制御してもよい。
【００７４】
音声合成装置１１、２１、３１をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図１２に例示するコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【００７５】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ
−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００７６】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００７７】
また、上述した実施形態とは別の実行形態として、コンピュータが可搬型記録媒体から直接このプログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００７８】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００７９】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【図面の簡単な説明】
【００８０】
【図１】音声案内システム１の機能構成を例示する図。
【図２】第一実施形態による音声合成装置１１の機能構成を例示する図。
【図３】合成部４３１の機能構成を例示する図。
【図４】第二実施形態による音声合成装置２１の機能構成を例示する図。
【図５】変形部６５の機能構成を例示する図。
【図６】第三実施形態による音声合成装置３１の機能構成を例示する図。
【図７】音声案内システム１の処理の流れを例示する図。
【図８】ステップＳ５の処理の流れを例示する図。
【図９】ステップＳ５５の処理の流れを例示する図。
【図１０】ステップＳ５６ａの処理の流れを例示する図。
【図１１】ステップＳ５６ｂの処理の流れを例示する図。
【図１２】音声合成装置をコンピュータで実現する場合の機能構成を例示する図。
【符号の説明】
【００８１】
１     音声案内システム
１０   ユーザ
１１   音声合成装置
１２   切替部
１３   通信網
１４ａ 第一取得部
１４ｂ 第二取得部
１４ｃ 第三取得部
１５   入出力部
１６   オペレータ
１７   入出力部
２１   音声合成装置
３１   音声合成装置
４２   話者識別部
４３   合成音声生成部
６４   第二特徴量抽出部
６５   変形部
８０   制御部
８３   判断部
４２０ 尤度計算部
４２１ 第一特徴量抽出部
４２２ 識別モデル記憶部
４２３ 選択部
４３１ 合成部
４３２ 音声データ選択部
４３３ 音声データ記憶部
４２２ｎ      識別モデル
４３３ｎ      音声データ
【図１】
2008241898.tif 000006
【図２】
2008241898.tif 000007
【図３】
2008241898.tif 000008
【図４】
2008241898.tif 000009
【図５】
2008241898.tif 000010
【図６】
2008241898.tif 000011
【図７】
2008241898.tif 000012
【図８】
2008241898.tif 000013
【図９】
2008241898.tif 000014
【図１０】
2008241898.tif 000015
【図１１】
2008241898.tif 000016
【図１２】
2008241898.tif 000017