(57)【要約】【課題】音声合成技術に関する専門的な知識がなくても、利用者が思い通りの合成音声を生成することができるようにする。【解決手段】利用者からの合成音声の変更に関する要求を発声した音声を含む音声である要求音声を受け付ける要求音声受付手段７０１と、入力される、元の合成音声から修正を望む情報の種類である要求種別を示す情報である要求種別情報に基づいて、要求音声を分析して、該要求音声から要求種別情報で指定された要求種別に関する要求内容を抽出する要求内容抽出手段７０２と、入力された要求種別に関連づけられた特徴について、要求内容抽出手段７０２によって抽出された要求内容を反映した合成音声を生成する音声合成手段７０３とを備える。【選択図】図１５
2012108378.tif 000002
【特許請求の範囲】
【請求項１】
利用者からの合成音声の変更に関する要求を発声した音声を含む音声である要求音声を受け付ける要求音声受付手段と、
入力される、元の合成音声から修正を望む情報の種類である要求種別を示す情報である要求種別情報に基づいて、前記要求音声を分析して、該要求音声から前記要求種別情報で指定された要求種別に関する要求内容を抽出する要求内容抽出手段と、
前記入力された要求種別に関連づけられた特徴について、前記要求内容抽出手段によって抽出された要求内容を反映した合成音声を生成する音声合成手段とを備える
ことを特徴とする音声合成装置。
【請求項２】
要求音声を言語的に認識する音声認識手段と、
前記要求音声の音声認識結果から要求種別に関係する表現である所定の種別表現を抽出することによって、要求種別を抽出する要求種別抽出手段とを備え、
要求内容抽出手段は、要求種別抽出手段によって抽出された要求種別を示す要求種別情報に基づいて、要求音声から前記要求種別情報で指定された要求種別に関する要求内容を抽出する
請求項１に記載の音声合成装置。
【請求項３】
要求音声を言語的に認識する音声認識手段を備え、
要求内容抽出手段は、要求種別情報に基づいて、要求音声の音声認識結果から前記要求種別情報で指定された要求種別に関して用いられる所定の指示表現を抽出し、抽出した指示表現が表す変更内容に従って、要求音声から前記要求種別情報で指定された要求種別に関する要求内容を抽出する
請求項１または請求項２に記載の音声合成装置。
【請求項４】
変更対象となる範囲を指定する変更範囲指定手段を備える
請求項１から請求項３のうちのいずれか１項に記載の音声合成装置。
【請求項５】
変更範囲指定手段は、要求音声の発声内容を示すテキストに元の合成音声の発声内容を示すテキストと一致する部分があるか否かを判定し、元の合成音声における前記一致した部分を変更範囲として指定する
請求項４に記載の音声合成装置。
【請求項６】
音声合成手段が合成した音声を出力する音声出力手段を備え、
要求音声受付手段は、前記音声出力手段が出力した合成音声の変更に関する利用者からの要求音声を受け付ける
請求項１から請求項５のうちのいずれか１項に記載の音声合成装置。
【請求項７】
利用者からの合成音声の変更に関する要求を発声した音声を含む音声である要求音声を受け付けて、
入力される、元の合成音声から修正を望む情報の種類である要求種別を示す情報である要求種別情報に基づいて、前記要求音声を分析して、該要求音声から前記要求種別情報で指定された要求種別に関する要求内容を抽出し、
入力された要求種別に関係する特徴について、抽出された要求内容を反映した合成音声を生成する
ことを特徴とする音声合成方法。
【請求項８】
コンピュータに、
利用者からの合成音声の変更に関する要求を発声した音声を含む音声である要求音声を受け付ける要求音声受付処理、
入力される、元の合成音声から修正を望む情報の種類である要求種別を示す情報である要求種別情報に基づいて、前記要求音声を分析して、該要求音声から前記要求種別情報で指定された要求種別に関する要求内容を抽出する要求内容抽出処理、および
前記入力された要求種別に関係する特徴について、抽出された要求内容を反映した合成音声を生成する音声合成処理
を実行させる音声合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を合成する音声合成装置、音声合成方法および音声合成プログラムに関し、特に、利用者からの要求に応じて、生成される合成音声を変更する音声合成装置、音声合成方法および音声合成プログラムに関する。
【背景技術】
【０００２】
一般的に、音声合成（Text-To-Speech、TTS）を利用して音声を作成する場合、まず、利用者がテキストをパーソナルコンピュータ等の機器に入力する。入力されたテキストは、形態素解析のような言語解析処理を受け、その後にアクセント等が付与された発音情報が生成される。さらに、発音情報に基づいてピッチパタンや音素継続時間長が推定され、最終的に波形生成処理を受けて合成音声が生成される。このように生成された合成音声は、辞書やルール、モデルなどを用いて自動推定されるため、アクセントや、ピッチパタンおよび話速等の韻律情報が、利用者が求めていたものと異なっている場合がある。
【０００３】
その場合、利用者は求めている音声になるように、変更を加える必要がある。実際、現在市販されている音声合成アプリケーションでは、利用者が合成音声のアクセントや話速等を変更できるものが多数存在する（例えば、非特許文献１）。
【０００４】
例えば、非特許文献１には、発音の調整機能として、アクセントや文節区切り、イントネーションや発音長さの調整をグラフィカルユーザインターフェース（ＧＵＩ）画面（アクセント位置を記号「’」により指定する調整画面や、イントネーションや発音長さをグラフを使ってアナログ的に微調整する画面等）を用いて設定することが可能な音声合成システムが記載されている。また、声の種類や、話速、声の高さ、抑揚、音量、エコー処理等の読み上げに関する設定を行える旨が記載されている。
【０００５】
また、例えば、特許文献１や特許文献２には、利用者が入力した音声の韻律情報と合成音声の韻律情報をマッチングさせることで、合成音声の韻律を利用者の望む韻律に変更する音声合成装置が記載されている。
【０００６】
また、特許文献３には、利用者にとって聞き易い音量、音声速度、音声帯域、音声抑揚に変更するために、受け付けロボットが、利用者に複数音声モードで問い掛けを行い、その問い掛けへの返答を評価して、評価結果から利用者と会話を行うことによって音声モードを選択する受け付けロボットの会話適応方法が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０５−０１１７９４号公報
【特許文献２】特開平０９−２９２８９７号公報
【特許文献３】特開２００８−２１６７３５号公報
【非特許文献】
【０００８】
【非特許文献１】日立ビジネスソリューション株式会社、”汎用知的音声合成システム  ボイスソムリエ−製品仕様／機能”、［ｏｎｌｉｎｅ］、平成２２年８月２０日現在、インターネット＜ＵＲＬ：http://hitachi-business.com/products/package/sound/voice/＞
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、アクセントや韻律情報を変更するのは、どのパラメータを変更すると音声がどのように変更されるかといった言語的および音響的な知識が必要であったり、発音記号列や制御用のタグを直接編集する必要があるなど、一般的な利用者にとって難易度の高いものとなっていた。
【００１０】
なお、非特許文献１に記載されている方法のように、アクセントや韻律を模式図化してその中で変更を行うＧＵＩを提供すれば、高度な言語的および音響的な知識をもたなくてもアクセントや韻律情報を変更することが可能である。しかし、非特許文献１に記載されている方法であっても、変更対象とされた特徴についての知識がない利用者にとっては、所望の音声を得るには具体的にどのような操作をしたらよいのか、直感的に分かりにくいものであった。
【００１１】
また、特許文献１や特許文献２に記載されている方法では、利用者は作成したい合成音と同一の発声を強いられるという問題があった。また、全ての韻律情報が変更されてしまうため、一部の特徴のみを変更することができないという問題があった。
【００１２】
また、特許文献３に記載されている方法では、予め用意しておいた音声モードにしか対応できず、利用者が思い通りの合成音声を生成することはできない。
【００１３】
そこで、本発明は、音声合成技術に関する専門的な知識がなくても、利用者が思い通りの合成音声を生成することができる音声合成装置、音声合成方法および音声合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明による音声合成装置は、利用者からの合成音声の変更に関する要求を発声した音声を含む音声である要求音声を受け付ける要求音声受付手段と、入力される、元の合成音声から修正を望む情報の種類である要求種別を示す情報である要求種別情報に基づいて、要求音声を分析して、該要求音声から要求種別情報で指定された要求種別に関する要求内容を抽出する要求内容抽出手段と、入力された要求種別に関連づけられた特徴について、要求内容抽出手段によって抽出された要求内容を反映した合成音声を生成する音声合成手段とを備えることを特徴とする。
【００１５】
本発明による音声合成方法は、利用者からの合成音声の変更に関する要求を発声した音声を含む音声である要求音声を受け付けて、入力される元の合成音声から修正を望む情報の種類である要求種別を示す情報である要求種別情報に基づいて、要求音声を分析して、該要求音声から要求種別情報で指定された要求種別に関する要求内容を抽出し、入力された要求種別に関係する特徴について、抽出された要求内容を反映した合成音声を生成することを特徴とする。
【００１６】
本発明による音声合成プログラムは、コンピュータに、利用者からの合成音声の変更に関する要求を発声した音声を含む音声である要求音声を受け付ける要求音声受付処理、入力される、元の合成音声から修正を望む情報の種類である要求種別を示す情報である要求種別情報に基づいて、要求音声を分析して、該要求音声から要求種別情報で指定された要求種別に関する要求内容を抽出する要求内容抽出処理、および入力された要求種別に関係する特徴について、抽出された要求内容を反映した合成音声を生成する音声合成処理を実行させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、音声合成技術に関する専門的な知識がなくても、利用者が思い通りの合成音声を生成することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態の音声合成装置の構成例を示すブロック図である。
【図２】第１の実施形態の動作の一例を示すフローチャートである。
【図３】要求種別と指示キーワードとの対応関係の例を示す説明図である。
【図４】第２の実施形態の音声合成装置の構成例を示すブロック図である。
【図５】第２の実施形態の動作の一例を示すフローチャートである。
【図６】要求種別と種別キーワードとの対応関係の例を示す説明図である。
【図７】第３の実施形態の音声合成装置の構成例を示すブロック図である。
【図８】第３の実施形態の動作の一例を示すフローチャートである。
【図９】第４の実施形態の音声合成装置の構成例を示すブロック図である。
【図１０】第４の実施形態の動作の一例を示すフローチャートである。
【図１１】第１の実施例の音声合成装置の概要を示す図である。
【図１２】第１の実施例における要求種別抽出部２の構成例を示すブロック図である。
【図１３】第２の実施例の対話型音声合成装置の概要を示す説明図である。
【図１４】第２の実施例の対話型音声合成装置の動作の一例を示すフローチャートである。
【図１５】本発明の概要を示すブロック図である。
【図１６】本発明による音声合成装置の他の構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について図面を参照して説明する。各実施形態において、同様な構成要素には同じ符号を付し、適宜説明を省略する。
【００２０】
実施形態１．
図１は、本発明の第１の実施形態の音声合成装置の構成例を示すブロック図である。図１に示す音声合成装置は、要求音声受付部１と、要求内容抽出部３と、音声合成部４とを備えている。
【００２１】
要求音声受付部１は、利用者からの合成音声の変更に関する要求を発声した音声を含む音声（以下、要求音声という。）を受け付ける。
【００２２】
要求内容抽出部３は、別途入力される要求種別情報に基づいて、要求音声受付部１が受け付けた要求音声を分析し、要求音声から要求内容を抽出する。要求種別情報とは、元の合成音声から修正を望む情報の種類である要求種別を示す情報である。要求種別の例としては、言い回し（入力テキストの内容）やアクセント位置等の言語的な情報、全体的な基本周波数（ピッチ、声の高さ）、基本周波数パタン（部分的な基本周波数の時間変化）、全体的な話速、短時間パワー等の音響的な情報が挙げられる。また、ここでいう要求内容は、要求種別に関係する特徴についての具体的な要求内容をいう。すなわち、要求種別に関する特徴をどのように変更するかを示す情報である。
【００２３】
また、要求内容抽出部３は、抽出した要求内容に基づいて音声合成情報を決定する。音声合成情報は、どのような合成音声を生成するかを指示する情報であって、本実施形態では、少なくとも要求種別に関連づけられた特徴について変更後の特徴量を示す情報を含む。要求内容抽出部３は、抽出した変更内容に従って、要求音声または元の合成音声（もしくはそれを生成した際に用いた設定値）から要求種別に関する具体的な特徴量（変更後とする特徴量や現時点での特徴量）を抽出し、その結果から変更後の特徴量を示す音声合成情報を生成する。
【００２４】
音声合成部４は、決定された音声合成情報に基づいて、音声合成処理を行い、合成音声を生成する。
【００２５】
なお、要求音声受付部１は、例えば、マイクロフォンなどの音声入力装置と、そのドライバでありプログラムに従って動作するＣＰＵ等の情報処理装置とによって実現される。また、要求内容抽出部３および音声合成部４は、例えば、プログラムに従って動作するＣＰＵ等の情報処理装置とによって実現される。なお、ＣＰＵ等の情報処理装置によって実現される各処理部は１つのユニットによって実現されても別々のユニットによって実現されてもよい。。
【００２６】
次に、本実施形態の動作について説明する。図２は、本実施形態の動作の一例を示すフローチャートである。図２に示す例では、まず、利用者が要求種別情報と、要求種別に関する要求内容を発声した要求音声とを入力する（ステップＳ１１）。要求種別情報の入力は、例えば、利用者が予め定めておいて種別の中から調整の対象とする種別を選択することができる画面を用意しておき、その画面上のユーザ操作に応じて選択結果を示す情報が入力されるようにしてもよい。また、要求音声の入力は、当該音声合成装置が備えるマイクロフォンがユーザが発声した音声を集音することによって入力されるようにしてもよい。なお、要求種別情報と要求音声の入力のタイミングは問わない。音声合成装置では、要求音声受付部１が入力された要求音声を受け付け、要求内容抽出部３が要求種別情報を受け付ける。
【００２７】
次に、要求内容抽出部３は、入力された要求種別情報に基づいて、入力された要求音声から要求内容を抽出する（ステップＳ１２）。また、要求内容抽出部３は、抽出した要求内容に基づいて音声合成情報を決定する（ステップＳ１３）。
【００２８】
要求内容抽出部３は、例えば、予め定められている要求種別に対応づけて、利用者が当該要求種別に関して用いる指示表現（指示キーワード）と、指示表現が表す変更内容を示す情報とを記憶しておき、要求音声中に、登録されている指示表現に合致する言語表現が含まれているか否かを判定する。そして、含まれていると判定された指示表現に対応づけて登録されている変更内容を示す情報に基づき、必要に応じて、要求音声や元の合成音声から具体的な特徴量を抽出して変更内容を決定してもよい。
【００２９】
図３は、要求種別と指示キーワードとの対応関係の例を示す説明図である。図３に示すように、例えば、要求種別として「話速」「基本周波数（ピッチ）」「アクセント位置」「短時間パワー」「言い回し」が定義されている場合、それぞれの要求種別に対応づけて、その指示表現（指示キーワード）を、様々なレベルのユーザに合わせて登録しておけばよい。また、指示表現は「これくらい」や「○○を○○に（合成音声に含まれる用語を実際に使ってアクセント位置を変えて発声したものを想定している）」というように、所望の合成音声を実例によって示すような表現も登録しておく。なお、図３において、例えば、話速の要求種別のキーワード例である（「スピード／速さ／遅さ」＋）「・・・くらいに／のように／にして」は、「スピード」、「速さ」または「遅さ」という要求種別を表す表現の後に、・・・の部分に何らかの表現があり、それに続いて「くらいに」、「のように」または「にして」といった表現がされた場合を指定するものである。なお、かっこ書きにした要求種別を表す表現は、後に続く表現の意味をわかりやすいために載せてあるが、要求内容の指示表現としてはあってもなくてもよい。
【００３０】
また、音声合成情報は、例えば、要求種別とそれに関係する特徴量との対応関係を予め決めておき、入力された要求種別情報から対応づけられている特徴量の種類を識別し、変更後の特徴量の値に変更内容が指し示す値を決定したり、元の合成音声から抽出した特徴量の値に変更内容が指し示す値（変更量）を反映させて変更後の特徴量の値を求めることによって決定してもよい。なお、「これくらい」や「○○に」といった実例による指示表現がされていた場合には、要求内容抽出部３は、ここでいう「これ」や「○○」の部分（直前部分）の音声から変更後の特徴量を抽出すればよい。さらに、指示表現に対して「もっと」や「少し」、「ちょっと」等の程度を表す表現が付加されていることを認識した場合には、その程度を表す表現に応じて、変更量を変化させてもよい。なお、程度を示す表現が付加されておらず、「速く」や「遅く」といった変更の方向性のみが指示されているような場合には、予め定めておいた変更量を適用すればよい。
【００３１】
また、要求内容抽出部３は、指示キーワードの抽出を行わずに、変更内容として要求音声から直接、変更後とする特徴量を抽出してもよい。そのような場合には、利用者は、要求音声として自身が望む音声を発声すればよい。
【００３２】
最後に、音声合成部４が、決定した音声合成情報に基づいて、音声合成処理を行い、合成音声を生成する（ステップＳ１４）。
【００３３】
以上のように、本実施形態によれば、利用者が入力した要求音声に基づいて、要求種別情報で指定された種別に関する特徴だけが変更された合成音声が生成されるため、専門的な知識がなくても簡単に利用者が求める合成音声を生成することが可能となる。
【００３４】
例えば、本実施形態によらずに全体的な基本周波数（ピッチ、声の高さ）を変更する場合、利用者は、「最初に出力された合成音声の基本周波数は平均何Ｈｚか」「希望する音声の基本周波数は平均何Ｈｚか」という情報を理解している必要がある。音声合成技術の専門家であれば、「だいたい何Ｈｚくらい上げれば望みの音声になる」といった推定も可能であるが、音声の特徴量について詳しくない利用者には見当もつかない。また、例えば模式図化されたＧＵＩが用意されていたとしても１回の操作で所望の音声への変更を指示することはできないため、繰り返し操作が必要になって手間がかかる。それに対して、本実施形態によれば、利用者は、例えばメニュー選択画面から「声の高さ」調整を選択して、望む高さの音を発声したり、または「これくらいにして」と発声するだけで、所望の合成音声を簡単に生成することができる。なぜなら、当該音声合成装置が、この場合には発声した要求音声の基本周波数を要求内容として抽出して、元の合成音声の基本周波数を抽出した基本周波数に変更した合成音声を生成するからである。
【００３５】
実施形態２．
次に、本発明の第２の実施形態について説明する。図４は、本発明の第２の実施形態の音声合成装置の構成例を示すブロック図である。図４に示す音声合成装置は、図１に示す第１の実施形態と比べて、さらに要求種別抽出部２を備える点が異なっている。
【００３６】
要求種別抽出部２は、入力された要求音声から要求種別を抽出する。要求種別抽出部２は、入力された要求音声を言語的に分析して、該要求音声から要求種別を抽出する。
【００３７】
なお、要求種別抽出部２は、例えば、プログラムに従って動作するＣＰＵ等の情報処理装置とによって実現される。
【００３８】
次に、本実施形態の動作について説明する。図５は、本実施形態の動作の一例を示すフローチャートである。図５に示す例では、まず利用者が、要求種別に関する要求内容を発声した要求音声を入力する（ステップＳ２１）。本実施形態では、第１の実施形態のステップＳ１１のような要求種別情報の別途入力は不要である。
【００３９】
次に、要求求音声受付部１が利用者から入力される要求音声を受け付けると、要求種別抽出部２は、入力された要求音声から要求種別情報を抽出する（ステップＳ２２）。
【００４０】
要求種別抽出部２は、例えば、要求種別と、その要求種別に関連する表現である種別表現（種別キーワード）とを対応づけて記憶しておき、要求音声中に、登録されている種別表現に合致する言語表現が含まれているか否かを判定することによって要求種別を抽出する。この場合、含まれていると判定された種別表現に対応づけて登録されている要求種別を、要求音声中の要求種別として抽出すればよい。
【００４１】
図６は、要求種別と種別キーワードとの対応関係の例を示す説明図である。図６に示すように、例えば、要求種別として「話速」「基本周波数（ピッチ）」「アクセント位置」「短時間パワー」「言い回し」が定義されている場合、それぞれの要求種別に対応づけて、その種別表現（種別キーワード）を、様々なレベルのユーザに合わせて登録しておけばよい。なお、種別表現には、「話速」「スピード」「速さ」といった要求種別を言い表す表現の他に、その要求種別に固有の指示表現（例えば、「速く」「遅く」等）を含めることも可能である。
【００４２】
そして、要求内容抽出部３が、要求種別抽出部２が抽出した要求種別情報に基づいて、要求音声から要求内容を抽出する（ステップＳ１２）。以降の処理は、第１の実施形態と同様である。
【００４３】
以上のように、本実施形態によれば、利用者は要求種別情報を明示的に指定しなくても、要求音声から要求種別を抽出するため、要求すべき種別が分からない場合でも、利用者が求める合成音声を生成することが可能となる。
【００４４】
例えば、最初に出力された合成音声のイントネーションがおかしい場合、専門家であればアクセント位置を変更することを容易に推定できるが、音声の特徴量について詳しくない利用者にとって、どの要求種別をどのように変更すれば所望の音声を得られるかを把握することは困難である。しかし、本実施形態によれば、合成したい音声が「捻じ曲げたのだ」である場合を例にとると、「『捻じ曲げたのだ』のようなイントネーションで」と発声することで、イントネーションをキーワードに要求種別「アクセント位置」が決定されるので、所望の音声を得ることができる。
【００４５】
実施形態３．
次に、本発明の第３の実施形態について説明する。図７は、本発明の第３の実施形態の音声合成装置の構成例を示すブロック図である。図７に示す音声合成装置は、図１に示す第１の実施形態と比べて、さらに変更範囲情報受付部５１を備える点が異なっている。
【００４６】
変更範囲情報受付部５１は、利用者から変更範囲を示す変更範囲情報を受け付けてその情報に基づき変更範囲を設定する。
【００４７】
なお、変更範囲情報受付部５１は、例えば、マウスやキーボード等の情報を入力する情報入力装置と、プログラムに従って動作するＣＰＵ等の情報処理装置とによって実現される。
【００４８】
次に、本実施形態の動作について説明する。図８は、本実施形態の動作の一例を示すフローチャートである。図８に示す例では、ステップＳ１１において要求求音声受付部１が利用者から入力される要求音声を受け付けるのと併せて、変更範囲情報受付部５１が利用者から入力される変更範囲情報を受け付ける（ステップＳ３１）。変更範囲情報受付部５１は、例えば、「Ｔ０［ｍｓｅｃ］〜Ｔ１［ｍｓｅｃ］の区間」といった音声波形に関する時刻情報を入力するための画面を用意し、利用者からの操作に応じて、そのような時刻情報を変更範囲情報として受けとってもよい。また、例えば「Ｎ番目のアクセント句」「Ｎ番目の音節（音素）」といった指定方法も可能である。変更範囲情報受付部５１は、受け付けた変更範囲情報に基づいて、合成音声の変更範囲を設定する。変更範囲情報受付部５１は、例えば、音声合成情報の設定情報（要求内容抽出部３が生成する際に参照する情報）として変更範囲を示す情報を付加することによって、変更範囲を設定してもよい。
【００４９】
その後は、要求内容抽出部３が、要求種別情報を入力として、入力された要求音声から要求内容を抽出し、抽出した要求内容に基づいて音声合成情報を決定する（ステップＳ１２，Ｓ１３）。そして、音声合成部４が、決定した音声合成情報に基づいて、音声合成処理を行い、合成音声を生成する（ステップＳ１４）。このとき、音声合成部４は、元の合成音声から変更範囲受付部５が設定した変更範囲に対してのみ、要求種別情報で指定された種別に関する特徴量を変更した合成音声を生成する。
【００５０】
以上のように、本実施形態によれば、利用者が変更範囲を指定できるため、より自由な変更が可能となる。
【００５１】
なお、本実施形態では、第１の実施形態の構成に加えて変更範囲情報受付部５１を備える例を示したが、例えば、第２の実施形態の構成に加えて変更範囲情報受付部５１を備える構成とすることも可能である。そのような場合であっても、変更範囲情報受付部５１の動作は同様である。
【００５２】
実施形態４．
次に、本発明の第４の実施形態について説明する。図９は、本発明の第４の実施形態の音声合成装置の構成例を示すブロック図である。図９に示す音声合成装置は、図４に示す第２の実施形態に比べて、さらに変更範囲情報抽出部５２を備える点が異なっている。
【００５３】
変更範囲情報抽出部５２は、入力された要求音声から変更範囲を抽出する。変更範囲情報抽出部５２は、入力された要求音声を言語的に分析して、要求音声から変更範囲を抽出する。
【００５４】
次に、本実施形態の動作について説明する。図１０は、本実施形態の動作の一例を示すフローチャートである。図２に示す例では、第２の実施形態と同様に、まず利用者が、要求種別に関する要求内容を発声した要求音声を入力する（ステップＳ２１）。
【００５５】
次に、要求求音声受付部１が利用者から入力される要求音声を受け付けると、要求種別抽出部２が、入力された要求音声から要求種別情報を抽出するとともに（ステップＳ２２）、変更範囲情報抽出部５２が、入力された要求音声から変更範囲を抽出する（ステップＳ３１）。なお、要求種別抽出部２による要求種別の抽出処理と、変更範囲情報抽出部５２による変更範囲の抽出処理は、並列に行っても順次行ってもよい。順次行う場合も順番は問わない。
【００５６】
変更範囲情報抽出部５２は、例えば、入力テキストと要求音声を音声認識した結果をマッチングして、閾値以上のモーラ数の文字列を変更範囲として抽出してもよい。例えば、「今度の土曜日に、お待ちしています。」という入力テキストで生成された合成音声に対し、「おまちしています、のスピードを速く」という要求音声が入力された場合、要求音声内の「おまちしています」が入力テキストと一致するため、その部分を変更範囲として抽出する。なお、本例では、「スピードを速く」というキーワードで全体的な話速という要求種別と、速くするという要求内容が抽出される。
【００５７】
要求種別の抽出処理および変更内容の抽出処理は第２の実施形態と同様である。また、変更範囲の反映処理は第３の実施形態と同様である。
【００５８】
以上のように、本実施形態によれば、利用者は、音声波形に関する時刻情報や位置情報等によって変更範囲を明示的に指定しなくてもよいので、より簡単に利用者が求める合成音声を生成することが可能となる。
【実施例１】
【００５９】
次に、より具体的な例を用いて上記実施形態の音声合成装置を説明する。図１１は、第１の実施例の音声合成装置の概要を示す図である。なお、本実施例は、第２の実施形態のより具体的な例を示すものである。従って、本実施例の基本的な機能・構成は、第２の実施形態と同様である。本実施例では、まず、利用者は修正前の合成音声を試聴し、要求音声をマイクロフォン等に代表される要求音声受付部１に入力する。実際には、準備段階として、利用者が求める内容のテキストを音声合成部４に入力し、生成された合成音声（後に、元の合成音声となる）を試聴する。試聴した結果、望んだ音声と異なっていた場合、修正したい内容を音声で発声したものが要求音声となる。
【００６０】
本実施例では、視聴した合成音声の全体的な話速が望んでいた話速より遅かった場合を想定し、要求音声として、望んでいた話速で発声された「このくらいのスピードで発声して。」という内容の音声が入力されたものとする。要求音声は、要求音声受付部１で受け付けられ、要求種別抽出部２に入力される。
【００６１】
要求音声が入力されると、要求種別抽出部２は、要求音声から要求種別を抽出する。本実施例の要求種別の抽出方法について、図１２を用いて説明する。図１２は、本実施例における要求種別抽出部２の構成例を示すブロック図である。図１２に示すように、本実施例における要求種別抽出部２は、音声認識部２１と要求種別推定部２２とを含む。
【００６２】
音声認識部２１は、要求音声を認識してテキスト化する。テキスト化した要求音声（以下、要求テキストという。）は、要求種別推定部２２に入力される。要求種別推定部２２は、要求テキストから要求種別を推定する。例えば、本実施例においては、「このくらいのスピードで発声して。」という要求テキストが生成されるため、「スピード」という単語をキーワードに予め登録されている要求種別との対応関係を参照することによって、要求種別が「全体的な話速」であると推定される。このようにして、要求種別抽出部２は、要求種別として「全体的な話速」を抽出する。
【００６３】
なお、本実施例では、要求音声を音声認識部２１において認識することで要求種別を抽出するが、第１の実施形態のように、要求種別を受け付ける手段を備え、利用者から要求種別を直接受け付けてもよい。例えば、一般的なパーソナルコンピュータのようなＧＵＩを表示する画面を持つシステムであれば、チェックボックス等で要求種別や変更対象とする特徴量を指定することも可能である。
【００６４】
要求内容抽出部３は、抽出された要求種別に関する要求内容を要求音声から抽出する。本実施例では、抽出された要求種別が「全体的な話速」であるため、要求音声から話速の特徴量を要求内容として抽出する。なお、要求内容抽出部３においても、要求音声の音声認識結果を利用して要求テキストから話速の特徴量に関する指示表現を抽出した上で、抽出された指示表現に基づいて、要求音声または元の合成音声から話速の特徴量を抽出することによって要求内容を決定してもよい。なお、指示表現の抽出は、音声認識部２１による要求音声の音声認識結果を利用して行えばよい。また、要求テキストから指示表現を抽出する処理を行うか否かを設定により切り替えられるようにしてもよい。
【００６５】
特徴量の抽出方法としては、例えば話速であれば、ＨＭＭ音声認識に用いられる音響モデルを利用して音素セグメンテーションを推定し、１秒間に発声される音素の数を計測してもよい。また、基本周波数であれば、自己相関法等の基本（ピッチ）周波数抽出アルゴリズムを利用して抽出することも可能である。
【００６６】
本実施例では、「このくらい」という要求音声であるから要求音声から要求内容を抽出したが、要求テキストから要求内容を推定することも考えられる。例えば、「スピードを速くして」という要求音声であった場合、要求種別が「全体的な話速」、要求内容が「速くする」であるということが要求テキストから推定できる。このような場合には、予め定められた変更量を、要求内容が示す方向性において元合成音声の特徴量に反映させて変更後の特徴量を決定すればよい。
【００６７】
なお、他の要求種別については、次のような具体例が挙げられる。例えば、要求種別が言い回しである場合には、最初に入力されたテキストで使われている言い回しを、要求内容で示す言い回しに変更するなどである。例えば、「ありがとうございます」という入力テキストで合成された音声を、「ありがとうございました」に変更する場合、要求音声として「過去形にして」という音声を入力してもよい。そのような場合には、要求内容抽出部３は、形態素解析結果として時制情報を保有している箇所について過去形に変更したものを変更後の言い回しとして合成音声情報に反映すればよい。
【００６８】
また、例えば、要求種別が全体的あるいはアクセント句毎の部分的な基本周波数の時間変化（基本周波数パタン）である場合には、音節の継続時間長との整合性を保ちつつ、基本周波数パタンを変更すればよい。具体的には、変更前と変更後のパタンにおいて、各音節の継続時間長を正規化した上で各音節の基本周波数を変更する。すなわち、抽出したパタンを、時刻情報に合わせるために時刻方向に正規化したものを変更後の周波数パタンとして合成音声情報に反映すればよい。なお、特徴量の抽出は、基本周波数と同様の方法で可能である。
【００６９】
また、例えば、要求種別がアクセント位置である場合には、基本周波数パタンと同様の方法で基本周波数パタンを抽出し、アクセントを自動推定すればよい。アクセントの自動推定の方法は、例えば、基本周波数が急激に下降する位置（アクセントフォール）をアクセント核であるとする方法を用いてもよい。
【００７０】
また、例えば、要求種別が短時間パワーである場合には、音声波形の短時間の強弱を示し、短時間フレームにおける振幅の自乗の平均値で表される特徴量を抽出し、変更すればよい。
【００７１】
音声合成部４では、抽出された要求種別および要求内容に基づいて、音声合成処理を実行して、合成音声を生成する。本実施例では、要求音声で例示した話速を持った音声が生成されることになる。
【００７２】
なお、本実施例では、修正対象としてＴＴＳを用いて生成される合成音声を想定したが、収録した音声を対象とすることもできる。具体的には、ＰＩＣＯＬＡ等の音声編集アルゴリズムを利用し、収録音声の話速や基本周波数を変更する。ただし、この場合には修正が可能なのは話速か全体的な基本周波数等に限定される。
【実施例２】
【００７３】
次に、本発明の第２の実施例を説明する。図１３は、本実施例の対話型音声合成装置の概要を示す説明図である。なお、本実施例は、第２の実施形態のより具体的な例を示すものである。従って、本実施例の基本的な機能・構成は、第２の実施形態と同様である。なお、本実施例では、生成した合成音声を出力する音声出力部６を含む例を示している。なお、音声出力部６は、上記の各実施形態の音声合成装置においても含まれていてもよい。
【００７４】
また、図１４は、本実施例の対話型音声合成装置の動作の一例を示すフローチャートである。なお、図１４では、利用者側とシステム側と処理を分けて示している。図１４に示すように、まず、初期テキストが音声合成部４に入力され（ステップＳ１０１）、音声合成部４が入力されたテキストから合成音声を生成する（ステップＳ１０２）。生成された合成音声は、ヘッドフォンやスピーカーに代表される音声出力部６から出力され（ステップＳ１０３）、それを利用者が試聴する（ステップＳ１０４）。
【００７５】
利用者が試聴した結果、出力された合成音声が望んだ音声と異なる場合には（ステップＳ１０５のＮｏ）、利用者は要求音声をマイクロフォン等に代表される要求音声受付部１を介して入力する（ステップＳ１０６）。
【００７６】
要求種別抽出部２、要求内容抽出部３、合成音声部４は、それぞれ上述した第１の実施例と同様の方法で、入力された要求音声に基づいて、前回出力した合成音声（ここでは、ステップＳ１０３において出力した元の合成音声）から修正した合成音声を生成し（ステップＳ１０７〜Ｓ１０９）、音声出力部６を介して利用者に向けて出力する（ステップＳ１１０）。
【００７７】
利用者は、出力された合成音声（修正後の合成音声）を視聴する（ステップＳ１１１）。このとき利用者は、再度出力された修正合成音声が望んだ音声かどうかを判定する（ステップＳ１０５に戻る）。望んだ音声ではない場合には（ステップＳ１０５のＮｏ）、上記の動作を繰り返す。最終的に、望んだ音声となった段階で終了する（ステップＳ１０５のＹｅｓ）。このようにして、合成音声の変更を繰り返し、望んだ音声に近づけていく。
【００７８】
本実施例では、第１の実施例と同様に、要求音声から要求種別を抽出することを想定したが、要求種別を受け付ける手段を並列に備え、要求種別の自動抽出と要求種別の直接入力のどちらかを選択するようにしてもよい。また、第４の実施形態における構成のような変更範囲情報抽出部５２を備えていてもよい。また、変更範囲情報抽出部５２を備える場合においても同様に、変更範囲情報受付部５１を並列に備え、変更範囲情報の自動抽出と変更範囲情報の直接入力のどちらかを選択するようにしてもよい。このようにすれば、要求種別情報や変更範囲情報の抽出に何度も失敗するケースを防ぐことができる。
【００７９】
次に、本発明の概要について説明する。図１５は、本発明の概要を示すブロック図である。図１５に示すように、本発明による音声合成装置７００は、要求音声受付手段７０１と、要求内容抽出手段７０２と、音声合成手段７０３とを備えている。
【００８０】
要求音声受付手段７０１（例えば、要求音声受付部１）は、利用者からの合成音声の変更に関する要求を発声した音声を含む音声である要求音声を受け付ける。
【００８１】
要求内容抽出手段７０２（例えば、要求内容抽出部３）は、入力される、元の合成音声から修正を望む情報の種類である要求種別を示す情報である要求種別情報に基づいて、要求音声を分析して、該要求音声から要求種別情報で指定された要求種別に関する要求内容を抽出する。
【００８２】
音声合成手段７０３（例えば、音声合成部４）は、入力された要求種別に関連づけられた特徴について、要求内容抽出手段７０２によって抽出された要求内容を反映した合成音声を生成する。
【００８３】
また、図１６は、本発明による音声合成装置７００の他の構成例を示すブロック図である。図１６に示すように、音声合成装置７００は、さらに音声認識手段７０４や、要求種別抽出手段７０５、変更範囲指定手段７０６、音声出力手段７０７を備えていてもよい。
【００８４】
音声認識手段７０４（例えば、音声認識部２１）は、要求音声を言語的に認識する。
【００８５】
要求種別抽出手段７０５（例えば、要求種別抽出部２）は、要求音声の音声認識結果から要求種別に関係する表現である所定の種別表現を抽出することによって、要求種別を抽出する。また、そのような場合には、要求内容抽出手段７０２は、要求種別抽出手段７０５によって抽出された要求種別を示す要求種別情報に基づいて、要求音声から要求種別情報で指定された要求種別に関する要求内容を抽出してもよい。
【００８６】
また、音声認識手段７０４を備えている場合には、要求内容抽出手段７０２は、要求種別情報に基づいて、要求音声の音声認識結果から要求種別情報で指定された要求種別に関して用いられる所定の指示表現を抽出し、抽出した指示表現が表す変更内容に従って、要求音声から要求種別情報で指定された要求種別に関する要求内容を抽出してもよい。
【００８７】
変更範囲指定手段７０６（例えば、変更範囲情報受付部５１や変更範囲情報抽出部５２）は、変更対象となる範囲を指定する。変更範囲指定手段７０６は、例えば、要求音声の発声内容を示すテキストに元の合成音声の発声内容を示すテキストと一致する部分があるか否かを判定し、元の合成音声における該一致した部分を変更範囲として指定してもよい。
【００８８】
音声出力手段７０７（例えば、音声出力部６）は、音声合成手段７０３が合成した音声を出力する。
【００８９】
また、音声出力手段７０７を備える場合には、要求音声受付手段７０１は、例えば、音声出力手段７０７が出力した合成音声の変更に関する利用者からの要求音声を受け付けてもよい。
【産業上の利用可能性】
【００９０】
本発明は、音声合成技術に関する音響的あるいは言語的な専門知識を持たない利用者が利用するシステムに好適に適用可能である。例えば、自動電話応答システムや、テレビ番組およびラジオ番組における合成音声作成用システム等に好適に適用される。
【符号の説明】
【００９１】
１  要求音声受付部
２  要求種別抽出部
２１  音声認識部
２２  要求種別推定部
３  要求内容抽出部
４  音声合成部
５１  変更範囲情報受付部
５２  変更範囲情報抽出部
６  音声出力部
７００  音声合成装置
７０１  要求音声受付手段
７０２  要求内容抽出手段
７０３  音声合成手段
７０４  音声認識手段
７０５  要求種別抽出手段
７０６  変更範囲指定手段
７０７  音声出力手段
【図１】
2012108378.tif 000003
【図２】
2012108378.tif 000004
【図３】
2012108378.tif 000005
【図４】
2012108378.tif 000006
【図５】
2012108378.tif 000007
【図６】
2012108378.tif 000008
【図７】
2012108378.tif 000009
【図８】
2012108378.tif 000010
【図９】
2012108378.tif 000011
【図１０】
2012108378.tif 000012
【図１１】
2012108378.tif 000013
【図１２】
2012108378.tif 000014
【図１３】
2012108378.tif 000015
【図１４】
2012108378.tif 000016
【図１５】
2012108378.tif 000017
【図１６】
2012108378.tif 000018