(57)【要約】  韻律作成装置において、加工の対象となる韻律単位と隣の韻律単位との間の目標コスト及び連結コストを算出し、これらのコストに基づいて周波数パターンの候補を決めていたが、多くの計算が必要であり、前後の韻律単位との音高のつながりが不連続とならない周波数パターンの候補を効率的に提示するものではなかった。  本発明によれば、指定された言語情報に対応して選択された周波数パターンに基づいて提示候補パターンを決定する際、指定された周波数の始端値及び終端値と選択された周波数パターンの始端値及び終端値それぞれの距離に基づくパターン間距離を算出し、算出したパターン間距離に基づいて提示候補パターンを決定するので、指定された始端値及び終端値の両方に対応した始端値及び終端値を持つ周波数候補パターンの決定を行うことができ、前後の韻律単位との音高のつながりが良い周波数パターンの候補を効率よく提示することができる。
2017168544.tif 000002
【特許請求の範囲】
【請求項１】
韻律単位ごとの言語情報と前記言語情報に対応する周波数パターンとを記憶する音声データベースから、指定された言語情報と一致する言語情報に対応する周波数パターンを選択する第一選択部と、
前記第一選択部によって選択された周波数パターンの周波数の始端値と前記指定された言語情報に対応する周波数の始端値との距離、及び前記第一選択部で選択された周波数パターンの周波数の終端値と前記指定された言語情報に対応する周波数の終端値との距離に基づくパターン間距離を算出する算出部と、
前記第一選択部によって選択された周波数パターンから前記算出部に算出されたパターン間距離が閾値以下の周波数パターンを選択する第二選択部と、
前記第二選択部に選択された周波数パターンに基づいて提示候補周波数パターンを決定する決定部と、
を備えた韻律候補提示装置。
【請求項２】
前記決定部は、前記第二選択部によって選択された周波数パターンをクラスタリングし、各クラスタの周波数パターンに基づいてクラスタ毎の代表周波数パターンを生成し、生成した前記代表周波数パターンを提示候補周波数パターンとして決定する請求項１に記載の韻律候補提示装置。
【請求項３】
前記決定部は、前記各クラスタの前記周波数パターンをランダムに選択して前記クラスタ毎の前記代表周波数パターンとする請求項２に記載の韻律候補提示装置。
【請求項４】
前記決定部は、前記各クラスタの前記周波数パターンを平均化し、前記代表周波数パターンとする請求項２に記載の韻律候補提示装置。
【請求項５】
前記決定部は、前記各クラスタの前記周波数パターンを平均化し、前記平均化した周波数パターンと距離が近い前記周波数パターンを前記代表周波数パターンとする請求項２に記載の韻律候補提示装置。
【請求項６】
前記決定部は、前記第二選択部によって選択された周波数パターンの全てを提示候補周波数パターンとして決定する請求項１に記載の韻律候補提示装置。
【請求項７】
前記決定部は、前記音声データベースから前記指定された言語情報に対応する音節情報を入力し、前記第二選択部によって選択された周波数パターンから、前記選択された周波数パターンに対応した音節情報が前記指定された言語情報に対応する音節情報と一致する周波数パターンを抽出して、抽出した周波数パターンをクラスタリングし、各クラスタの周波数パターンに基づいてクラスタ毎の代表周波数パターンを生成し、生成した前記代表周波数パターンを提示候補周波数パターンとして決定する請求項１に記載の韻律候補提示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合成音声を作成する際に韻律の候補を提示する韻律候補提示装置に関する。
【背景技術】
【０００２】
文章などのテキスト情報に対応した音声を合成する音声合成技術として、音声を合成する韻律単位を音声データベースに蓄えておき、入力された文に基づいて韻律単位ごとに加工、合成することにより、入力文に対応した音声を作成するものがある。同じ文でもアクセントなど音の高さが異なると再生された文の印象が大きく変わるので、入力文に適した合成音声を作成する際に、文を構成する韻律単位について音の高さを表す複数の周波数パターンの候補を提示し、その中から、文の意図に沿った印象となる周波数パターンをユーザが選択することで合成音声を作成していく方法が提案されている。例えば特許文献１には、ユーザが入力した文の中におけるある韻律単位に対応する周波数パターンを選択し、その周波数パターンに対応した合成音声を聴きながら韻律単位の周波数パターンの調整を繰り返すことにより目標とする合成音声を作成する韻律作成装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１０３６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような韻律作成装置では、周波数パターンの候補を決める際、加工の対象となる韻律単位と隣の韻律単位との間の目標コストおよび連結コストを算出し、これらのコストに基づいて周波数パターンの候補を決めている。この目標コストおよび連結コストの計算は、加工対象である韻律単位の最初の部分とその韻律単位の前の韻律単位との間、あるいは加工対象である韻律単位の最後の部分とその韻律単位の後の韻律単位との間それぞれについて行われており、それらの計算結果をもとに周波数パターンの候補を決めるようにしている。この場合、多くの目標コストおよび連結コストの計算が必要であり、前後の韻律単位との音高のつながりが不連続とならない周波数パターンの候補を効率的に提示するものではなかった。【０００５】
本発明は、上記課題を解決するためになされたものであり、前後の韻律単位との音高のつながりが良い周波数パターンの候補を効率よく提示できる韻律候補提示装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
韻律単位ごとの言語情報と言語情報に対応する周波数パターンとを記憶する音声データベースから、指定された言語情報と一致する言語情報に対応する周波数パターンを選択する第一選択部と、第一選択部によって選択された周波数パターンの周波数の始端値と指定された言語情報に対応する周波数の始端値との距離、及び第一選択部で選択された周波数パターンの周波数の終端値と指定された言語情報に対応する周波数の終端値との距離に基づくパターン間距離を算出する算出部と、第一選択部によって選択された周波数パターンから前記算出部に算出されたパターン間距離が閾値以下の周波数パターンを選択する第二選択部と、第二選択部に選択された周波数パターンに基づいて提示候補音声データを決定する決定部とを備えたものである。
【発明の効果】
【０００７】
本発明によれば、指定された言語情報に対応して選択された周波数パターンに基づいて提示候補パターンを決定する際、指定された周波数の始端値及び終端値と選択された周波数パターンの始端値及び終端値それぞれの距離に基づくパターン間距離を算出し、算出したパターン間距離に基づいて提示候補パターンを決定するので、指定された始端値及び終端値の両方に対応した始端値及び終端値を持つ周波数候補パターンの決定を行うことができ、前後の韻律単位との音高のつながりが良い始端値及び終端値を持つ周波数パターンの候補を効率よく提示することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施の形態１に係る韻律候補提示装置の構成を示す構成図である。
【図２】本実施の形態１に係る音声データベースに記憶された音声データの構成を示す説明図である。
【図３】本実施の形態１に係る韻律候補提示装置に指定される指定言語情報及び指定周波数情報の構成を示す説明図である。
【図４】本実施の形態１に係る韻律候補提示装置１の動作を示すフローチャートである。
【図５】実施の形態１に係る韻律候補提示装置１が提示候補音声データ１０４を決定する動作を行う際の、各ステップにおいて選択あるいは生成される周波数パターンの例を示した説明図である。
【図６】本実施の形態２に係る韻律候補提示装置１の構成を示す構成図である。
【図７】本実施の形態２に係る音声データベースに記憶された音声データの構成を示す説明図である。
【図８】本実施の形態２に係る韻律候補提示装置に指定される指定言語情報、指定周波数情報及び指定音節情報の構成を示す説明図である。
【図９】本実施の形態に係る韻律候補提示装置のハードウェア構成図である。
【発明を実施するための形態】
【０００９】
実施の形態１
図１は、本実施の形態１に係る韻律候補提示装置１の構成を示す構成図であり、韻律候補提示装置１は、音声データベース２０に接続されている。
図２は、本実施の形態１に係る音声データベース２０に記憶された音声データ２００の構成を示す説明図である。音声データベース２０は、複数の音声データ２００を格納している。音声データベース２０に格納された音声データ２００は、図２に示すようにＩＤ２０１、音節数２１１及びアクセント型２１２からなるＤＢ言語情報２１０、及びＤＢ周波数パターン２２０で構成される。ＤＢ周波数パターン２２０は、人が発声した音声から抽出して得た声の高さを周波数として時系列に表したものである。
音声データベース２０は、例えば１０万種類の韻律単位の音声データ２００を記憶する。図２の例では、例えばＩＤが「１」の音声データは、音節数が「３」、アクセント型が「０」、ＤＢ周波数パターンが時系列順に「１００Ｈｚ、１１０Ｈｚ、１２０Ｈｚ、１２５Ｈｚ、１３０Ｈｚ、１２８Ｈｚ」という情報で構成されている。
このような音声データ２００を格納した音声データベース２０が図１に示すように韻律候補提示装置１に接続されている。
【００１０】
韻律候補提示装置１には、提示したい韻律単位を指定するための情報として、韻律単位ごとに対応した指定言語情報３１０及び指定周波数情報３２０が入力される。
図３は、韻律候補提示装置１に入力される指定言語情報３１０及び指定周波数情報３２０の構成例を示す説明図である。図３の例では、指定した韻律単位に対応した情報が示されている。指定言語情報３１０は音節数３１１及びアクセント型３１２からなるとともに、この指定言語情報３１０には指定周波数情報３２０が対応づけられている。指定周波数情報３２０には、指定する韻律単位の音の高さの始端値ｔ１及び終端値ｔ２の周波数に関する情報が含まれている。
これらの情報は、例えばユーザによって指定された韻律単位を解析することによって得ることができる。また、これらの値は、音声合成するテキストを参照してユーザが入力するようにしてもよいし、下記参考文献に示される技術を適用した装置を用いて得て、入力するようにしてもよい。
参考文献１：特開２００３−４４９７３号公報
参考文献２：特開２０１２−１０８３６０号公報
【００１１】
韻律候補提示装置１は、上記のような指定言語情報３１０及び指定周波数情報３２０を入力し、これらの情報によって指定される韻律単位に対応する周波数パターンの候補を音声データベース２０に格納された音声データ２００をもとに決定し、提示候補音声データ１０４として出力するものであり、以下のように構成される。すなわち、韻律候補提示装置１は、指定言語情報３１０に対応する音声データ２００を音声データベース２０から選択して第一音声データ１０１とする第一選択部１１、第一選択部１１によって選択された第一音声データ１０１と指定周波数情報３２０に基づいてパターン間距離１０２を算出する算出部１２、算出部１２が算出したパターン間距離１０２が閾値以下の周波数パターンを選択して選択した周波数パターンに対応する音声データを第二音声データ１０３とする第二選択部１３、第二選択部１３が選択した第二音声データ１０３に含まれる周波数パターン基づいて提示候補周波数パターンを含む提示候補音声データ１０４を決定する決定部１４とから構成される。
【００１２】
第一選択部１１は、指定言語情報３１０と対応する音声データ２００を音声データベース２０から選択して第一音声データ１０１とする。
具体的には、第一選択部１１は、ユーザによって指定された韻律単位に関する指定言語情報３１０が入力されると、音声データベース２０に格納された音声データ２００の中から、指定言語情報３１０の音節数３１１及びアクセント型３１２が一致する音節数２１１及びアクセント型２１２を有する音声データ２００を全て選択するものである。この音声データ２００にはＤＢ周波数パターン２０３が含まれており、第一選択部１１により選択された音声データは第一音声データ１０１として算出部１２及び第二選択部１３に出力される。
【００１３】
算出部１２は、第一選択部１１によって選択された第一音声データ１０１と指定周波数情報３２０に基づいてパターン間距離１０２を算出する。
具体的には、算出部１２は、ユーザによって指定された韻律単位に関する指定周波数情報３２０が入力されると、第一選択部１１によって選択された第一音声データ１０１に含まれるＤＢ周波数パターン２２０の周波数の始端値ｓ１と指定された指定周波数情報３２０に含まれる始端値ｔ１との距離、および第一選択部１１によって選択された第一音声データ１０１に含まれるＤＢ周波数パターン２２０の周波数の終端値ｓ２と指定された周波数情報３２０に含まれる終端値ｔ２との距離に基づくパターン間距離１０２を算出するものである。ここで、ＤＢ周波数パターン２２０の始端値ｓ１はＤＢ周波数パターン２２０の最初の周波数を指し、ＤＢ周波数パターン２２０の終端値ｓ２はＤＢ周波数パターン２２０の最後の周波数を指す。算出部１２により算出されたそれぞれの第一音声データ１０１に対応するパターン間距離１０２は第二選択部１３に出力される。
ここで、パターン間距離１０２は、指定周波数情報３２０の始端値ｔ１とＤＢ周波数パターン２２０の始端値ｓ１の周波数の数値の近さ及び指定周波数情報３２０の終端値ｔ２とＤＢ周波数パターン２２０の始端値ｓ２の周波数の数値の近さを総合的に評価するために算出した値である。パターン間距離１０２をｄとして、パターン間距離１０２は例えば次の式で求められる。
【００１４】
【数１】
2017168544.tif 000003
パターン間距離１０２は、それぞれの始端値と終端値の距離である２つの要素の非類似性を表す尺度となるもので、上の式に限らず、例えば、始端値及び終端値それぞれの差分の絶対値を算出して足して求めてもよい。このように、指定された周波数の始端値ｔ１及び終端値ｔ２と選択された周波数パターンの始端値ｓ１及び終端値ｓ２それぞれの距離に基づくパターン間距離１０２を算出するものにおいて、指定する始端値ｔ１及び終端値ｔ２を対象とする韻律単位の前及び後の韻律単位の音高に対応した値とすることにより、対象とする韻律単位とその前及び後の韻律単位との音高のつながりの良さを数値として表すことができる。
【００１５】
第二選択部１３は、算出部１２が算出したパターン間距離１０２が閾値以下の第一音声データ１０１を選択する。
具体的には、第二選択部１３は、第一選択部１１によって選択された第一音声データ１０１の中から、算出部１２が算出した第一音声データ１０１に対応するパターン間距離１０２が閾値以下である周波数パターンを含む音声データを選択するものである。第二選択部１３で選択された音声データは第二音声データ１０３として決定部１４に出力される。
ここで、閾値は、算出部１２が算出したパターン間距離１０２に基づいてパターン間距離１０２が小さいもの第一音声データ１０１を絞り込むための値であり、例えば、ユーザが第二音声データ１０３として選択したい周波数パターンの数や、許容できるパターン間距離１０２の上限を指定することにより決定する。パターン間距離１０２の閾値を用いて第一音声データ１０１を絞り込むことにより、前後の韻律単位との音高のつながりが良い始端値及び終端値を持つ周波数パターンを選択して第二音声データ１０３とすることができる。
【００１６】
決定部１４は、第二選択部１３が選択した第二音声データ１０３に基づいて、指定された韻律単位に対応する周波数パターンの候補である提示候補音声データ１０４を決定する。
具体的には、決定部４は、第二選択部１３によって選択された第二音声データ１０３に含まれる各周波数パターンをクラスタリングするとともに、各クラスタ内の周波数パターンを平均化した代表周波数パターンを生成し、この生成した代表周波数パターンを提示候補周波数パターンとして決定するものである。そして、決定部１４で決定された提示候補音声データ１０４は韻律候補提示装置１から出力され、この提示候補周波数パターンに指定言語情報３１０が付与された提示候補音声データ１０４が韻律候補提示装置１から出力され、この提示候補音声データ１０４をもとにした韻律単位の合成音がユーザに提供されることになる。
なお、この決定部１４で実行するクラスタリングの手法としては、例えばＫ−ｍｅａｎｓ手法がある。決定部１４で実行するクラスタリングは、第二音声データ１０３に含まれる周波数パターンを相互の類似度に基づきグループ分けすることによって共通の性質を有するグループに分類することができればよいため、Ｋ−ｍｅａｎｓ手法に限らず、下記参考文献３に示す手法にて分類してもよい。
参考文献３：元田浩、他著、「データマイニングの基礎」オーム株式会社、２００６年１２月２０日発行
また、各クラスタ分けの方法としては、周波数パターン間の距離が近いもの同士をクラスタ分けする方法に限らず、周波数パターン間で時間変化の距離が近い周波数パターン同士をクラスタ分けする方法でもよい。この場合の周波数パターンの時間変化とは、周波数パターン内の要素の差分により求める。例えば、図２のＩＤが「１」のＤＢ周波数パターン２２０が「１００  １１０  １２０  １２５  １３０  １２８」となっているときは、時間変化は「１０  １０  ５  ５  −２」となる。この時間変化の距離が近いもの同士をクラスタ分けすれば、時間変化が似たものをクラスタ分けできる。
なお、提示候補周波数パターンは、各クラスタ中の周波数パターンをもとに決定すればよいものであり、上述したように各クラスタ内の周波数パターンを平均化して求めた代表周波数パターンを提示候補周波数パターンと決定する他に、例えば各クラスタ内の複数の周波数パターンを平均して求めた周波数パターンに距離が最も近い周波数パターンを提示候補周波数パターンとして決定してもよい。さらには、各クラスタの中で第二音声データ１０３のＩＤ２０１が最も小さい第二音声データ１０３に含まれる周波数パターン、あるいは各クラスタの中の第二音声データ１０３をランダムに選択し、その第二音声データ１０３に含まれる周波数パターンを提示候補周波数パターンとして決定するようにしてもよい。
【００１７】
次に、実施の形態１の韻律候補提示装置１の動作について説明する。
図４は、本実施の形態に係る韻律候補提示装置１の動作を示すフローチャートである。
【００１８】
まず、ステップＳ１にて、第一選択部１１にユーザによって指定された韻律単位に関する指定言語情報３１０が入力される。指定言語情報３１０は、音節数３１１及びアクセント型３１２からなる。
例えば、図３に示すような指定言語情報３１０である音節数「３」及びアクセント型「０」という情報が第一選択部１１に入力される。
【００１９】
次に、ステップＳ２にて、第一選択部１１は、ステップＳ１にて入力された指定言語情報３１０と対応する音声データ２００を音声データベース２０から選択して第一音声データ１０１とする。第一選択部１１は、ユーザによって指定された韻律単位に関する指定言語情報３１０が入力されると、音声データベース２０に格納された音声データ２００の中から、指定言語情報３１０の音節数３１１及びアクセント型３１２が一致する音節数２１１及びアクセント型２１２を有する音声データ２００を全て選択する。第一選択部１１で選択された音声データは、第一音声データ１０１として算出部１２及び第二選択部１３に出力される。
音声データベース２０に格納された音声データ２００の中から、指定言語情報３１０の音節数３１１及びアクセント型３１２が一致する音節数２１１及びアクセント型２１２を有する音声データ２００を選択することにより、多数の音声データ２００を有する音声データベース２０から第二選択部１３にて処理する音声データの数を減らすことができる。
例えば、ステップＳ１にて入力された指定言語情報３１０が、図３に示すように音節数「３」、アクセント型「０」である場合には、図２に示す音声データ２００の中から、指定言語情報３１０と対応するＤＢ言語情報２１０である音節数「３」及びアクセント型「０」を有するＩＤ２０１が「１」及び「５」を含む音声データを選択し、第一音声データ１０１とする。
図５は、実施の形態１に係る韻律候補提示装置１が提示候補音声データ１０４を決定する動作を行う際の、各ステップにおいて選択あるいは生成される周波数パターンの例を示した説明図である。図５の縦軸は周波数、横軸は時間を表しており、音声データのＤＢ周波数パターン２２０をグラフに表している。ステップＳ２の動作により指定言語情報３１０に対応する第一音声データ１０１として８個の音声データが選択され、その８個の音声データに対応した周波数パターンを図５の８本の線で第一周波数パターン１０１Ｐとして示している。尚、音声データベース２０には多数の音声データ２００が格納されているため、指定言語情報３１０と対応して選択される音声データは多数となり、対応する周波数パターンも多数となるが、図５では簡単のため８個とした。
【００２０】
また、ステップＳ３にて、算出部１２にユーザによって指定された韻律単位に関する指定周波数情報３２０が入力される。指定周波数情報３２０には、指定する韻律単位の音の高さの始端値ｔ１及び終端値ｔ２の周波数に関する情報が含まれている。
例えば、図３に示すように始端値ｔ１が「１４１Ｈｚ」及び終端値ｔ２が「１２３Ｈｚ」である指定周波数情報３２０が算出部１２に入力される。
【００２１】
そして、ステップＳ４にて、算出部１２は、ステップＳ２にて第一選択部１１から出力された第一音声データ１０１及びステップＳ４にて入力された指定周波数情報３２０に基づいてパターン間距離１０２を算出する。算出部１２は、ユーザによって指定された韻律単位に関する指定周波数情報３２０が入力されると、第一選択部１１によって選択された第一音声データ１０１に含まれるＤＢ周波数パターン２２０の周波数の始端値ｓ１と指定された周波数情報３２０に含まれる始端値ｔ１との距離、および第一選択部１１によって選択された第一音声データ１０１に含まれるＤＢ周波数パターン２２０の周波数の終端値ｓ２と指定された周波数情報３２０に含まれる終端値ｔ２との距離に基づくパターン間距離１０２を算出する。
このように、指定された周波数の始端値ｔ１及び終端値ｔ２と選択された周波数パターンの始端値ｓ１及び終端値ｓ２それぞれの距離に基づくパターン間距離１０２を算出するものにおいて、指定する始端値ｔ１及び終端値ｔ２を対象とする韻律単位の音高に対応した値とすることにより、前及び後の韻律単位の音高のつながりの良さを数値として表すことができる。すなわち、対象とする韻律単位の最初とその前の韻律単位の最後との音高のつながり、および、対象とする韻律単位の最後とその後の韻律単位の最初との音高のつながりの両方を反映した評価値を得ることができる。
算出部１２で算出されたパターン間距離１０２は第二選択部１３に出力される。
【００２２】
次にステップＳ５にて、第二選択部１３は、ステップＳ２にて第一選択部１１から出力された第一音声データ１０１の中から、ステップＳ４にて算出部１２により算出されたパターン間距離１０２が閾値以下の周波数パターンを選択する。
パターン間距離１０２の閾値を用いて第一音声データ１０１を絞り込むことにより、前および後の両方の韻律単位との音高のつながりが良い始端値及び終端値を持つ周波数パターンを選択して第二音声データ１０３とすることができる。
例えば図５に示す例では、ステップＳ５の動作により、第一周波数パターン１０１Ｐである８個の周波数パターンの中から、パターン間距離１０２が閾値以下であるものとして５個の周波数パターンが選択され、これが第二周波数パターン１０３Ｐとして示されている。この選択動作によりパターン間距離１０２が小さい周波数パターンが選択されるものであるが、選択される第二周波数パターン１０３Ｐの数は設定された閾値によって変わる。
このように第二選択部１３で選択された第二周波数パターン１０３Ｐを含む音声データは、第二音声データ１０３として決定部１４に出力される。
【００２３】
そして、ステップＳ６にて、決定部１４は、第二選択部１３が選択した第二音声データ１０３に基づいて指定された周波数パターンの候補である提示候補音声データ１０４を決定する。
決定部４は、第二選択部１３から出力された第二音声データ１０３に含まれる各周波数パターンをクラスタリングするとともに、各クラスタ内の周波数パターンを平均化した代表周波数パターンを生成し、生成した代表周波数パターンを提示候補周波数パターンとして決定する。決定部１４で決定された提示候補周波数パターンを含む提示候補音声データ１０４が韻律候補提示装置１から出力され、この提示候補音声データ１０４をもとにした韻律単位の合成音がユーザに提供される。
例えば、図５に示す例では、ステップＳ６における決定部１４の動作により、５個の第二周波数パターン１０３Ｐが３個のクラスタと２個のクラスタに分けられ、それぞれのクラスタで生成された代表周波数パターンが２つ点線で示されている。この２つの代表周波数パターンは提示候補周波数パターン１０４Ｐとして決定される。
【００２４】
韻律候補提示装置１から出力された提示候補音声データ１０４をもとにして、韻律単位の合成音がユーザに提供されることになり、音高のつながりがよい合成音が選択的にユーザに提供され、ユーザは適切な合成音を選択することができる。
【００２５】
以上のように、実施の形態１に係る韻律候補提示装置１によれば、指定された言語情報に対応して選択された周波数パターンに基づいて提示候補パターンを決定する際、指定された周波数の始端値及び終端値と選択された周波数パターンの始端値及び終端値それぞれの距離に基づくパターン間距離を算出し、算出したパターン間距離に基づいて提示候補パターンを決定するので、指定された始端値及び終端値の両方に対応した始端値及び終端値を持つ周波数候補パターンの決定を行うことができ、前後の韻律単位との音高のつながりが良い始端値及び終端値を持つ周波数パターンの候補を効率よく提示することができる。また、決定部１４において第二音声データ１０３に含まれる周波数パターンをクラスタリングし、共通の性質を有するグループごとに代表周波数パターンを生成して提示候補周波数パターンとするので効率よく音声データの絞り込みが行える。
【００２６】
実施の形態２．
次に、実施の形態２に係る韻律候補提示装置１について説明する。実施の形態１では、提示したい韻律単位を指定するための情報として、韻律単位ごとに対応した指定言語情報３１０及び指定周波数情報３２０が入力される場合を示したが、実施の形態２では、韻律単位ごとに対応した指定言語情報３１０、指定周波数情報３２０に加え、指定音節情報３３０が入力される場合を示す。
図６は、本実施の形態２に係る韻律候補提示装置１の構成を示す構成図であり、韻律候補提示装置１は、音声データベース２１に接続されている。この実施の形態２では、音声データベース２１と決定部１４の構成及びステップＳ６が異なり、他の部分は実施の形態１と同様である。
【００２７】
音声データベース２１は、複数の音声データ２００を格納している。音声データベース２０に格納された音声データ２００は、図７に示すようにＩＤ２０１、音節数２１１及びアクセント型２１２からなるＤＢ言語情報２１０、ＤＢ周波数パターン２２０およびＤＢ音節情報２３０で構成される。ＤＢ音節情報２３０は、音節ごとの母音と子音の情報を表したものである。図７の例では、例えばＩＤが「１」の音声データは、音節数が「３」、アクセント型が「０」、ＤＢ周波数パターンが時系列順に「１００Ｈｚ、１１０Ｈｚ、１２０Ｈｚ、１２５Ｈｚ、１３０Ｈｚ、１２８Ｈｚ」、ＤＢ音節情報２３０が「ｋｕ  ｄａ  ｓａ  ｉ」という情報で構成されている。
このような音声データ２００を格納した音声データベース２１が図６に示すように韻律候補提示装置１に接続されている。
【００２８】
韻律候補提示装置１には、提示したい韻律単位を指定するための情報として、韻律単位ごとに対応した指定言語情報３１０、指定周波数情報３２０及び指定音節情報３３０が入力される。
図８は、韻律候補提示装置１に入力される指定言語情報３１０、指定周波数情報３２０及び指定音節情報３３０の構成例を示す説明図である。図８の例では、指定した韻律単位に対応した情報が示されている。指定言語情報３１０は音節数３１１及びアクセント型３１２からなるとともに、この指定言語情報３１０には指定周波数情報３２０及び指定音節情報３３０が対応づけられている。
【００２９】
韻律候補提示装置１は、上記のような指定言語情報３１０、指定周波数情報３２０及び指定音節情報３３０を入力し、これらの情報によって指定される韻律単位に対応する周波数パターンの候補を音声データベース２１に格納された音声データ２００をもとに決定し、提示候補音声データ１０４として出力するものである。決定部１４以外の構成は実施の形態１と同様である。
【００３０】
決定部１４は、ユーザによって指定された韻律単位に関する指定音節情報３３０が入力されると、第二選択部１３が選択した第二音声データ１０３の中から指定音節情報３３０と一致するＤＢ音節情報２３０と対応する音声データに基づいて、実施の形態１と同様にして指定された韻律単位に対応する周波数パターンの候補である提示候補音声データ１０４を決定する。
【００３１】
実施の形態２の韻律候補提示装置１は、図４のフローチャートと同様の動作を行うが、ステップＳ６の決定部１４の動作が異なる。ステップＳ６において決定部１４は、ユーザによって指定された韻律単位に関する指定音節情報３３０が入力されると、第二選択部１３が選択した第二音声データ１０３の中から指定音節情報３３０と一致するＤＢ音節情報２３０と対応する音声データだけを抽出する。そしてこの抽出した音声データに含まれる周波数パターンを対象に、クラスタリングを行う。例えば、図８の指定音節情報３３０「ｈｙｏ  ｏ  ｊｉ」と一致するＤＢ音節情報２３０は、図７ではＩＤ２１０「４」であり、同様の音声データが他に複数存在するので、それら音声データに含まれる周波数パターンを対象にクラスタリングを行う。クラスタリング以降の動作は実施の形態１と同様である。
【００３２】
以上のように、実施の形態２係る韻律候補提示装置１によれば、決定部１４においてＤＢ音節情報２３０と指定音節情報３３０が一致する第二音声データ１０３を抽出して、その音声データに含まれる周波数パターンに基づいて提示候補周波数パターンを決定し、提示候補周波数パターンに対応する音声データを提示候補音声データ１０４として出力するので、音節情報が一致した音声データを提示することができる。
【００３３】
実施の形態３．
この実施の形態３における韻律候補提示装置１には、提示したい韻律単位を指定するための情報として、実施の形態２のように韻律単位ごとに対応した指定言語情報３１０、指定周波数情報３２０及び指定音節情報３３０が入力されるのに加え指定情報が入力される。
指定情報は、指定言語情報３１０に対応する声の高さの程度を表し、数値や記号で表される。指定情報はユーザによって指定される音声データを指定するための情報であり、例えば、周波数パターンのアクセント部分の周波数によって「１：低い、２：やや低い、３：普通、４：やや高い、５：高い」など数値に意味を持たせて設定してもよい。また、指定情報を記号で表し、記号により＃：弱い、＄：普通、％：強いなどと、声の高さの程度を表してもよい。
【００３４】
指定情報は決定部１４に入力されると、決定部１４は、決定した提示候補音声データ１０４から指定情報と一致する数値を持つ提示候補音声データ１０４を出力し、この音声データが韻律単位の合成音がユーザに提供されることになる。
【００３５】
実施の形態３に係る韻律候補提示装置１によれば、決定部１４により決定された提示候補音声データ１０４から指定情報３４０と一致する音声データを指定し、指定音声データとすることにより、実施の形態３よりも声の高さを指定してより少ない音声データを選択して効率よく提示することができる。
【００３６】
実施の形態４．
次に、実施の形態４に係る韻律候補提示装置１について説明する。実施の形態１では、決定部１４は第二選択部１３によって選択された第二音声データ１０３に含まれる各周波数パターンをクラスタリングするとともに、各クラスタ内の周波数パターンを平均化した代表周波数パターンを生成し、この生成した代表周波数パターンを提示候補周波数パターンとして決定した。実施の形態４では、クラスタリングすることなく第二選択部１３によって選択された第二音声データ１０３に含まれる周波数パターンを全て代表周波数パターンとし、この代表周波数パターンを提示候補周波数パターンとして決定する。
この実施の形態４では、決定部１４の構成及びステップＳ６動作が実施の形態１とは異なり、他の部分は実施の形態１と同様である。
【００３７】
実施の形態４による決定部１４は、ステップＳ６において、第二選択部１３から出力された第二音声データ１０３に含まれる各周波数パターンの全てを代表周波数パターンとし、代表周波数パターンを提示候補周波数パターンとして決定する。決定部１４で決定された提示候補周波数パターンを含む提示候補音声データ１０４が韻律候補提示装置１から出力され、この提示候補音声データ１０４をもとにした韻律単位の合成音がユーザに提供される。
【００３８】
以上のように、第二音声データ１０３全てを提示候補周波数パターンとすることで、提示するパターン数は増えるものの、変化の幅を広めにした候補を提示できる。
【００３９】
なお、上記いずれの実施の形態においても、音声データ２００が第一選択部１１へ送られ、その後各部が音声データを受け渡していくものを示したが、音声データそのものを受け渡しせず、音声データ２００のＩＤ２０１の情報を各部間で送受することにより各部がＩＤ２０１に対応する音声データのうちの必要な情報を音声データベース２０から得るようにしてもよい。
【００４０】
上記いずれの実施の形態はいずれも図９に示すハードウェア構成において実現される。図９は、ハードウェアで実現する場合の構成図である。第一選択部１１、算出部１２、第二選択部１３、決定部１４は、演算装置であるプロセッサ５０１で実行される。第一音声データ１０１、パターン間距離１０２、第二音声データ１０３は必要に応じてメモリ５０２に記憶される。韻律候補提示装置１への入力となる指定言語情報３１０、指定周波数情報３２０、指定音節情報３３０は、入力装置である入力インターフェース５０３により入力される。韻律候補提示装置１からの出力となる提示候補音声データ１０４は、出力装置である出力インターフェース５０４により出力される。音声データベース２０、２１は、記憶装置であるデータベース５０５に記憶される。なお、演算装置の処理は、電気回路として実現してもよい。
【符号の説明】
【００４１】
１０．韻律候補提示装置
１１．第一選択部
１２．算出部
１３．第二選択部
１４．決定部
１０１．第一音声データ
１０２．パターン間距離
１０３．第二音声データ
１０４．提示候補音声データ
２０．音声データベース
２００．音声データ
２１０．ＤＢ言語情報
２２０．ＤＢ周波数パターン
３１０．指定言語情報
３２０．指定周波数情報
【図１】
2017168544.tif 000004
【図２】
2017168544.tif 000005
【図３】
2017168544.tif 000006
【図４】
2017168544.tif 000007
【図５】
2017168544.tif 000008
【図６】
2017168544.tif 000009
【図７】
2017168544.tif 000010
【図８】
2017168544.tif 000011
【図９】
2017168544.tif 000012
【手続補正書】
【提出日】平成28年12月19日(2016.12.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
韻律単位ごとの言語情報と前記言語情報に対応する周波数パターンとを記憶する音声データベースから、指定された言語情報と一致する言語情報に対応する周波数パターンを選択する第一選択部と、
前記第一選択部によって選択された周波数パターンの周波数の始端値と前記指定された言語情報に対応する周波数の始端値との距離と、前記第一選択部で選択された周波数パターンの周波数の終端値と前記指定された言語情報に対応する周波数の終端値との距離とを加算してなるパターン間距離を算出する算出部と、
前記第一選択部によって選択された周波数パターンから前記算出部に算出されたパターン間距離が閾値以下の周波数パターンを選択する第二選択部と、
前記第二選択部に選択された周波数パターンに基づいて提示候補周波数パターンを決定する決定部と、
を備えた韻律候補提示装置。
【請求項２】
前記決定部は、前記第二選択部によって選択された周波数パターンをクラスタリングし、各クラスタの周波数パターンに基づいてクラスタ毎の代表周波数パターンを生成し、生成した前記代表周波数パターンを提示候補周波数パターンとして決定する請求項１に記載の韻律候補提示装置。
【請求項３】
前記決定部は、前記各クラスタの前記周波数パターンをランダムに選択して前記クラスタ毎の前記代表周波数パターンとする請求項２に記載の韻律候補提示装置。
【請求項４】
前記決定部は、前記各クラスタの前記周波数パターンを平均化し、前記代表周波数パターンとする請求項２に記載の韻律候補提示装置。
【請求項５】
前記決定部は、前記各クラスタの前記周波数パターンを平均化し、前記平均化した周波数パターンと距離が近い前記周波数パターンを前記代表周波数パターンとする請求項２に記載の韻律候補提示装置。
【請求項６】
前記決定部は、前記第二選択部によって選択された周波数パターンの全てを提示候補周波数パターンとして決定する請求項１に記載の韻律候補提示装置。
【請求項７】
前記決定部は、前記音声データベースから前記指定された言語情報に対応する音節情報を入力し、前記第二選択部によって選択された周波数パターンから、前記選択された周波数パターンに対応した音節情報が前記指定された言語情報に対応する音節情報と一致する周波数パターンを抽出して、抽出した周波数パターンをクラスタリングし、各クラスタの周波数パターンに基づいてクラスタ毎の代表周波数パターンを生成し、生成した前記代表周波数パターンを提示候補周波数パターンとして決定する請求項１に記載の韻律候補提示装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
韻律単位ごとの言語情報と言語情報に対応する周波数パターンとを記憶する音声データベースから、指定された言語情報と一致する言語情報に対応する周波数パターンを選択する第一選択部と、第一選択部によって選択された周波数パターンの周波数の始端値と指定された言語情報に対応する周波数の始端値との距離と、第一選択部で選択された周波数パターンの周波数の終端値と指定された言語情報に対応する周波数の終端値との距離を加算してなるパターン間距離を算出する算出部と、第一選択部によって選択された周波数パターンから前記算出部に算出されたパターン間距離が閾値以下の周波数パターンを選択する第二選択部と、第二選択部に選択された周波数パターンに基づいて提示候補音声データを決定する決定部とを備えたものである。
【国際調査報告】
2017168544.tif 000013
2017168544.tif 000014
2017168544.tif 000015
2017168544.tif 000016