(57)【要約】【課題】音声合成装置において、利用者が望む文章について、利用者が望む韻律にて合成音が出力されるように音声合成を実施すること。【解決手段】音声合成処理では、内容識別情報ＳＩＤを取得し（Ｓ１１０）、その内容識別情報ＳＩＤに対応する規定発声内容を表示部６３に表示する（Ｓ１２０）。そして、規定発声内容を表示している期間に入力された音声（以下、特定音声波形と称す，Ｓ１３０）を解析して、当該特定音声波形の韻律に最も類似する韻律を有した韻律データＭＤに含まれる利用者識別情報ＵＩＤを検索して取得する（Ｓ１４０）。その取得した利用者識別情報ＵＩＤを含む音声データＳＤを取得して（Ｓ１５０）。そして、音声データＳＤに含まれる音声パラメータＳＰに基づいて、出力内容情報として取得した文章の内容にて音声合成し（Ｓ１７０）、合成音を音出力部６５から出力する（Ｓ１８０）。【選択図】図３
2014066916.tif 000002
【特許請求の範囲】
【請求項１】
音の入力を受け付け、当該入力を受け付けた音の波形を表す音声波形を取得する音声入力手段と、
人によって発声された音声の韻律を表す少なくとも一つの特徴量を韻律データとし、前記音声入力手段で取得した音声波形を特定音声波形とし、前記特定音声波形を解析して、当該特定音声波形によって表される音についての前記韻律データである特定韻律データを取得する音声解析手段と、
規定された内容である規定内容について予め発声された音声の音声特徴量を表す音声データと、前記規定内容について予め発声された音声についての前記韻律データである比較対象パラメータとを対応付けたデータをパラメータデータとし、当該音声を発声した人物ごとに用意された前記パラメータデータのそれぞれに含まれる前記比較対象パラメータに、前記音声解析手段にて取得した特定韻律データを照合した結果、最も類似度が高い前記比較対象パラメータと対応付けられた前記音声データを取得する類似検索手段と、
外部から入力された文の内容を出力内容情報として取得し、前記出力内容情報によって表される文の内容となるように、前記類似検索手段にて取得した音声データを用いて音声合成を実行して合成音を出力する合成手段と
を備えることを特徴とする音声合成装置。
【請求項２】
前記規定内容は、文を単位として規定され、
前記音声入力手段は、
当該文に対して発声された音声に基づく音声波形を前記特定音声波形として取得し、
前記類似検索手段は、
前記文を単位として、前記特定韻律データを前記比較対象パラメータに照合する
ことを特徴とする請求項１に記載の音声合成装置。
【請求項３】
前記規定内容は、単語を単位として規定され、
前記音声入力手段は、
当該単語に対して発声された音声に基づく音声波形を、前記特定音声波形として取得し、
前記類似検索手段は、
当該単語を単位として、前記特定韻律データを前記比較対象パラメータに照合する
ことを特徴とする請求項１に記載の音声合成装置。
【請求項４】
前記パラメータデータは、
前記単語ごとに、当該単語を発声した場合の特徴を表す特徴情報を対応付けた単語データに、当該単語を発声した音声についての前記韻律データである比較対象パラメータ及び前記音声データを対応付けたデータであり、
前記類似検索手段は、
前記音声入力手段で取得した音声波形によって表される音に対して音声認識を実行して認識した発声単語に関する特徴情報を、前記単語データそれぞれに照合した結果、前記単語データの中に前記発声単語に合致する特徴情報を有した単語データである特定単語データが存在すれば、当該特定単語データを含む前記パラメータデータにおける音声データを取得する
ことを特徴とする請求項３に記載の音声合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を合成して合成音を出力する音声合成装置に関する。
【背景技術】
【０００２】
従来、セリフデータ作成装置と、セリフ再生装置とを備え、音声合成によって生成した合成音を出力する音声合成システムが知られている（特許文献１参照）。
この音声合成システムにおけるセリフデータ作成装置では、予め規定された規定内容の文章を読み上げた音声波形に基づいて、当該音声における音韻を表す音韻データ、及び当該音声における韻律を表す韻律データを生成する。これと共に、音韻データと韻律データとを発声者ごとに対応付けたデータであるセリフデータを生成して、記憶装置に記憶する。
【０００３】
一方、特許文献１に記載された音声合成システムにおけるセリフ再生装置では、利用者によって指定されたセリフデータ（即ち、音韻データ及び韻律データ）に基づいて、発声者ごとに予め用意された単位音声データを波形合成することで生成した合成音を出力している。
【０００４】
このような特許文献１に記載された音声合成システムによれば、規定内容の文章について、当該文章を読み上げた発声者の声にて、当該文章が読み上げられたときの韻律及び音韻にて合成音を出力できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２３１３９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された音声合成システムでは、規定内容の文章とは異なる内容の文章について、利用者が望む韻律及び音韻にて合成音を出力できないという問題があった。
【０００７】
具体的には、特許文献１に記載された音声合成システムでは、発声者ごとに用意された複数のデータの中から、利用者が望む韻律のデータを検索することがなされておらず、利用者が望む韻律及び音韻での合成音が出力されるように音声合成を実施できないという問題があった。
【０００８】
そこで、本発明は、音声合成装置において、利用者が望む文章について、利用者が望む韻律にて合成音が出力されるように音声合成を実施することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するためになされた本発明は、音声合成装置に関する。本発明の音声合成装置は、音声入力手段と、音声解析手段と、類似検索手段と、合成手段とを備える。
この音声合成装置における音声入力手段は、音の入力を受け付け、当該入力を受け付けた音の波形を表す音声波形を取得する。音声解析手段は、人によって発声された音声の韻律を表す少なくとも一つの特徴量を韻律データとし、音声入力手段で取得した音声波形を特定音声波形とし、特定音声波形を解析して、当該特定音声波形によって表される音についての韻律データである特定韻律データを取得する。
【００１０】
さらに、類似検索手段は、規定された内容である規定内容について予め発声された音声の音声特徴量を表す音声データと、規定内容について予め発声された音声についての韻律データである比較対象パラメータとを対応付けたデータをパラメータデータとし、当該音声を発声した人物ごとに用意されたパラメータデータのそれぞれに含まれる比較対象パラメータに、音声解析手段にて取得した特定韻律データを照合した結果、最も類似度が高い比較対象パラメータと対応付けられた音声データを取得する。そして、合成手段が、外部から入力された文の内容を出力内容情報として取得し、出力内容情報によって表される文の内容となるように、類似検索手段にて取得した音声データを用いて音声合成を実行して合成音を出力する。
【００１１】
このような音声合成装置では、人物ごとに用意された音声データであって韻律データと対応付けられた音声データの中から、利用者が望む韻律に最も類似する韻律を有した韻律データと対応付けられた音声データを検索して取得できる。そして、本発明の音声合成装置によれば、その取得した音声データを用いて音声合成した合成音を、出力内容情報によって表される文の内容とすることができる。
【００１２】
したがって、本発明の音声合成装置によれば、出力内容情報によって表される文の内容が、パラメータデータを生成する際に発声させた規定内容と異なっていたとしても、利用者が望む韻律の合成音となるように音声合成できる。
【００１３】
換言すれば、本発明の音声合成装置によれば、利用者が望む文章について、利用者が望む韻律にて合成音が出力されるように音声合成を実施可能となる。
さらに、本発明における規定内容は、文を単位として規定されても良い。この場合、本発明における音声入力手段は、当該文に対して発声された音声に基づく音声波形を特定音声波形として取得し、類似検索手段は、文を単位として、特定韻律データを比較対象パラメータに照合しても良い。
【００１４】
このような音声合成装置によれば、比較対象パラメータに対する特定韻律パラメータの照合を、文を最小単位として実施できる。よって、本発明の音声合成装置においては、比較される韻律データの数が多くなるため、文全体の喋り方を考慮して比較ができるようになり、利用者が望む韻律を表す韻律データの検出精度を向上させることができる。
【００１５】
この結果、本発明の音声合成装置によれば、利用者が望む韻律での合成音をより確実に出力できる。
また、本発明における規定内容は、単語を単位として規定されても良い。この場合、音声入力手段は、当該単語に対して発声された音声に基づく音声波形を、特定音声波形として取得し、類似検索手段は、当該単語を単位として、特定韻律データを比較対象パラメータに照合しても良い。
【００１６】
このような音声合成装置によれば、比較対象パラメータに対する特定韻律パラメータの照合を、単語を最小単位として実施できる。
よって、本発明の音声合成装置においては、利用者が望む韻律を有した音声データの検出を、少ない数の韻律データ同士を比較することで実現できる。したがって、利用者が音声を入力してから、音声データを検出して取得するまでに要する処理量を低減できる。
【００１７】
さらに、本発明におけるパラメータデータは、単語ごとに、当該単語を発声した場合の特徴を表す特徴情報を対応付けた単語データに、当該単語を発声した音声についての韻律データである比較対象パラメータ及び音声データを対応付けたデータでも良い。
【００１８】
この場合、本発明における類似検索手段は、音声入力手段で取得した音声波形によって表される音に対して音声認識を実行して認識した発声単語に関する特徴情報を、単語データそれぞれに照合した結果、単語データの中に発声単語に合致する特徴情報を有した単語データである特定単語データが存在すれば、当該特定単語データを含むパラメータデータにおける音声データを取得しても良い。
【００１９】
本発明の音声合成装置によれば、利用者が望む韻律を有した音声データの検出を、予め用意された単語データに発声単語に関する特徴情報を照合することで実現できる。
すなわち、本発明の音声合成装置にて音声データを検出して音声合成を実行する際には、当該音声合成装置の利用者は、自身の好みに応じて文や単語を発生するだけで良く、、音声データを検出して合成音を出力するまでに要する時間を短縮できる。
【図面の簡単な説明】
【００２０】
【図１】本発明が適用された第一実施形態の音声合成システムの概略構成を示すブロック図である。
【図２】第一実施形態の韻律データの概要を示す説明図である。
【図３】音声合成処理の処理手順を示すフローチャートである。
【図４】第一実施形態における類似発声者検索処理の処理手順を示すフローチャートである。
【図５】第二実施形態の音声合成システムの概略構成を示すブロック図である。
【図６】第二実施形態の韻律データの概要を示す説明図である。
【図７】第二実施形態の音声合成システムにて用いる単語データの概要を示す説明図である。
【図８】第二実施形態における類似発声者検索処理の処理手順を示すフローチャートである。
【図９】単語データ更新処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下に本発明の実施形態を図面と共に説明する。
［第一実施形態］
〈音声合成システム〉
図１に示すように、音声合成システム１は、ユーザが指定した内容の合成音を出力するシステムである。この音声合成システム１では、少なくとも、予め登録された複数の音声データＳＤの中から、当該音声合成システム１のユーザが希望する音声データＳＤを抽出して音声合成を実行する。
【００２２】
これを実現するために、音声合成システム１は、情報処理装置１０と、音声格納サーバ２５と、データ格納サーバ５０と、音声出力端末６０とを備えている。
情報処理装置１０は、各種情報や音声の入力を受け付ける。これと共に、情報処理装置１０は、入力された各種情報や音声に基づいて、当該音声の音声特徴量を少なくとも含む音声データＳＤ、及び当該音声の韻律を表す韻律データＭＤを生成する。
【００２３】
音声格納サーバ２５は、情報処理装置１０にて生成された音声データＳＤを格納する。データ格納サーバ５０は、情報処理装置１０にて生成された韻律データＭＤを格納する。また、音声出力端末６０は、音声格納サーバ２５に格納されている音声データＳＤ、及びデータ格納サーバ５０に格納されている韻律データＭＤに基づいて、当該音声出力端末６０のユーザ（以下、音声合成者と称す）が希望する音声データＳＤを抽出して、当該音声合成者によって入力されたテキスト内容にて合成音が出力されるように音声合成する。
【００２４】
なお、本実施形態における音声合成システム１は、音声出力端末６０を複数台備えていても良い。
〈情報処理装置〉
情報処理装置１０は、通信部１１と、入力受付部１２と、表示部１３と、音声入力部１４と、音声出力部１５と、記憶部１７と、制御部２０とを備えている。本実施形態における情報処理装置１０は、音声の入力を受け付ける音声入力装置であり、例えば、周知のカラオケ装置によって構成されていても良いし、周知のパーソナルコンピュータによって構成されていても良い。
【００２５】
このうち、通信部１１は、通信網を介して、情報処理装置１０が外部との間で通信を行う。本実施形態における通信網とは、例えば、公衆無線通信網やネットワーク回線である。入力受付部１２は、外部からの操作に従って情報や指令の入力を受け付ける入力機器である。本実施形態における入力機器とは、例えば、キーやスイッチ、リモコンの受付部などである。
【００２６】
表示部１３は、少なくとも、文字コードで示される情報を含む画像を表示する表示装置である。本実施形態における表示装置とは、例えば、液晶ディスプレイやＣＲＴなどである。また、音声入力部１４は、音を電気信号に変換して制御部２０に入力する装置であり、例えば、マイクロホンである。音声出力部１５は、制御部２０からの電気信号を音に変換して出力する装置、例えば、スピーカである。
【００２７】
記憶部１７は、記憶内容を読み書き可能に構成された不揮発性の記憶装置である。本実施形態における記憶装置とは、例えば、ハードディスク装置や、フラッシュメモリなどである。
【００２８】
また、制御部２０は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納するＲＯＭ２１と、処理プログラムやデータを一時的に格納するＲＡＭ２２と、ＲＯＭ２１やＲＡＭ２２に記憶された処理プログラムに従って各種処理を実行するＣＰＵ２３とを少なくとも有した周知のコンピュータを中心に構成されている。
【００２９】
そして、ＲＯＭ２１には、発声内容データを表示部１３に表示している期間に音声入力部１４を介して入力された音声（以下、対象音声と称す）を解析して、当該音声に対する音声データＳＤ及び韻律データＭＤを生成する韻律データ生成処理を制御部２０が実行するための処理プログラムが格納されている。韻律データ生成処理では、生成された音声データＳＤを音声格納サーバ２５に、韻律データＭＤをデータ格納サーバ５０に格納することがなされる。
【００３０】
なお、発声内容データは、少なくとも、当該情報処理装置１０の利用者（以下、音声入力者と称す）が発声すべき内容の文章として予め規定された規定発声内容を構成する文字列を備えたテキストデータと、各テキストデータを識別する内容識別情報ＳＩＤとが対応付けられたものである。この発声内容データは、規定発声内容ごとに予め用意されたデータである。
【００３１】
ここで言うテキストデータは、情報処理装置１０がカラオケ装置として構成されていれば、カラオケの用途に用いられ、かつ楽曲の歌詞としての文章を表す歌詞データであっても良いし、カラオケ装置などにて周知のアフレコ機能を実現することを目的として生成され、かつ発声すべき台詞を構成する文字を表す台詞テロップデータであっても良い。また、テキストデータは、韻律データ生成処理専用に作成された専用のデータであっても良い。すなわち、規定発声内容が、音声入力者が発声すべき内容の文章であれば、テキストデータの形式は、どのような形式であっても良い。
〈音声格納サーバ〉
音声格納サーバ２５は、記憶内容を読み書き可能に構成された記憶装置を中心に構成された装置であり、通信網を介して情報処理装置１０に接続されている。
【００３２】
この音声格納サーバ２５に格納される音声データＳＤは、音声パラメータＳＰに、利用者識別情報ＵＩＤ、及び内容識別情報ＳＩＤが対応付けられたデータである。
音声パラメータＳＰは、いわゆるフォルマント合成に用いる少なくとも一つの音声特徴量である。音声パラメータＳＰとしての音声特徴量には、基本周波数、メル周波数ケプストラム（ＭＦＣＣ）、パワー、及びそれらの時間差分を含む。ただし、音声パラメータＳＰとしての基本周波数，メル周波数ケプストラム，パワー，それらの時間差分は、規定発声内容によって表される文章を構成する音素ごとに導出される。
【００３３】
なお、音声パラメータＳＰとしての基本周波数，メル周波数ケプストラム，パワーの導出手法は、周知であるため、ここでの詳しい説明は省略するが、例えば、基本周波数であれば、対象音声の時間軸に沿って時間分析窓を適用して、各時間分析窓における対象音声の自己相関、周波数スペクトルの自己相関、またはケプストラム法などの手法を用いて導出すれば良い。また、ＭＦＣＣであれば、対象音声の時間軸に沿って時間分析窓を適用して、時間分析窓ごとに周波数解析（例えば、ＦＦＴ）した結果について、周波数ごとの大きさを対数化した結果を、さらに、周波数解析することで導出すれば良い。パワーについては、対象音声の時間軸に沿って時間分析窓を適用して振幅を二乗した結果を時間方向に積分することで導出すれば良い。
【００３４】
利用者識別情報ＵＩＤは、音声入力者を区別する識別情報として音声入力者ごとに予め登録されたデータである。そして、対象音声に基づいて導出された音声パラメータＳＰに、その対象音声を発した音声入力者を表す利用者識別情報ＵＩＤが対応付けられる。なお、この利用者識別情報ＵＩＤの取得は、例えば、情報処理装置１０に対するログインなど周知の手法によって実行すれば良い。
【００３５】
内容識別情報ＳＩＤは、規定発声内容を区別する識別情報として規定発声内容と対応付けられたデータである。そして、対象音声に基づいて導出された音声パラメータＳＰに、その対象音声として発せられた規定発声内容を表す内容識別情報ＳＩＤが対応付けられる。
【００３６】
すなわち、音声データＳＤは、音声入力者ごと、かつ、規定発声内容ごとに生成される。
〈データ格納サーバ〉
データ格納サーバ５０は、記憶内容を読み書き可能に構成された記憶装置を中心に構成された装置であり、通信網を介して情報処理装置１０に接続されている。
【００３７】
このデータ格納サーバ５０に格納される韻律データＭＤは、図２に示すように、韻律パラメータＭＰに、利用者識別情報ＵＩＤ、及び内容識別情報ＳＩＤが対応付けられたデータである。
【００３８】
韻律パラメータＭＰは、対象音声における韻律を表す少なくとも一つの音声特徴量である。韻律パラメータＭＰとしての音声特徴量には、基本周波数、パワー、及び音素継続時間を含む。ただし、基本周波数とパワーは、時間分析窓ごとに導出される。また、音素継続時間は、規定発声内容によって表される文章を構成する音素ごとに導出される。
【００３９】
韻律パラメータＭＰとしての基本周波数，及びパワーの導出手法は、前述した通りであるため、ここでの詳しい説明は省略する。また、韻律パラメータＭＰとしての音素継続時間の導出は、対象音声に対して周知の音声認識処理を実行することで導出した、各音素の発声開始時刻から発声終了時刻までの期間である時間長を、音素継続時間として導出することでなされる。
【００４０】
なお、各韻律パラメータＭＰには、当該韻律パラメータＭＰの基となる対象音声を発した音声入力者を表す利用者識別情報ＵＩＤや、当該韻律パラメータＭＰの基となる対象音声として発せられた規定発声内容を表す内容識別情報ＳＩＤが対応付けられる。
【００４１】
すなわち、韻律データＭＤは、音声入力者ごと、かつ、規定発声内容ごとに生成される。
〈音声出力端末〉
この音声出力端末６０は、図１に示すように、通信部６１と、情報受付部６２と、表示部６３と、音入力部６４と、音出力部６５と、記憶部６６と、制御部７０とを備えている。本実施形態における音声出力端末６０として、例えば、携帯電話や携帯情報端末などの周知の携帯端末を想定しても良いし、いわゆるパーソナルコンピュータといった周知の情報処理装置を想定しても良いし、周知のカラオケ装置を想定しても良い。
【００４２】
このうち、通信部６１は、通信網を介して音声出力端末６０が外部との間で情報通信を行うものである。情報受付部６２は、入力装置（図示せず）を介して入力された情報を受け付ける。表示部６３は、制御部７０からの指令に基づいて画像を表示する。
【００４３】
音入力部６４は、音を電気信号に変換して制御部７０に入力する装置であり、例えば、マイクロホンである。音出力部６５は、音を出力する周知の装置であり、例えば、ＰＣＭ音源と、スピーカとを備えている。記憶部６６は、記憶内容を読み書き可能に構成された不揮発性の記憶装置である。記憶部６６には、各種処理プログラムや各種データが記憶される。
【００４４】
また、制御部７０は、ＲＯＭ７２、ＲＡＭ７４、ＣＰＵ７６を少なくとも有した周知のコンピュータを中心に構成されている。
制御部７０のＲＯＭ７２には、音声合成者が指定した韻律に類似する韻律の音声データＳＤを音声格納サーバ２５から抽出して、情報受付部６２を介して受け付けた文の内容にて合成音が出力されるように音声合成を実行する音声合成処理を、制御部７０が実行するための処理プログラムが格納されている。
【００４５】
また、制御部７０のＲＯＭ７２には、発声内容データが格納されている。この制御部７０のＲＯＭ７２に格納された発声内容データは、音声合成処理にて参照される。
〈音声合成処理〉
音声合成処理は、音声出力端末６０の情報受付部６２を介して起動指令が入力されると起動される。
【００４６】
この音声合成処理では、図３に示すように、起動されると、制御部７０が、まず、情報受付部６２を介して、音声合成者が指定した内容識別情報ＳＩＤを取得する（Ｓ１１０）。続いて、Ｓ１１０にて取得した内容識別情報ＳＩＤが含まれる発声内容データを取得し、その取得した発声内容データに基づく規定発声内容を表示部６３に表示する（Ｓ１２０）。すなわち、本実施形態のＳ１２０では、表示部６３に、音声合成者が発声すべき文章が表示される。
【００４７】
そして、Ｓ１２０にて規定発声内容を表示部６３に表示している期間に、音入力部６４を介して入力された音声を取得する（Ｓ１３０）。なお、Ｓ１３０にて取得する音声は、規定発声内容について、音声合成者自身が発声した音声でも良いし、他者が発声し音声合成者によって予め用意された音声でも良い。そして、以下では、このＳ１３０にて取得した音声の波形を、特定音声波形と称す。
【００４８】
続いて、特定音声波形を解析して、当該特定音声波形の韻律に最も類似する韻律を有した韻律データＭＤに含まれる利用者識別情報ＵＩＤを検索して取得する類似発声者検索処理を実行する（Ｓ１４０）。
【００４９】
そして、類似発声者検索処理にて取得した利用者識別情報ＵＩＤを含む音声データＳＤを取得する（Ｓ１５０）。さらに、出力内容情報としての文章のテキストを、情報受付部６２を介して取得する（Ｓ１６０）。
【００５０】
続いて、Ｓ１５０にて取得した音声データＳＤに含まれる音声パラメータＳＰに基づいて、Ｓ１６０にて取得した文章の内容にて音声合成する（Ｓ１７０）。このＳ１７０における音声合成は、フォルマント合成による周知の音声合成の手法を用いれば良い。
【００５１】
さらに、Ｓ１７０にて音声合成することで生成された合成音を音出力部６５から出力する（Ｓ１８０）。
そして、本音声合成処理を終了する。
〈類似発声者検索処理〉
類似発声者検索処理は、図４に示すように、音声合成処理のＳ１４０にて起動されると、まず、特定音声波形を解析して韻律パラメータを導出する（Ｓ２１０）。このＳ２１０では、基本周波数及びパワーを、時間分析窓ごとの韻律パラメータとして導出し、音素継続時間を、特定音声波形として発声された音声の内容である発声内容情報における音素ごとに導出する。
【００５２】
なお、韻律パラメータとしての基本周波数、パワー、及び音素継続時間の導出手法は、上述した手法と同様であるため、ここでの詳しい説明は省略する。以下では、Ｓ２１０にて導出した韻律パラメータを、特定韻律パラメータと称す。
【００５３】
続いて、データ格納サーバ５０に格納されている韻律データＭＤの中から、先のＳ１１０にて取得した内容識別情報ＳＩＤに合致する内容識別情報ＳＩＤを含む全ての韻律データＭＤを取得する（Ｓ２２０）。以下、Ｓ２２０にて取得した韻律データＭＤそれぞれを被比較対象データと称す。
【００５４】
そして、Ｓ２２０にて取得した被比較対象データそれぞれに含まれる韻律パラメータ（以下、被比較パラメータと称す）それぞれと特定韻律パラメータとの類似度合いを表す韻律類似度Ｒを、被比較対象データごとに導出する（Ｓ２３０）。
【００５５】
具体的に、韻律類似度Ｒとして、韻律パラメータとしての基本周波数についての類似度Ｒｆと、韻律パラメータとしてのパワーについての類似度Ｒｐと、韻律パラメータとしての音素継続時間についての類似度Ｒｄとの和を導出する。
【００５６】
このうち、類似度Ｒｆは、下記（１）式に従って導出する。
【００５７】
【数１】
2014066916.tif 000003
なお、（１）式中のｏｆ'及びｔｆ'は、それぞれ、特定韻律パラメータにおける基本周波数系列ｏｆ（＝ｏｆ1，ｏｆ2，…ｏｆI）と、被比較パラメータにおける基本周波数系列ｔｆ（＝ｔｆ1，ｔｆ2，…ｔｆJ）との時間正規化を行った結果である。また、（１）式中のＯＦは、基本周波数系列ｏｆ'の相加平均であり、ＴＦは、基本周波数系列ｔｆ'の相加平均である。
【００５８】
また、類似度Ｒｐは、下記（２）式に従って導出する。
【００５９】
【数２】
2014066916.tif 000004
なお、（２）式中のｏｐ'及びｔｐ'は、それぞれ、特定韻律パラメータにおけるパワーｏｐ（＝ｏｐ1，ｏｐ2，…ｏｐI）と、被比較パラメータにおけるパワーｔｐ（＝ｔｐ1，ｔｐ2，…ｔｐJ）との時間正規化を行った結果である。また、（２）式中のＯＰは、ｏｐ'の相加平均であり、ＴＰは、パワーｔｐ'の相加平均である。
【００６０】
そして、類似度Ｒｄは、下記（３）式に従って導出する。
【００６１】
【数３】
2014066916.tif 000005
なお、（３）式中のｏｄは、特定韻律パラメータにおける音素継続時間系列ｏｄ（＝ｏｄ1，ｏｄ2，…ｏｄL）であり、（３）式中のｔｄは、被比較パラメータにおける音素継続時間系列ｔｄ（＝ｔｄ1，ｔｄ2，…ｔｄL）である。また、（３）式中のＯＤは、音素継続時間系列ｏｄの相加平均であり、ＴＤは、音素継続時間系列ｔｄの相加平均である。
【００６２】
続いて、類似発声者検索処理では、Ｓ２３０にて導出された全ての韻律類似度Ｒの中で、値が最も高い韻律類似度Ｒに対応する被比較パラメータと対応付けられた利用者識別情報ＵＩＤを特定する（Ｓ２４０）。
【００６３】
その後、音声合成処理のＳ１５０へと戻る。
すなわち、類似発声者検索処理では、音声合成者が希望する韻律に最も類似する韻律を表す韻律データＭＤを、データ格納サーバ５０に格納されている韻律データＭＤの中から検索し、その検索した韻律データＭＤと対応付けられた利用者識別情報ＵＩＤに対応する音声入力者を特定する。
［第一実施形態の効果］
以上説明したように、本実施形態の音声合成システム１によれば、人物ごとに用意され、かつ利用者識別情報ＵＩＤ及び内容識別情報ＳＩＤによって韻律データＭＤと対応付けられた音声データＳＤの中から、音声合成者が望む韻律に最も類似する韻律を有した韻律データＭＤと対応付けられた音声データＳＤを検索して取得できる。そして、音声合成システム１によれば、その取得した音声データＳＤを用いて音声合成した合成音を、出力内容情報によって表される文の内容とすることができる。
【００６４】
したがって、音声合成システム１においては、出力内容情報によって表される文の内容が、韻律データＭＤを生成する際に発声させた規定内容と異なっていたとしても、音声合成者が望む韻律の合成音となるように音声合成できる。
【００６５】
しかも、本実施形態の類似発声者検索処理では、比較対象パラメータに対する特定韻律パラメータの照合を、文を最小単位として実施している。
よって、本実施形態の類似発声者検索処理によれば、比較される韻律パラメータの数が多くなるため、文全体の喋り方を考慮した比較結果を得ることができ、音声合成者が望む韻律を表す韻律データの検出精度を向上させることができる。
【００６６】
換言すれば、音声合成システム１によれば、音声合成者が望む文章について、音声合成者が望む韻律にて合成音が出力されるように音声合成を実施可能となる。
［第二実施形態］
第二実施形態の音声合成システム５は、第一実施形態の音声合成システム１とは、主として、データ格納サーバ５０に格納されるデータの内容、及び音声出力端末６０にて実行する類似発声者検索処理が異なる。このため、本実施形態においては、第一実施形態と同様の構成及び処理には、同一の符号を付して説明を省略し、第一実施形態とは異なるデータ格納サーバ５０に格納されるデータの内容、及び音声出力端末６０にて実行する類似発声者検索処理を中心に説明する。
〈音声合成システム〉
図５に示すように、本実施形態の音声合成システム５は、情報処理装置１０と、音声格納サーバ２５と、データ格納サーバ５２と、音声出力端末６０とを備えている。
【００６７】
データ格納サーバ５２は、記憶内容を読み書き可能に構成された記憶装置を中心に構成された装置であり、通信網を介して情報処理装置１０に接続されている。
このデータ格納サーバ５２には、韻律データＭＤと、単語データＧＷとが格納される。本実施形態の韻律データＭＤは、図６に示すように、韻律パラメータＭＰに、利用者識別情報ＵＩＤ、及び単語識別情報ＷＩＤが対応付けられたデータである。
【００６８】
単語識別情報ＷＩＤは、単語を区別する識別情報である。すなわち、本実施形態における韻律パラメータＭＰは、音声入力者が発声した単語における韻律を表す音声特徴量である。この音声特徴量として、基本周波数、パワー、及び音素継続時間を含む点は、第一実施形態と同様である。
【００６９】
したがって、本実施形態における韻律データＭＤは、音声入力者ごと、かつ、規定発声内容としての単語ごとに生成されている。
単語データＧＷは、図７に示すように、単語識別情報ＷＩＤと、当該単語識別情報ＷＩＤによって区別される一つの単語と、当該単語の発音を表す発音情報と、当該単語が発声された回数を表す発声回数とが対応付けられたデータである。この単語データＧＷは、単語ごとに用意されるデータであり、単語識別情報ＷＩＤを介して韻律データＭＤ、ひいては韻律パラメータＭＰと対応付けられている。
【００７０】
なお、本実施形態においては、単語データＧＷや韻律データＭＤのそれぞれは、音声入力者や音声合成者が規定発声内容について発声するごとに生成されても良い。この場合、音声入力者や音声合成者が、当該単語について発声するごとに、単語データＧＷにおける発声回数は、インクリメントされ更新される。
〈類似発声者検索処理〉
本実施形態における類似発声者検索処理は、音声合成処理のＳ１４０にて起動される。
【００７１】
類似発声者検索処理は、起動されると、図８に示すように、まず、先のＳ１３０にて取得した特定音声波形に対して音声認識処理を実行し、特定音声波形における発声区間及び発声内容を特定する（Ｓ３１０）。
【００７２】
そして、Ｓ３１０にて音声認識した発声内容に対して周知の形態素解析を実行して、発生内容を形態素ごとに分割し（Ｓ３２０）、特定音声波形において分割した形態素に対応する波形（以下、特定単語波形と称す）を取得する（Ｓ３３０）。
【００７３】
さらに、特定単語波形を解析して韻律パラメータを導出する（Ｓ３４０）。本実施形態においては、Ｓ３４０にて導出した韻律パラメータが特定韻律パラメータに相当する。
続いて、Ｓ３２０にて認識した形態素、即ち、Ｓ３２０にて認識した単語に対応する単語識別情報ＷＩＤを単語データＧＷ群から検出する（Ｓ３５０）。その検出した単語識別情報ＷＩＤを含む全ての韻律データＭＤを、被比較対象データとして取得する（Ｓ３６０）。
【００７４】
そして、Ｓ３４０にて導出した特定韻律パラメータと、Ｓ３６０にて取得した被比較対象データに含まれる比較韻律パラメータとの類似度合いを表す韻律類似度Ｒを、被比較対象データごとに導出する（Ｓ３７０）。なお、韻律類似度Ｒの導出方法は、第一実施形態における韻律類似度Ｒの導出方法と同様、韻律パラメータとしての基本周波数についての類似度Ｒｆと、パワーについての類似度Ｒｐと、音素継続時間についての類似度Ｒｄとの和を、韻律類似度Ｒとして導出する。
【００７５】
続いて、Ｓ３７０にて導出された全ての韻律類似度Ｒの中で、値が最も高い韻律類似度Ｒに対応する被比較パラメータと対応付けられた利用者識別情報ＵＩＤを特定する（Ｓ３８０）。
【００７６】
その後、音声合成処理のＳ１５０へと移行する。
［第二実施形態の効果］
以上説明したように、本実施形態の類似発声者検索処理によれば、被比較対象パラメータに対する特定韻律パラメータの照合を、単語を最小単位として実施できる。
【００７７】
よって、音声合成システム５においては、利用者が望む韻律を有した音声データＳＤの検出を、少ない数の韻律パラメータＭＰ同士を比較することで実現できる。したがって、利用者が音声を入力してから、音声データＳＤを検出して取得するまでに要する処理量を低減できる。
【００７８】
しかも、音声合成システム５によれば、利用者が望む韻律を有した音声データＳＤの検出を、予め用意された単語データＧＷにおける単語の発声内容に照合することで実現している。すなわち、音声合成システム５にて音声データを検出して音声合成を実行する際には、当該音声合成システム５の利用者は、好みに応じて文や単語を発声するだけでよく、音声データＳＤを検出して合成音を出力するまでに要する時間を短縮できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【００７９】
例えば、上記実施形態の音声合成システム１においては、音声格納サーバ２５と、データ格納サーバ５０とが別個に設けられていたが、本発明においては、音声格納サーバ２５と、データ格納サーバ５０とは共通した装置であっても良い。この場合、一つの格納サーバに、音声データＳＤ及び韻律データＭＤの両方が格納される必要がある。
【００８０】
また、音声合成システム１は、情報処理装置１０と、音声出力端末６０とを別個に備えていたが、これら情報処理装置１０と、音声出力端末６０とは共通した装置であっても良い。すなわち、情報処理装置１０（即ち、カラオケ装置）は、音声出力端末６０を兼ねても良い。
【００８１】
なお、第二実施形態においては、音声合成処理のＳ１３０にて取得した音声に基づいて単語データＧＷを更新する単語データ更新処理を実行しても良い。この単語データ更新処理は、例えば、起動されると、図９に示すような処理を実行する。
【００８２】
すなわち、単語データ更新処理では、発声回数が多い単語データＧＷが上位に位置するように、単語データＧＷをソートする（Ｓ４１０）。そして、Ｓ４１０でのソートの結果、最下位に位置する単語データＧＷについて、予め規定された時間長である規定時間での更新回数が、予め規定された閾値Ｔｈ以下であるか否かを判定する（Ｓ４２０）。この判定の結果、規定時間での更新回数が閾値Ｔｈ以下であれば（Ｓ４２０：ＹＥＳ）、当該最下位に位置する単語データＧＷを削除する（Ｓ４３０）。
【００８３】
そして、その後、単語データ更新処理を終了する。
一方、Ｓ４２０での判定の結果、規定時間での更新回数が閾値Ｔｈよりも大きければ（Ｓ４２０：ＮＯ）、当該単語データＧＷを保持する。
【００８４】
その後、本単語データ更新処理を終了する。
このような単語データ更新処理を実行することにより、被比較対象データの候補となる単語を発声頻度が高い単語とすることができ、被比較対象データの特定までに要する処理量を少なくすることができる。
【００８５】
また、上記第二実施形態における単語データＧＷに、利用者識別情報ＵＩＤを含めても良い。この場合、単語データＧＷとして、音声合成者自身が発声する可能性の高い単語を登録することができ、音声合成者が望む韻律を容易に検索できる。
【００８６】
なお、上記実施形態の類似発声者検索処理におけるＳ２４０やＳ３８０では、値が最も大きい韻律類似度Ｒに対応する被比較パラメータと対応付けられた、一つの利用者識別情報ＵＩＤを特定していたが、Ｓ２４０やＳ３８０にて実行する処理内容は、これに限るものではない。例えば、Ｓ２４０やＳ３８０では、値が大きい上位規定数の韻律類似度Ｒに対応する被比較パラメータと対応付けられた利用者識別情報ＵＩＤの全てを取得して表示し、その表示された利用者識別情報ＵＩＤの中から、音声合成者が選択した一つの利用者識別情報ＵＩＤを、音声合成者が望む韻律を有した韻律データＭＤに含まれる利用者識別情報として特定しても良い。
【００８７】
さらには、上記音声合成処理のＳ１１０にて取得する内容識別情報ＳＩＤは、音声合成者が指定した内容識別情報ＳＩＤであったが、この音声合成者が指定する内容識別情報ＳＩＤは、当該音声合成者が過去に発声したものであることが好ましい。すなわち、音声合成処理においては、音声合成者が指定した内容識別情報ＳＩＤそれぞれを記憶し、それらの記憶された内容識別情報ＳＩＤそれぞれを表示しても良い。そして、音声合成者は、表示された内容識別情報ＳＩＤの中から一つの内容識別情報ＳＩＤを選択するようにすれば良い。
【００８８】
このような音声合成処理によれば、発声すべき内容を音声合成者が考えることを低減でき、利便性を向上させることができる。
また、上記第二実施形態の類似発声者検索処理では、起動されると直ちに、入力音声に対して音声認識処理を実行していたが、第二実施形態の類似発声者検索処理は、これに限るものではなく、起動されるとまず、利用者識別情報ＵＩＤを取得しても良い。この場合、取得する利用者識別情報ＵＩＤは、情報受付部６２を介して音声合成者に入力させれば良い。このような音声号処理においては、さらに、取得した利用者識別情報ＵＩＤによって表された音声合成者が過去に特定して使用した、韻律類似度Ｒが最も高い被比較パラメータと対応付けられた利用者識別情報ＵＩＤ（以下、過去特定情報ＵＩＤと称す）を提示しても良い。この場合、提示された過去特定情報ＵＩＤを音声合成者が選択すれば、当該過去特定情報ＵＩＤを、韻律類似度Ｒが最も高い被比較パラメータと対応付けられた利用者識別情報ＵＩＤとして特定する。
【００８９】
すなわち、音声合成者が自身の音声にて、韻律類似度Ｒが最も高い被比較パラメータを検索する場合には、音声合成者が前回音声合成処理を実行したときと同じ被比較パラメータが検出される可能性が高い。このため、過去特定情報ＵＩＤを提示することで、韻律類似度Ｒが最も高い被比較パラメータを検索する処理を省略でき、検索に必要な時間を短縮できる。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【００９０】
上記実施形態の音声合成処理における１３０が、特許請求の範囲の記載における音声入力手段に相当する。さらに、上記第一実施形態の類似発声者検索処理におけるＳ２１０，及び第二実施形態の類似発声者検索処理におけるＳ３１０〜Ｓ３４０が、特許請求の範囲の記載における音声解析手段に相当する。
【００９１】
そして、上記第一実施形態の類似発声者検索処理におけるＳ２２０〜Ｓ２４０、上記第二実施形態の類似発声者検索処理におけるＳ３６０〜Ｓ３８０、及び音声合成処理におけるＳ１５０が、特許請求の範囲の記載における類似検索手段に相当する。なお、上記音声合成処理におけるＳ１７０，Ｓ１８０が、特許請求の範囲の記載における合成手段に相当する。
【００９２】
さらに、上記実施形態において、利用者識別情報ＵＩＤ、及び内容識別情報ＳＩＤまたは単語識別情報ＷＩＤを介して対応付けられた音声データＳＤと韻律データＭＤとが、特許請求の範囲の記載におけるパラメータデータに相当する。
【符号の説明】
【００９３】
１，５…音声合成システム  １０…情報処理装置  １１…通信部  １２…入力受付部１３…表示部  １４…音声入力部  １５…音声出力部  １７…記憶部  ２０…制御部  ２１…ＲＯＭ  ２２…ＲＡＭ  ２３…ＣＰＵ  ２５…音声格納サーバ  ５０…データ格納サーバ  ５２…データ格納サーバ  ６０…音声出力端末  ６１…通信部  ６２…情報受付部  ６３…表示部  ６４…音入力部  ６５…音出力部  ６６…記憶部  ７０…制御部  ７２…ＲＯＭ  ７４…ＲＡＭ  ７６…ＣＰＵ
【図１】
2014066916.tif 000006
【図２】
2014066916.tif 000007
【図３】
2014066916.tif 000008
【図４】
2014066916.tif 000009
【図５】
2014066916.tif 000010
【図６】
2014066916.tif 000011
【図７】
2014066916.tif 000012
【図８】
2014066916.tif 000013
【図９】
2014066916.tif 000014