(57)【要約】【課題】データベースに歌唱合成のための音声素片データとして記憶される歌唱音声のピッチと同じピッチの歌唱音声を合成しようとする場合に、音色など音質をそのままに保ち、異なるピッチの歌唱音声を合成しようとする場合にだけ音色など音質を変化させる。【解決手段】合成パラメータ生成装置１２に入力されたＭＩＤＩデータ（ピッチデータ、歌詞データ等）に対応する音声素片データが音声データベース１１から選択されると、その音声素片データに含まれる各種パラメータＰＡｎの集合としての合成パラメータＰＡ、及びピッチデータ（データベースピッチデータ）ＤＰが抽出される。また、入力されたピッチデータに基づき、合成しようとする音声のピッチを時系列で示す合成ピッチデータＳＰが生成される。各パラメータＰＡｎは、合成ピッチデータＳＰ、データベースピッチデータＤＰに基づき、キースケーリング関数ｆｎを使用してキースケーリング効果を与えられる。【選択図】　図１
2004061793.tif 000002
【特許請求の範囲】
【請求項１】
合成しようとする音声の内容を示す音声情報の入力を受ける音声情報入力部と、
音声を合成するための音声素片データが記憶された音韻データベースと、
前記音声情報に基づいて前記音韻データベースに記憶された前記音声素片データを選択する選択部と、
合成しようとする音声のピッチを時系列で示す合成ピッチデータを出力する合成ピッチデータ出力部と、
前記選択部で選択された音声素片データから合成パラメータを抽出して出力する合成パラメータ出力部と、
前記合成パラメータを抽出する際に使用した音声素片データを構成するピッチデータを抽出してデータベースピッチデータとして出力するデータベースピッチデータ生成部と、
前記合成パラメータ毎に用意されたキースケーリング関数を記憶するキースケーリング関数記憶部と、
前記合成ピッチデータを前記キースケーリング関数に代入して得られた関数値と前記データベースピッチデータを前記キースケーリング関数に代入して得られた関数値との差に基づき、前記合成パラメータを補正して補正パラメータを出力するキースケーリング部と、
前記補正パラメータに基づく波形を合成する波形合成部とを備えたことを特徴とする歌唱合成装置。
【請求項２】
前記合成ピッチデータ出力部は、前記音声情報に含まれるピッチ情報に基づき合成ピッチデータを生成しその生成した合成ピッチデータを出力するものである請求項１に記載の歌唱合成装置。
【請求項３】
前記キースケーリング部は、前記２つの関数値の差を前記各種パラメータに加算するものである請求項１に記載の歌唱合成装置。
【請求項４】
前記キースケーリング部は、前記２つの関数値の差に１を加えた値を前記各種パラメータに乗算するものである請求項１に記載の歌唱合成装置。
【請求項５】
合成しようとする音声の内容を示す音声情報を入力する音声情報入力ステップと、
音声を合成するための音声素片データを予め音韻データベースに記憶させるとともに、前記音声情報に基づいて前記音韻データベースに記憶された音声素片データを選択する選択ステップと、
合成しようとする音声のピッチを時系列で示す合成ピッチデータを出力する合成ピッチデータ出力ステップと、
前記選択ステップで選択された前記音声素片データから合成パラメータを抽出して出力する合成パラメータ出力ステップと、
前記合成パラメータを抽出する際に使用した音声素片データを構成するピッチデータを抽出してデータベースピッチデータとして出力するデータベースピッチデータ生成ステップと、
前記合成パラメータ毎にキースケーリング関数を用意するとともに、前記合成ピッチデータを前記キースケーリング関数に代入して得られた関数値と前記データベースピッチデータを前記キースケーリング関数に代入して得られた関数値との差に基づき、前記合成パラメータを補正して補正パラメータを出力するキースケーリングステップと、
前記補正パラメータに基づく波形を合成する波形合成ステップとを備えたことを特徴とする歌唱合成方法。
【請求項６】
合成しようとする音声の内容を示す音声情報を入力する音声情報入力ステップと、
音声を合成するための音声素片データを予め音韻データベースに記憶させるとともに、前記音声情報に基づいて前記音韻データベースに記憶された音声素片データを選択する選択ステップと、
合成しようとする音声のピッチを時系列で示す合成ピッチデータを出力する合成ピッチデータ出力ステップと、
前記選択ステップで選択された前記音声素片データから合成パラメータを抽出して出力する合成パラメータ出力ステップと、
前記合成パラメータを抽出する際に使用した音声素片データを構成するピッチデータを抽出してデータベースピッチデータとして出力するデータベースピッチデータ生成ステップと、
前記合成パラメータ毎にキースケーリング関数を用意するとともに、前記合成ピッチデータを前記キースケーリング関数に代入して得られた関数値と前記データベースピッチデータを前記キースケーリング関数に代入して得られた関数値の差に基づき、前記合成パラメータを補正して補正パラメータを出力するキースケーリングステップと、
前記補正パラメータに基づく波形を合成する波形合成ステップとをコンピュータに実行させるように構成されたことを特徴とする歌唱合成用プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された演奏データに基づいて音声を合成する歌唱合成装置、歌唱合成方法及び歌唱合成用プログラムに関する。
【０００２】
【従来の技術】
電子楽器においては、キースケーリングと呼ばれる機能によりピッチ変換を実行している。具体的には、電子ピアノの鍵盤のうち、押された鍵盤に対応したピッチに依存したある値を音色パラメータに加減算することにより、音色の変換を行っている（例えば、特開昭５８−２１１７８６号公報参照）。
例えばカラオケ装置などにおいては、男性の声を女性の声に変換するなどの用途のため、ピッチ変換機能を備えた歌唱合成装置が設けられている。この場合、単純に原歌唱音声のピッチを異なるピッチに変換するだけでは不自然な音声となるので、音色など歌唱合成に用いる他のパラメータも、電子楽器と同様のキースケーリング機能を用いて、ピッチに合わせて変換している。
【０００３】
【発明が解決しようとする課題】
歌唱合成装置において、歌唱合成に用いるパラメータは、実際に録音した歌唱データを音素ごとに切り出して抽出したものであり、各音素で録音の際のピッチが異なる。このため、単純に合成したいピッチに応じたパラメータのキースケーリングでは、音素の録音時のピッチと同じピッチの歌唱音声を合成する場合にも音色に変化が生じてしまう。これを解決するために、各パラメータは各音素毎にピッチに応じたスケーリング量を規定するキースケーリング関数を保持することで、音素の録音時と同じピッチのときにはパラメータが変化しないようにする必要があった。しかし、このようにするとキースケーリング関数の数が膨大になるため、キースケーリング関数の作成及び変更が困難になってしまうという問題があった。
本発明は、このキースケーリング機能を歌唱合成装置、歌唱合成方法、歌唱合成用プログラムに導入したものであり、キースケーリング関数の数を多くしなくても、元の歌唱音声のピッチと同じピッチの歌唱音声を合成しようとする場合には音色など音質をそのままに保ち、元の歌唱音声のピッチと異なるピッチの歌唱音声を合成しようとする場合にだけ音色など音質を変化させることのできるようにすることを目的とする。
【０００４】
【課題を解決するための手段】
上記目的達成のため、本出願の第１の発明に係る歌唱合成装置は、合成しようとする音声の内容を示す音声情報を入力する音声情報入力部と、音声を合成するための音声素片データが記憶された音韻データベースと、前記音声情報に基づいて前記音韻データベースに記憶された前記音声素片データを選択する選択部と、合成しようとする音声のピッチを時系列で示す合成ピッチデータを出力する合成ピッチデータ出力部と、前記選択部で選択された音声素片データから合成パラメータを抽出して出力する合成パラメータ出力部と、前記合成パラメータを抽出する際に使用した音声素片データを構成するピッチデータを抽出してデータベースピッチデータとして出力するデータベースピッチデータ生成部と、前記合成パラメータ毎に用意されたキースケーリング関数を記憶するキースケーリング関数記憶部と、前記合成ピッチデータを前記キースケーリング関数に代入して得られた関数値と前記データベースピッチデータを前記キースケーリング関数に代入して得られた関数値との差に基づき、前記合成パラメータを補正して補正パラメータを出力するキースケーリング部と、前記補正パラメータに基づく波形を合成する波形合成部とを備えたことを特徴とする。
【０００５】
この第１の発明に係る歌唱合成装置によれば、入力された音声情報に基づいて前記音韻データベースに記憶された音声素片データが選択部により選択される。そして、合成しようとする音声のピッチを時系列で示す合成ピッチデータが出力される。また、前記選択部で選択された前記音声素片データからは、各時刻毎の合成パラメータが抽出される。さらに、合成パラメータを抽出する際に使用した音声素片データを構成するピッチデータが抽出されデータベースピッチデータとして出力される。
この合成ピッチデータとデータベースピッチデータとに差がある場合には、キースケーリング関数により、ピッチの変化に即した前記合成パラメータの補正が行われ、合成出力音声の自然性が高められる。一方、両者に差がない場合には、合成パラメータの補正は行われない。このため、各音素、時間ごとのキースケーリング関数を用意しなくとも、出力歌唱音声の自然性を高めることができる。
【０００６】
上記目的達成のため、本出願の第２の発明に係る歌唱合成方法は、合成しようとする音声の内容を示す音声情報を入力する音声情報入力ステップと、音声を合成するための音声素片データを予め音韻データベースに記憶させるとともに、前記音声情報に基づいて前記音韻データベースに記憶された音声素片データを選択する選択ステップと、合成しようとする音声のピッチを時系列で示す合成ピッチデータを出力する合成ピッチデータ出力ステップと、前記選択ステップで選択された前記音声素片データから合成パラメータを抽出して出力する合成パラメータ出力ステップと、前記合成パラメータを抽出する際に使用した音声素片データを構成するピッチデータを抽出してデータベースピッチデータとして出力するデータベースピッチデータ生成ステップと、前記合成パラメータ毎にキースケーリング関数を用意するとともに、前記合成ピッチデータを前記キースケーリング関数に代入して得られた関数値と前記データベースピッチデータを前記キースケーリング関数に代入して得られた関数値との差に基づき、前記合成パラメータを補正して補正パラメータを出力するキースケーリングステップと、前記補正パラメータに基づく波形を合成する波形合成ステップとを備えたことを特徴とする。
【０００７】
上記目的達成のため、本出願の第３の発明に係る歌唱合成用プログラムは、合成しようとする音声の内容を示す音声情報を入力する音声情報入力ステップと、音声を合成するための音声素片データを予め音韻データベースに記憶させるとともに、前記音声情報に基づいて前記音韻データベースに記憶された音声素片データを選択する選択ステップと、合成しようとする音声のピッチを時系列で示す合成ピッチデータを出力する合成ピッチデータ出力ステップと、前記選択ステップで選択された前記音声素片データから合成パラメータを抽出して出力する合成パラメータ出力ステップと、前記合成パラメータを抽出する際に使用した音声素片データを構成するピッチデータを抽出してデータベースピッチデータとして出力するデータベースピッチデータ生成ステップと、前記合成パラメータ毎にキースケーリング関数を用意するとともに、前記合成ピッチデータを前記キースケーリング関数に代入して得られた関数値と前記データベースピッチデータを前記キースケーリング関数に代入して得られた関数値の差に基づき、前記合成パラメータを補正して補正パラメータを出力するキースケーリングステップと、前記補正パラメータに基づく波形を合成する波形合成ステップとをコンピュータに実行させるように構成されたことを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
図１は、本発明の実施の形態に係る歌唱合成装置の概略構成を示すブロック図である。本実施の形態に係る歌唱合成装置１は、図１に示すように、音声データベース１１と、合成パラメータ生成装置１２と、キースケーリング関数記憶部１３と、キースケーリング装置１４と、波形合成装置１５とを備えている。
【０００９】
音声データベース１１は、実際に録音或いは取得した歌唱データ等の信号を音素ごとに切り出したデータであり、図２に示すように、音韻遷移部分（音韻と音韻との間のつながり部分（例：ａ−ｅ、ａ−ｉ等）を示す）及び定常部分（音韻（例：ａ，ｉ等）が定常的に発音される部分）とに分類された音声素片データを格納しており、各音声素片データは、合成パラメータＰＡにより表現されている。
合成パラメータＰＡは、例えばフォルマント中心周波数、バンド幅、ゲインなど複数種類（ここではＮ種類とする）のパラメータＰＡｎ（ｎ＝１，２、・・・Ｎ）から構成される。各パラメータＰＡｎは、横軸を時刻ｔ（ｔ＝０〜Ｔ）、縦軸をパラメータ値としたグラフにより表現することが出来るデータ配列や関数として記憶される。
異なる音声素片データには、互いに異なるパラメータＰＡｎが格納されている。例えば、音韻遷移部ａ−ｅと、音韻遷移部ａ−ｉとではフォルマント中心周波数やゲインの異なるパラメータＰＡｎが記憶される。
【００１０】
また、各音韻遷移部、定常部のデータには、これらのパラメータＰＡｎに加え、その音声素片の各時刻におけるピッチのデータＤＰ（以下、データベースピッチＤＰという）が、各１つずつ格納されている。
【００１１】
合成パラメータ生成装置１２は、合成しようとする歌唱音声を表現するＭＩＤＩデータ（ピッチ、歌詞など）を入力する入力部と、この入力データに対応する音声素片データ（音韻遷移部データ又は定常部分データ）を音声データベース１１から合成パラメータＰＡとして読み出す合成パラメータ生成部として機能する。
【００１２】
また、合成パラメータ生成装置１２は、ＭＩＤＩデータとして合成パラメータ生成装置１２に入力されるピッチデータ、歌詞データに基づいて、合成される出力歌唱音声の各時刻における正確なピッチを決定し、これを合成ピッチデータＳＰとしてキースケーリング装置１４に向けて出力する合成ピッチデータ出力部として機能する。このピッチ決定の処理は、合成しようとする音声の前後に位置する音声についての歌詞の音韻、ピッチなどのデータが考慮されて行われる。
また、合成パラメータ生成装置１２は、読み出された音声素片データに含まれているデータベースピッチＤＰを読み出して、これをキースケーリング装置１４に向けて出力するデータベースピッチデータ生成部として機能する。
【００１３】
キースケーリング関数記憶部１３は、各合成パラメータＰＡｎの数に対応した数（ここではＮ個）のキースケーリング関数ｆｎを記憶している。
キースケーリング装置１４は、このキースケーリング関数記憶部１３に記憶された各合成パラメータＰＡｎに対応するキースケーリング関数ｆｎ（ｎ＝１，２、・・・Ｎ）を読み出し、このキースケーリング関数ｆｎを入力される各合成パラメータＰＡｎに適用してキースケーリング効果を与える。
このキースケーリング効果により、例えば高い音を発生するときは声が甲高くなったり、低い声を発生するときは声が聞き取り難くなったりというように、合成しようとする歌唱音声のピッチに合わせて合成パラメータを調整することが出来るので、自然な音声合成が可能となる。また、合成しようとするピッチごとに音声データベースを備える必要がないため、音声データベースのサイズが小さくて済む。
そして、データベースピッチＤＰを用いて、キースケーリング効果を与えられた合成パラメータＰＡｎに対し、音声データベース１１に記憶されているのと同じピッチの歌唱音声を合成しようとする場合には合成パラメータＰＡｎをそのままに保ち、異なるピッチの歌唱音声を合成しようとする場合には合成パラメータＰＡｎを変化させる処理を行う。具体的には、合成ピッチＳＰ、データベースピッチＤＰを関数ｆｎに代入して得られた関数値ｆｎ（ＳＰ）、ｆｎ（ＤＰ）（図３参照）を得た後、次の［数１］に示すように、両関数値の差（図３の場合、ｆｎ（ＤＰ）−ｆｎ（ＳＰ）＝０．１）を利用して各パラメータＰＡｎにキースケーリング効果を与えて補正パラメータＰＡｎ´を得る。つまり、補正パラメータＰＡｎ´は、パラメータＰＡｎを合成ピッチＰＡｎを合成ピッチＳＰとデータベースピッチＤＰにより補正したパラメータである。
【００１４】
【数１】
ＰＡｎ´＝ＰＡｎ＋ｆｎ（ＳＰ）−ｆｎ（ＤＰ）
【００１５】
また、次に示す［数２］のように、関数値ｆｎ（ＳＰ）、ｆｎ（ＤＰ）の差に定数（例えば１）を加えた値を各パラメータＰＡｎに乗算することによりキースケーリング効果を与えてもよい。
【数２】
ＰＡｎ´＝ＰＡｎ×（ｆｎ（ＳＰ）−ｆｎ（ＤＰ）＋１．０）
【００１６】
上記の［数１］、［数２］のどちらを選ぶかは、各パラメータＰＡｎの性質により決定する。例えば、パラメータＰＡｎの値が、ゲインのように対数で表現されている場合には［数１］が適当であり、周波数（Ｈｚ）のようにリニアな値で表現されている場合には、［数２］が適当である。
【００１７】
［数１］、［数２］のどちらの場合でも、ＳＰ＝ＤＰの場合には、ＰＡｎ´＝ＰＡｎとなる。すなわち、本実施の形態の歌唱合成装置１は、合成しようとするピッチＳＰと、データベース１１に格納されたデータベースピッチＤＰとが等しい場合には、合成パラメータＰＡには変化を加えないようにしている。
波形合成装置１５は、このキースケーリング効果を与えられた補正パラメータＰＡｎ´、及び合成ピッチＳＰにより表現される音声素片データを合成し重ね合わせて出力歌唱音声波形として出力する機能を有する。
【００１８】
次に、本実施の形態に係る歌唱合成装置１の作用を、図４に示すフローチャートに基づいて説明する。図４のフローチャートは、１つの音声素片データ内での処理の手順を示したものであり、これを合成パラメータ生成装置１２に入力されるＭＩＤＩデータに基づき音声データベース１１から選択されるすべての音声素片データについて順次実行し、波形合成装置１５で合成することにより、合成歌唱音声が得られる。
【００１９】
また、この図４に示すフローチャートでは、１つの音声素片データ内の各パラメータＰＡｎ（ｎ＝１，２・・・Ｎ）を１からＮの順で順々に処理するようにしている。また、各パラメータＰＡｎが時刻ｔの関数により表現されていることから、各パラメータＰＡｎの処理においては、各時刻ｔ毎に合成ピッチデータＳＰ（ｔ）、データベースピッチＤＰ（ｔ）を取得して補正パラメータＰＡｎ（ｔ）´の値を得るようにしている。具体的に説明すると、最初に、各パラメータＰＡｎの種類を示す変数ｎを１に初期設定し（Ｓ１）、そのｎの値に相当するスケーリング関数ｆｎをスケーリング関数記憶部１３より読み出す（Ｓ２）。続いて、時刻ｔを０に初期設定し（Ｓ３）、その時刻ｔでのパラメータＰＡｎ（ｔ）を取得する（Ｓ４）。
【００２０】
次に、その時刻ｔでの合成ピッチデータＳＰ（ｔ）、データベースピッチデータＤＰ（ｔ）の値を取得する（Ｓ５）。そして、このＳ４、Ｓ５で取得された値に基づき、［数１］又は［数２］により補正パラメータＰＡｎ（ｔ）´を演算する（Ｓ６）。このＳ６では、［数１］又は［数２］のいずれか一方を固定的に使用させるようにしてもよいし、パラメータＰＡｎの種類に応じて、［数１］又は［数２］のいずれを使用するかを自動選択させるようにしてもよい。
【００２１】
こうして、すべての時刻ｔ（ｔ＝０〜Ｔ）について、ｔをΔｔずつインクリメントしながら補正パラメータＰＡｎ´（ｔ）をＳ４〜Ｓ６の手順を繰り返して演算する（Ｓ７、Ｓ８）。この図４のフローチャートでは、Δｔごとに離散的な補正パラメータ値ＰＡｎ´（ｔ）を演算しているので、各データの中間の値が必要となる場合は補間により演算してもよい。
以上説明した手順を、すべてのパラメータＰＡｎ（ｎ＝１、２、・・・Ｎ）について演算するまで繰り返す（Ｓ９、Ｓ１０）。これにより得られたデータに基づいて得られた波形が、波形合成装置１５で合成されることにより、歌唱音声が合成、出力される。
【００２２】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されるものではなく、例えば、音声データベース１０１には、音韻遷移部分、定常部分に加え、特定の音韻部分のデータ（ｔｉｍｂｒｅ）を保持させるようにしてもよい。
また、データベースピッチＤＰは、上記のようにその音声素片データの各時刻におけるピッチのデータを格納するようにしてもよいが、その音声素片データの各時刻を代表するひとつのピッチデータとして格納してもよい。
また、合成パラメータ生成装置１２に入力するＭＩＤＩデータはピッチ、歌詞に限らず、ダイナミクス、ビブラートなどのデータであってもよい。
また、ＭＩＤＩデータとしてのピッチデータ、歌詞データに基づいて合成ピッチデータＳＰを決定する代わりに、合成ピッチデータＳＰデータを予めＭＩＤＩデータとして保持させておくようにしてもよい。
また、合成パラメータ生成部１２に入力するデータはＭＩＤＩデータに限らず、合成する歌唱音声が生成されるように時系列で演奏データを指定できるものであればよい。
【００２３】
【発明の効果】
以上説明したように、本発明によれば、音声素片のピッチをデータベースピッチとして記憶しているので、少ないキースケーリング関数で、元の歌唱音声のピッチと同じピッチの歌唱音声を合成しようとする場合に、音色など音質をそのままに保ち、元の歌唱音声のピッチと異なるピッチの歌唱音声を合成しようとする場合にだけ音色など音質を変化させることができ、自然な歌唱合成が可能になる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る歌唱合成装置の全体構成を示すブロック図である。
【図２】図１に示す音声データベースに記憶されるデータの内容を概念的に示す。
【図３】キースケーリング関数ｆｎの内容を示す。
【図４】図１に示す歌唱合成装置１の作用を示すフローチャートである。
【符号の説明】
１１…音声データベース、　１２…合成パラメータ生成装置、　１３…キースケーリング関数記憶部　１４…キースケーリング装置、　１５…波形合成装置
【図１】
2004061793.tif 000003
【図２】
2004061793.tif 000004
【図３】
2004061793.tif 000005
【図４】
2004061793.tif 000006