(57)【要約】【課題】より自然な印象を聴取者に与えることが可能な合唱音を合成する。【解決手段】この合唱合成装置１００は、各々異なる音声に基づいて作成した３つの音声試料データ群１１０ａ，１１０ｂ，１１０ｃを記憶する音声試料データベース１１０と、３つの歌唱生成器１２０，１２１，１２２とを有している。３パートからなる楽曲の合唱音信号を合成する際には、合唱制御部１４０の制御に下、歌唱生成器１２０，１２１，１２２は各々パートに歌詞情報やメロディ情報に応じて歌唱音信号を生成し、各合唱音信号を合成する。この生成の際に、各歌唱生成器１２０，１２１，１２２は異なる音声試料データ群１１０ａ，１１０ｂ，１１０ｃに含まれる音声素片試料データを用いる。【選択図】　　　　図１
2004077608.tif 000002
【特許請求の範囲】
【請求項１】
楽曲データに基づいて合唱音信号を合成する合唱合成装置であって、
同一種類の音声試料データについて、複数の異なる音声に基づいて各々作成された前記音声試料データを記憶するデータベースと、
前記楽曲データにしたがって歌唱音信号を生成する手段であって、必要となる前記音声試料データを前記データベースから読み出して当該歌唱音信号の生成に用いる複数の歌唱生成手段と、
前記複数の歌唱生成手段で生成された歌唱音信号から合唱音信号を合成する歌唱合成手段とを具備し、
前記楽曲データが複数のパートからなり、前記複数の歌唱生成手段の各々が各前記パートに対応する歌唱音信号を生成する際に、少なくとも２つの前記歌唱生成手段の各々は、前記データベースから異なる音声に基づいて作成された前記音声試料データを読み出して前記歌唱音信号の生成に用いる
ことを特徴とする合唱合成装置。
【請求項２】
前記データベースは、音素、あるいは２つ以上の音素のつながりである音素連鎖である音声素片についての音声試料データであって、同一の音素あるいは音素連鎖について複数の異なる音声に基づいて作成した音声素片試料データを記憶しており、
前記歌唱生成手段は、前記データベースから前記楽曲データに示される歌詞に対応した音声素片試料データを読み出して接続し、接続した音声素片試料データを前記楽曲データに示されるピッチに応じて調整して歌唱音信号を生成する
ことを特徴とする請求項１に記載の合唱合成装置。
【請求項３】
前記データベースは、複数の異なる音声に基づいて各々作成された音声試料データであって、音声のビブラート部分の特徴を示すビブラート音声試料データを記憶しており、
前記歌唱生成手段は、ビブラート部分の歌唱音信号を生成する際に、前記データベースに記憶されている前記ビブラート音声試料データを読み出して用いる
ことを特徴とする請求項１または２に記載の合唱合成装置。
【請求項４】
楽曲データにしたがって合唱音信号を合成する合唱合成装置であって、
音声に基づいて作成された所定の時間長を有する音声試料データを記憶するデータベースと、
前記楽曲データにしたがって歌唱音信号を生成する手段であって、必要となる前記音声試料データを前記データベースから読み出して当該歌唱音信号の生成に用いる複数の歌唱生成手段と、
前記複数の歌唱生成手段で生成された歌唱音信号から合唱音信号を合成する歌唱合成手段とを具備し、
前記楽曲データが複数のパートからなり、前記複数の歌唱生成手段の各々が各前記パートに対応する歌唱音信号を生成する際に、少なくとも２つの前記歌唱生成手段の各々は、前記データベースから読み出した前記音声試料データの異なる時間に対応する部分から使用を開始して前記歌唱音信号を生成する
ことを特徴とする合唱合成装置。
【請求項５】
前記データベースは、音素、あるいは２つ以上の音素のつながりである音素連鎖である音声素片についての前記所定の時間長を有する音声素片試料データを記憶しており、
前記歌唱生成手段は、前記データベースから前記楽曲データに示される歌詞に対応した音声素片試料データを読み出して接続し、接続した音声素片試料データを前記楽曲データに示されるピッチに応じて調整して歌唱音信号を生成する
ことを特徴とする請求項４に記載の合唱合成装置。
【請求項６】
前記データベースは、音声のビブラート部分の特徴を示す前記所定の時間長を有するビブラート音声試料データを記憶しており、
前記歌唱生成手段は、ビブラート部分の歌唱音信号を生成する際に、前記データベースに記憶されている前記ビブラート音声試料データを読み出して用いる
ことを特徴とする請求項４または５に記載の合唱合成装置。
【請求項７】
前記楽曲データが複数のパートからなり、前記複数の歌唱生成手段の各々が各前記パートに対応する歌唱音信号を生成する際に、少なくとも２つの前記歌唱生成手段の各々によって生成された歌唱音信号の出力タイミングをずらすタイミング調整手段をさらに具備する
ことを特徴とする請求項１ないし６のいずれかに記載の合唱合成装置。
【請求項８】
前記複数の歌唱生成手段の各々に対応して設けられ、前記データベースから読み出された音声試料データに含まれる音色に関するデータを変更する音色変更手段を有しており、
前記楽曲データが複数のパートからなり、前記複数の歌唱生成手段の各々が各前記パートに対応する歌唱音信号を生成する際に、少なくとも２つの前記歌唱生成手段に対応する前記音色変更手段の各々は、互いに異なる方法によって前記音色に関するデータを変更する
ことを特徴とする請求項１ないし７のいずれかに記載の合唱合成装置。
【請求項９】
楽曲データに基づいて生成された複数の歌唱音信号から合唱音信号を合成する合唱合成方法であって、
複数のパートからなる前記楽曲データにしたがって前記複数のパートに対応する歌唱音信号を生成する際には、複数の異なる音声に基づいて各々作成された前記音声試料データを記憶するデータベースから必要となる前記音声試料データを読み出し、
少なくとも２つの前記パートに対応する歌唱音信号の生成には、前記データベースから読み出された異なる音声に基づいて作成された前記音声試料データを用いる
ことを特徴とする合唱合成方法。
【請求項１０】
楽曲データに基づいて生成された複数の歌唱音信号から合唱音信号を合成する合唱合成方法であって、
複数のパートからなる前記楽曲データにしたがって前記複数のパートに対応する歌唱音信号を生成する際には、音声に基づいて作成された所定の時間長を有する音声試料データを記憶するデータベースから必要となる前記音声試料データを読み出し、
少なくとも２つの前記パートに対応する歌唱音信号の生成には、前記データベースから読み出した前記音声試料データの異なる時間に対応する部分から使用を開始して前記歌唱音信号を生成する
ことを特徴とする合唱合成方法。
【請求項１１】
コンピュータを、
楽曲データにしたがって、複数の異なる音声に基づいて各々作成された音声試料データを記憶するデータベースから必要となる前記音声試料データを読み出して歌唱音信号を生成する手段であって、前記楽曲データが複数のパートからなり、前記複数のパートに対応する歌唱音信号を生成する場合には、少なくとも２つの前記パートに対応する歌唱音信号の生成の際に、前記データベースから読み出された異なる音声に基づいて作成された前記音声試料データを用いて前記歌唱音信号を生成する歌唱音生成手段と、
前記生成された歌唱音信号から合唱音信号を合成する歌唱合成手段として機能させるためのプログラム。
【請求項１２】
コンピュータを、
楽曲データにしたがって、音声に基づいて作成された所定の時間長を有する音声試料データを記憶するデータベースから必要となる前記音声試料データを読み出して歌唱音信号を生成する手段であって、前記楽曲データが複数のパートからなり、前記複数のパートに対応する歌唱音信号を生成する場合には、少なくとも２つの前記パートに対応する歌唱音信号を生成する際に、前記データベースから読み出した前記音声試料データの異なる時間に対応する部分から使用を開始して前記歌唱音信号を生成する歌唱音生成手段と、
前記生成された歌唱音信号から合唱音信号を合成する歌唱合成手段として機能させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、合唱音信号を合成する合唱合成装置、合唱合成方法、および合唱音を合成するためのプログラムに関する。
【０００２】
【従来の技術】
従来より、歌詞情報やメロディ情報に基づいて、歌唱音信号を合成して歌声を発音する合唱合成装置が提案されている。このように歌唱音信号を合成する装置としては、規則音声合成技術を応用した装置等の種々の装置が提案されている。規則合成技術を応用した歌唱合成装置では、予め発声者が発した音声から、音素や複数の音素を含む音素連鎖を単位とする音声試料データを作成してデータベースに記憶しておく。そして、歌詞情報にしたがって必要となる音素等の音声試料データを読み出して接続することにより歌唱音信号を合成している。
【０００３】
ところで、上記のような歌唱音を合成する歌唱音合成装置では、文章読み上げ装置等の音声合成装置と異なり、斉唱や重唱といった合唱時の歌唱音を電子的に出力するといった利用形態も考えられる。したがって、合唱時の歌唱音（合唱音）を合成する機能を備えた合唱合成装置の開発も行われている。
【０００４】
このような合唱時の合唱音信号を合成する機能を備えた合唱合成装置は、複数のパートの各々に基づいて、音声試料データを読み出して接続することにより合唱音信号を生成する。そして、各々のパートについて生成した歌唱音信号を重ね合わせて出力することにより、合唱音を電子的に出力することができるようになっている。
【０００５】
【発明が解決しようとする課題】
しかし、従来の合唱音信号を合成する機能を備えた合唱合成装置では、各パート毎に歌詞情報やメロディ情報にしたがって歌唱音信号を生成する際に、同一の音声試料データを用いているため、各パート毎に生成された歌唱音はメロディが異なっているものの、生成された各パート毎の音声波形の微細な特徴（ピッチのゆらぎ等）は基本的に同一となってしまう。したがって、これらを重ね合わせた合唱音は、聴取者にとって不自然な合唱音に聴こえてしまう。これは、各パート間の相関関係（微細な特徴が一致する）を聴取者が聴き取ってしまい、不自然な印象を与えているものと考えられる。
【０００６】
また、斉唱時の合唱音信号を合成する場合には、上記のように各パート毎に単純に歌唱音信号を生成して重ね合わせる手法では、全く同じ歌唱音が重ねられて出力されてしまい、この結果聴取者に不自然な印象を与えてしまうことになる。そこで、従来の合唱音合成装置において、斉唱時の合唱音信号を合成する場合には、各パート（内容は同一）毎に生成した歌唱音の発音タイミングを若干ずらしたり、各パート毎に生成した歌唱音のピッチを若干ずらしたりすることにより、全く同一の歌唱音が重ねられて発音されてしまうことを防止していた。しかしながら、発音タイミングやピッチを若干ずらした場合にも、上記のように各パート毎に生成された音声波形の微細な特徴（ゆらぎ等）は基本的に同一となってしまう。したがって、これらを重ね合わせた合唱音は、上記と同様、聴取者にとって不自然な合唱音に聴こえてしまう。
【０００７】
また、特開平７−１４６６９５号公報には、合唱音信号を生成する装置が開示されており、この装置では、各パート毎に歌唱音信号を生成する際に、各パート毎に異なるピッチのゆらぎ成分を付与した歌唱音信号を生成している。このように各パート毎に異なるピッチのゆらぎ成分を付与した歌唱音信号を重ねて出力することにより、各パート間の相関関係を小さくすることができる。しかしながら、この公報に記載された装置において、各パート毎の歌唱音信号に付与されるピッチ成分は、人の音声を基にしたものではなく、人工的に作られたものであるため、各パート間の相関関係は小さくなるものの、合成された合唱音が不自然に聴こえてしまうことがある。
【０００８】
本発明は、上記の事情を考慮してなされたものであり、より自然な印象を聴取者に与えることが可能な合唱音を合成することができる合唱合成装置、合唱合成方法およびプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る合唱合成装置は、楽曲データに基づいて合唱音信号を合成する合唱合成装置であって、同一種類の音声試料データについて、複数の異なる音声に基づいて各々作成された前記音声試料データを記憶するデータベースと、前記楽曲データにしたがって歌唱音信号を生成する手段であって、必要となる前記音声試料データを前記データベースから読み出して当該歌唱音信号の生成に用いる複数の歌唱生成手段と、前記複数の歌唱生成手段で生成された歌唱音信号から合唱音信号を合成する歌唱合成手段とを具備し、前記楽曲データが複数のパートからなり、前記複数の歌唱生成手段の各々が各前記パートに対応する歌唱音信号を生成する際に、少なくとも２つの前記歌唱生成手段の各々は、前記データベースから異なる音声に基づいて作成された前記音声試料データを読み出して前記歌唱音信号の生成に用いることを特徴としている。
【００１０】
この構成によれば、各歌唱生成手段が対応するパートの歌唱音信号を生成する際に、少なくとも２つの歌唱生成手段が異なる音声に基づいて作成した音声試料データを用いることになる。ここで、異なる音声に基づいて作成した音声試料データは、微細な特徴等が異なっているため、上記少なくとも２つの歌唱生成手段から出力される歌唱音信号は微細な特徴が異なったものとなる。したがって、各パートに応じた歌唱音として、固有の特徴を有する歌唱音が放音されるので、聴取者に対してより自然な印象を与えることができる。
【００１１】
また、本発明の別の態様の合唱合成装置は、楽曲データにしたがって合唱音信号を合成する合唱合成装置であって、音声に基づいて作成された所定の時間長を有する音声試料データを記憶するデータベースと、前記楽曲データにしたがって歌唱音信号を生成する手段であって、必要となる前記音声試料データを前記データベースから読み出して当該歌唱音信号の生成に用いる複数の歌唱生成手段と、前記複数の歌唱生成手段で生成された歌唱音信号から合唱音信号を合成する歌唱合成手段とを具備し、前記楽曲データが複数のパートからなり、前記複数の歌唱生成手段の各々が各前記パートに対応する歌唱音信号を生成する際に、少なくとも２つの前記歌唱生成手段の各々は、前記データベースから読み出した前記音声試料データの異なる時間に対応する部分から使用を開始して前記歌唱音信号を生成することを特徴としている。
【００１２】
この構成によれば、各歌唱生成手段が対応するパートの歌唱音信号を生成する際に、少なくとも２つの歌唱生成手段が音声試料データの異なる時間に対応する部分から使用を開始して生成を行うことになる。ここで、音声に基づいて作成されたある時間長を有する音声試料データは、その時間長の間微細な特徴（音声波形のゆらぎ）が一定ではなく、時間によって微細な特徴等が異なっている。このため、上記少なくとも２つの歌唱生成手段から出力される歌唱音信号は微細な特徴が異なったものとなる。したがって、各パートに応じた歌唱音として、固有の特徴を有する歌唱音が放音されるので、聴取者に対してより自然な印象を与えることができる。
【００１３】
また、本発明に係る合唱合成方法は、楽曲データに基づいて生成された複数の歌唱音信号から合唱音信号を合成する合唱合成方法であって、複数のパートからなる前記楽曲データにしたがって前記複数のパートに対応する歌唱音信号を生成する際には、複数の異なる音声に基づいて各々作成された前記音声試料データを記憶するデータベースから必要となる前記音声試料データを読み出し、少なくとも２つの前記パートに対応する歌唱音信号の生成には、前記データベースから読み出された異なる音声に基づいて作成された前記音声試料データを用いることを特徴としている。
【００１４】
また、本発明の別の態様の合唱合成方法は、楽曲データに基づいて生成された複数の歌唱音信号から合唱音信号を合成する合唱合成方法であって、複数のパートからなる前記楽曲データにしたがって前記複数のパートに対応する歌唱音信号を生成する際には、音声に基づいて作成された所定の時間長を有する音声試料データを記憶するデータベースから必要となる前記音声試料データを読み出し、少なくとも２つの前記パートに対応する歌唱音信号の生成には、前記データベースから読み出した前記音声試料データの異なる時間に対応する部分から使用を開始して前記歌唱音信号を生成することを特徴としている。
【００１５】
また、本発明に係るプログラムは、コンピュータを、楽曲データにしたがって、複数の異なる音声に基づいて各々作成された音声試料データを記憶するデータベースから必要となる前記音声試料データを読み出して歌唱音信号を生成する手段であって、前記楽曲データが複数のパートからなり、前記複数のパートに対応する歌唱音信号を生成する場合には、少なくとも２つの前記パートに対応する歌唱音信号の生成の際に、前記データベースから読み出された異なる音声に基づいて作成された前記音声試料データを用いて前記歌唱音信号を生成する歌唱音生成手段と、前記生成された歌唱音信号から合唱音信号を合成する歌唱合成手段として機能させることを特徴としている。
【００１６】
また、本発明の別の態様のプログラムは、コンピュータを、楽曲データにしたがって、音声に基づいて作成された所定の時間長を有する音声試料データを記憶するデータベースから必要となる前記音声試料データを読み出して歌唱音信号を生成する手段であって、前記楽曲データが複数のパートからなり、前記複数のパートに対応する歌唱音信号を生成する場合には、少なくとも２つの前記パートに対応する歌唱音信号の生成する際に、前記データベースから読み出した前記音声試料データの異なる時間に対応する部分から使用を開始して前記歌唱音信号を生成する歌唱音生成手段と、前記生成された歌唱音信号から合唱音信号を合成する歌唱合成手段として機能させることを特徴としている。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
Ａ．第１実施形態
Ａ−１．第１実施形態の基本構成
まず、図１は本発明の第１実施形態に係る合唱合成装置の基本構成を示すブロック図である。同図に示すように、この合唱合成装置１００は、音声試料データベース１１０と、複数（図示の例では３つ）の歌唱生成器１２０，１２１，１２２と、合唱制御部１４０と、歌唱生成器１２０，１２１，１２２の各々が出力する歌唱音信号を加算して合成し、出力する加算器１３０とを備えている。
【００１８】
音声試料データベース１１０には、人が発声した自然の音声に基づいて作成された音声試料データが記憶されている。この音声試料データベース１１０には、単一の音素または複数の音素で構成される音素連鎖を１つの単位とする音声試料データ（以下、音声素片試料データという）が記憶されている。
【００１９】
多数の短時間長の音声試料データをデータベースに蓄積しておいて、歌詞等に応じてこれらの音声試料データを接続して音声合成処理技術では、合成単位として音素が用いられるのが基本である。このため、この合唱合成装置１００における音声試料データベース１１０に、音素（３０〜５０種類程度）単位のみの音声素片試料データを蓄積するようにしてもよいが、音素間の結合規則は複雑であるため、音素単位のみの音声試料データを蓄積した場合には、良好な品質を得ることが難しい。したがって、音声試料データベース１１０には、音素単位のみの音声素片試料データに加え、音素よりもやや大きい単位（音素連鎖）の音声素片試料データも蓄積しておくことが好ましい。音素よりも大きい単位としては、ＣＶ（子音→母音）、ＶＣ（母音→子音）、ＶＣＶ（母音→子音→母音）、ＣＶＣ（子音→母音→子音）といった単位がある。これらの単位の音声素片試料データを全て蓄積しておくことも考えられるが、合唱音を合成する合唱合成装置１００においては、歌唱において使用頻度の高い母音など長く発音する伸ばし音を１単位とした音声素片試料データ、子音から母音（ＣＶ）および母音から子音（ＶＣ）を１単位とした音声素片試料データ、子音から子音を１単位としたの音声素片試料データ、および母音から母音を１単位とした音声素片試料データを蓄積しておくようにすればよい。
【００２０】
音声試料データベース１１０には、上述したような音素あるいは音素連鎖を１単位とした音声素片試料データが格納されているが、この音声試料データベース１１０では、同一種類の音素（例えば「ａ」）あるいは音素連鎖（例えば、「ａｉ」）について３つの音声素片試料データを記憶している。すなわち、音声試料データベース１１０には、音素あるいは音素連鎖を１単位とした所定数の単位音声素片試料データからなる３つの音声試料データ群１１０ａ，１１０ｂ，１１０ｃが記憶されているのである。
【００２１】
音声試料データベース１１０に記憶されている３つの音声試料データ群１１０ａ，１１０ｂ，１１０ｃは、各々異なる音声に基づいて作成されたデータである。ここで、異なる音声とは、発声者が異なることのみを意味するわけではなく、同じ発声者であっても別の機会に発した音声や異なる発声部分を用いたものであってもよい。このように音声試料データ群１１０ａ，１１０ｂ，１１０ｃは、別の発声者または同じ発声者であっても別の機会に発した音声や別の発声部分に基づいて作成されているのである。このように各音声試料データ群１１０ａ，１１０ｂ，１１０ｃに含まれる同一の音素（あるいは音素連鎖）についてのデータは、各々のデータを作成するために使用した基となる音声が異なっているため、微細な特徴（ピッチのゆらぎ等）が異なったものとなっている。
【００２２】
音声試料データベース１１０には、上述したような３つの音声試料データ群１１０ａ，１１０ｂ，１１０ｃが記憶されており、各歌唱生成器１２０，１２１，１２２は、歌唱音信号を生成する際にこの音声試料データベース１１０から音声素片試料データを読み出して用いることになる。
【００２３】
歌唱生成器１２０，１２１，１２２の各々は、歌詞情報およびメロディ情報を有する楽曲情報にしたがって、音声試料データベース１１０から必要となる音声素片試料データを読み出し、読み出した音声素片試料データを用いて歌唱音信号を生成する。
【００２４】
より具体的には、歌唱生成器１２０，１２１，１２２の各々は、歌詞情報にしたがって音素列を求め、その音素列を構成するために必要な音声素片試料データを決定し、音声試料データベース１１０から読み出す。そして、読み出した音声素片試料データを時系列に接続し、接続した音声素片試料データをメロディ情報にしたがったピッチに応じて適宜調整し、歌唱音信号を生成するのである。
【００２５】
本実施形態に係る合唱合成装置１００は、歌詞情報およびメロディ情報にしたがって歌唱音信号を生成することができる３つの歌唱生成器１２０，１２１，１２２を備えており、これにより３つのパートかならなる合唱曲の楽曲情報（歌詞情報およびメロディ情報）にしたがって、この合唱曲に対応した合唱音信号を合成することができるようになっている。
【００２６】
合唱制御部１４０は、当該合唱合成装置１００において、合唱曲の楽曲情報に基づいて合唱音に対応した合唱音信号を合成する際に、楽曲情報を各パート毎に分割して各歌唱生成器１２０，１２１，１２２に出力する。これにより、３つのパートからなる楽曲情報にしたがって合唱音信号を合成する場合には、各歌唱生成器１２０，１２１，１２２が合唱制御部１４０から供給される各々のパートの歌詞情報およびメロディ情報にしたがって歌唱音信号を生成し、各歌唱生成器１２０，１２１，１２２の各々が生成した歌唱音信号が加算器１３０に出力される。これにより、加算器１３０からは３つのパートからなる合唱曲の楽曲情報にしたがって、この合唱曲に対応した合唱音信号を合成することができるのである。
【００２７】
また、この合唱合成装置１００において、上記のように合唱音信号を合成する際には、合唱制御部１４０は、各歌唱生成器１２０，１２１，１２２の各々が、音声試料データベース１１０に記憶されている音声試料データ群１１０ａ，１１０ｂ，１１０ｃのうち、どの音声試料データ群から音声素片試料データを読み出して用いるかを指定する指定情報を歌唱生成器１２０，１２１，１２２に出力する。ここで、合唱制御部１４０は、各歌唱生成器１２０，１２１，１２２が互いに異なる音声試料データ群１１０ａ，１１０ｂ，１１０ｃに含まれる音声素片試料データを用いて歌唱音信号を生成するように、各歌唱生成器１２０，１２１，１２２に異なるデータ群を指定する指定情報を出力する。
【００２８】
具体的に例示すると、歌唱生成器１２０に対しては音声試料データ群１１０ａを指定する指定情報を出力し、歌唱生成器１２１に対しては音声試料データ群１１０ｂを指定する指定情報を出力し、歌唱生成器１２２に対しては音声試料データ群１１０ｃを指定する指定情報を出力するといった具合である。このような指定情報が合唱制御部１４０から供給されると、歌唱生成器１２０は音声試料データ群１１０ａに含まれる音声素片試料データを読み出して歌唱音信号の生成に用い、歌唱生成器１２１は音声試料データ群１１０ｂに含まれる音声素片試料データを読み出して歌唱音信号の生成に用い、歌唱生成器１２２は音声試料データ群１１０ｃに含まれる音声素片試料データを用いて歌唱音信号を生成することになる。
【００２９】
合唱合成装置１００において、３つのパートからなる合唱曲の歌唱音信号を合成する場合に、上述したように各歌唱生成器１２０，１２１，１２２が互いに異なる音声試料データ群１１０ａ，１１０ｂ，１１０ｃに含まれる音声素片試料データを用いることにより、より自然な印象を聴取者に与えることが可能な合唱音信号を合成することができる。すなわち、音声試料データベース１１０に記憶されている音声試料データ群１１０ａ，１１０ｂ，１１０ｃは、各々異なる音声に基づいて作成されたものであり、同一種類の音素や音素連鎖についてのデータであっても、各音声試料データ群１１０ａ，１１０ｂ，１１０ｃに含まれるデータに示される音声の微細な特徴（ピッチのゆらぎ等）は異なっている。このように微細な特徴が異なっている音声素片試料データが含まれる音声試料データ群１１０ａ，１１０ｂ，１１０ｃのうち、各歌唱生成器１２０，１２１，１２２が異なる音声試料データ群に含まれる音声素片試料データを用いて歌唱音信号を生成することにより、各歌唱生成器１２０，１２１，１２２によって生成される歌唱音信号は、互いに微細な特徴が異なるものとなっている。したがって、これらを重ね合わせた合唱音は、各パート間の相関関係がほとんどない固有の特徴を有するものとなり、聴取者に不自然な印象を与えてしまうことを低減することができる。
【００３０】
また、音声試料データベース１１０に記憶されている音声試料データ群１１０ａ，１１０ｂ，１１０ｃに含まれる音声素片試料データは、各々人が発声した音声に基づいて作成されたデータである。したがって、各音声試料データ群に含まれる音声素片試料データに示される音声の微細な特徴の相違は、予め用意されたピッチのゆらぎを付与するといった人工的に作り出されたものではない。したがって、合成された合唱音が不自然なものとなってしまうことを低減することができる。
【００３１】
Ａ−２．合唱合成装置の具体的な構成
以上説明したのが本実施形態に係る合唱合成装置１００の基本的な構成である。この合唱合成装置１００においては、歌唱生成器１２０，１２１，１２２として、歌詞情報にしたがって音声試料データベース１１０から音声素片試料データを読み出して接続し、メロディ情報にしたがったピッチに応じて接続した音声素片試料データを調整して歌唱音信号を出力するといった歌唱生成器であれば、規則音声合成技術等を応用した歌唱生成器等の公知の種々の歌唱生成器を用いることができ、音声試料データベース１１０には採用する歌唱生成器に対応した音声素片試料データを記憶させておけばよい。以下においては、歌唱生成器１２０，１２１，１２２として、米国特許第５０２９５０９号や特許第２９０６９７０号において提案されているスペクトルモデリング合成（ＳＭＳ：Ｓｐｅｃｔｒａｌ　Ｍｏｄｅｌｉｎｇ　Ｓｙｎｔｈｅｓｉｓ）技術を利用した歌唱生成器を適用した場合を例に挙げて、合唱合成装置１００について具体的に説明する。
【００３２】
まず、ＳＭＳ技術を利用した歌唱生成器１２０，１２１，１２２を備えた歌唱合成装置１００における音声試料データベース１１０の作成手法について説明する。
【００３３】
上述したように、この合唱合成装置１００における音声試料データベース１１０には、発声者の発した音声に基づいて作成された音声素片試料データが記憶されている。ＳＭＳ技術は、オリジナルの音を２つの成分、すなわち調和成分（ｄｅｔｅｒｍｉｎｉｓｔｉｃ　ｃｏｍｐｏｎｅｎｔ）と、非調和成分（ｓｔｏｃｈａｓｔｉｃ　ｃｏｍｐｏｎｅｎｔ）で表すモデルを使用して楽音の分析および合成を行う技術であり、ＳＭＳ技術を利用した音声合成においては、音素あるいは音素連鎖といった１単位の音声素片試料データとして、上記調和成分および非調和成分からなるデータが音声合成に用いられる。したがって、ＳＭＳ技術を利用した合唱合成装置１００においては、音声試料データベース１１０に、発声者の発した音声をＳＭＳ分析することにより得られた調和成分および非調和成分を示すデータが１つの音声素片試料データとして記憶される。以下、図２を参照しながら、音声試料データベース１１０の作成手法について説明する。
【００３４】
同図に示すように、音声試料データベース１１０の作成のために発声者が発した音声は、ＳＭＳ分析部２００に入力され、ＳＭＳ分析部２００においてＳＭＳ分析される。ここで、音声試料データベース１１０には、異なる音声に基づいて作成した音声試料データ群１１０ａ，１１０ｂ，１１０ｃを記憶しておく必要があるため、３つの異なる音声がＳＭＳ分析部２００に入力されることになる。なお、図示では、３つの異なる音声が並列にＳＭＳ分析部２００に入力されるように表されているが、各音声についてのＳＭＳ分析は同時に並列して行う必要はなく、個別に行うようにしてもよい。
【００３５】
ＳＭＳ分析部２００は、入力される音声に対してＳＭＳ分析を行い、各フレーム毎のＳＭＳ分析データを出力する。より具体的には、以下の手法により各フレーム毎のＳＭＳ分析データを出力する。
【００３６】
まず、入力される音声を一連のフレームに分ける。ここで、ＳＭＳ分析に用いるフレーム周期としては、一定の固定長であってもよいし、入力音声のピッチ等に応じてその周期を変更する可変長の周期であってもよい。
【００３７】
次に、フレームに分けた音声に対して高速フーリエ変換（ＦＦＴ：Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）等の周波数分析を行う。この周波数分析によって得られた周波数スペクトル（複素スペクトル）から振幅スペクトルと位相スペクトルを求め、振幅スペクトルのピークに対応する特定の周波数のスペクトルを線スペクトルとして抽出する。このとき、基本周波数およびその整数倍の周波数近傍の周波数を持つスペクトルを線スペクトルとする。このようにして抽出した線スペクトルが上述した調和成分に対応している。
【００３８】
次に、上記のように入力音声から線スペクトルを抽出するとともに、抽出した線スペクトルをそのフレームの入力音声（ＦＦＴ後の波形）から減算することにより、残差スペクトルを得る。あるいは、抽出した線スペクトルから合成した調和成分の時間波形データをそのフレームの入力音声波形データから減算して残差成分の時間波形データを取得した後、これに対してＦＦＴ等の周波数分析を行うことにより残差スペクトルを得るようにしてもよい。このようにして得られた残差スペクトルが上述した非調和成分に対応している。
【００３９】
ＳＭＳ分析部２００は、上記のようにして取得した線スペクトル（調和成分）および残差スペクトル（非調和成分）からなる各フレーム毎のＳＭＳ分析データを区間切り出し部２０１に出力する。
【００４０】
区間切り出し部２０１は、ＳＭＳ分析部２００から供給される各フレーム毎のＳＭＳ分析データを、音声試料データベース１１０に記憶すべき音声素片試料データの１単位（音素あるいは音素連鎖）の長さに対応するように切り出す。区間切り出し部２０１は、各素片の単位長さに対応するようにＳＭＳ分析データを切り出し、音声試料データベース１１０に記憶させる。
【００４１】
ここで、音声試料データベース１１０に記憶される音声素片試料データは、音素あるいは音素連鎖毎に切り出されたＳＭＳデータであり、調和成分については、その音素あるいは音素連鎖に含まれるフレーム全てのスペクトル包絡（線スペクトル（倍音系列）の強度（振幅）および位相のスペクトル）が記憶される。なお、このようなスペクトル包絡そのものを調和成分として記憶させるようにしてもよいが、該スペクトル包絡を何らかの関数で表現したものを記憶させるようにしてもよいし、調和成分を逆ＦＦＴ等して得た時間波形として記憶させるようにしてもよい。本実施形態では、非調和成分についても調和成分と同様に、強度スペクトルと位相スペクトルとして記憶させることとするが、上記調和成分と同様、関数や時間波形として記憶させるようにしてもよい。
【００４２】
このような音声に対するＳＭＳ分析および区間切り出しが３つの異なる入力音声の各々について行われ、この結果、音声試料データ群１１０ａ，１１０ｂ，１１０ｃといった３つの異なる音声に基づいて作成された音声素片試料データ（音素あるいは音素連鎖毎のＳＭＳ分析データ）の群が音声試料データベース１１０に記憶される。
【００４３】
以上が本実施形態に係る合唱合成装置１００の音声試料データベース１１０の作成手法の詳細である。
【００４４】
次に、上述したように異なる音声に基づいて作成された３つの音声試料データ群１１０ａ，１１０ｂ，１１０ｃを記憶する音声試料データベース１１０を用いて歌唱音信号を生成する各歌唱生成器１２０，１２１，１２２について説明する。なお、歌唱生成器１２０，１２１，１２２は、各々同様の構成であるため、以下においては歌唱生成器１２０の構成について図３を参照しながら説明し、他の歌唱生成器１２１，１２２についての説明を割愛する。
【００４５】
同図に示すように、この歌唱生成器１２０は、音声素片選択部３０１と、ピッチ決定部３０２と、継続時間長調整部３０３と、音声素片接続部３０４と、調和成分生成部３０５と、加算部３０６と、逆ＦＦＴ（高速フーリエ変換）部３０７と、窓掛け部３０８と、オーバーラップ部３０９とを備えている。
【００４６】
音声素片選択部３０１は、合唱制御部１４０（図１参照）から供給される歌詞情報および指定情報にしたがって、必要となる音声素片試料データを音声試料データベース１１０から読み出す。より具体的には、供給される歌詞情報を音声記号（音素あるいは音素連鎖）列に変換し、変換した音声記号列にしたがって音声試料データベース１１０から音声素片試料データを読み出す。例えば、「サイタ」（ｓａｉｔａ）といった歌詞情報にしたがって歌唱音信号を生成する場合には、該歌詞情報が「＃ｓ」、「ｓ」、「ｓａ」、「ａ」、「ａｉ」、「ｉ」、「ｉｔ」、「ｔ」、「ｔａ」、「ａ」、「ａ＃」といった音声記号列に変換され、これらの各音声記号に対応する音声素片試料データが音声試料データベース１１０から読み出されることになる。
【００４７】
音声素片選択部３０１は、上記のように歌詞情報にしたがって読み出すべき音声素片試料データを決定し、合唱制御部１４０から供給される指定情報に指定される音声試料データ群の中から決定した音声素片試料データを読み出す。例えば、指定情報が音声試料データ群１１０ａを指定している場合には、音声試料データベース１１０の音声試料データ群１１０ａに含まれる「＃ｓ」、「ｓ」、「ｓａ」、「ａ」、「ａｉ」、「ｉ」、「ｉｔ」、「ｔ」、「ｔａ」、「ａ」、「ａ＃」に対応した音声素片試料データを読み出す。
【００４８】
ピッチ決定部３０２は、合唱制御部１４０（図１参照）から供給されるメロディ情報に応じて歌唱音のピッチを決定し、決定したピッチを示すピッチ情報を調和成分生成部３０５に出力する。
【００４９】
継続時間長調整部３０３には、音声素片選択部３０１によって読み出された音声素片試料データ（調和成分および非調和成分）が供給される。ここで、音声素片選択部３０１は、読み出した音声素片試料データをそのまま継続時間長調整部３０３に供給するようにしてもよいが、メロディ情報に示されるピッチ等に応じて適当な補正処理を施してから継続時間長調整部３０３に供給するようにしてもよい。
【００５０】
継続時間長調整部３０３は、メロディ情報等によって決定される音素あるいは音素連鎖毎の発音時間長に応じて音声素片選択部３０１から供給された各音声素片試料データの時間長を変更する処理を行う。より具体的には、ある音声素片試料データを、その時間長より短い時間として使用する場合には、該音声素片試料データからフレームを間引く処理を行う。一方、ある音声素片試料データを、その時間長よりも長い時間継続して使用する場合には、その音声素片試料データを使用する時間長の間繰り返して時間を長くするループ処理を行う。このループ処理において、ある音声素片試料データを繰り返す場合には、当該音声素片試料データの最初から最後（０〜ｔ）までのデータの後に、当該音声素片試料データｊを最初（０）からデータを接続して繰り返すようにしてもよいし、最初から最後（０〜ｔ）までのデータの後に、当該音声素片試料データの時間的に最後（ｔ）の部分から最初の部分に向かってデータを接続して繰り返すようにしてもよい。
【００５１】
継続時間長調整部３０３は、上記のように各音声素片の発音時間長に応じて音声素片試料データ（調和成分および非調和成分）の継続時間長を調整した後、時間調整後の音声素片試料データを音声素片接続部３０４に出力する。
【００５２】
音声素片接続部３０４は、継続時間長調整部３０３から供給された音声素片試料データの調和成分のデータを時系列に接続するとともに、非調和成分のデータを時系列に接続する。このような接続に際し、接続する２つの調和成分のスペクトル包絡の形状の差が大きい場合には、スムージング処理等を施すようにすればよい。音声素片接続部３０４は、接続した調和成分のデータを調和成分生成部３０５に出力するとともに、接続した非調和成分のデータを加算部３０６に出力する。
【００５３】
調和成分生成部３０５には、音声素片接続部３０４から調和成分のデータ（スペクトル包絡情報）が供給されるとともに、ピッチ決定部３０２からメロディ情報にしたがったピッチ情報が供給される。調和成分生成部３０５は、音声素片接続部３０４からのスペクトル包絡情報に示されるスペクトル包絡形状を維持しつつ、ピッチ決定部３０２からのピッチ情報に対応する倍音成分を生成する。
【００５４】
加算部３０６には、音声素片接続部３０４からの非調和成分のデータと、調和成分生成部３０５からの調和成分のデータが供給され、加算部３０６は両者を合成して逆ＦＦＴ部３０７に出力する。逆ＦＦＴ部３０７は、加算部３０６から供給される加算された周波数領域の信号に対し、逆ＦＦＴを施すことにより時間領域の波形信号に変換し、変換後の波形信号を窓掛け部３０８に出力する。窓掛け部３０８では、時間領域の波形信号に対してフレーム長に対応した窓関数が乗算され、オーバーラップ部３０９が乗算後の波形信号をオーバーラップさせながら歌唱音信号を生成する。このようにして歌唱生成器１２０では、合唱制御部１４０（図１参照）から供給された楽曲情報のあるパートの歌詞情報およびメロディ情報にしたがった歌唱音信号が生成され、生成された歌唱音信号が加算器１３０（図１参照）に出力される。
【００５５】
以上が歌唱生成器１２０の詳細な構成であり、図１に示す他の歌唱生成器１２１，１２２（歌唱生成器１２０と同様の構成）からも上記のように合唱制御部１４０から供給された楽曲情報のあるパートの歌詞情報およびメロディ情報にしたがって生成された歌唱音信号が出力される。ここで、上述したように各歌唱生成器１２０，１２１，１２２は、合唱制御部１４０から振り分けられたパートに対応する歌唱音信号を生成する際に、各々異なる音声試料データ群１１０ａ，１１０ｂ，１１０ｃから音声素片試料データを読み出して生成に用いているので、各々が生成する歌唱音信号の微細な特徴（ピッチのゆらぎ等）は異なったものとなる。
【００５６】
加算器１３０は、このように合唱曲の楽曲情報の各パートにしたがって歌唱生成器１２０，１２１，１２２が生成した歌唱音信号を合成して出力する。加算器１３０から出力された３つのパートの歌唱音信号が合成された合唱音信号は、図示せぬＤ／Ａ（Ｄｉｇｉｔａｌ　ｔｏ　Ａｎａｌｏｇ）変換器によってアナログの音声波形信号に変換された後、アンプ等を介してスピーカから放音される。これにより、聴取者は、複数パートからなる合唱曲の楽曲情報にしたがった合唱音を聴くことができる。この合唱合成装置１００から放音される合唱音は、各パートの歌唱音の微細な特徴（ピッチのゆらぎ等の相違に起因する声質等）が相違しており、聴取者により自然な印象を与えることが可能な合唱音を発音することができるのである。
【００５７】
Ｂ．第２実施形態
次に、本発明の第２実施形態に係る合唱合成装置について、図４を参照しながら説明する。同図に示すように、上記第１実施形態における合唱合成装置１００の音声試料データベース１１０が３つの音声試料データ群１１０ａ，１１０ｂ，１１０ｃを記憶していたのに対し、第２実施形態に係る合唱合成装置４００における音声試料データベース１１０には、同一の音素または音素連鎖については１種類の音声素片試料データしか記憶されていない点で相違している。第２実施形態に係る合唱合成装置４００は、このように１つの音素または音素連鎖について１つの音声素片試料データのみを記憶する音声試料データベース１１０を用いて、上記第１実施形態と同様により自然な印象を与えることが可能な合唱音信号を合成することができるようになっている。以下、合唱合成装置４００の構成について、上記第１実施形態に係る合唱合成装置１００との相違点を中心に説明する。
【００５８】
合唱合成装置４００における歌唱生成器１２０，１２１，１２２の各々は、上記第１実施形態と同様であり、歌詞情報およびメロディ情報を有する楽曲情報にしたがって音声試料データベース１１０から必要となる音声素片試料データを読み出し、読み出した音声素片試料データを用いて歌唱音信号を生成する。第２実施形態においては、音声試料データベース１１０には１つの音素あるいは音素連鎖については１つの音声素片試料データしか記憶されていないため、合唱曲の楽曲情報にしたがって歌唱音信号を生成する際には、各歌唱生成器１２０，１２１，１２２が同一の音声素片試料データを用いることもあり得る。上述したように複数のパートの歌唱音信号を同一の音声素片試料データを用いて生成した場合、微細な特徴（ピッチのゆらぎ等）が基本的に同一になるため、聴取者に不自然な印象を与えてしまう。
【００５９】
そこで、この合唱合成装置４００では、合唱制御部１４０が合唱曲の楽曲情報の歌詞情報およびメロディ情報を各パート毎に分割して各歌唱生成器１２０，１２１，１２２に出力するとともに、音声試料データベース１１０に記憶されている音声素片試料データをどの時間に対応する部分から使用を開始するかを指定する指定情報を各歌唱生成器１２０，１２１，１２２に出力するようになっている。
【００６０】
上述した第１実施形態で説明したように、音声試料データベース１１０に記憶される音声素片試料データは、発声者の発した音声に基づいて作成されたものであり、所定の時間長（１フレーム〜数フレーム等）の音声波形に基づいて作成されたデータである。すなわち、前記所定の時間内における時間と振幅との関係で表される音声波形に基づいて作成されたデータである。したがって、上記第１実施形態のように音声素片試料データが周波数領域のデータとして記憶されている場合にも、そのデータは時間領域の音声波形にＦＦＴ等を施して得られたものである。合唱制御部１４０は、このように時間に伴って変化する情報である音声素片試料データをどの時間に対応する部分から使用するかを指定する指定情報を各歌唱生成器１２０，１２１，１２２に供給するのである。
【００６１】
ここで、合唱制御部１４０は、各歌唱生成器１２０，１２１，１２２が音声素片試料データを、互いに異なる時間に対応する部分から使用を開始して歌唱音信号を生成するように、各歌唱生成器１２０，１２１，１２２に異なる使用開始時間を指定する指定情報を出力する。
【００６２】
各歌唱生成器１２０，１２１，１２２は、合唱制御部１４０から供給される各パートの歌詞情報に基づいて必要となる音声素片試料データを音声試料データベース１１０から読み出すと共に、読み出した音声素片試料データを、合唱制御部１４０から指定情報に指定される時間に対応する部分から使用を開始して歌唱音信号の生成を行う。
【００６３】
以下、３つのパートの歌詞情報にしたがって読み出される音声素片試料データが母音の「ａ」であり、音声素片試料データ「ａ」がＦ０〜Ｆ１３といった１３のフレーム（時間０〜Ｔ）からなり、該音声素片試料データを１３フレーム分の長さを使用して各歌唱生成器１２０，１２１，１２２が歌唱音信号を生成する場合について、図５および図６を参照しながら具体的に例示して説明する。
【００６４】
図５に示す例では、歌唱生成器１２０に対しては最初のフレームＦ０から使用を開始するように指定する指定情報が供給されており、歌唱生成器１２１に対してはフレームＦ３から使用を開始するように指定する指定情報が供給されており、歌唱生成器１２２に対してはフレームＦ６から使用を開始するように指定する指定情報が供給されている。なお、図示では説明の便宜上、音声素片試料データが時間領域の音声波形として示されているが、音声試料データベース１１０に記憶しておくデータは、上記第１実施形態のように周波数領域で表現される調和成分（線スペクトル）および非調和成分（残差スペクトル）といった形態であってもよい。
【００６５】
このような指定情報が供給されている場合には、図６に示すように、歌唱生成器１２０は、フレームＦ０，Ｆ１，Ｆ２……Ｆ１３といった順序、つまり音声素片試料データ「ａ」をそのまま使用して歌唱音信号の生成に用いる。また、歌唱生成器１２１は、フレームＦ３，Ｆ４，Ｆ５……Ｆ１３，Ｆ０，Ｆ１，Ｆ２，Ｆ３といった順次で音声素片試料データ「ａ」を使用して歌唱音信号の生成を行う。さらに、歌唱生成器１２２は、フレームＦ６，Ｆ７……Ｆ１３，Ｆ０，Ｆ１……Ｆ５といった順序の音声素片試料データ「ａ」を使用して歌唱音信号の生成を行う。
【００６６】
このように合唱制御部１４０が互いに異なる時間に対応する部分から使用を開始して歌唱音信号を生成するように指定情報を出力することにより、同じ音素「ａ」を同じ時間長（０〜Ｔまで）だけ用いて歌唱音信号を生成する際にも、各歌唱生成器１２０，１２１，１２２が実際に用いるデータは異なるものとなっている。すなわち、各歌唱生成器１２０，１２１，１２２が実際に用いる音声素片試料データに示される微細な特徴（ピッチのゆらぎ等）は異なったものとなり、１つの音素あるいは音素連鎖について１種類の音声素片試料データを用いて、各歌唱生成器１２０，１２１，１２２が微細な特徴の異なる歌唱音信号を生成することができるのである。
【００６７】
ところで、音素「ａ」のように単一の音素についての音声素片試料データを用いる場合には、上記のように単純にデータ中の使用開始時間をずらすといった手法により、各パートについて生成される歌唱音の微細な特徴を変えてより自然な合唱歌唱音を合成することができるが、複数の音素が連なる音素連鎖についての音声素片試料データの場合には、単純にデータ中の使用開始時間をずらすだけでは不都合が生じることもある。例えば、「ａｉ」といった音素連鎖についての音声試料データの場合、時間領域における前半部分は「ａ」の音素をより強く反映したデータであり、後半部分は「ｉ」の音素をより強く反映したデータである。したがって、音素連鎖「ａｉ」の歌唱音信号を生成するために、音素「ｉ」の影響の強い後半部分から使用を開始した場合には、音素連鎖「ｉａ」に類似した傾向を持つデータを用いることになってしまう虞があり、この場合、生成すべき音素連鎖「ａｉ」についての信号が正確に生成できなくなってしまう。
【００６８】
そこで、本実施形態では、複数の音素連鎖に対応する音声素片試料データを用いる場合には、合唱制御部１４０は、図７に示すような指定情報を各歌唱生成器１２０，１２１，１２２に出力するようにしている。同図に示す例では、歌唱生成器１２０に対しては最初のフレームＦ０から使用を開始するように指定する指定情報が供給されており、歌唱生成器１２１に対してはフレームＦ２から使用を開始するように指定する指定情報が供給されており、歌唱生成器１２２に対してはフレームＦ４から使用を開始するように指定する指定情報が供給されている。すなわち、上記単一の音素についての指定情報と比較すると、各歌唱生成器１２０，１２１，１２２に対して指定する使用開始時間が前半部分（「ａ」の影響の強い）に集中している。このように各パートの使用開始時間をデータの前半部分に集中させることで、上記のように実際に使用するデータが音素連鎖「ｉａ」に類似してしまうことを抑制している。
【００６９】
また、上記のように指定情報が供給されている場合に、歌唱生成器１２１がフレームＦ２，Ｆ３，Ｆ４……Ｆ１３，Ｆ０，Ｆ１，Ｆ２といった順序、すなわち一方向に順番に音声素片試料データを使用して歌唱音信号の生成を行うと、音素「ａ」の影響の強いフレームＦ０〜Ｆ２が本来「ｉ」の影響を強くすべき後半部分のデータとして用いられてしまうことになる。そこで、本実施形態では、複数の音素からなる音素連鎖についての音声素片試料データを用いる場合には、最後のフレーム（Ｆ１３）の後にフレームＦ１に戻るのではなく、フレームＦ１２，Ｆ１１……といったように逆方向に戻る順序でフレームを用いるようにしている。したがって、図７に示すように使用開始フレームが指定されている場合には、図８に示すように、歌唱生成器１２０は、フレームＦ０，Ｆ１，Ｆ２……Ｆ１３といった順序、つまり音声試料データベース１１０に記憶されている音声素片試料データをそのまま使用して歌唱音信号の生成に用いる。また、歌唱生成器１２１は、フレームＦ２，Ｆ３，Ｆ４……Ｆ１３，Ｆ１２，Ｆ１１といった順次で音声素片試料データ」を使用して歌唱音信号の生成を行う。さらに、歌唱生成器１２２は、フレームＦ４，Ｆ５，Ｆ６……Ｆ１３，Ｆ１２，Ｆ１１，Ｆ１０，Ｆ９といった順序の音声素片試料データを使用して歌唱音信号の生成を行う。なお、フレームＦ１３からフレームＦ１２といったように逆方向に戻る順序でフレームを使用する際には両者の接続部分に雑音等が生じる虞があるため、各フレームの接続部分において振幅調整処理やクロスフェード処理等を施すようにすればよい。
【００７０】
複数の音素からなる音素連鎖の音声素片試料データを各歌唱生成器１２０，１２１，１２２で用いる場合には、以上のようにすることでより正確に音素連鎖を生成することができ、また各歌唱生成器１２０，１２１，１２２から出力される歌唱音信号の微細な特徴等が異なるものとなる。
【００７１】
以上説明したように、第２実施形態に係る合唱合成装置４００では、１つの音素あるいは音素連鎖について１つの音声素片試料データしか記憶されていなくても、１つの音声素片試料データを用いて、上記第１実施形態と同様により自然な印象を与えることが可能な合唱音信号を合成することができる。すなわち、音声試料データベース１１０に記憶させておくデータ量を抑制しつつ、より自然な印象を与えることが可能な合唱音信号を合成することができるのである。
【００７２】
Ｃ．変形例
なお、本発明は、上述した第１および第２実施形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【００７３】
（変形例１）
上述した各実施形態においては、音素あるいは音素連鎖といった単位の音声素片試料データを接続して歌唱音信号を生成するようにしているが、ビブラートといわれる歌唱表現法があり、上記各実施形態における合唱合成装置にこのビブラートによる歌唱表現を加える機能を付加するようにしてもよい。
【００７４】
従来より、ビブラートによる歌唱音を電子的に発音するための歌唱音信号を生成する手法としては、上記各実施形態のように音素あるいは音素連鎖単位の音声素片試料データを接続するとともに、該接続した音声素片試料データによって表現される波形に約６Ｈｚ程度の周波数変調を付与する方法が知られている。このような方法を実施するための構成を上記各実施形態における合唱合成装置に加えるようにしてもよいが、聴取者により自然な印象を与えることが可能なビブラート歌唱音信号の生成方法として、発声者がビブラート歌唱法で歌唱した時の音声に基づいて作成したビブラート音声試料データを用いる方法があり、この方法を実施するための構成を上記各実施形態に係る合唱合成装置に付加することが好ましい。
【００７５】
以下、図９を参照しながら、発声者のビブラート歌唱音声に基づいて作成したビブラート音声試料データを用いて歌唱音信号を生成する機能を上記第１実施形態における合唱合成装置に付加した場合を例に挙げて説明する。
【００７６】
同図に示すように、この合唱合成装置１００’における音声試料データベース１１０には、上記音声試料データ群１１０ａ，１１０ｂ，１１０ｃといった音素あるいは音素連鎖を単位とした音声素片試料データに加え、ビブラート歌唱時の歌唱音声に基づいて作成されたビブラート音声試料データが記憶されている。ここで、音声試料データベース１１０には、各々異なる音声に基づいて作成された３つのビブラート音声試料データＢＤａ，ＢＤｂ，ＢＤｃが記憶されている。
【００７７】
この構成の下、合唱制御部１４０は、上述した第１実施形態と同様、各歌唱生成器１２０，１２１，１２２に各パートの歌詞情報およびメロディ情報と、使用する音声試料データ群を指定する指定情報とに加え、３つのビブラート音声試料データＢＤａ，ＢＤｂ，ＢＤｃのいずれを使用するかを指定する第２の指定情報を供給するようになっている。ここで、各歌唱生成器１２０，１２１，１２２に供給される第２の指定情報は、異なるビブラート音声試料データを使用するように指定する情報である。このような第２の指定情報を各歌唱生成器１２０，１２１，１２２に供給することによって、各歌唱生成器１２０，１２１，１２２はビブラート歌唱音信号を生成する際に各々異なるビブラート音声試料データを読み出し、上記実施形態と同様に接続した音声素片試料データによって表現される音声波形に、読み出したビブラート音声試料データによって表現される波形を重ね、重ね合わせた波形信号を歌唱音信号として出力する。
【００７８】
このようにビブラート歌唱音信号を生成する際に、各歌唱生成器１２０，１２１，１２２が異なる音声に基づいて作成された３つのビブラート音声試料データＢＤａ，ＢＤｂ，ＢＤｃを各パート毎に使い分けることにより、生成されるビブラート歌唱音信号の微細な特徴（ビブラート時の周波数の変動具合等）も各パート毎に異なったものとなる。このようにビブラート歌唱音の各パート毎の相関関係がほとんどなく、各々のパートが固有の特徴を持つことになるため、当該合唱合成装置１００’によって合成された合唱音信号に基づいた歌唱音のビブラート部分を聴いた聴取者に対して、より自然な印象を与えることが可能となる。
【００７９】
ところで、合唱音において各パートのビブラート部分の特徴が基本的に同一であることは、聴取者にとって他の部分の特徴が同一である場合よりも不自然な印象を与えるものである。したがって、ビブラート部分だけでも各パート毎に固有の特徴を付与した装置が要望されることもあり得る。このような場合には、上記各実施形態のように音素あるいは音素連鎖についての音声試料データは、各パートで同一のものをそのまま使用して歌唱音信号を生成し、生成した歌唱音信号に各パート毎に異なるビブラート音声試料データによって表現される波形を加算してビブラート効果を付与するようにしてもよい。
【００８０】
（変形例２）
また、図９に示すように、各歌唱生成器１２０，１２１，１２２の数に対応して３つのビブラート音声試料データを用いるようにしてもよいが、図１０に示す合唱歌合成装置４００’のように、歌唱生成器１２０，１２１，１２２が同一のビブラート音声試料データを用いてビブラート部分の歌唱音信号を生成するようにしてもよい。
【００８１】
上述した実施形態で説明したように歌唱生成器１２０，１２１，１２２は、音声試料データ群１１０ａ，１１０ｂ，１１０ｃを使い分けることにより各々異なる固有の特徴を有する歌唱音信号を生成することができるので、このように生成した歌唱音信号に同一のビブラート音声試料データによって表現される波形を加算しても、各々の歌唱生成器１２０，１２１，１２２から出力されるビブラート部分の歌唱音信号は固有の特徴を有したものとなる。したがって、単純に１つのビブラート音声試料データを各歌唱生成器１２０，１２１，１２２が用いるようにしてもよいが、ビブラート音声試料データについても、上記第２実施形態において各歌唱生成器１２０，１２１，１２２による音声素片試料データの使用方法として説明したように、各々の歌唱生成器１２０，１２１，１２２が同一のビブラート音声試料データの異なる時間に対応する部分から使用を開始するようにしてもよい。この場合、合唱制御部１４０がどの時間に対応する部分から使用を開始するかを指定する指定情報を各歌唱生成器１２０，１２１，１２２に供給するようにすればよい。このようにすることで、各歌唱生成器１２０，１２１，１２２がビブラート付与のために用いる実際の音声試料データは異なる特徴を有するものとなる。したがって、各々のパートのビブラート部分の歌唱音信号が固有の特徴を有するものとなり、当該合唱合成装置４００’によって合成された合唱音信号に基づいた歌唱音のビブラート部分を聴いた聴取者に対して、より自然な印象を与えることが可能となる。
【００８２】
（変形例３）
また、上記変形例においては、生成する歌唱音信号にビブラート効果を付与するために音声試料データベース１１０にビブラート音声試料データを記憶させておくようにしていたが、ビブラート以外のトレモロ、ポルタメント等の種々の歌唱法による歌唱音を電子的に放音するために、発声者によるトレモロ部分の歌唱音声や、ポルタメント部分の歌唱音声に基づいて作成した音声試料データを音声試料データベース１１０に記憶させておくようにしてもよい。この場合にも、上述した変形例におけるビブラート音声試料データと同様、各パート毎に音声試料データを用意しておいたり、同じ音声試料データであっても異なる時間に対応した部分から使用を開始したりすることにより、各パートのトレモロやポルタメント部分の歌唱音信号に固有の特徴を持たせることができる。
【００８３】
（変形例４）
また、上述した第１実施形態では、３つの音声試料データ群１１０ａ，１１０ｂ，１１０ｃを音声試料データベース１１０に記憶させるようにしていたが、高音、中音、低音といったように異なるピッチの音声に基づいて、各音声試料データ群１１０ａ，１１０ｂ，１１０ｃに含まれる音声素片試料データを作成するようにしてもよい。例えば、高音の音声に基づいて作成した音声素片試料データは音声試料データ群１１０ａに含ませるようにし、中音の音声に基づいて作成した音声素片試料データは音声試料データ群１１０ｂに含ませるようにし、低音の音声に基づいて作成した音声素片試料データを音声試料データ群１１０ｃに含ませるようにしてもよい。
【００８４】
このように各音域毎に作成された音声試料データ群１１０ａ，１１０ｂ，１１０ｃを記憶した音声試料データベース１１０を用いる場合、合唱制御部１４０は、楽曲情報に含まれる複数のパートのうち、高音域のメロディからなるパートの歌唱音信号の生成を担当する歌唱生成器に対し、高音の音声に基づいて作成した音声試料データ群１１０ａを用いるように指定する指定情報を出力する。また、中音域のメロディからなるパートの歌唱音信号の生成を担当する歌唱生成器に対し、中音の音声に基づいて作成した音声試料データ群１１０ｂを用いるように指定する指定情報を出力し、さらに低音域のメロディからなるパートの歌唱音信号の生成を担当する歌唱生成器に対し、低音の音声に基づいて作成した音声試料データ群１１０ｃを用いるように指定する指定情報を出力する。これにより各歌唱生成器１２０，１２１，１２２は、各々が担当するパートの歌唱音信号の生成により好適な音声素片試料データを用いることができ、より高品位の歌唱音信号を生成することができる。
【００８５】
なお、上記のようにある楽曲に対応する歌唱音信号の生成時には各歌唱生成器１２０，１２１，１２２が使用する音声試料データ群１１０ａ，１１０ｂ，１１０ｃを固定するようにしてもよいが、各パート毎にメロディ情報によって決定される各パート毎のピッチの高低が時間毎に変化することも考えられる。この場合には、ある１つの楽曲の歌唱音信号を生成する際に、各パート毎のメロディ情報によって決定される各パート毎のピッチに高低に応じて合唱制御部１４０が各歌唱生成器１２０，１２１，１２２に対して指定する音声試料データ群を楽曲の途中で逐次変更するような指定情報を出力するようにしてもよい。
【００８６】
（変形例５）
また、上述した変形例では、異なるピッチ毎の音声に基づいて作成した音声試料データ群１１０ａ，１１０ｂ，１１０ｃを音声試料データベース１１０に記憶させるようにしていたが、歌唱時には同じ音韻を発声している間にピッチが大きく変動することもある。したがって、音声試料データベース１１０に、同じ音韻、例えば「ａ」を発声している間にピッチ（音高）を変動させて発した音声に基づいて音声素片試料データを作成し、該音声素片試料データを音声試料データベース１１０に記憶させるようにしてもよい。このように音声試料データベース１１０には、上述した各実施形態において説明した同一ピッチの音素あるいは音素連鎖だけではなく、歌唱時に起こりうる様々なピッチ変動等を考慮して音声素片試料データを作成しておくようにしてもよい。
【００８７】
（変形例６）
また、上述した第１実施形態では、音声試料データベース１１０に記憶されている音声試料データ群１１０ａ，１１０ｂ，１１０ｃを各歌唱生成器１２０，１２１，１２２が使い分けて用い、第２実施形態では、同一の音声素片試料データを異なる時間に対応する部分から使用を開始することにより、より自然な印象を与えることが可能な合唱音信号を合成していた。このような第１および第２実施形態に係る合唱合成装置に、音声試料データベース１１０から読み出した音声素片試料データに示される何らかの値（すなわち音を決定付けるパラメータ）を各歌唱生成器１２０，１２１，１２２毎に変更してから供給するパラメータ変更手段を設けるようにしてもよい。このようなパラメータ変更手段を上記第１実施形態に係る合唱合成装置に付加した場合の構成を図１１に示す。
【００８８】
同図に示すように、この合唱合成装置１００”は、上記第１実施形態における合唱合成装置１００の構成に加え、各歌唱生成器１２０，１２１，１２２に対応して設けられるパラメータ変更部２２０，２２１，２２２を備えている。この構成の下、合唱制御部１４０は、上述した第１実施形態と同様、歌唱生成器１２０，１２１，１２２に各パートの歌詞情報およびメロディ情報と、どの音声試料データ群を使用するかを指定する指定情報を出力するとともに、パラメータ変更部２２０，２２１，２２２の各々に対してパラメータの変更内容を示す変更情報を出力する。ここで、合唱制御部１４０は、音声試料データベース１１０から読み出した音声素片試料データに対して各々異なる内容の変更が施されるような変更情報を各パラメータ変更部２２０，２２１，２２２に出力する。
【００８９】
パラメータ変更部２２０，２２１，２２２は、対応する歌唱生成器１２０，１２１，１２２が必要とする音声素片試料データを指定情報に示される音声試料データ群の中から読み出し、合唱制御部１４０から供給される変更情報にしたがって読み出した音声素片試料データを変更する。そして、変更後の音声素片試料データが対応する歌唱生成器１２０，１２１，１２２に供給する。そして、各歌唱生成器１２０，１２１，１２２が変更後の音声素片試料データを用いて歌唱音信号を生成する。
【００９０】
ここで、パラメータ変更部２２０，２２１，２２２が音声試料データベース１１０から読み出した音声素片試料データに対して行う変更処理の内容としては、音韻性を損なわない程度に音色等を変更する処理であれば種々の変更処理を適用することができる。例えば、音声試料データベース１１０から読み出したある音声素片試料データによって表現される音声のフォルマント構造をモデル化し、フォルマントのバンド幅を数％変更したり、バンドの中心周波数を１０Ｈｚ程度シフトする等によって音色を微妙に変更する方法がある。この場合、変更するフォルマントのバンド幅の割合や、バンドの中心周波数のシフトする量を各パラメータ変更部２２０，２２１，２２２毎に異なる値とすることにより、各パラメータ変更部２２０，２２１，２２２によって読み出された音声素片試料データに示される音声の音色が微妙に異なるものとなる。
【００９１】
（変形例７）
また、上述した各実施形態において、各歌唱生成器１２０，１２１，１２２によって生成された合唱音がより自然な印象を聴取者に与えるために、各パート毎に生成された歌唱音信号による歌唱音の発音タイミングをずらすようにしてもよい。この場合、合唱制御部１４０が各パートに対して発音タイミングをどの程度ずらすかを指定するタイミング指定情報を供給する。この際、合唱制御部１４０は、各歌唱生成器１２０，１２１，１２２での発音タイミングが微妙にずれるようなタイミング指定情報を各歌唱生成器１２０，１２１，１２２に供給する。例えば、歌唱生成器１２０に対しては、合唱制御部１４０から供給される歌詞情報およびメロディ情報にしたがって生成した歌唱音信号を遅延させることなく加算器１３０に出力させ、歌唱生成器１２１に対しては、１０ｍｓｅｃ遅延させて歌唱音信号を加算器１３０に出力させ、歌唱生成器１２２に対しては２０ｍｓｅｃ遅延させて歌唱音信号を加算器１３０に出力させるようにすれば、各パートの歌唱音が微妙にずれて発音され、聴取者に対してより自然な印象を与えることができる。
【００９２】
なお、上記のようにある１つの楽曲の歌唱音信号を生成している際に、各歌唱生成器１２０，１２１，１２２の発音タイミングの相関関係を固定するようにしてもよいが、ある楽曲の途中であっても歌唱生成器１２０，１２１，１２２の発音タイミングの相関関係を変動させるようにしてもよい。例えば楽曲の前半部分では、上記例のように歌唱生成器１２０，１２１，１２２といった順序で発音するようにし、楽曲の後半部分では歌唱生成器１２２，１２１，１２０といった順序で発音するようにしてもよい。
【００９３】
（変形例８）
また、上述した第１実施形態では、歌唱生成器１２０，１２１，１２２の数（３つ）に応じた種類の音声試料データ群を音声試料データベース１１０に記憶させるようにしていたが、歌唱生成器の数よりも多い種類の音声試料データ群を記憶させるようにしてもよい。
【００９４】
また、歌唱生成器１２０，１２１，１２２といった３つの歌唱生成器を備えている場合に、音声試料データベース１１０に２つの音声試料データ群１１０ａ，１１０ｂしか記憶されていない場合には、少なくとも２つの歌唱生成器が異なる音声試料データ群１１０ａ，１１０ｂを用いて歌唱音信号を生成するようにすればよい。この場合には、歌唱生成器１２０が音声試料データ群１１０ａを用い、歌唱生成器１２１が音声試料データ群１１０ｂを用い、歌唱生成器１２２が音声試料データ群１１０ａ，１１０ｂのいずれかを歌唱生成器１２０，１２１と異なる時間に対応する部分から使用を開始すれば、３つの歌唱生成器１２０，１２１，１２２が実際には異なる音声素片試料データを用いて歌唱音信号を生成することになり、上記各実施形態と同様、自然な印象を与えることが可能な合唱音信号を合成することができる。
【００９５】
（変形例９）
上述した各実施形態および変形例における合唱合成装置は、専用のハードウェア回路で構成するようにしてもよいが、図１２に示すようなコンピュータシステムによるソフトウェアによって構成するようにしてもよい。同図に示すように、このコンピュータシステムは、装置全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ　ＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３２０、各種制御データやプログラム群を記憶するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３２１、ワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３２２、楽曲情報やプログラム群を記憶するハードディスクやＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）ドライブ等の外部記憶装置３２３、キーボードやマウス等の操作部３２４、各種情報をユーザに表示する表示部３２５、Ｄ／Ａ変換器３２６、アンプ３２７、スピーカ３２８を備えている。
【００９６】
ＣＰＵ３２０は、ＲＯＭ３２１もしくはハードディスク等の外部記憶装置３２３に記憶されているプログラム群にしたがって、音声試料データベース１１０をＲＡＭ３２２もしくは外部記憶装置３２３に構築し、音声試料データベース１１０を用いて上記各実施形態や変形例と同様に各パート毎の歌唱音信号合成処理を行う。そして、ＣＰＵ３２０は、生成した各パート毎の歌唱音信号を加算した後、加算後の合唱音信号をＤ／Ａ変換器３２６に出力する。Ｄ／Ａ変換器３２６では合唱音信号がアナログ信号に変換され、該合唱音のアナログ信号アンプ３２７によって増幅された後、スピーカ３２８から放音される。
【００９７】
このように上記各実施形態および変形例における合唱合成装置は、コンピュータシステムによるソフトウェアによって構成することが可能であり、上記各実施形態等と同様の合唱音合成処理をコンピュータシステムに実行させるためのプログラムの形態でユーザに提供するようにしてもよい。このようなプログラムの提供方法としては、ＣＤ−ＲＯＭやフロッピーディスク等の各種記録媒体に記憶して提供する方法や、インターネット等の通信回線を介して提供する方法等がある。
【００９８】
【発明の効果】
以上説明したように、本発明によれば、より自然な印象を聴取者に与えることが可能な合唱音を合成することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る合唱合成装置の基本構成を示すブロック図である。
【図２】前記合唱合成装置の構成要素でる音声試料データベースの作成手法を説明するための図である。
【図３】前記合唱合成装置の構成要素である歌唱生成器の機能構成を示すブロック図である。
【図４】本発明の第２実施形態に係る合唱合成装置の基本構成を示すブロック図である。
【図５】第２実施形態に係る前記合唱合成装置による歌唱音信号生成方法を説明するための図である。
【図６】第２実施形態に係る前記合唱合成装置による歌唱音信号生成方法を説明するための図である。
【図７】第２実施形態に係る前記合唱合成装置による歌唱音信号生成方法を説明するための図である。
【図８】第２実施形態に係る前記合唱合成装置による歌唱音信号生成方法を説明するための図である。
【図９】第１実施形態に係る前記合唱合成装置の変形例の基本構成を示すブロック図である。
【図１０】第２実施形態に係る前記合唱合成装置の変形例の基本構成を示すブロック図である。
【図１１】第１実施形態に係る前記合唱合成装置の他の変形例の基本構成を示すブロック図である。
【図１２】前記合唱合成装置による機能をソフトウェアによって実現するためのコンピュータシステムの構成を示すブロック図である。
【符号の説明】
１００、１００’、１００”……合唱合成装置、１１０……音声試料データベース、１１０ａ，１１０ｂ，１１０ｃ……音声試料データ群、１２０……歌唱生成器、１２１……歌唱生成器、１２２……歌唱生成器、１３０……加算器、１４０……合唱制御部、２００……ＳＭＳ分析部、２０１……区間切り出し部、２２０、２２１，２２２……パラメータ変更部、３０１……音声素片選択部、３０２……ピッチ決定部、３０３……継続時間長調整部、３０４……音声素片接続部、３０５……調和成分生成部、３０６……加算部、３０７……逆ＦＦＴ部、３０８……窓掛け部、３０９……オーバーラップ部、４００、４００’……合唱合成装置。
【図１】
2004077608.tif 000003
【図２】
2004077608.tif 000004
【図３】
2004077608.tif 000005
【図４】
2004077608.tif 000006
【図５】
2004077608.tif 000007
【図６】
2004077608.tif 000008
【図７】
2004077608.tif 000009
【図８】
2004077608.tif 000010
【図９】
2004077608.tif 000011
【図１０】
2004077608.tif 000012
【図１１】
2004077608.tif 000013
【図１２】
2004077608.tif 000014