(57)【特許請求の範囲】
【請求項１】
入力された演奏データに基づいて音声を合成して出力する音声合成装置において、
気息性の大きさを示す気息性データＢｒとダイナミクスを示すダイナミクスデータＤｙとを含む演奏データが入力される演奏データ入力部と、
前記演奏データに基づき音声の調和成分Ｈと非調和成分ＮＨとを生成する調和／非調和成分生成部と、
前記気息性データＢｒ及び前記ダイナミクスデータＤｙを用いて、前記調和成分Ｈ及び前記非調和成分ＮＨの大きさをそれぞれ以下の式により変更後の調和成分Ｈ’及び変更後の非調和成分ＮＨ’に変更して前記音声に気息性を付与する気息性付与部と、
Ｈ’＝Ｈ＋ΔＨ×Ｂｒ
ＮＨ’＝ＮＨ＋（ΔＮＨ１＋ΔＮＨ２×Ｄｙ）×Ｂｒ
（ここで、ΔＨ、ΔＮＨ１、ΔＮＨ２は気息性データ、ダイナミクスデータの増減による影響度を表す数である。）
前記気息性付与部より出力された前記変更後の調和成分Ｈ’及び前記変更後の非調和成分ＮＨ’とを合成して合成音声信号を出力するミキサとを備えたことを特徴とする音声合成装置。
【請求項２】
前記ΔＨ、ΔＮＨ１、ΔＮＨ２は歌唱者名データＳにより決定される係数であることを特徴とする請求項１記載の音声合成装置。
【請求項３】
入力された演奏データに基づいて音声合成装置により音声を合成して出力する音声合成方法において、
気息性の大きさを示す気息性データＢｒとダイナミクスを示すダイナミクスデータＤｙとを含む演奏データを前記音声合成装置に入力させる演奏データ入力ステップと、
前記演奏データに基づき音声の調和成分Ｈと非調和成分ＮＨとを前記音声合成装置により生成させる調和／非調和成分生成ステップと、
前記気息性データＢｒ及び前記ダイナミクスデータＤｙを用いて、前記音声合成装置により前記調和成分Ｈ及び前記非調和成分ＮＨの大きさをそれぞれ以下の式により変更後の調和成分Ｈ’及び変更後の非調和成分ＮＨ’に変更させて前記音声に気息性を付与させる気息性付与ステップと、
Ｈ’＝Ｈ＋ΔＨ×Ｂｒ
ＮＨ’＝ＮＨ＋（ΔＮＨ１＋ΔＮＨ２×Ｄｙ）×Ｂｒ
（ここで、ΔＨ、ΔＮＨ１、ΔＮＨ２は気息性データ、ダイナミクスデータの増減による影響度を表す数である。）
前記気息性付与ステップより出力された前記変更後の調和成分Ｈ’及び前記変更後の非調和成分ＮＨ’とを前記音声合成装置により合成させて合成音声信号を出力させる合成ステップとを備えたことを特徴とする音声合成方法。
【請求項４】
入力された演奏データに基づいて音声を合成して出力する手順をコンピュータに実行させる音声合成用プログラムにおいて、
気息性の大きさを示す気息性データＢｒとダイナミクスを示すダイナミクスデータＤｙとを含む演奏データを前記コンピュータに入力させる演奏データ入力ステップと、
前記演奏データに基づき音声の調和成分Ｈと非調和成分ＮＨとを前記コンピュータにより生成させる調和／非調和成分生成ステップと、
前記気息性データＢｒ及び前記ダイナミクスデータＤｙを用いて、前記音声合成装置により前記調和成分Ｈ及び前記非調和成分ＮＨの大きさをそれぞれ以下の式により変更後の調和成分Ｈ’及び変更後の非調和成分ＮＨ’に変更させて前記音声に気息性を付与させる気息性付与ステップと、
Ｈ’＝Ｈ＋ΔＨ×Ｂｒ
ＮＨ’＝ＮＨ＋（ΔＮＨ１＋ΔＮＨ２×Ｄｙ）×Ｂｒ
（ここで、ΔＨ、ΔＮＨ１、ΔＮＨ２は気息性データ、ダイナミクスデータの増減による影響度を表す数である。）
前記気息性付与ステップより出力された前記変更後の調和成分Ｈ’及び前記変更後の非調和成分ＮＨ’とを前記コンピュータにより合成させて合成音声信号を出力させる合成ステップとを備えたことを特徴とする音声合成用プログラム。
【請求項５】
請求項４に記載の音声合成用プログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された演奏データに基づいて音声を合成する音声合成装置、音声合成方法並びに音声合成用プログラム及びこのプログラムを記録したコンピュータで読み取り可能な記録媒体に関し、更に詳しくは、合成・出力される音声に気息性を付与する機能を備えた音声合成装置、音声合成方法並びに音声合成用プログラム及びこのプログラムを記録したコンピュータで読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
人間の音声の特徴を表わす用語として気息性（Breathiness  ブレスネス）がある。気息性とは、息の音の大きさを表わす指標である。気息性が大きい、といえば、それは息の音が大きく感じられる、という意味である。この気息性は話者や歌唱者の特徴の１つであるので、音声合成装置においても、気息性を考慮にいれた音声合成を行うのが好ましい。
【０００３】
気息性や、音声の聴感上の音量感であるダイナミクスは、音声の調和成分、非調和成分の比率が変化すると、それに伴って変化することが判っている。ここで調和成分とは、声帯の振動による周期的な音声の成分のことであり、非調和成分とは、肺からの空気の流れが声門や声帯が狭められたことによって生じる雑音的な音声の成分のことである。
【０００４】
【発明が解決しようとする課題】
従来より、調和成分と非調和成分の比率を変化させることが可能な音声合成装置が知られている（例えば特開平１０−１８７１８０号公報参照）。
この公報に記載されているような方法でも、結果として気息性やダイナミクスを制御することは可能である。しかし、この方法では、調和成分と非調和成分の比率を変化させた結果として気息性等が変化するに過ぎず、気息性等を積極的に制御することが出来るわけではなかった。
本発明は、この点に鑑みてなされたものであり、気息性の大きさを所望どおりに簡易に制御することを可能とした音声合成装置、音声合成方法並びに音声合成用プログラム及びこのプログラムを記録したコンピュータで読み取り可能な記録媒体
を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本出願の第１の発明に係る音声合成装置は、入力された演奏データに基づいて音声を合成して出力する音声合成装置において、気息性の大きさを示す気息性データＢｒとダイナミクスを示すダイナミクスデータＤｙとを含む演奏データが入力される演奏データ入力部と、前記演奏データに基づき音声の調和成分Ｈと非調和成分ＮＨとを生成する調和／非調和成分生成部と、
前記気息性データＢｒ及び前記ダイナミクスデータＤｙを用いて、前記調和成分Ｈ及び前記非調和成分ＮＨの大きさをそれぞれ以下の式により変更後の調和成分Ｈ’及び変更後の非調和成分ＮＨ’に変更して前記音声に気息性を付与する気息性付与部と、
Ｈ’＝Ｈ＋ΔＨ×Ｂｒ
ＮＨ’＝ＮＨ＋（ΔＮＨ１＋ΔＮＨ２×Ｄｙ）×Ｂｒ
（ここで、ΔＨ、ΔＮＨ１、ΔＮＨ２は気息性データ、ダイナミクスデータの増減による影響度を表す数である。）
前記気息性付与部より出力された前記変更後の調和成分Ｈ’及び前記変更後の非調和成分ＮＨ’とを合成して合成音声信号を出力するミキサとを備えたことを特徴とする。
【００１０】
上記目的達成のため、本出願の第２の発明に係る音声合成方法は、入力された演奏データに基づいて音声合成装置により音声を合成して出力する音声合成方法において、気息性の大きさを示す気息性データＢｒとダイナミクスを示すダイナミクスデータＤｙとを含む演奏データを前記音声合成装置に入力させる演奏データ入力ステップと、前記演奏データに基づき音声の調和成分Ｈと非調和成分ＮＨとを前記音声合成装置により生成させる調和／非調和成分生成ステップと、前記気息性データＢｒ及び前記ダイナミクスデータＤｙを用いて、前記音声合成装置により前記調和成分Ｈ及び前記非調和成分ＮＨの大きさをそれぞれ以下の式により変更後の調和成分Ｈ’及び変更後の非調和成分ＮＨ’に変更させて前記音声に気息性を付与させる気息性付与ステップと、
Ｈ’＝Ｈ＋ΔＨ×Ｂｒ
ＮＨ’＝ＮＨ＋（ΔＮＨ１＋ΔＮＨ２×Ｄｙ）×Ｂｒ
（ここで、ΔＨ、ΔＮＨ１、ΔＮＨ２は気息性データ、ダイナミクスデータの増減による影響度を表す数である。）
前記気息性付与ステップより出力された前記変更後の調和成分Ｈ’及び前記変更後の非調和成分ＮＨ’とを前記音声合成装置により合成させて合成音声信号を出力させる合成ステップとを備えたことを特徴とする。
【００１１】
上記目的達成のため、本出願の第３の発明に係る音声合成用プログラムは、入力された演奏データに基づいて音声を合成して出力する手順をコンピュータに実行させる音声合成用プログラムにおいて、気息性の大きさを示す気息性データＢｒとダイナミクスを示すダイナミクスデータＤｙとを含む演奏データを前記コンピュータに入力させる演奏データ入力ステップと、前記演奏データに基づき音声の調和成分Ｈと非調和成分ＮＨとを前記コンピュータにより生成させる調和／非調和成分生成ステップと、前記気息性データＢｒ及び前記ダイナミクスデータＤｙを用いて、前記音声合成装置により前記調和成分Ｈ及び前記非調和成分ＮＨの大きさをそれぞれ以下の式により変更後の調和成分Ｈ’及び変更後の非調和成分ＮＨ’に変更させて前記音声に気息性を付与させる気息性付与ステップと、
Ｈ’＝Ｈ＋ΔＨ×Ｂｒ
ＮＨ’＝ＮＨ＋（ΔＮＨ１＋ΔＮＨ２×Ｄｙ）×Ｂｒ
（ここで、ΔＨ、ΔＮＨ１、ΔＮＨ２は気息性データ、ダイナミクスデータの増減による影響度を表す数である。）
前記気息性付与ステップより出力された前記変更後の調和成分Ｈ’及び前記変更後の非調和成分ＮＨ’とを前記コンピュータにより合成させて合成音声信号を出力させる合成ステップとを備えたことを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を、歌唱音声合成装置を例にとって説明する。
図１に示すように、本実施の形態の歌唱音声合成装置は、演奏データ入力部１０と、調和／非調和成分生成器２０と、気息性付与器３０、ミキサ４０とから構成される。これらの構成要素は、通常のコンピュータとコンピュータプログラムとにより実現することができるが、ハードウエア的に独立に構成することももちろん可能である。
演奏データ入力部１０は、歌唱音声を合成するための各種の演奏データを入力する部分である。この実施の形態では、演奏データは、ピッチデータP、歌詞データL、歌唱者名データS、ダイナミクスデータDy、気息性データBr、ボリュームデータＶを含んでいるものとする。
【００１３】
ピッチデータPは、歌唱音声のピッチ（音高）を示すデータである。また、歌詞データLは、歌唱しようとする歌詞を表わすデータである。歌唱者名データSは、歌唱者の声の特徴を合成される歌唱音声に反映させるための歌唱者の識別番号である。気息性データBrは、気息性の大きさを表わすためのものであり、ここでは０から１の間の数値で表現する。気息性データBrの増減により、調和成分H、非調和成分NHの変化の仕方が変化する。詳しくは後述する。
【００１４】
ダイナミクスデータDyは、聴感上のダイナミクス感を表わすためのものであり、ここでは０から１の間の数値で表現される。ダイナミクスデータDyが０のときは、合成される歌唱音声は最小のダイナミクス感（人が最も小さな声で歌唱したときの音声）となり、ダイナミクスデータDyが１のときは、合成される歌唱音声は最大のダイナミクス感（人が最も大きな声で歌唱したときの音声）となる。
【００１５】
ボリュームデータＶは、合成される歌唱音声の音量を決定するためのものであり、０から１の間の数値で表現される。ボリュームが０の時には、合成される歌唱音声の音量は最小となり、ボリュームが１の時には、合成される歌唱音声の音量が最大となる。
【００１６】
調和／非調和成分生成器２０は、入力される演奏データに合致する調和成分H、非調和成分NHを出力する部分である。ここでは、調和成分H、非調和成分NHは周波数スペクトルで表現されるものとするが、時間波形として表現することも可能である。調和／非調和成分生成器２０は、演奏データの種類ごとに異なる調和成分データ、非調和成分データを記憶したデータベースＤＢを備えている。調和／非調和成分生成器２０は、演奏データ入力部１０から入力される演奏データに合致する適切な調和成分と非調和成分をデータベースＤＢから取得して出力する。なお、入力された演奏データに合致する調和成分及び非調和成分がデータベースＤＢ内に無い場合には、近似する調和成分と非調和成分を読み出して直線補間等の調整を行うようにしてもよい。
【００１７】
また、気息性付与器３０は、演奏データ入力部１０において入力される気息性データBr等に基づき、調和／非調和成分生成器２０から出力される調和成分H、非調和成分NHに変更を加える部分である。ミキサ４０は、気息性付与器３０より出力された変更後の調和成分、非調和成分を合成して音声信号を合成して出力する部分である。
【００１８】
次に、この実施の形態の作用を図２に示すフローチャートに基づいて説明する。
始めに、演奏データ入力部１０において、各種演奏データが入力される（Ｓ１）。
【００１９】
調和／非調和成分生成器２０は、演奏データ入力部１０より入力される演奏データのうち、ピッチデータP、歌詞データL、歌唱者名データS、ダイナミクスデータDyの入力を受け、これらデータに合致した調和成分データ、非調和成分データをデータベースＤＢから読み出すことにより、音声の調和成分H、非調和成分NHを生成する（Ｓ２）。ここで生成される調和成分Hは、図３（ａ）に示すように、ダイナミクスデータDyの増加に伴って増加する。一方、非調和成分NHは、図３（ｂ）に示すように、ダイナミクスデータDyの大きさの変化に関係なく略一定である。このような曲線となるのは、調和／非調和成分生成器２０において、気息性データBrをファクターとして考慮していないためである。
【００２０】
気息性付与器３０は、この調和成分H、非調和成分NHの入力を受けるとともに、演奏データ入力部１０から入力される歌唱者名データS、ダイナミクスデータDy、気息性データBrに基づいて、調和成分H、非調和成分NHの大きさを変更する（Ｓ３）。
【００２１】
変更後の調和成分の大きさH´、変更後の非調和成分の大きさNH´は、変更前の調和成分の大きさH、変更前の非調和成分の大きさNH´との関係で次の式で表わされる。
【００２２】
【数１】
H´＝H＋ΔH(S)×Br  [dB]                    ……(1)
NH´＝NH＋（ΔNH1(S)+ΔNH2(S)×Dy）×Br  [dB]……(2)
【００２３】
ただし、ΔH(S)、 ΔNH1(S)、 ΔNH2(S)は歌唱者名データSにより決定される係数である。式（１）、（２）から明らかなように、ΔH(S)が大きくなるほど、気息性データBrの増減によるH´への影響度が大きくなる。また、ΔNH1(S)が大きくなる程、気息性データBrの増減によるNH´への影響度が大きくなるが、ダイナミクスデータDyの増減によるNH´への影響度は変化しない。また、ΔNH2(S)が大きくなるほど、気息性データBrの増減によるNH´への影響度、及び、ダイナミクスデータDyの増減によるNH´への影響度は大きくなる。
【００２４】
上記[数１]の式（１）で表わされるH´の変化量（ΔH(S)×Br）を図４（ａ）のグラフに、式（２）で表わされる変化量（（ΔNH1(S)+ΔNH2(S)×Dy）×Br）を図４（ｂ）のグラフにそれぞれに示す。
図４（ａ）、（ｂ）とも、横軸にダイナミクスデータDy  、縦軸に変化量の大きさ（ｄＢ）をとっている。
【００２５】
図５は、ダイナミクスデータDyの変化に対する変更後の調和成分の大きさH´、変更後の非調和成分の大きさNH´の変化のしかたを示すグラフである。
図５（ａ）に示すように、ダイナミクスデータDyと調和成分H´との関係を示す直線は、気息性データBrの変化によってもその傾きは変化しないが、その縦軸の切片が変化する。すなわち、気息性データBrの変化により、ダイナミクスデータDy−調和成分H´直線は縦軸方向に平行移動する。
【００２６】
一方、  図５（ｂ）に示すように、気息性データBrが０のときは、非調和成分NH´の大きさは、ダイナミクスデータDyの増減に関わらず一定であるが、気息性データBrが０より大きくなると、非調和成分NH´は、ダイナミクスデータDyの増加に伴って大きくなり、気息性データBrが大きくなるほど、ダイナミクスデータDyの増加に伴う非調和成分NH´の変化の度合いも大きくなる。すなわち、図５（ｂ）に示すように、気息性データBrが大きくなるほど、ダイナミクスデータDy−非調和成分NH´の変化曲線の傾きが大きくなる。
【００２７】
図６に、気息性データBr＝０．０（最小）の場合における調和成分H´、非調和成分NH´とダイナミクスデータDyとの関係（同図（ａ））、気息性データBr＝１．０（最大）の場合における調和成分H、非調和成分NH´とダイナミクスデータDyとの関係を示す（同図（ｂ））。
【００２８】
図６（ａ）に示すように、気息性データBr＝０．０の場合には、調和成分H´はダイナミクスデータDyの増加に伴って増加するようにされるが、非調和成分NH´はダイナミクスデータDyに拘わらず一定である。一方、図６（ｂ）に示すように、気息性データBr＝１．０の場合には、調和成分H´はダイナミクスデータDyの増加に伴って増加するようにされ、非調和成分NH´もダイナミクスデータDyの増加に伴って増加するようにされる。このように、気息性データBrの大きさが異なると、同じようにダイナミクスデータDyが変化するにしても、調和成分H´と非調和成分NH´との比率の変化のしかたが変わってくる。
【００２９】
人間の実際の発声において、声門閉鎖区間が長い場合や、閉鎖区間が不完全で肺からの直流的空気流の割合が大きくなった場合の音声は「気息性の程度が大きい」という。このような場合、ダイナミクスを大きくしようとして発声すると、肺からの直流的空気流の大きさ自体も大きくなるから、非調和成分もダイナミクスの増加に伴って増加することになる。
気息性の程度が小さい場合には、こうした肺からの直流的空気流が殆ど無いので、非調和成分はダイナミクスに関係なく低いままで殆ど一定となる。
図６のグラフは、このような人間の実際の声の発声の特徴と共通している。
最後に、ミキサ４０で、気息性付与器３０より出力された変更後の調和成分Ｈ´、非調和成分ＮＨ´を合成して音声信号を合成して出力する（Ｓ４）。
【００３０】
以上説明したように、本実施の形態の歌唱音声合成装置によれば、気息性データとダイナミクスデータにより合成する音声の調和成分、非調和成分を制御して、簡単に自然で特徴のある音声を合成することが可能になる。
また、ダイナミクスの気息性の程度を独立して制御することができるので、ダイナミクスを変化させて次第に大きくしたり小さくしたりした音声を合成する場合でも、より人間の歌唱に近い自然な気息性を持つ音声を合成することが可能になる。
【００３１】
また、ダイナミクスと気息性の程度を適宜設定することで、歌唱者による気息性の違いを容易に与えることが可能になる。
また、入力された演奏データに合致する調和成分及び非調和成分がデータベースに無い場合でも、近似する調和成分と非調和成分から補間による調整により、目的とする演奏データを合成することが可能になる。このため、すべてのダイナミクス、気息性の組合せを取る調和成分及び非調和成分をデータベースに蓄積する必要がなくなり、データベースを小さくすることができる。
【００３２】
【発明の効果】
以上説明したように、本発明によれば、気息性の大きさを所望どおりに簡易に制御することができる。
【図面の簡単な説明】
【図１】  本発明の実施の形態に係る歌唱音声合成装置の構成を示す。
【図２】  図１の装置による処理の様子を示すフローチャートである。
【図３】  図１の調和／非調和成分生成器２０から出力される音声の調和成分H、非調和成分NHの、ダイナミクスデータDyとの関係を示すグラフである。
【図４】  図１の気息性付与器３０で調和成分H、非調和成分NHに変更を加えるための変化分と、ダイナミクスデータDyとの関係を示すグラフである。
【図５】  気息性付与器３０から出力される変更後の調和成分H´、非調和成分NH´のダイナミクスデータDyとの関係を示すグラフである。
【図６】  気息性データBrが異なる場合において、調和成分H´、非調和成分NH´のダイナミクスデータDyとの関係が変化する様子を説明するためのグラフである。
【符号の説明】
１０・・・演奏データ入力部
２０・・・調和／非調和成分生成器
３０・・・気息性付与器
４０・・・ミキサ
【図１】
0003918606.tif 000002
【図２】
0003918606.tif 000003
【図３】
0003918606.tif 000004
【図４】
0003918606.tif 000005
【図５】
0003918606.tif 000006
【図６】
0003918606.tif 000007