(57)【特許請求の範囲】
【請求項１】
実際の歌唱音声から抽出した、休符を含む音符列データと対応する基本周波数列をセットとした韻律小素片を蓄積した韻律データベースを備え、音符系列を基に音符列データを生成し、韻律データベースから韻律小素片を順次読み出し、韻律小素片を接続して歌唱韻律情報を生成する歌唱音声合成における歌唱韻律生成方法において、
音高と継続時間長が前記音符列データと同一の韻律小素片が前記韻律データベース中に存在しない場合に、前記音符列データと最も類似した韻律小素片を前記韻律データベースから読み出し、
前記読み出した韻律小素片に対し、韻律小素片の基本周波数が急峻に変化する部分については時間方向の伸縮が少なくなるように、かつ、基本周波数が定常的な部分については時間方向の伸縮が大きくなるように、かつ、変形後の継続時間長が前記音符列データの継続時間長となるように、時間方向の変形を行い、
変形後の韻律小素片を接続して歌唱韻律情報を生成する
ことを特徴とする歌唱音声合成における歌唱韻律生成方法。
【請求項２】
請求項１に記載の歌唱音声合成における歌唱韻律生成方法において、
前記時間方向の変形は、韻律小素片中の音符の接続点を時間ゼロとしたｎ次多項式（ｎ：２以上の整数）を定義し、前記ｎ次多項式の値を時間伸縮の大きさとして用いた変形とすることを特徴とする歌唱音声合成における歌唱韻律生成方法。
【請求項３】
請求項１または２に記載の歌唱音声合成における歌唱韻律生成方法において、
前記読み出した韻律小素片に対し、前記時間方向の変形に加え、
当該韻律小素片の先頭の基本周波数が、当該韻律小素片の直前の韻律小素片の終端の基本周波数と等しくなるように当該韻律小素片全体を周波数方向に平行移動し、
当該韻律小素片の終端の基本周波数が音符列データに対応する音符固有の基本周波数と等しくなるように、前記平行移動した韻律小素片の先端の基本周波数を固定したまま周波数方向に周波数の対数が線形となるように拡大または縮小する、周波数方向の変形も行うことを特徴とする歌唱音声合成における歌唱韻律生成方法。
【請求項４】
請求項１乃至３のいずれか１項に記載の歌唱音声合成における歌唱韻律生成方法をコンピュータに実行させる歌唱音声合成における歌唱韻律生成プログラム。
【請求項５】
請求項１乃至３のいずれか１項に記載の歌唱音声合成における歌唱韻律生成方法をコンピュータに実行させる歌唱音声合成における歌唱韻律生成プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、任意音符系列および任意音韻系列に対する連続歌唱音声合成において用いる、韻律生成方法及び韻律生成プログラム、そのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来の楽譜に基づく音符系列と任意の音韻系列から歌唱音声を合成する際には、音符系列から韻律を導出する必要がある。その最も簡単な方法は、音符固有の基本周波数を音符系列の順につなぐことである。この場合、生成された韻律は調子外れではないものの、階段状になり合成音が不自然になる。そこで、音符の接続部分をなめらかな韻律変化とするための方策が考案されてきた。その代表的な方法として、数学的モデルを用いる方法がある。二つの不連続な値を曲線で補間するモデルを利用し、連続する音符の基本周波数をなめらかにつなぎながら、韻律を生成する。用いるモデルによっては、歌唱音声に見られる音符遷移時のオーバーシュートやアンダーシュート（一時的な調子外れ）の現象を再現することができる。
【０００３】
【発明が解決しようとする課題】
従来の方法では、所望の韻律を得るためにはモデルパラメータを調整する必要があるが、調整が容易ではない場合もある。また、一過性の特殊な歌唱法（例えば、コブシやビブラートなど）を再現する場合、モデルパラメータを再度調整し直す必要がある。数学的モデルを用いた方法は、データベース等を必要とせず原理が簡潔であるため、韻律生成の機構全体が簡素化できたり小型化できるという利点がある反面、個人性を再現したり自然性を高める目的においてはパラメータの調整が容易ではないことがある。また、韻律形成の自由度が低いモデルを用いると所望の韻律が得られない可能性もある。
【０００４】
本発明は、上記モデルを用いた韻律生成方法と比較して、より容易に個人性の保存・再現ができるようにし、また、より容易に特殊な歌唱法の再現ができるようにする。その結果として、より自然性の高い韻律が生成できるようにする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明は、韻律における個人性や特殊な歌唱法を保存・再現するために、実際の歌唱音声から抽出した韻律の小素片を多数用意し、それを接続して所望の韻律を生成する。しかし、任意音長で任意音高の音符列についての韻律を合成するためには、該当音符列の異なる大量の韻律小素片が必要になる。これらの小素片を計画的に収集する場合は、非現実的な数の小素片が必要になる可能性がある。また、新規に収集するのではなく、既存の楽曲から小素片を収集する場合には、その楽曲に含まれない音符列の韻律小素片を得ることができないため、任意の音符列を完全に網羅する韻律小素片群を用意することは不可能に近い。そこで、韻律小素片を変形して接続することを考える。このことによって、韻律小素片を計画的に収集する場合においては、収集する音符列（音符列データ）の数を少なくすることが可能で、結果的に韻律小素片データベースのサイズを小さくすることができる。また、既存曲から収集した韻律小素片データベースを用いる場合においても、韻律小素片を変形することによって任意の音符列について韻律を生成することが可能になる。
【０００６】
また、歌手を特徴付ける韻律遷移は、韻律小素片の中に保存されており、それらを用いて生成した韻律もまた、歌手の韻律遷移の特徴を有するので個人性を保存することができる。特殊な歌唱法についても同様である。
時間方向においては、韻律小素片中の基本周波数が急峻に変化する部分の変形量を小さく抑え、基本周波数が定常的な部分の変形量を大きくする変形方法を採用し、また音高方向の変形においては、基本周波数の対数が線形になる拡大・縮小方法を採用することによって、韻律小素片の持つ個人性や特徴を保存したまま、多様な音符系列の韻律を生成することができる。結果としてデータベースの規模を抑えることができる。
【０００７】
【発明の実施の形態】
図１に、歌唱音声合成における韻律生成装置のブロック図を示す。
以下、その各部分について説明する。
まず音符系列分析部１００は音符系列入力端子を持ち、韻律を生成するもととなる音符系列（楽譜データ）を読み込む。さらに、データベース構成情報入力端子より、韻律生成に用いるデータベース１０１がどのような韻律小素片で構成されているのかについての情報（韻律データベース構成情報）を読み込む。得られた情報をもとに、音符系列分析部１００では音符系列を分割して音符列データを生成する。この場合において、音符系列の分割は音符を部分的に重ねて行う（図２（Ａ）参照）。図２は、無音部分後もしくは無音部分前の場合のみ１個の音符についての韻律小素片▲１▼と、２個の音符についての韻律小素片▲２▼〜▲４▼で構成された韻律データベースを用いる場合の例を示したものである。図２（Ａ）は入力された休符を含む音符系列（楽譜データ）、図２（Ｂ）は分割された音符列（音符列データ）を示す。
【０００８】
続いて読み出し部１０２では、音符系列分析部において分割された音符列に対し、先頭から順番にその音符列にもっとも適した韻律小素片を、韻律データベース１０１から読み出す。韻律データベース１０１は、実際の歌唱音声から抽出した、休符を含む音符列データと対応する基本周波数列をセットとした韻律小素片を蓄積する。
【０００９】
音符系列分析部１００にて分割された音符列（音符列データ）を、読み出しのキーとなる音符列と以下呼ぶこととする。キーとなる音符列と音高、継続時間とも同一の音符列に対応する韻律小素片がデータベース中に存在しないことが十分にあり得るので、その場合にはキーとなる音符列にもっとも類似した韻律小素片を読み出す必要がある。類似性の判定には様々な方法が考えられるが、一例を以下に示す。
w1,w2,w3を重み係数、nを音符列中の音符の個数、Hi,Liをキー音符列中i番目の音符の音高、継続時間、hi,liを韻律小素片のi番目の音高、継続時間、sを類似度とすると、
【００１０】
【数１】
0003904871.tif 000002
において、sがもっとも小さくなる韻律小素片を類似した韻律小素片として選択する。この式の第１項目は各音の音高の差を、第２項目は連続する２音の音程の差を、第３項目は各音の継続時間の差を、それぞれ評価しており、w1,w2,w3の値を変更することによって、いずれの項目に重きを置くかを調整することができる。
【００１１】
続いて時間方向変形部１０３では、読み出した韻律小素片の継続時間がキー音符列の継続時間と同じになるように時間方向の変形を行う。図３では時間方向の変形に
y＝ax2
の２次式を用いた例を示す。
なお図３は２個の音符列からなる韻律小素片についての変形の例である。図３（Ａ）が変形前の韻律小素片で、これを図３（Ｂ）のように変形する場合、音符の接続位置など韻律が急峻に変化している部分を境に２ヶ所に分割し、それぞれの調整量がk1、k2であるとする。このとき
【００１２】
【数２】
0003904871.tif 000003
を満たすa1,a2を計算で求める。さらに図３（Ｃ）に示すように、この値から得られた変形関数yの値を、対応する時刻の基本周波数が占有する時間に足し合わせ時間方向の変形を行う。
【００１３】
続いて、音高方向変形部１０４について説明する。変形前後の韻律小素片の先端の基本周波数をf1,f2、変形前後の終端の基本周波数をf3,f4、時刻tにおける基本周波数をftとする。まず、素片の先端の基本周波数を揃えるために、図４（Ａ）に示すように、
ft ・（f2／f1）
なる計算によって韻律小素片全体を平行移動する。次に、図４（Ｂ）に示すように、韻律小素片の終端を合わせる。このとき周波数の対数が線形になるように、
【００１４】
【数３】
0003904871.tif 000004
なる計算によって韻律小素片を拡大縮小する。
続いて素片接続部１０５において、韻律バッファ１０６が空でない場合は韻律バッファ１０６の中身を読み出した上、その終端にさらに韻律小素片を接続し、再び韻律バッファ１０６に格納する。音符系列分析部１００によって分割された音符列で未処理のものが残っている場合は、再度読み出し部１０２に戻り、処理を繰り返す。また、すべての音符列について処理が終了した場合は、韻律バッファ１０６に格納された韻律情報を出力して終了する。
【００１５】
歌唱音声合成における歌唱韻律生成方法の手順を図５を参照して説明する。
(s1)入力された音符系列から韻律データベース構成情報を基に音符列データを生成する。
(s2)音符列データに基づき韻律データベースから韻律小素片を読み出す。
(s3)読み出した韻律小素片を時間方向・音高方向に変形する。
(s4)変形した韻律小素片を接続して韻律情報を出力する。
【００１６】
また、本発明の歌唱音声合成における韻律生成装置は、ＣＰＵやメモリ等を有するコンピュータと、アクセス主体となるユーザが利用する利用者端末と、記録媒体から構成される。
記録媒体は、CD-ROM、磁気ディスク装置、半導体メモリ等の機械読み取り可能な記録媒体であり、ここに記録された歌唱音声合成における韻律生成プログラムは、コンピュータに読み取られ、コンピュータの動作を制御しコンピュータ上に前述した実施形態における構成要素、すなわち、韻律データベース、音符系列分析部、読み出し部、時間方向変形部、音高方向変形部、接続部等を実現する。
【００１７】
【発明の効果】
この発明によれば、歌唱音声を合成する際の韻律生成において、従来法と比較して実際の歌唱音声から抽出した韻律小素片の時間方向・音高方向の変形により容易に個人性の保存・再現が可能である。また、同様に特殊な歌唱法の保存・再現が容易となる。さらに、そのときに必要となる韻律小素片の数を低減させることも可能となり韻律データベースのサイズを小さくすることができる。
【図面の簡単な説明】
【図１】歌唱音声を合成における韻律生成装置のブロック図。
【図２】音符系列から音符列データの生成を説明するための図。
【図３】韻律小素片の時間方向の変形を説明するための図。
【図４】韻律小素片の音高方向の変形を説明するための図。
【図５】歌唱音声を合成における韻律生成方法の手順を示す図。
【符号の説明】
１００   音符系列分析部
１０１   韻律データベース
１０２   読み出し部
１０３   時間方向変形部
１０４   音高方向変形部
１０５   接続部
１０６   韻律バッファ
【図１】
0003904871.tif 000005
【図２】
0003904871.tif 000006
【図３】
0003904871.tif 000007
【図４】
0003904871.tif 000008
【図５】
0003904871.tif 000009