(57)【要約】【課題】接続する二つの原音声の周波数特性や基本周波数が異なっていても不連続感を知覚させない。【解決手段】先行、後続原音声Ｉ０１，Ｉ０４のそれぞれピッチ波形の出現時点系列Ｉ０２，Ｉ０５における正弦波重畳モデルを表現するパラメータＰ０１〜Ｐ０６，Ｐ０７〜Ｐ１２を求め、原音声Ｉ０１，Ｉ０４の両接続区間Ｉ０３とＩ０６における、対応する分析点のパラメータの組Ｐ０４とＰ０８、Ｐ０５とＰ０９、Ｐ０６とＰ１０を、接続区間の始端から終端にかけて、先行原音声Ｉ０１に十分近いものから、後続原音声Ｉ０４に十分近いものへ、漸次変化するように補間数ｄ４，ｄ５，ｄ６を変化させて、各両パラメータを補間合成する。【選択図】　　　図３
2004102118.tif 000002
【特許請求の範囲】
【請求項１】
先行と後続の関係にある二つの異なる原音声信号を、あらかじめ決められている接続区間において接続し、一つの新しい音声信号を作成するような音声接続方法において、
原音声信号の有声部分においては音声波形上に周期的に現れるピッチ波形の出現時刻毎にあらかじめ設定されている分析時点、原音声信号の無声部分においては一定時間毎にあらかじめ設定されている分析時点毎に、上記原音声信号のそれぞれについて、音声信号をモデル表現するためのパラメータを推定する過程と、
先行する原音声信号の接続区間に含まれる分析時点と、後続する原音声信号の接続区間に含まれる分析時点とで、対応するものを抽出する過程と、
対応するそれぞれの分析時点の組毎に、新しい音声信号の上記二つの異なる音声信号への近さを決定する過程と、
対応するそれぞれの分析時点の組毎に、対応する原音声信号の分析時点において推定されたパラメータを、新しい音声信号の上記二つの異なる音声信号への近さの程度に応じて補間して新しいパラメータを作成する過程と、
上記先行する原音声信号の、接続区間より前の分析時点において推定されたパラメータと、上記作成された新しいパラメータと、上記後続する原音声信号の接続区間より後ろの分析時点において推定されたパラメータとを、この順に結合する過程と、
結合されたパラメータを用いて音声信号を合成する過程と、
を有することを特徴とする音声接続方法。
【請求項２】
請求項１記載の音声接続方法において、
上記新しい音声信号の上記二つの異なる音声への近さは、接続区間の始端から終端にかけて、先行する原音声に十分近い近さから、後続する原音声に十分近い近さへと漸次的に変化することを特徴とする音声接続方法。
【請求項３】
請求項１もしくは２記載の音声接続方法において、
上記接続区間に含まれる分析時点の対応付けについては、接続区間の端から順に、先行音声信号の一つの分析時点につき、後続音声信号の一つの分析時点を対応付けることを特徴とする音声接続方法。
【請求項４】
請求項３記載の音声接続方法において、先行音声接続区間内の分析時点の数の方が多い場合は先行音声接続区間内の分析時点の後端と後続音声接続区間内の分析時点の後端が対応するように、後続音声接続区間内の分析時点の数の方が多い場合は先行音声接続区間内の分析時点の前端と後続音声接続区間内の分析時点の前端が対応するようにし、
上記近さの決定は、上記接続区間内の分析時点で対応付けができなかったものは、その分析時点の原音声信号のパラメータがそのまま分析音声信号のパラメータになるように決定することを特徴とする音声接続方法。
【請求項５】
先行と後続の関係にある二つの異なる原音声信号と、あらかじめ決められている先行音声接続区間および後続音声接続区間と、原音声信号の有声部分においては音声波形上に周期的に現れるピッチ波形の出現時刻毎にあらかじめ設定されている分析時点系列、原音声信号の無声部分においては一定時間毎にあらかじめ設定されている分析時点系列とが入力され、
両原音声信号を接続した一つの新しい音声信号を作成する音声接続装置において、
上記両原音声信号と上記両分析時点系列とが入力され、上記原音声信号のそれぞれについて、音声信号をモデル表現するためのパラメータを、上記分析時点毎にそれぞれ推定する手段と、
上記両接続区間と上記両分析時点系列とが入力され、先行音声接続区間に含まれる分析時点と、後続音声接続区間に含まれる分析時点とで、対応するものを抽出する手段と、
上記抽出された対応する分析時点と、上記両接続区間とが入力され、対応するそれぞれの分析時点の組毎に、新しい音声信号の上記二つの異なる音声信号への近さを決定する手段と、
上記決定された近さと、上記抽出された対応分析時点と、上記推定されたパラメータとが入力され、対応するそれぞれの分析時点の組毎に、対応する原音声信号の分析時点において推定されたパラメータを、新しい音声信号の二つの異なる音声信号への近さの程度毎に応じて補間して新しいパラメータを作成する手段と、
上記先行する原音声信号の、その接続区間より前の分析時点において推定されたパラメータと、上記作成された新しいパラメータと、上記後続する原音声信号のその接続区間より後ろの分析時点において推定されたパラメータとを、この順に結合する手段と、
結合されたパラメータを用いて音声信号を合成する手段を備えることを特徴とする音声接続装置。
【請求項６】
請求項５記載の音声接続装置において、上記新しい音声信号の二つの異なる音声信号への近さ決定手段は接続区間の始端から終端にかけて、先行する原音声信号に十分近い近さから後続する原音声信号に十分近い近さへと漸次的に変化するような近さを決定する手段であることを特徴とする音声接続装置。
【請求項７】
請求項５もしくは６記載の音声接続装置において、接続区間に含まれる分析時点の対応するものを抽出する手段は、接続区間の端から順に、先行音声の一つの分析時点につき、後続音声の一つの分析時点を対応付けて抽出する手段であることを特徴とする音声接続装置。
【請求項８】
請求項１〜４の何れかに記載した音声接続方法の各過程をコンピュータに実行させるための音声接続プログラム。
【請求項９】
請求項８に記載した音声接続プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、事前に発話された二つの音声信号の断片の、音声波形もしくは分析パラメータを接続することにより一つの新しい音声信号をつくり出す、音声接続方法、音声接続装置、そのプログラムおよびその記録媒体に関するものである。
【０００２】
【従来の技術】
この種の従来の技術は、（１）音声信号の接続部分において単純に波形を接続する手法や、（２）二つの音声信号のそれぞれの接続部分に窓関数を乗じ、窓関数を乗じた部分を重ね合わせて足し合わせるいわゆるＯＬＡ（Ｏｖｅｒ　Ｌａｐ　Ａｄｄ）と呼ばれる手法を用いて、一連の音声信号を合成する手法であった。
また特許文献には２つの原音信号ｘ，ｙを各フレーム毎に正弦波重畳モデルのパラメータＸ，Ｙに分析し、これらパラメータＸ，Ｙの対応するフレームを時間の非線形伸縮マッチングにより求め、各フレームにおける合成比率α（α＝０でＸのみ、α＝１でＹのみ）で対応する部分音を合成して、２つの原音信号を接続することが示されている。
【０００３】
【特許文献１】
特開平１０−２５４５００号公報
【０００４】
【発明が解決しようとする課題】
従来の技術によれば、異なる音声信号を接続する際にそのまま接続したりＯＬＡを用いると、接続部分における異なる二つの音の周波数特性や基本周波数が異なっていた場合に、合成音声信号には急激な周波数特性や基本周波数の変化が発生し、音声に不連続感が知覚され音声品質が劣化する欠点があった。
特許文献１に示すものでは原音声信号の基本周波数成分の位相パラメータが大きく異なる部分音の各パラメータから合成した場合に、合成パラメータの時系列において不自然な位相変化が現れ、音声品質が劣化する可能性があるという問題があった。
【０００５】
【課題を解決するための手段】
図１を参照してこの発明の原理を説明する。
この発明による音声接続方法は先行と後続の関係にある二つの異なる原音声信号を、あらかじめ決められている接続区間において接続し、一つの新しい音声信号を作成する音声接続方法であり、先行原音声信号Ｉ０１、先行原音声信号Ｉ０１の分析時点系列Ｉ０２、先行原音声信号Ｉ０１の接続区間Ｉ０３、後続原音声信号Ｉ０４、後続原音声信号Ｉ０４の分析時点系列Ｉ０５、後続原音声信号Ｉ０４の接続区間Ｉ０６を入力とする。分析時点は原音声信号の有声部分では音声波形上に周期的に現れるピッチ波形の出現時刻毎にあらかじめ与えられ、原音信号の無声部分では一定時毎にあらかじめ与えられたものである。この分析時点の設定は例えば、人間が音声波形を見て人手で原音声信号に対応付けて行ってもよく、各種ピッチ抽出法を用いて自動的に行ってもよい。何れにしてもピッチ波形の例えば立上り点とか、ピーク点とかあらかじめ決めた点とする。
【０００６】
なお、分析時点系列Ｉ０２，Ｉ０５とは、それぞれ対応する音声信号の継続する区間において、一つ以上の時刻の集合である。
ステップＳ０１およびＳ０２において、二つの異なる音声信号Ｉ０１とＩ０４を、それぞれモデル表現するためのパラメータをあらかじめ決められた分析時点系列Ｉ０２およびＩ０５により指定される各分析時点毎に推定する。
ステップＳ０３において、先行原音声信号の分析時点系列Ｉ０２により決められる分析時点のうち、その接続区間Ｉ０３に含まれる分析時点と、後続原音声信号の分析時点系列Ｉ０５により決められる分析時点のうち、その接続区間Ｉ０６に含まれる分析時点との間で対応するものを抽出し、ステップＳ０４において、ステップＳ０３において抽出された対応する分析時点の組毎に、新しく合成される音声信号の、二つの原音声信号Ｉ０１，Ｉ０４への近さを決定し、
ステップＳ０５において、ステップＳ０３において抽出された対応する分析時点の組毎に、その分析時点における両原音声信号の各パラメータを、ステップＳ０４において決定された近さの程度に応じて補間して新しいパラメータを作成する。この新しいパラメータの作成方法は特開平１０−２５４５００号公報「補間音色合成方法」に示す方法を用いることができる。
【０００７】
ステップＳ０６において、先行原音声信号の分析時点系列Ｉ０２により決められる分析時点のうちその接続区間Ｉ０３より前の分析時点において推定されたパラメータと、ステップＳ０５において作成された新しいパラメータと、後続音声信号の分析時点系列Ｉ０５により決められる分析時点のうちその接続区間Ｉ０６より後の分析時点において推定されたパラメータとを、この順に結合して新たな音声信号をモデル表現するパラメータを作成し、
ステップＳ０７において、ステップＳ０６により作成されたパラメータを用いて合成音声を作成する。
【０００８】
ここで、基本周波数成分の位相パラメータが大きく異なる部分音の各パラメータから、前記特開平１０−２５４５００号公報に示す新しいパラメータを作成する方法を用いて新しいパラメータを作成した場合、得られるモデルパラメータを時間に沿って並べた場合に不自然な位相変化が現れ、音声品質が劣化する可能性がある。
しかし先に述べたように、この発明においては両分析時点系列Ｉ０２およびＩ０５が、両原音声信号Ｉ０１およびＩ０４の有声区間においては基本周波数成分の瞬時位相が等しい点となるように設定してある。
【０００９】
このため、ステップＳ０５において新たに作成される分析パラメータのうち、隣り合うもの同士の位相パラメータに不自然な変化が発生しない。これにより、ステップＳ０７により得られる音声の品質が向上する。
また好ましくは、ステップＳ０４において、二つの異なる原音声信号Ｉ０１，Ｉ０４への各近さを、先行原音声信号Ｉ０１にもっとも近い状態から後続原音声信号Ｉ０４にもっとも近い状態へと変化するように漸次的に変化するように設定する。これにより、先行原音声信号Ｉ０１から後続原音声信号Ｉ０４への滑らかな変化が実現され、ステップＳ０７において合成される音声には不連続感が知覚されない。
【００１０】
ここで、この明細書において二つの音声の間の近さとは、音声をモデル表現するパラメータの値がどれだけ異なっているか、ということを指しており、例えば二つの音声のパラメータの値の間の重みつきユークリッド距離の総和のようなもので表されるものである。
【００１１】
【発明の実施の形態】
この発明の音声接続装置の機能構成例を図２に示す。
先行原音声信号Ｉ０１と、先行原音声分析時点系列Ｉ０２と、先行原音声接続区間Ｉ０３と、後続原音声信号Ｉ０４と、後続原音声分析時点系列Ｉ０５と、後続原音声接続区間Ｉ０６がこの音声接続装置に与えられる。各分析時点は原音声信号の有声区間では基本周波数成分の瞬時位相が等しい点とされてある。
パラメータ推定部Ｍ０１は、先行原音声信号Ｉ０１とその分析時点系列Ｉ０２とを受け取り、各分析時点毎の先行原音声パラメータＰｐｒｅ　を出力し、また後続原音声信号Ｉ０４とその分析時点系列Ｉ０５とを受け取り、その各分析時点毎の後続原音声パラメータＰｓｕｃ　を出力する。
【００１２】
分析時点対応作成部Ｍ０２は、先行原音声分析時点系列Ｉ０２およびその接続区間Ｉ０３と後続原音声分析時点系列Ｉ０５およびその接続区間Ｉ０６とを受け取り、両接続区間Ｉ０３とＩ０６における対応する分析時点の組ＰＡＩＲを出力する。
二原音への近さ決定部Ｍ０３は、分析時点対応作成部Ｍ０２からの分析時点の組ＰＡＩＲと、先行原音声分析時点系列Ｉ０２とその接続区間Ｉ０３と後続原音声分析時点系列Ｉ０５とその接続区間Ｉ０６とを受け取り、分析時点の組ＰＡＩＲ毎に、新しく合成される音声信号の、各原音声信号への近さ、ＤＩＳＴをそれぞれ出力する。
【００１３】
新パラメータ作成部Ｍ０５は、パラメータ推定部Ｍ０１よりの先行原音声パラメータＰｐｒｅ　と後続原音声パラメータＰｓｕｃ　と、分析時点対応作成部Ｍ０２からの分析時点の組ＰＡＩＲと、二原音への近さ決定部Ｍ０３からの近さＤＩＳＴとを受け取り、分析時点の組ＰＡＩＲ毎の新しいパラメータＰｃａｔ　を、対応する両推定パラメータＰｐｒｅ　，Ｐｓｕｃ　と近さＤＩＳＴを用いて作成して出力する。
パラメータ結合部Ｍ０４は、両分析時点系列Ｉ０２とＩ０５、これらの各接続区間Ｉ０３とＩ０６、両推定パラメータＰｐｒｅ　とＰｓｕｃ　と、新パラメータ作成部Ｍ０５からの新パラメータＰｃａｔ　を受け取り、これらパラメータをその分析時点順に配列結合して合成音声パラメータＰｓｙｎ　として出力する。
【００１４】
音声合成部Ｍ０６は、パラメータ結合部Ｍ０４からの合成音声パラメータＰｓｙｎ　を受け取り、合成音声ＯＵＴを出力する。
実施例
この発明の一実施例を図３を参照して説明する。
図３においては、時間は左から右へ進むものとし、従って時間的な「前」や「後」の概念はそれぞれ、図においては、左、右に対応するものとする。
この実施例では、先行原音声信号Ｉ０１と、時点Ｉ０２−１…Ｉ０２−６からなる先行原音声分析時点系列Ｉ０２と、先行原音声接続区間Ｉ０３とが与えられ、同様に後続原音声信号Ｉ０４と、時点Ｉ０５−１…Ｉ０５−６からなる後続原音声分析時点系列Ｉ０５と、後続原音声接続区間Ｉ０６とが与えられる。接続区間は例えば先行原音声信号の定常的になっている部分と後続原音声信号の定常的になっている部分とがつながるように決定される。
【００１５】
まず、ステップＳ０１（図１）において、先行原音声分析時点系列Ｉ０２に含まれる分析時点Ｉ０２−１…Ｉ０２−６の各時点において先行原音声信号Ｉ０１をモデル表現するパラメータを、パラメータ推定部Ｍ０１（図２）で推定する。この実施例ではパラメータＰ０１…Ｐ０６が推定される。
同様にステップＳ０２において後続原音声分析推定系列Ｉ０５に含まれる分析時点Ｉ０５−１…Ｉ０５−６の各時点において後続原音声信号Ｉ０４をモデル表現するパラメータを、パラメータ推定部Ｍ０１で推定する。この実施例ではパラメータＰ０７…Ｐ１２が推定される。
【００１６】
この実施例においては、音声信号を表現するモデルとして正弦波重畳モデルを用いる。正弦波重畳モデルはある分析時点と隣り合う分析時点の間における音声サンプルを、部分音（正弦波）が重畳したものとして表現する。すなわち、
ｘ（ｍ）＝Σｐ＝０Ｐ−１Ａｐ（ｍ）ｃｏｓ（Θｐ（ｍ））　　　　　　　　　　（１）
として表現する。ｘ（ｍ）はある分析点と隣り合う分析点の間のｍ番目のサンプルにおける音声信号の値であり、ｐは部分音の番号であり、Ｐは部分音の数である。Θｐ　はｍ番目のサンプルにおける部分音ｐの瞬時位相であり、Ａｐ　はｍ番目のサンプルにおける部分音ｐの瞬時振幅をそれぞれ表す。
【００１７】
（１）式の表現に必要な情報は、二つの分析時点における部分音の瞬時振幅、瞬時周波数、および瞬時位相から求められる。
すなわち、一つの分析点について部分音の数Ｐに加えて下記のパラメータが音声信号のモデルパラメータとして用いられる。
（ａｐ　，ｆｐ　，θｐ　）　０＜ｐ＜Ｐ−１　　　　　　　　　　　　（２）
ここにａｐ　は振幅であって、ｆｐ　は瞬時周波数であって、θｐ　は瞬時位相である。
【００１８】
与えられた音声信号から（２）式のパラメータを得るアルゴリズム、および（２）式のパラメータから（１）式のＡｐ　およびΘｐ　を求めるアルゴリズムについては、ＭｃＡｕｌａｙおよびＱｕａｔｉｅｒｉによるアルゴリズムが知られる。（２）式のパラメータを得るこのアルゴリズムは音声信号を高速フーリエ変換（ＦＦＴ）して得られるローカルピーク（雑音成分以外の各ピーク）の周波数、振幅および位相を検出し求めるものである。
この実施例においては分析時点系列Ｉ０２およびＩ０５は、原音声信号Ｉ０１およびＩ０４それぞれについて有声部分においては周期的に現れる基本波形（ピッチ波形）の出現時刻に同期して与えられている。この処理によって、各分析時点における各部分音のうち、基本周波数成分の位相パラメータθのずれが抑制される。ピッチ波形の出現時点の検出は従来より知られている各種の手法を用いることができる。原音声信号の無声部分においては一定時間毎に分析時点を与える。
【００１９】
次に、ステップＳ０３において分析時点系列Ｉ０２のうち接続区間Ｉ０３に含まれる分析時点Ｉ０２−４，Ｉ０２−５，Ｉ０２−６と、分析時点系列Ｉ０５のうち接続区間Ｉ０６に含まれる分析時点Ｉ０５−４，Ｉ０５−５，Ｉ０５−６とから、対応するものを分析時点対応作成部Ｍ０２で抽出する。この例では、接続区間Ｉ０３とＩ０６にそれぞれ出現する分析時点を順に対応付け、つまりその接続区間における出現の順番が同一のものを互いに対応付ける。従って時点Ｉ０２−４とＩ０５−２、時点Ｉ０２−５とＩ０５−３、時点Ｉ０２−６とＩ０５−４がそれぞれ対応付けられる。
【００２０】
次に、ステップＳ０４において、ステップＳ０３で対応付けられた分析時点毎に、新しく合成される音声信号の、二つの原音声信号Ｉ０１，Ｉ０４への近さを決定する。この例では、先行する原音声信号Ｉ０１に十分近い近さから後続する原音声Ｉ０４に十分近い近さへと漸次的に変化するよう、近さを二原音への近さ決定部Ｍ０３で決定する。この例では、近さは０から１の範囲内の実数値をとるものとし、１が最も先行原音声に近く、０が最も後続原音声に近い事を意味するものとする。具体的には、時点Ｉ０２−４とＩ０５−２の組に対しては近さｄ４を０．９として、時点Ｉ０２−５とＩ０５−３の組に対しては近さｄ４を０．５として、時点Ｉ０２−６とＩ０５−４の組に対しては近さｄ４を０．１として、漸次的に先行音声から後続音声へ近くなるよう、近さを変化させる。
【００２１】
次に、ステップＳ０５において、ステップＳ０３において抽出された対応する分析時点の組毎に、その分析時点における原音声のパラメータと、ステップＳ０４において決定された近さから、新しいパラメータを作成する。この新しいパラメータの作成法としては前記特開平１０−２５４５００号公報に示す方法を用いることができる。この例では、時点Ｉ０２−４に対応するＰ０４と時点Ｉ０５−２に対応するＰ０８と近さｄ４から新しいパラメータＰ２４を、Ｉ０２−５に対応するＰ０５とＩ０５−３に対応するＰ０９と近さｄ５から新しいパラメータＰ２５を、Ｉ０２−６に対応するＰ０６とＩ０５−４に対応するＰ１０と近さｄ６から新しいパラメータＰ２６を作成する。
【００２２】
次に、ステップＳ０６において新たな音声信号をモデル表現するパラメータをパラメータ結合部Ｍ０４で作成する。この実施例では先行原音声分析時点系列Ｉ０２により決められる分析時点のうちその接続区間Ｉ０３より前の分析時点において推定されたパラメータＰ０１，Ｐ０２，Ｐ０３と、ステップＳ０５により作成された新パラメータＰ２４，Ｐ２５，Ｐ２６と、後続原音声分析時点系列Ｉ０５により決められる分析時点のうちその接続区間Ｉ０６より後ろの分析時点において推定されたパラメータＰ１１，Ｐ１２を結合して、新たな音声信号をモデル表現するパラメータＰｓｙｎｔｈを作成する。
【００２３】
次に、ステップＳ０７において、音声信号を合成する。この実施例では、パラメータＰｓｙｎ　を用いて音声信号ＯＵＴを音声合成部Ｍ０６で作成する。
ステップＳ０５における新しいパラメータの作成を、更に具体的に述べると、
（１）二つの原音声信号のスペクトル包絡を抽出し、これら抽出されたスペクトル包絡を補間して目標とするスペクトル包絡を所望の合成音声信号に付与し、二つの原音声信号の瞬時周波数を補間し、合成音声信号の瞬時位相を決定する。
上記目標とするスペクトル包絡を所望の合成音声信号に付与するには、二つの原音声信号の振幅を補間し、この補間された振幅のスペクトル包絡を求め、その求めたスペクトル包絡と上記補間したスペクトル包絡との差を抽出し、このスペクトル包絡の差を上記補間された振幅に加算して行う。更に二つの原音声信号のパワーを抽出し、これら抽出されたパワーを補間して目標とするパワーを決定し、所望の合成音声信号のパワーが上記目標のパワーとなるように調整することを含むようにしてもよい。
【００２４】
また上記瞬時周波数の補間は、二つの原音声信号のピッチを抽出し、これら抽出された対応時点のピッチを補間して目標とするピッチを決定し、この目標とするピッチより、二つの原音声信号への所望の近さを表す定数を再計算し、この再計算された近さを表す定数を用いて二つの原音声信号の瞬時周波数を補間する。以下、ステップＳ０５における新しいパラメータの作成の具体例を説明する。この説明に当り、便宜的に、先行原音声信号Ｉ０１をｘ、後続原音声信号Ｉ０４をｙ、先行原音声パラメータ（この実施例では正弦波重畳モデルを表現するものであるからスペクトル）Ｐｐｒｅ　をＸ、後続原音声パラメータＰｓｕｃ　をＹ、対応付けられる分析時点Ｉ０２−４とＩ０５−２，Ｉ０２−５とＩ０５−３，Ｉ０２−６とＩ０５−４をそれぞれＣｘ　（１）とＣｙ　（１），Ｃｘ　（２）とＣｙ　（２），Ｃｘ　（３）とＣｙ　（３）、これら分析時点のパラメータＸ，ＹをＸｎ　，Ｙｎ　，（ｎ＝１，２，３）、パラメータ（スペクトル）の次元をＰｘ　（ｎ），Ｐｙ　（ｎ）、二つの原音声への近さｄ４，ｄ５，ｄ６をそれぞれα１，α２，α３とし、　新パラメータ（スペクトル）Ｐｃａｔ　をＺｎ　とする。
【００２５】
新パラメータ作成部Ｍ０５は図４に示すように初期値計算部１５と分析時点間漸化計算部１６に大別される。初期値計算部１５においては分析時点ｎを計数するカウンタ記憶部１９の計数値がｎ＝０の時のみ動作される。第０番目分析時点（Ｃｘ　（０），Ｃｙ　（０））におけるパラメータＸ０　とＹ０　との対応するものをスペクトル対応探査部１７で探査する。
次にスペクトル補間部１８で対応したスペクトルＯｘ　，Ｏｙ　を補間情報つまり近さｄ０　に応じて補間して新たなスペクトル（パラメータ）Ｚ０　を得る。対応スペクトルの探査、補間についての具体的手法は後で説明する。
【００２６】
この新たなスペクトルＺ０　はＺｎ　として分析時点間漸化計算部１６中の分析時点間合成部２１へ供給する。
スペクトルＸｎ　，Ｙｎ　をαｎに応じて補間した新スペクトルＺｎ＋１　を作成するが、その補間は次のように行う。Ｘｎ　，Ｙｎ　の各要素数Ｐｘ　（ｎ），Ｐｙ　（ｎ）が異なるが、その要素間に距離を定義して、全体として最適に合致するような相手をスペクトル対応探査部２６で決定する。この場合、相手が見つからないことのコストを距離と同一次元で定義すると総合コスト最小の考えを用いてＤＰ（動的計画法）により決定すればよい。この距離尺度として、瞬時周波数、レベルをベクトルの要素として、重み付きユークリッド距離が考えられる。これは同ピッチの場合を考えると瞬時周波数そのものよりも瞬時周波数を基本周波数で正規化し、調波番号に対応する数値（実数）とした方が自然な対応となる。すなわち、後者ではそれぞれの同一調波同士が対応することになる。
【００２７】
このＸｎ　，Ｙｎ　に対し上のアルゴリズムにより最適な相手を見つける。このようにして見つけた対応するものを次式で記録する。つまり見つけた対応するものを一旦記憶しておく。
Ｏｘ　（ｐｘ　），ｐｘ　＝０，１，…，Ｐｘ　（ｎ）
Ｏｙ　（ｐｙ　），ｐｙ　＝０，１，…，Ｐｙ　（ｎ）
ここで対応関係が成立する場合は次式で表わせる。
Ｏｘ　（ｐｘ　）∈｛ｐｙ　｜ｐｙ　＝０，１，…，Ｐｙ　（ｎ）　−１｝
Ｏｙ　（ｐｙ　）∈｛ｐｘ　｜ｐｘ　＝０，１，…，Ｐｘ　（ｎ）　−１｝
対応のないものは
Ｏｘ　（ｐｘ　）＝−１
とするなど、対応する場合に用いられる値以外の値を定義することにより区別する。相手がない場合、冗長性があるのでＯｙ（ｐｙ）はあえて記録しなくてもよい。
【００２８】
例えばＸｎ　のスペクトルが図５Ａに示すように、１００Ｈｚを基本周波数とするものであって、調波番号０，１，２，３，４の各要素Ｏｘ　（０）　，Ｏｘ　（１）　，Ｏｘ　（２）　，Ｏｘ　（３）　，Ｏｘ　（４）　に対し、Ｙｎ　のスペクトルが図５Ｂに示すように、２００Ｈｚを基本周波数とするものであって、調波番号０，１，２の各要素Ｏｙ　（０），Ｏｙ　（１）、Ｏｙ　（２）であったとする。この時Ｏｘ　（０）　はＯｙ　（０）と対応し、Ｏｘ　（０）　＝０とし、Ｏｘ　（１）　は対応がないからＯｘ　（１）　＝−１とし、Ｏｘ　（２）　はＯｙ　（１）と対応し、Ｏｘ　（２）　＝１とし、Ｏｘ　（３）　はＯｙ　（２）と対応し、Ｏｘ　（３）　＝２とし、Ｏｘ　（４）は対応がないからＯｘ　（４）＝−１とする。同様に、Ｏｙ　（０）はＯｘ　（０）と対応しＯｙ　（０）＝０，Ｏｙ　（１）＝２，Ｏｙ　（２）＝３，Ｏｙ　（３）＝−１とする。
【００２９】
以上のようにしてＸｎ　，Ｙｎ　の対応したものを見付け記録すると、この記録したＸｎ　，Ｙｎ　とαｎ　を用いて、対応がついたスペクトル同士はαｎ　により物理補間を、対応がつかないスペクトルはゼロ値への補間をスペクトル補間部２７で行い、新しい合成スペクトルＺｎ＋１　を作成する。つまり例えばＯｘ　（　）とＯｙ　（　）とが対応する場合、αＯｘ　（　）＋（１−α）Ｏｙ　（　）＝Ｏｚ　（　）を求め、対応するものがなければ、Ｏｚ　（　）とする。
以上のように調波番号による管理により、異音を生じさせないで済む。原音に無声部が含まれている場合は、（１）無声部と無声部の場合は、便宜的に任意の調波帯幅を二原音共通に組む、（２）無声部と有声部の場合は無声部の調波帯を有声部の調波帯と同一に設定すればよい。
【００３０】
このようにして合成した新しいスペクトルＺｎ＋１　を前のフレームで計算されたＺｎ　とから音声波形Ｚｎ　を分析時点間合成部２１で算出する。この波形合成の手法は例えば下記の公知の各種のものを用いることができる。
１．フレーム毎の分析から得られたパラメータでフレーム内で正弦波合成し、更に隣合うフレームでオーバラップアッドをする方法。
２．先に述べたＭＱアルゴリズムで、瞬時位相関数を３次式で表現するもの。
３．図６に示すように、ＭＱアルゴリズムにおいて、分析時点と次分析時点のスペクトルローカルピークの接続において、図４で用いられているスペクトル対応探査部２６を再度用いる。
【００３１】
最後のこの方法は同一計算部を用いることから装置構成が容易となる。図６でスペクトル対応探査部２６でＺｎ　とＺｎ＋１　との対応スペクトルＯｚｎ，Ｏｚｎ＋１を求め、その対応するＯｚｎ，Ｏｚｎ＋１により、（１）式における境界となるスペクトル情報が定まるから、二つの間のサンプル点ｍ対応に補間データ、つまり（１）式で表される合成波形を分析時点間合成部２９で求める。
図４の説明において、スペクトル補間部２７で合成スペクトルＺｎ＋１　が求まると、これを記憶部２８にＺｎ　として記憶し、また記憶部１９のフレーム計数値ｎを＋１し、再び、対応付けられたスペクトルＸｎ　，Ｙｎ　の対応スペクトルを探査して、スペクトル補間を行ってＺｎ＋１　を求める。
【００３２】
両端の二つの原音が同一文章で異なる声質の事例、あるいは、ピッチ、あるいは、パワーが異なる二つの原音の事例など、単なる定常音より複雑な二つの原音を両端音とする場合についてのピッチ、あるいは音量は知覚的に独立な要素であり、補間に際してはこれらが個別に補間されていなくてはならない。また、音韻を司るスペクトル包絡も音韻を保存し、音色が補間されるような物理補間がなされるべきである。そこで前記公報の実施例２で説明してあるように、つまり、図７に示すように、まず、分析の初期段階で、パラメータ推定を行うのみならず、ピッチ抽出部３１で原音声信号ｘ，ｙよりピッチＰｘ　，Ｐｙ　をそれぞれ抽出し、またパワー抽出部３２によりパワーａｘ　，ａｙ　をそれぞれ抽出し、更にスペクトル包絡抽出部３３によりスペクトル包絡Ｅｘ　，Ｅｙ　をそれぞれ求める。
【００３３】
これらパラメータを用いて、図４中のスペクトル補間部２７でのパラメータ補間、つまりスペクトル補間を行うが、この場合におけるスペクトル補間は図８に示すようになされる。つまりこのスペクトル補間部２７には、対応する分析時点番号ｎ（＝Ｃｘ（ｎ）＝Ｃｙ（ｎ））、これら分析時点ｎのスペクトルの部分音で対応するもの同士の番号ｐｘ　，ｐｙ　（＝Ｏｘ　（ｐｘ　））、利用者が指定した物理補間定数αｎ　、ピッチＰｘ　，Ｐｙ　、パワーａｘ　，ａｙ　、スペクトル包絡Ｅｘ　，Ｅｙ　が入力される。
【００３４】
そのスペクトル包絡Ｅｘ　，Ｅｙ　を補間して目標とするスペクトル包絡を所望の合成音声信号に付与する。つまりピーク等対応探査部３５に対応分析時点番号ｎ、スペクトル包絡Ｅｘ　，Ｅｙ　、補間情報αｎ　を入力して、Ｅｘ　，Ｅｙ　のピーク周波数とレベルをベクトルとした距離をもとに、スペクトル対応探査部２６における探査方法と同様の手法を用いて対応するピークを算出し、その対応ピークを、スペクトル包絡補間部３６で、αｎ　に応じた線形補間を行って、目標とするスペクトル包絡Ｅｚ　を求める。
【００３５】
一方、分析時点ｎの原音声信号ｘの振幅Ａｘｐｘ　ｎ　と原音声信号ｙの振幅Ａｙｐｙ　ｎ　とを補間情報αｎ　で振幅補間部３７により線形補間し、その補間された振幅のスペクトル包絡をスペクトル包絡計算部３８で計算し、このスペクトル包絡の先に求めた目標スペクトル包絡Ｅｚ　からのずれをスペクトル包絡修正量計算部３９で計算し、このずれを、振幅補間部３７で求めた補間された瞬時振幅に加算器４１で加算して、補間された瞬時振幅のスペクトル包絡が目標とするものになるようにする。このようにして所望の合成音声信号に目標とするスペクトル包絡が付与される。
【００３６】
この所望の合成音声信号に目標とするスペクトル包絡の付与には次の処理を加えてもよい。つまり分析時点ｎでそれぞれ抽出されたパワーａｘ　（ｄＢ），ａｙ　（ｄＢ）を、補間情報αｎ　でパワー補間部４２において線形補間して目標パワー値ａｚ　を求め、加算器４１よりスペクトル包絡が修正された補間振幅のレベルがａｚ　になるようにレベル調整部４３で調整して、合成音声信号の瞬時振幅Ａｚｐｎ＋１　を得る。
ピッチを補間する場合は、知覚との対応がよくなるように、対数ピッチをとり、分析時点ｎにおける抽出ピッチＰｘ　，Ｐｙ　を補間情報αｎ　で、ピッチ補間部４５により線形補間し、この補間されたピッチＰｚ　により、瞬時周波数を補間する際の補間定数を補間係数再計算部４６で再計算し、その計算結果αｎ　′を周波数補間部４７へ供給する。つまり瞬時周波数の補間をαｎ　で行うと補間合成波形のピッチが少しずれる、よってピッチＰｚ　に応じて補間情報αｎ　を修正した方が、聴覚的によい。このようにして周波数補間部４７では瞬時周波数ｆｘｐｘ　ｎｘ，ｆｙｐｙ　ｎｙをαｎ　′で補間して補間瞬時周波数ｆｚｐｎ＋１　を得る。
【００３７】
更に合成音声信号ｚｎ＋１　の生成には、瞬時周波数ｆｚｐｎ＋１　、瞬時振幅Ａｚｐｎ＋１　の他に瞬時位相θｚｐｎ＋１　を必要とする。この瞬時位相θｚｐｎ＋１　を求めるには位相計算部４８で原音声信号の瞬時位相θｘｐｘ　ｎｘ，θｙｐｙ　ｎｙを入力し、αｎ　で補間することなく、部分音は隣接分析時点間内でチャープ（ｃｈｉｒｐ）信号とみなして瞬時周波数のみで決定し、又はランダムとし、あるいは二原音声信号のそれぞれの隣接分析時点との位相差を補間するなどにより決定する。
なお、レベル調整部４３でのレベル調整は省略してもよい。また周波数補間部４７での補間情報としてαｎ　を使用し、ピッチ補間部４５、補間係数再計算部４６を省略してもよい。図４中のスペクトル補間部２７は、先に述べたようにスペクトル補間であって、振幅補間部３７、周波数補間部４７、位相計算部４８により行われるものである。
【００３８】
上記実施例では接続区間において、先行原音声信号の分析時点と、後続原音声信号の分析時点とを、その出現順に１対１に対応付けて、分析時点の組を作ったが、前記公報に示しているように、時間的に伸縮させて対応付けを行ってもよい。この場合は一方の原音声信号の分析時点の１つと、他方の原音声信号の分析時点の複数とが対応付けられることがある。この場合はその複数が対応付けられた部分では新しいパラメータにもとづく合成音声の連続性はよいが、その最後のものと、対応付けられた分析時点の組に基づく新しいパラメータとの連続性が必ずしもよくならない。この点で両分析時点系列を、出現順に１対１の対応付けする方がよい。
【００３９】
状況によっては、先行原音声接続区間に含まれる分析時点の数と、後続原音声接続区間に含まれる分析時点の数が一致しない場合がある。このような状況は、接続区間の継続時間長が異なったり、接続区間内での音の高さが異なったりした場合に発生する。
このような場合に、ステップＳ０３（図１）において分析時点の対応付けを行なう例を図９および図１０に示す。
例えば図９に示すように、先行原音声接続区間Ｊ０３に含まれる分析時点の数が５で、後続原音声接続区間Ｊ０５に含まれる分析時点の数３よりも多い場合、先行原音声接続区間Ｊ０３の先頭から、後続原音声接続区間Ｊ０５に含まれる分析時点数より多い分の分析時点Ｊ０２−１，Ｊ０２−２については、接続区間Ｊ０５において対応するものがないとみなす。この場合、ステップＳ０４において、二つの原音声信号への近さを決定する際に、対応するものがない分析時点については、先行原音声信号に一致するように近さを決定し、ステップＳ０５において新しいパラメータを作成する際に、先行原音声信号のパラメータをそのままコピーする。この例では、先行原音声信号に最も近い近さを１としているので、分析時点Ｊ０２−１とＪ０２−２の新パラメータＱ２１とＱ２２の原音声信号への近さは１となり、新パラメータＱ２１とＱ２２はそれぞれ分析時点Ｊ０２−１とＪ０２−２の先行原音声信号のパラメータＱ０１とＱ０２をコピーしたものとなる。
【００４０】
図１０に示すように、先行原音声接続区間Ｋ０３に含まれる分析時点の数が４で後続原音声接続区間Ｋ０５に含まれる分析時点の数５よりも少ない場合には接続区間Ｋ０３に含まれる分析時点については、先頭から、接続区間Ｋ０５に含まれる分析時点の先頭から対応付け、接続区間Ｋ０５に含まれる時点のうち、余ったものについては、対応するものがないものとみなす。この場合は、ステップＳ０４において、二つの原音声信号への近さを決定する際に、対応するものがない分析時点Ｋ０５−５については、新音声信号への近さを後続原音声に一致するように近さを決定し、ステップＳ０５において新しいパラメータを作成する際に、後続原音声信号のパラメータをそのままコピーする。この例では、後続原音声信号に最も近い近さは０であるので、分析時点Ｋ０５−５の新パラメータＲ２５の原信号への近さは０となり、新パラメータＲ２５は分析時点Ｋ０５−５の原音声信号のパラメータＲ１５をコピーしたものとなる。
【００４１】
また、このような場合、ステップＳ０４において近さを漸次的に先行原音声信号から後続原音声信号に近くなるように変化させる際に、対応するものが存在する組の間でのみ、漸次的に先行原音声信号から後続原音声信号へと近さを変化させる。図９の例では、（Ｑ０３，Ｑ１１），（Ｑ０４，Ｑ１２），（Ｑ０５，Ｑ１３）の三つの組の間でのみ、近さを漸次的に変化させる。図１０の例では（Ｒ０１，Ｒ１１），（Ｒ０２，Ｒ１２），（Ｒ０３，Ｒ１３），（Ｒ０４，Ｒ１４）の組の間でのみ近さを漸次的に変化される。
【００４２】
以上要するに、接続区間に含まれる分析時点の対応付けは、接続区間の端から順に、先行音声信号の一つの分析時点につき、後続音声信号の一つの分析時点を対応付けるが、先行音声の接続区間内の分析時点数の方が多い場合は、先行音声の接続区間の後端から順に（逆のぼりながら）後続音声の分析時点対応付けを行い、後続音声の接続区間内の分析時点数の方が多い場合は先行音声の接続区間の前端から順に後続音声の分析時点との対応付けを行い、何れも、接続区間内で余った（対応付ける相手がない）分析時点についてはその原音声信号のパラメータがそのまま新音声信号のパラメータとなるように、新音声信号の原音声信号に対する近さを決定する。
【００４３】
上述において、新しい音声信号の二つの異なる原音声信号への近さは、接続区間の始端から終端にかけて、先行する原音声信号に十分近い近さから後続する原音声信号に十分近い近さへと漸次的に変化させるために、これら両原音声信号を線形補間し、つまり先行原音声信号から後続原音声信号に線形的に移り変るようにしたが、なるべく漸次的に変化させればよく、例えばサイン関数の一部やシグモイド関数の一部に従って、移り変るようにしてもよい。このことが各種パラメータについて云えることである。更に上述では音声信号を表現するモデルとして正弦波重畳モデルを用いたが、スペクトル、波形などを用いてもよい。
【００４４】
図２に示した装置はコンピュータにプログラムを実行させて機能させることもできる。この場合はコンピュータに実行させるための音声接続プログラムをＣＤ−ＲＯＭ、磁気ディスクなどの記録媒体からコンピュータにインストールし、又は通信回線を介してダウンロードさせて、その音声接続プログラムをコンピュータに実行させればよい。
以下にこの発明の効果を確認するためこの発明方法を用いた波形素片接続の接続品質評価実験を示す。
【００４５】
「すみません」「そうですか」の二単語を男性話者が抑揚を変化させてそれぞれ二通りづつ発話した四発話を参照音声として収録し、基本周波数Ｆ０および音韻継続長を手動で抽出して参照韻律パターンとした。これとは別に波形素片として目的音声のＶＣＶ（母音−子音−母音）単位を含むような無意味単語を男女それぞれが発声したものを収録した。波形素片から参照音声と対応するＶＣＶ部分を切り出し、音韻境界およびピッチマーク（ピッチ波形の出現時刻）を手動で付与した後にＴＤ−ＰＳＯＬＡ（Ｃ．Ｈａｍｏｎ，Ｅ．Ｍｏｕｌｉｎｅｓ，Ｆ．Ｃｈａｒｐｅｎｔｉｅｒ，“Ａ　ＤｉｐｈｏｎｅＳｙｎｔｈｅｓｉｓ．　Ｓｙｓｔｅｍ　Ｂａｓｅｄ　ｏｎ　Ｔｉｍｅ−Ｄｏｍａｉｎ　Ｐｒｏｓｏｄｉｃ　Ｍｏｄｉｆｉｃａｔｉｏｎｓ　ｏｆ　Ｓｐｅｅｃｈ”，　Ｐｒｏｃ．ＩＣＡＳＳＰ，ｐｐ．２３８−２４１，１９８９）　を用いてピッチ変換を施した。音声は４８ｋＨｚで収録した後２４ｋＨｚにダウンサンプリング合成処理を行なった。音声表現モデルとして正弦波重畳モデルとしていた。
【００４６】
評価資料として、ＶＣＶ単位の母音部分を、接続区間に設定し、この発明方法により素片接続を行なった合成音声と、ＴＤ−ＰＳＯＬＡにより素片接続を行なった合成音声の二種類を用意した。接続区間は対応する母音の開始から終了までの区間とした。なお参照韻律パターンの基本周波数Ｆ０値は、平均対数Ｆ０値が素片の平均対数Ｆ０値と等しくなるように正規化した。
男性５名、女性４名の９名の被験者に、参照音声と合成音声を０．５秒の間隔をおいて聴取させ、参照音声と比較した合成音声の品質を５段階で評定させた。一評価資料あたり３３３サンプルの評定値を得た。図９に、接続手法と素片発話者の性別毎の評定結果の平均値および標準偏差を示す。数値が高いほど良い評価を与えたことを示す。図に示すように、この発明方法による接続は素片発話者の性別に関わらずＴＤ−ＰＳＯＬＡによる接続を上回る品質を示し、接続方法に関わらず男性発話の方が良い評価を得た。全ての条件間においてｓｔｕｄｅｎｔのｔ検定を行なった結果、平均評価値にｐ＜０．０１で有意差が検出された。
【００４７】
【発明の効果】
以上説明したように、この発明の音声接続方法を用いると、急激な周波数特性や基本周波数の変化を抑制できる。
【図面の簡単な説明】
【図１】この発明の原理を示す流れ図。
【図２】この発明の装置の機能構成例を示す図。
【図３】この発明の実施例を示すタイムチャート。
【図４】図２中の新パラメータ作成部Ｍ０５の機能構成を示すブロック図。
【図５】図４中のスペクトル対応探査部２６で得られた対応スペクトルを説明するための二原音声のスペクトル例を示す図。
【図６】図４中の分析時点間合成部２１の機能構成例を示すブロック図。
【図７】図２中の新パラメータ作成部Ｍ０５の他の例における入力情報を得るための機能構成例を示すブロック図。
【図８】図７で得られた入力情報を用いた場合の図４中のスペクトル補間部の機能構成例を示すブロック図。
【図９】接続区間内の分析時点数が異なる場合の合成を説明するためのタイムチャート。
【図１０】その他の例を説明するためのタイムチャート。
【図１１】波形素片接続法の接続品質評価実験結果を示す図。
【図１】
2004102118.tif 000003
【図２】
2004102118.tif 000004
【図３】
2004102118.tif 000005
【図４】
2004102118.tif 000006
【図５】
2004102118.tif 000007
【図６】
2004102118.tif 000008
【図７】
2004102118.tif 000009
【図８】
2004102118.tif 000010
【図９】
2004102118.tif 000011
【図１０】
2004102118.tif 000012
【図１１】
2004102118.tif 000013