(57)【要約】　【課題】音声の多種多様な素片を熟練した専門家でなくとも生成できる音声素片生成装置を提供する。　【解決手段】通知手段４で発声者に通知した文字の列に従って発生した音声を、変換手段１でディジタル信号に変換し、分割手段２１ａで音素のディジタル信号列に分割し、音素記号付与手段２１ｂで音素記号を付与し、素片規定手段３２で母音などのように周期性を有する音素の場合は、その１周期分を素片として定め、子音などのように周期性を有しない音素の場合は、その全体を素片として定め素片生成手段２２で生成し、素片格納手段３１で格納する。【選択図】　　　図１
2004004956.tif 000002
【特許請求の範囲】
【請求項１】
　音声をディジタル信号に変換する変換手段と、該変換手段で変換して得たディジタル信号を音素ごとに分割する分割手段と、該分割手段で分割して得た音素ごとのディジタル信号列から音素ごとに定めたルールにより該音素に応じた音声波形の素片を生成する素片生成手段とを備えることを特徴とする音声素片生成装置。
【請求項２】
　前記素片生成手段は、前記音素が周期性を有する場合は１周期分の音声波形を素片として規定する素片規定手段を備えることを特徴とする請求項１記載の音声素片生成装置。
【請求項３】
　前記素片生成手段は、前記音素が周期性を有しない場合は前記音素全体の音声波形を素片として規定する素片規定手段を備えることを特徴とする請求項１又は２記載の音声素片生成装置。
【請求項４】
　前記音声として発声すべき内容の文字列を使用者に通知する通知手段を備えることを特徴とする請求項１ないし３のいずれかに記載の音声素片生成装置。
【請求項５】
　前記素片を格納する素片格納手段を備えることを特徴とする請求項１ないし４のいずれかに記載の音声素片生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は音声の素片を編集して音声を合成する場合に使用される音声の素片を生成する音声素片生成装置に関する。
【背景技術】
【０００２】
　音声の合成は構内放送、電子メールの読み上げ、ゲーム、情報サービス等の様々な分野で応用されており、特に高品質な音声を合成できる波形編集方式による音声合成が期待されている。音声は、言語として有意義な最小単位である音素から構成され、音素は／Ａ／や／Ｉ／などの母音、／Ｋ／や／ＣＨ／などの子音に分類できる。いずれの音素もその振動の振幅対時間特性を示す波形として表現され処理することができる。その波形の一部又は全部が音声の合成に使用される素片となる。この素片を生成する場合、従来から単語等の音声を収録装置に収録し、その収録した音声の波形をディスプレイに表示し、観察しながら使用すべき区画を定め、素片として切り出し生成していた。
【特許文献１】特開昭６１−２９６３９６号公報
【特許文献２】特開平０５−１０８０９４号公報
【特許文献３】特開昭５６−１６８６９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
　このように音声の波形の素片の生成は人手に頼っており、多種多様な音声を合成する場合、その都度、波形の素片の生成を熟練した専門家の手に委ねなければならなかった。本発明はかかる事情に鑑みてなされたものであって、熟練した専門技術がなくとも、多種多様な音声の素片を生成できる音声素片生成装置の提供を目的とする。
【課題を解決するための手段】
【０００４】
　図１は音声の波形素片を生成する手段を示す概念図である。本図に基づき本発明に係る音声素片生成装置が発声者の音声から素片を収録する原理を説明する。図において４は発声すべき音声を文字の列として表示し発声者に通知する通知手段である。発声者が通知された文字の列に従い発声した、例えば“愛知”という単語の音声は、マイクロフォンで電気信号としＡ／Ｄ変換器でディジタル信号とする変換手段１で変換され、分割手段２１ａへ与えられる。
【０００５】
　単語“愛知”を示す仮名文字の列“あいち”をローマ字で示すと“ＡＩＣＨＩ”となる。この文字の列“あいち”に従って発声した音声は、４個の音素に分割することができる。分割された各音素は、夫々／Ａ／、／Ｉ／、／ＣＨ／、／Ｉ／という音素記号に相当している。音素記号は音素を識別する記号であって、ローマ字に準じており、“あ”、“い”は夫々１個の音素記号／Ａ／、／Ｉ／で識別され、“ち”は２個の音素記号／ＣＨ／、／Ｉ／で識別される。音声の最小単位としての音素の決め方にはいくつかのバリエーションがあり、その音素を識別する音素記号とローマ字とは必ずしも一致しない。例えば“き”の音素記号は／Ｋ／、／Ｉ／又は／ＫＹ／、／Ｉ／である。
【０００６】
　図２は音素の波形を示す波形図であって、横軸は時間であり、縦軸は振幅である。図において（ａ）は音素／Ａ／の波形であり、周期性を有する。（ｂ）は音素／ＣＨ／の波形であり、周期性を有しない。分割手段２１ａは、各音素について標準となる周波数帯域幅のパワー（以下周波数スペクトルという）の時系列である音素標準パターンを予め記憶している。通知手段４が発声者に通知した文字列に従って、音素標準パターンを結合して単語の標準パターンを生成する。ここでは“あいち”の単語標準パターンを生成する。
【０００７】
　分割手段２１ａは各音素について、標準となる周波数帯域幅のパワー（以下周波数スペクトルという）の時系列である音素標準パターンを予め記憶している。通知手段４が発声者に通知した文字列に従って、音素標準パターンを結合して単語の標準パターンを生成する。ここでは“あいち”の単語標準パターンを生成する。分割手段２１ａは変換された音声を所定の期間毎に周波数分析し、各期間における周波数スペクトルを求める。分割手段２１ａはその後に、変換された音声と単語標準パターンとを照合し両者の時間軸を非線形に対応づける。すなわち、単語標準パターンの音素／Ａ／の部分に類似した周波数スペクトルを持つ区間を求め、同様に単語標準パターンの音素／Ｉ／、／ＣＨ／、／Ｉ／の部分に類似した区間を求める。この情報を基にして、変換された音声のディジタル信号は各音素区間に分割され、音素記号付与手段２１ｂにより音素記号が付与され、素片生成手段２２へ与えられる。
【０００８】
　音素記号を付与された音素のディジタル信号列は、素片規程手段３２により、その信号列の一部又は全部が素片として定められる。即ち素片規程手段３２は母音などのように周期性を有する音素の場合はその１周期分を素片として定め、子音などのように周期性を有しない音素の場合はその全体を素片として定める。素片として定められたディジタル信号列は素片生成手段２２で変換された音声から切り出されて素片として生成され音素記号と共に素片格納手段３１へ格納される。
【０００９】
　本発明において、ディジタル信号に変換した音声を音素ごとに分割して、音素毎に定めたルールにより、分割したディジタル信号列の一部あるいは全体を素片として生成し、格納する作業をＣＰＵのプログラム処理により行なう。
【発明の効果】
【００１０】
　本発明に係る音声素片生成装置は、変換された音声を音素ごとに分割し、音素毎に定めたルールにより、分割したディジタル信号列の一部あるいは全体を素片として生成し、格納する作業をＣＰＵのプログラム処理により行なうべく構成したので、熟練した専門家でなくとも多種多様な音声素片を生成することができ、延いては高品質な音声を合成することができるという優れた効果を奏する。
【発明を実施するための最良の形態】
【００１１】
　以下本発明をその実施例を示す図面に基づき具体的に説明する。図３は本発明に係る音声素片生成装置のブロック図である。図において実線で描いた矩形は機能的ブロックを示し、鎖線で描いた矩形はハード的ブロックを示す。図において３は記憶装置であって、その発声内容リスト格納部３３に格納されている発声内容リストがディスプレイ４ａに表示される。
【００１２】
　発声内容リストは発声すべき単語等の文字の列からなる。発声者は表示された文字の列に従い、音声変換部１ａのマイクロフォン１１に向かい音声を発する。その音声はＡ／Ｄ変換器１２でディジタル信号に変換され、そのディジタル信号の時系列は、ＣＰＵ２の周波数分析部２０及び素片切り出し部２２ａへ与えられる。
【００１３】
　周波数分析部２０はディジタル信号に変換された音声を所定の等しい期間毎に区分し、その期間における周波数スペクトルを求める。図４は変換された音声の期間ｎにおける周波数スペクトルａn を示すグラフであって、横軸は周波数であって単位はＫＨｚであり、聴覚的な尺度に基づいた１６の周波数帯域に分割されている。縦軸はパワーであって、単位はｄＢである。図において（ａ）は音素／Ａ／のある期間の周波数スペクトルであり、（b）は音素／ＣＨ／のある期間の周波数スペクトルである。周波数スペクトルは音素の特徴を示すパラメータとして機能する。
【００１４】
　周波数分析部２０は変換された音声の各期間における周波数スペクトルの時系列（以下入力パターンと称する）ａ0 、ａ1 、ａ2・・・を得て、音素ラベリング部２１へ与える。また与えられた標準となる音声をＡ／Ｄ変換したディジタル信号をフーリエ解析し、すべての音素の標準周波数スペクトルを求めて音素標準パターンとなし、記憶装置３の音素標準パターン格納部３４へ音素記号と対応させて予め格納しておく。
【００１５】
　音素ラベリング部２１は発声内容リスト格納部３３から与えられる発声内容リストの文字の列に対応した音素標準パターンを音素標準パターン格納部３４から取り出し、文字の列に応じて配列し、入力された単語等の音声に対応した単語標準パターンｂ0 、ｂ1 、ｂ2・・・を生成する。音素ラベリング部２１はこの単語標準パターンｂ0 、ｂ1 、ｂ2・・・と入力パターンａ0 、ａ1 、ａ2・・・とを比較対照し、入力パターンの音素間の境界を求める。
【００１６】
　同じ人が同じ単語を発声する場合、その発声時間はその都度変わり、しかも非線形に伸縮する。したがって発声された一つの単語の音素間の境界を定める場合、入力パターンの音素と単語標準パターンの音素とを時間的に対応づける必要がある。この具体的方法としてＤＰ（Ｄyｎａｍｉｃ　Ｐｒｏｇｒａｍｍｉｎｇ）照合がある。
【００１７】
　図５はＤＰ照合を説明するグラフである。図において横軸に“あいち”と発声された入力パターンａ0 、ａ1 、ａ2・・・ａ19が配置され、縦軸に同じく“あいち”の単語標準パターンｂ0 、ｂ1 、ｂ2・・・ｂ20が配置される。ｂ0 からｂ5 までが音素記号／Ａ／を付与された標準となる音素の周波数スペクトル時系列であり、同様にｂ6 からｂ10まで（ｂ11からｂ15まで、ｂ16からｂ20まで）が音素記号／Ｉ／（／ＣＨ／、／Ｉ／）を付与された標準となる音声の周波数スペクトル時系列である。そしてｂ5 が音素／Ａ／と音素／Ｉ／との境界であり、同様にｂ10（ｂ15）が音素／Ｉ／と音素／ＣＨ／（音素／ＣＨ／と音素／Ｉ／）との境界である。
【００１８】
　両軸上の夫々のパターン配置点は時間軸上の時間経過を示し、更にその配置点に対応する周波数スペクトルとしての意義を有する。スペクトルａ0 とスペクトルｂ0 とは同じ単語を発声した原点である故、座標（ａ0 ，ｂ0）はグラフの原点となっている。図中の各座標点、たとえば（ａ2 ，ｂ2 ）はスペクトルａ2とスペクトルｂ2とがどれくらい類似しているかを示すスペクトル間距離（小さいほど類似している）を意味している。（ａ0 ，ｂ0）から（ａ19，ｂ20）までを結ぶすべての経路（ただし、右方向、上方向、右上方向の組合せのみ）の中で、その経路上のスペクトル距離の総和（ただし、右上方向の経路で至った座標点の距離には２倍の重みをかける）が最も小さい経路をＤＰ照合で漸化的に求める。例えば（ａ2 ，ｂ2）のスペクトル間距離をｄ（２，２）、（ａ1 ，ｂ2）に至る最適経路上の距離の総和をｇ（１，２）、（ａ2 ，ｂ1）に至る最適経路上の距離の総和をｇ（２，１）、（ａ1，ｂ1）に至る最適経路上の距離の総和をｇ（１，１）とすると、（ａ2 ，ｂ2）に至る最適経路上の距離の総和ｇ（２，２）は、以下の式で求め、同時にこの式で選択された経路（右方向、上方向、右上方向のいずれか）を記憶しておく。
【００１９】
　ｇ（２，２）＝mｉｎ｛ｇ（１，２）＋ｄ（２，２）、ｇ（１，１）＋２ｄ（２，２）、ｇ（２，１）＋ｄ（２，２）｝
　同様の計算を漸化的に行なって、（ａ19，ｂ20）に至る最適経路が求められた時に、選択された経路を（ａ0 ，ｂ0）方向にたどっていくことで図中に示すような最適経路が求まる。
【００２０】
　このグラフにおいてｂ5 とａ6 、ｂ10とａ10、ｂ15とａ14とが夫々対応していることが判明し、入力パターンの音素／Ａ／、／Ｉ／、／ＣＨ／、／Ｉ／の境界がａ6 、ａ10、ａ14として定められる。図３に戻り説明する。音素ラベリング部２１は、このようにして定めた境界に基づきａ0 からａ6 まで（ａ7 からａ10まで、ａ11からａ14まで、ａ15からａ19まで）が／Ａ／（／Ｉ／、／ＣＨ／、／Ｉ／）であるという音素ラベリング情報を求め、これが素片切り出し部２２ａへ与えられる。
【００２１】
　記憶装置３の素片切り出しルール格納部３２ａに素片切り出しルールが格納されている。素片切り出しルールは各音素ごとにその音素のどの部分を素片として切り出すかを記述したルールであって、音素記号／Ａ／の如く周期性を有する場合、そのディジタル信号列の時間的中心付近におけるピーク値からピーク値までの1 周期分を素片として切り出すべく定め、音素記号／ＣＨ／の如く周期性を有しない場合、そのディジタル信号列の全体を素片として切り出すべく定める。
【００２２】
　素片切り出し部２２ａは音素ラベリング情報に基づきディジタル信号の時系列において、各音素に対応する区間を求め、素片切り出しルールに従い定めた素片を切り出す。切り出された素片は、その音素に該当する音素記号を付与され記憶装置３の音声素片格納部３１ａに格納され、音声の合成に使用される。なお本実施例においては発声内容リストをディスプレイ４ａに表示しているが、図示しないスピーカによりアナウンスしてもよい。
【図面の簡単な説明】
【００２３】
【図１】音声の素片を生成する手段を示す概念図である。
【図２】音素の波形を示す波形図である。
【図３】本発明に係る音声素片生成装置のブロック図である。
【図４】音素の周波数スペクトルを示すグラフである。
【図５】図３に示す音素ラベリング部が行うＤＰ照合を説明するグラフである。
【符号の説明】
【００２４】
　１ 変換手段
　１ａ 音声変換部
　２ ＣＰＵ
　３ 記憶装置
　４ 通知手段
　４ａ ディスプレイ
　１１ マイクロフォン
　１２ Ａ／Ｄ 変換器
　２０ 周波数分析部
　２１ 音素ラベリング部
　２１ａ 分割手段
　２１b 　音素記号付与手段
　２２ 素片生成手段
　２２ａ 素片切り出し部
　３１ 素片格納手段
　３１ａ 音声素片格納部
　３２ 素片規程手段
　３２ａ 素片切り出しルール格納部
　３３ 発声内容リスト格納部
　３４ 音素標準パターン格納部
【図１】
2004004956.tif 000003
【図２】
2004004956.tif 000004
【図３】
2004004956.tif 000005
【図４】
2004004956.tif 000006
【図５】
2004004956.tif 000007