(57)【要約】合成音声に変形不可能な付加情報を音質劣化や帯域による制限無く埋め込むことができる音声合成装置は、文字列に従って、合成音声を生成するために必要な合成音声生成情報を生成する言語処理部（２０１）と、前記合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成部（２０２）と、韻律情報に基づいて、音声を合成する波形生成部（２０３）とを備え、前記韻律生成部（２０２）は、音素境界を含む音素長を越えない所定時間幅の領域の前記韻律情報に透かし情報としての符号情報を埋め込む。
2005119650.tif 000002
【特許請求の範囲】
【請求項１】
音声を合成する音声合成装置であって、
合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成手段と、
前記韻律情報に基づいて、音声を合成する合成手段とを備え、
前記韻律生成手段は、音素境界を含む音素長を越えない所定時間幅の領域の前記韻律情報に透かし情報としての符号情報を埋め込む
ことを特徴とする音声合成装置。
【請求項２】
前記音素境界を含む音素長を越えない所定時間幅の領域は、直前が無声音である有声音の有声音開始点から所定時間幅の領域、直後が無声音である有声音の有声音終端までの所定時間幅の領域、直前が無音である有声音の有声音開始点から所定時間幅の領域、直後が無音である有声音の有声音終端までの所定時間幅の領域、直前が子音である母音の母音開始点から所定時間幅の領域、直後が子音である母音の母音終端までの所定時間幅の領域、直前が無音である母音の母音開始点から所定時間幅の領域、または直後が無音である母音の母音終端までの所定時間幅の領域である
ことを特徴とする請求項１に記載の音声合成装置。
【請求項３】
前記所定時間幅は、１０ミリ秒以上５０ミリ秒以下の時間幅である  ことを特徴とする請求項１に記載の音声合成装置。
【請求項４】
前記符号情報は、合成音声か否かを判別するための判別情報である  ことを特徴とする請求項１に記載の音声合成装置。
【請求項５】
さらに、所定の情報を暗号化する暗号化手段を備え、
前記符号情報は、暗号化された情報であり、
当該符号情報は、鍵情報を利用して解読される
ことを特徴とする請求項１に記載の音声合成装置。
【請求項６】
前記暗号化手段は、さらに、前記鍵情報を生成する
ことを特徴とする請求項５に記載の音声合成装置。
【請求項７】
前記符号情報は、マイクロプロソディにより表現されている
ことを特徴とする請求項１に記載の音声合成装置。
【請求項８】
入力音声が合成音声か否かを判別する合成音声判別装置であって、
前記入力音声を所定の時間幅のフレームごとに音声の基本周波数を算出する基本周波数算出手段と、
音素境界を含む音素長を越えない所定時間幅の領域において、前記基本周波数算出手段で算出される複数の音声の基本周波数中に、前記合成音声か否かを判別するための判別情報が含まれるか否かを判別することにより、前記入力音声が合成音声か否かを判別する判別手段とを備える
ことを特徴とする合成音声判別装置。
【請求項９】
入力音声に埋め込まれた付加情報を解読する付加情報読取装置であって、
前記入力音声を所定の時間幅のフレームごとに音声の基本周波数を算出する基本周波数算出手段と、
音素境界を含む音素長を越えない所定時間幅の領域において、前記基本周波数算出手段で算出される複数の音声の基本周波数より、周波数列で表された所定の付加情報を抽出する付加情報抽出手段とを備える
ことを特徴とする付加情報読取装置。
【請求項１０】
前記付加情報は暗号化されており、
さらに、解読のための鍵情報を用いて、暗号化された前記付加情報を解読する解読手段を備える
ことを特徴とする請求項９に記載の付加情報読取装置。
【請求項１１】
音声を合成する音声合成方法であって、
合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成ステップとを含み、
前記韻律生成ステップでは、音素境界を含む音素長を越えない所定時間幅の領域の前記韻律情報に透かし情報としての符号情報を埋め込む
ことを特徴とする音声合成方法。
【請求項１２】
コンピュータを音声合成装置として機能させるためのプログラムであって、コンピュータを、
合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成手段と、
前記韻律情報に基づいて、音声を合成する合成手段として機能させ、
前記韻律生成手段は、音素境界を含む音素長を越えない所定時間幅の領域の前記韻律情報に透かし情報としての符号情報を埋め込む
ことを特徴とするプログラム。
【請求項１３】
コンピュータを音声合成装置として機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体であって、
前記プログラムは、コンピュータを、
合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成手段と、
前記韻律情報に基づいて、音声を合成する合成手段として機能させ、
前記韻律生成手段は、音素境界を含む音素長を越えない所定時間幅の領域の前記韻律情報に透かし情報としての符号情報を埋め込む
ことを特徴とするコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は音声合成装置に関し、特に、情報の埋め込みが可能な音声合成装置に関する。
【背景技術】
【０００２】  先般のデジタル信号処理技術の発展に伴い、音響データとりわけ音楽データの不正なコピーを防止し、著作権を保護する目的で、位相の変調、エコー信号または聴覚のマスキングを利用した透かし情報の埋め込み方式が開発されている。これらはコンテンツとして作成された音響データに後から情報を埋め込み、再生機器が情報を読み出すことにより正当な権利者のみがコンテンツを利用することを保証するものである。【０００３】  一方、音声については、人間の発声によって作成される音声データのみでなく、いわゆる音声合成によって作成される音声データも存在する。文字列テキストから音声を合成するいわゆる音声合成技術の進歩は著しく、音声データベースに蓄積された音声波形をそのまま利用して音声を合成するシステムや、ＨＭＭ（隠れマルコフモデル）を用いた音声合成方法のような、音声データベースより統計的学習アルゴリズムを用いて各フレームのパラメータを制御する制御方式を構築するシステムでは、元となる音声データベースに収録された話者の特徴をよく保持した合成音声を生成することができる。すなわち、合成音声によって本人になりすます詐称が可能になってきている。【０００４】  このような詐称を防止するために、音声データごとに合成音声へ情報を埋め込む方法では、音楽データのように著作権を保護するのみでなく、合成音声であることや、音声の合成に用いたシステム等を判別するための情報を埋め込むことが重要である。【０００５】  従来の合成音声への情報埋め込み方法としては、音声信号の主たる周波数帯域外、すなわち人間が聴取した際に音質の劣化を感じ取りにくい周波数帯域において、合成音声の特定の周波数帯域の信号パワーを変更することで、合成音声であることを判別するための判別情報を付加して合成音声を出力するものがある（例えば、特許文献１参照）。図１は、特許文献１に記載された従来の合成音声への情報埋め込み方法を説明するための図である。音声合成装置１２では、文音声合成処理部１３から出力される合成音声信号が合成音声判別情報付加部１７に入力され、合成音声判別情報付加部１７が人間が発声した音声信号とは異なることを示す判別情報を合成音声信号に付加し、合成音声信号１８として出力する。一方、合成音声判別装置２０では、判別部２１が入力音声信号から判別情報の有無を検出する。判別部２１が判別情報を検出したときには、入力音声信号が合成音声信号１８であると判別され、判別結果が判別結果表示部２２に表示される。【０００６】  また、特定の周波数帯域の信号パワーを用いる方式以外に、ピッチマークに１周期分の波形を同期させて波形を接続して音声を合成する音声合成方式においては、波形接続時に特定の１周期分の波形をわずかに変形することで情報を音声に付加するものがある（例えば、特許文献２参照）。波形の変形は、特定の１周期分の波形の振幅を本来合わせこむべき韻律情報と異なる値に設定する、あるいは特定の１周期分の波形を位相を反転させた波形に入れ替える、あるいは特定の１周期分の波形を同期させるべきピッチマークからわずかな時間分ずらすというものである。【０００７】  一方、従来の音声合成装置としては、音声の明瞭性および自然性を向上する目的で、人間の発声による自然音声に見られる、マイクロプロソディと呼ばれる基本周波数または音声強度における音素内での微細な時間構造を生成するものがある（例えば、特許文献３、特許文献４参照）。マイクロプロソディは音素境界の前後の１０ミリ秒〜５０ミリ秒（少なくとも２ピッチ以上）程度の間で観測することができ、その違いを聞き分けることは非常に困難であることが論文等により知られており、マイクロプロソディは音韻の特性にはほとんど影響をおよぼさないとされている。現実的なマイクロプロソディの観測範囲としては、２０ミリ秒から５０ミリ秒の間が上げられる。５０ミリ秒を上限としたのは、経験上５０ミリ秒を超えた場合には母音の長さを超えてしまう場合があるからである。
【特許文献１】特開２００２−２９７１９９号公報（第３−４頁、図２）
【特許文献２】特開２００３−２９５８７８号公報
【特許文献３】特開平９−２４４６７８号公報
【特許文献４】特開２０００−１０５８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】  しかしながら、前記従来の構成の情報埋め込み方法では、文音声合成処理部１３と合成音声判別情報付加部１７とが完全に分離しており、音声生成部１５が音声波形を生成した後に判別情報を付加している。このため、合成音声判別情報付加部１７のみを用いれば、他の音声合成装置で合成した音声、録音音声、またはマイクロフォンからの入力音声に対しても同様の判別情報を付加することができる。このため、合成音声装置１２によって合成された合成音声１８と、肉声を含め他の方法で生成された音声との判別が困難になるという課題を有している。【０００９】  また、前記従来の構成の情報埋め込み方法は、判別情報を周波数特性の変形として音声データヘ埋め込むものであるが、音声信号の主たる周波数帯域外の周波数帯域に情報を付加している。このため、電話回線等のように、伝送される帯域が音声信号の主たる周波数帯域に制限された伝送路においては、付加した情報が伝送過程で脱落してしまう可能性や、脱落しない帯域内すなわち音声信号の主たる周波数帯域内で情報を付加することにより、音質の大きな劣化を招く可能性があるという課題を有している。【００１０】  さらに従来のピッチマークに１周期の波形を同期させる際に特定の１周期分の波形を変形させる方法では、伝送路の周波数帯域の影響は受けないが、１周期分という小さな時間単位の制御であり、また波形の変形量も、人間が音質の劣化を感じない、変形に気が付かない程度の小さな変形にとどめる必要があるため、デジタル／アナログ変換を行う過程や、伝送の過程で付加情報が脱落してしまう、あるいは雑音信号に埋もれてしまう可能性があるという課題を有している。【００１１】  本発明は、上述の課題を解決するためになされたもので、他の方法で生成された音声との判別を確実に行なうことが可能な音声合成装置を提供することを第１の目的とする。【００１２】  また、伝送路における帯域の制限、あるいはデジタル／アナログ変換時のまるめ、あるいは伝送路での信号の脱落や雑音信号の混入に対しても、埋め込まれた情報が失われることがない音声合成装置を提供することを第２の目的とする。【００１３】  さらに、音質の劣化を招くことなく合成音声へ情報を埋め込むことができる音声合成装置を提供することを第３の目的とする。
【課題を解決するための手段】
【００１４】  本発明にかかる音声合成装置は、文字列に従って音声を合成する音声合成装置であって、文字列に従って、合成音声を生成するために必要な合成音声生成情報を生成する言語処理手段と、前記合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成手段と、前記韻律情報に基づいて、音声を合成する合成手段とを備え、前記韻律生成手段は、音素境界を含む音素長を越えない所定時間幅の領域の前記韻律情報に透かし情報としての符号情報を埋め込むことを特徴とする。【００１５】  この構成によると、音声の合成過程でなければ操作が困難な音素境界を含む音素長を越えない所定時間幅の領域の前記韻律情報に透かし情報としての符号情報を埋め込んでいる。このため、他の音声合成装置により合成された音声や、人間が発声した肉声等の合成音声以外の音声に、符号情報を付加することを防止することができる。よって、他の方法で生成された音声との判別を確実に行なうことができる。【００１６】  好ましくは、前記韻律生成手段は、音声の基本周波数の時間パタンに前記符号情報を埋め込む。【００１７】  この構成によると、音声の基本周波数の時間パタンの中に情報を埋め込むことで、情報を音声信号の主たる周波数帯域中に保持することができる。このため、伝送路における帯域が狭く、伝送される信号が音声信号の主たる周波数帯域に限られるような場合においても、情報の脱落や、情報の付加による音質の劣化を招くことなく判別情報を付加した合成音声を伝送することができる。【００１８】  さらに好ましくは、前記符号情報は、マイクロプロソディにより表現されている。
マイクロプロソディ自体は、人間の耳にはその違いを識別することができない微細な情報である。このため、音質の劣化を招くことなく合成音声へ情報を埋め込むことができる。【００１９】  なお、上述の音声合成装置で合成された合成音声から符号情報を抽出し、合成音声か否かを判別する合成音声判別装置として本発明を実現したり、符号情報として付加された付加情報を合成音声中より抜き出す付加情報読取装置として実現したりすることもできる。【００２０】  例えば、合成音声判別装置は、入力音声が合成音声か否かを判別する合成音声判別装置であって、前記入力音声を所定の時間幅のフレームごとに音声の基本周波数を算出する基本周波数算出手段と、音素境界を含む音素長を越えない所定時間幅の領域において、前記基本周波数算出手段で算出される複数の音声の基本周波数中に、前記合成音声か否かを判別するための判別情報が含まれるか否かを判別することにより、前記入力音声が合成音声か否かを判別する判別手段とを備えることを特徴とする。【００２１】  また、付加情報読取装置は、入力音声に埋め込まれた付加情報を解読する付加情報読取装置であって、前記入力音声を所定の時間幅のフレームごとに音声の基本周波数を算出する基本周波数算出手段と、音素境界を含む音素長を越えない所定時間幅の領域において、前記基本周波数算出手段で算出される複数の音声の基本周波数より、周波数列で表された所定の付加情報を抽出する付加情報抽出手段とを備えることを特徴とする。【００２２】  なお、本発明は、このような特徴的な手段を有する音声合成装置として実現することができるだけでなく、その特徴的な手段をステップとする音声合成方法として実現したり、音声合成装置としてコンピュータを機能させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００２３】  本発明によると、他の方法で生成された音声との判別を確実に行なうことが可能な音声合成装置を提供することができる。【００２４】  また、伝送路における帯域の制限、あるいはデジタル／アナログ変換時のまるめ、あるいは伝送路での信号の脱落や雑音信号の混入に対しても、埋め込まれた情報が失われることがない音声合成装置を提供することができる。【００２５】  さらに、音質の劣化を招くことなく合成音声へ情報を埋め込むことができる音声合成装置を提供することができる。
【図面の簡単な説明】
【００２６】［図１］図１は、従来の音声合成装置および合成音声判別装置の機能ブロック図である。
［図２］図２は、本発明の実施の形態１における音声合成装置および合成音声判別装置の機能ブロック図である。
［図３］図３は、本発明の実施の形態１における音声合成装置の動作の流れ図である。
［図４］図４は、本発明の実施の形態１における音声合成装置中のマイクロプロソディテーブルに記憶されたマイクロプロソディパタンの例を示す図である。
［図５］図５は、本発明の実施の形態１における音声合成装置で生成された基本周波数パタンの例を示す図である。
［図６］図６は、本発明の実施の形態１における合成音声判別装置の動作の流れ図である。
［図７］図７は、本発明の実施の形態１における合成音声判別装置の動作の流れ図である。
［図８］図８は、本発明の実施の形態１における合成音声判別装置中のマイクロプロソディ判別テーブルに記憶された内容の例を示す図である。
［図９］図９は、本発明の実施の形態２における音声合成装置および付加情報解読装置の機能ブロック図である。
［図１０］図１０は、本発明の実施の形態２における音声合成装置の動作の流れ図である。
［図１１］図１１は、本発明の実施の形態２における音声合成装置中のコードテーブルに記録された付加情報とコードの対応の例、およびマイクロプロソディテーブルに記録されたマイクロプロソディとコードの対応の例を示す図である。
［図１２］図１２は、本発明の実施の形態２における音声合成装置でのマイクロプロソディ生成の模式図である。
［図１３］図１３は、本発明の実施の形態２における付加情報解読装置の動作の流れ図である。
【符号の説明】
【００２７】    １１  テキストファイル
１２  音声合成装置
１３  分音声合成処理部
１４  テキスト解析部
１５  音声生成部
１６  音声辞書
１７  合成音声判別情報付加部
１８  合成音声
１９  伝送路
２０、２１０  合成音声判別装置
２１  判別部
２２  判別結果表示部
２００、３００  音声合成装置
２０１  言語処理部
２０２、３０２  韻律生成部
２０３  波形生成部
２０４  マクロパタン生成部
２０５、３０５、３１３  マイクロプロソディテーブル
２０６、３０６  マイクロプロソディ生成部
２１１  基本周波数分析部
２１２  マイクロプロソディ判別テーブル
２１３  マイクロプロソディ判別部
３０７  暗号化処理部
３０８  コードテーブル
３１０  付加情報解読装置
３１２  暗号解読部
３１４  コード検出部
【発明を実施するための最良の形態】
【００２８】  以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図２は、本発明の実施の形態１における音声合成装置と合成音声判別装置の機能ブロック図である。【００２９】  図２において、音声合成装置２００は、入力されたテキストを音声に変換する装置であり、入力されたテキストを言語解析し、テキストの形態素並び、構文に応じた読みおよびアクセントを決定し、読みとアクセント位置、文節区切りと係り受け情報を出力する言語処理部２０１と、言語処理部２０１より出力された読みとアクセント位置、文節区切りと係り受け情報から、生成する合成音声の基本周波数、音声強度、リズム、およびポーズのタイミングと時間長を決定し、各モーラの基本周波数パタン、強度パタン、継続時間長を出力する韻律生成部２０２と、韻律生成部２０２より出力されたモーラごとの基本周波数パタン、強度パタン、継続時間長に従って音声波形を生成し、出力する波形生成部２０３とからなる。なお、モーラとは、日本語音声における韻律の基本単位であり、単一の短母音、子音と短母音、子音と半母音と短母音で構成されるものと、モーラ音素のみから構成されるものとがある。ここで、モーラ音素とは、日本語において音節の一部でありながら、一つの拍を形成する音韻のことを言う。【００３０】  韻律生成部２０２は、言語処理部２０１より出力された読みとアクセント、文節区切りと係り受け情報より、アクセント句、フレーズ、文に対応して付与されるマクロな韻律パタンを決定し、モーラごとにモーラの継続時間長、およびモーラ中の母音継続時間の中央点での基本周波数と音声強度を出力するマクロパタン生成部２０４と、音素境界付近における韻律の微細な時間構造（マイクロプロソディ）のパタンを音韻および音韻の属性ごとに記憶するマイクロプロソディテーブル２０５と、言語処理部２０１より出力された音韻列とアクセント位置、係り受け情報、およびマクロパタン生成部２０４より出力された音韻の継続時間長と基本周波数、音声強度に基づいてマイクロプロソディテーブル２０５を参照してマイクロプロソディを生成し、マクロパタン生成部２０４より出力された音韻の継続時間の中央点での基本周波数、音声強度に合わせて各音韻にマイクロプロソディをあてはめ、各音韻内の韻律パタンを生成するマイクロプロソディ生成部２０６よりなる。【００３１】  合成音声判別装置２１０は、入力された音声を分析し合成音であるか否かを判別する装置であり、波形生成部２０３より出力された合成音声またはそれ以外の音声信号を入力として受け、入力された音声の基本周波数を分析し、分析フレームごとの基本周波数の値を出力する基本周波数分析部２１１と、音声合成装置２００が出力する合成音声が持つはずの基本周波数の時間パタン（マイクロプロソディ）を音声合成装置の製造メーカごとに記憶するマイクロプロソディ判別テーブル２１２と、マイクロプロソディ判別テーブル２１２を参照して、基本周波数分析部２１１から出力された基本周波数の時間パタン中に音声合成装置２００で生成されたマイクロプロソディを含むか否かを判断し、合成音声であるか否かを判別して、判別結果を出力するマイクロプロソディ判別部２１３とからなる。【００３２】  次に、上記の音声合成装置２００と合成音声判別装置２１０との動作について説明する���図３は音声合成装置２００の動作を示す流れ図であり、図６および図７は合成音声判別装置２１０の動作を示す流れ図である。さらにマイクロプロソディテーブル２０５に格納された母音立ち上がり部と母音立ち下がり部のマイクロプロソディを例示した図４、韻律生成部２０２での韻律生成の一例を模式的に示した図５、マイクロプロソディ判別テーブルに判別情報ごとに格納された母音立ち上がり部と母音立下り部を例示した図８を参照して説明する。図５の模式図は「オンセイゴウセイ」を例にとって韻律の生成過程を示したものであり、横軸に時間、縦軸に周波数の座標上に基本周波数のパタンを表示している。破線４０７によって音素境界を示し、領域内の音素をローマ字表記で上部に示す。マクロパタン生成部２０４で生成されたモーラ単位の基本周波数を黒丸４０５で示し、実線の折れ線４０１、４０４はマイクロプロソディ生成部２０６で生成されたマイクロプロソディを示している。【００３３】  まず、音声合成装置２００は一般的な音声合成装置と同様に、入力されたテキストについて言語処理部２０１で形態素解析および構文解析を行い、各形態素の読みおよびアクセント、文節区切りとその係り受けを出力する（ステップＳ１００）。マクロパタン生成部２０４は読みをモーラ列に変換し、アクセント、文節区切り、係り受け情報より、各モーラに含まれる母音の中央点での基本周波数と音声強度、およびモーラの継続時間長を設定する（ステップＳ１０１）。基本周波数、音声強度はたとえば、特開平１１−９５７８３号公報に開示されているように、自然音声より統計的手法によりアクセント句の韻律パタンをモーラ単位で生成し、アクセント句の属性により韻律パタンの絶対位置を設定して文全体の韻律パタンを生成することにより設定される。１モーラ１点で生成された韻律パタンを直線４０６で補間し、モーラ内の各点での基本周波数を求める（ステップＳ１０２）。【００３４】  マイクロプロソディ生成部２０５は、合成する音声中の母音の内、母音の直前が無音であるもの、あるいは母音の直前が半母音を除く子音である母音を特定する（ステップＳ１０３）。ステップＳ１０３の条件に合致する母音について、図５に示すようにＳ１０２で直線補間により求められたモーラ内の基本周波数のうち、音素開始点より３０ｍｓｅｃ経過した点４０２での基本周波数に、マイクロプロソディテーブル２０５を参照して図４に示す母音立ち上がり部用のマイクロプロソディパタン４０１を抽出し、抽出した母音立ち上がり部用のマイクロプロソディパタンを、当該マイクロプロソディパタンの終端が合致するように接続し、該当する母音の立ち上がり部のマイクロプロソディを設定する（ステップＳ１０４）。すなわち図４の点Ａが図５の点Ａに合致するように接続する。【００３５】  同様、マイクロプロソディ生成部２０５は合成する音声中の母音の内、母音の直後が無音であるもの、あるいは母音の直後が半母音を除く子音である母音を特定する（ステップＳ１０５）。特定された母音の立下り部に対して、図５に示すようにＳ１０２で直線補間により求められたモーラ内の基本周波数のうち、音素終端より３０ｍｓｅｃ前での基本周波数４０３に、マイクロプロソディテーブル２０５を���照して図４に示す母音立下り部用のマイクロプロソディパタン４０４を抽出し、抽出した母音立下り部用のマイクロプロソディパタンを、当該マイクロプロソディパタンの始端が合致するように接続し、該当する母音の立下り部のマイクロプロソディを設定する（ステップＳ１０６）。すなわち図４の点Ｂが図５の点Ｂに合致するように接続する。【００３６】  マイクロプロソディ生成部２０６はＳ１０５、Ｓ１０６で生成されたマイクロプロソディを含む基本周波数と、マクロパタン生成部２０４で生成された音声強度、およびモーラの継続時間長を、モーラ列とあわせて出力する。【００３７】  波形生成部２０３は、マイクロプロソディ生成部２０６より出力された、マイクロプロソディを含む基本周波数パタンと、マクロパタン生成部２０４で生成された音声強度、モーラの継続時間長および、モーラ列より波形重畳法あるいは音源フィルタモデル等を用いて音声波形を生成する（Ｓ１０７）。【００３８】  次に、図６および図７を参照して、合成音声判別装置２１０の動作について説明する。合成音声判別装置２１０は、基本周波数分析部２１１で入力音声の有声無声判定を行い、音声を有声部と無声部に分ける（ステップＳ１１１）。さらに、基本周波数分析部２１１はＳ１１１で判別された有声部の基本周波数分析により、分析フレームごとの基本周波数の値を求める（ステップＳ１１２）。次に、マイクロプロソディ判別部２１３は、図８に示すように、マイクロプロソディパタンをメーカ名と対応付けて記録したマイクロプロソディ判別テーブル２１２を参照して、Ｓ１１２で抽出された入力音声の有声部の基本周波数パタンをマイクロプロソディ判別テーブル２１２に記憶されたマイクロプロソディデータすべてと照合し、パタンと一致した回数を音声合成装置のメーカごとに計数する（ステップＳ１１３）。入力音声の有声部に特定メーカのマイクロプロソディパタンが２つ以上発見された場合に、マイクロプロソディ判別部２１３は入力音声が合成音声であると判断し、判別結果を出力する（ステップＳ１１４）。【００３９】  図７を参照して、ステップＳ１１３の動作をさらに詳細に説明する。まず、Ｓ１１１で判別された入力音声の有声部のうち時間軸上で最も前にある有声部について、母音立ち上がりパタンを照合するため、先頭フレームを抽出窓の先頭に設定し（ステップＳ１２１）、時間軸上で後ろに向けて３０ｍｓｅｃの窓長で、基本周波数パタンを抽出する（ステップＳ１２２）。Ｓ１２２で抽出した基本周波数パタンと図８に示すマイクロプロソディ判別テーブル２１２に記憶された各メーカの母音立ち上がりパタンとを照合する（ステップＳ１２３）。ステップＳ１２４の判断において、抽出窓内の基本周波数パタンとマイクロプロソディ判別テーブル２１２に記憶されたパタンのうちいずれかが一致した際には（Ｓ１２４でｙｅｓ）、パタンが一致したメーカの計数に１を加算する（ステップＳ１２５）。ステップＳ１２４の判断において、Ｓ１２２で抽出した基本周波数パタンがマイクロプロソディ判別テーブル２１２に記憶された母音立ち上がりパタンのいずれとも一致しない場合には（Ｓ１２４でｎｏ）、抽出窓の先頭を１フレーム進める（ステップＳ１２６）。ここで、��フレームは例えば５ｍｓｅｃである。【００４０】  抽出しうる有声部が３０ｍｓｅｃ未満か否かを判断する（ステップＳ１２７）。この判断において、抽出しうる有声部が３０ｍｓｅｃ未満である場合には有声部の終了とみなして（Ｓ１２７でｙｅｓ）、引き続き母音立下りパタンの照合のため、有声部のうち時間軸上で最も前にある有声部の終端フレームを抽出窓の最後尾に設定する（ステップＳ１２８）。時間軸をさかのぼって３０ｍｓｅｃの窓長で、基本周波数パタンを抽出する（ステップＳ１２９）。Ｓ１２７において抽出しうる有声部が３０ｍｓｅｃ以上である場合は（Ｓ１２７でｎｏ）、時間軸上で後ろに向けて３０ｍｓｅｃの窓長で、基本周波数パタンを抽出し、Ｓ１２２からＳ１２７までの処理を繰り返す。Ｓ１２９で抽出した基本周波数パタンと図８に示すマイクロプロソディ判別テーブル２１２に記憶された各メーカの母音立下りパタンとを照合する（ステップＳ１３０）。ステップＳ１３１の判断においてパタンが一致した際には（Ｓ１３１でｙｅｓ）、パタンが一致したメーカの計数に１を加算する（ステップＳ１３２）。ステップＳ１３１の判断においてＳ１２９で抽出した基本周波数パタンがマイクロプロソディ判別テーブル２１２に記憶された母音立下りパタンのいずれとも一致しない場合には（Ｓ１３１でｎｏ）、抽出窓の最後尾を１フレーム前へずらし（ステップＳ１３３）、抽出しうる有声部が３０ｍｓｅｃ未満であるか否かを判断する（ステップＳ１３４）。抽出しうる有声部が３０ｍｓｅｃ未満の場合は、有声部の終了とみなし（Ｓ１３４でｙｅｓ）、入力音声中にＳ１１２で判別された有声部が照合処理が終了した有声部より時間軸上で後ろに残っている場合には（Ｓ１３５でｎｏ）、次の有声部の先頭フレームを抽出窓の先頭に設定し、Ｓ１２１からＳ１３３の処理を繰り返す。Ｓ１３４において抽出しうる有声部が３０ｍｓｅｃ以上である場合は（Ｓ１３４でｎｏ）、時間軸をさかのぼって３０ｍｓｅｃの窓長で、基本周波数パタンを抽出し、Ｓ１２９からＳ１３４の処理を繰り返す。【００４１】  パタンの一致は、例えば以下のような手法で判断する。音声合成装置２００がマイクロプロソディを設定する３０ｍｓｅｃについて、合成音声判別装置２１０のマイクロプロソディ判別テーブル２１２においてマイクロプロソディパタンは１フレーム（例えば、５ｍｓｅｃ）ごとに、マイクロプロソディの始点の周波数を０とした基本周波数の相対値で表現されているものとする。基本周波数分析部２１１で分析された基本周波数は、マイクロプロソディ判別部２１３で３０ｍｓｅｃの窓内で１フレームごとの値に変換され、さらに窓の先頭の値を０とした相対値に変換される。マイクロプロソディ判別テーブル２１２に格納されているマイクロプロソディパタンと基本周波数分析部２１１で分析された入力音声の基本周波数を１フレームごとに表したパタンとの間の相関係数を求め、相関係数が０．９５以上である場合にパタンが一致したとみなす。【００４２】  例えば、図４のようなマイクロプロソディパタンを記録したマイクロプロソディテーブル２０５を備えたＡメーカの音声合成装置２００より出力された合成音声を、合成音声判別装置２１０に入力した場合、１つ目��母音立ち上がりパタンがＡメーカのパタンと一致し、１つ目の母音立下りパタンはＣメーカと一致したが、２つ目の母音立ち上がりパタンがＡメーカと一致した場合には、当該の合成音声はＡメーカの音声合成装置により合成されたものと判定される。このように、２箇所のマイクロプロソディの一致のみでＡメーカの音声合成装置により合成されたものであると判定できるのは、自然音声では同じ母音を発声したとしてもマイクロプロソディが一致する確率はほぼ０に等しいため、１箇所のマイクロプロソディの一致すら起こる可能性が極めて少ないからである。【００４３】  かかる構成によれば、メーカごとに固有のマイクロプロソディパタンを合成音声判別情報として埋め込んだ合成音声を生成している。このため、音声の周期性を分析しなければ抽出できない基本周波数の微細な時間パタンのみを変更して音声を生成するには、音声を分析することにより得られる基本周波数の時間パタンを変形し、その基本周波数を持ち、かつ元の音声の周波数特性を持つ音声を再合成する必要がある。このように、基本周波数の時間パタンとして判別情報を埋め込むことにより、音声の周波数特性を変形するフィルタやイコライジング等の合成音声生成後の処理によっては容易には合成音声を改変できない。また、当該合成音声生成後の処理によっては、生成時には判別情報を含まない合成音声や録音音声等に判別情報を埋め込むことができない。よって、他の方法で生成された音声との判別を確実に行なうことができる。【００４４】  また、音声合成装置２００は、音声信号の主たる周波数帯域中に合成音声判別情報を埋め込むこととなるため、判別情報が改ざんされにくく判別情報の信頼性が高く、詐称防止等には特に有効な音声への情報埋め込み方法を提供することができる。さらに、付加情報は基本周波数とういう音声の主たる周波数帯域にある信号に埋め込まれるため、電話等の音声信号の主たる周波数帯域に限定された伝送路に対しても情報の付加による音質の劣化や、帯域の狭さによる判別情報の脱落が起こらない伝送に対しても頑健で信頼性の高い、音声への情報の埋め込み方法を提供することができる。さらにまた、デジタル／アナログ変換時のまるめ、あるいは伝送路での信号の脱落や雑音信号の混入に対しても、埋め込まれた情報が失われることがない情報の埋め込み方法を提供することができる。【００４５】  さらに、マイクロプロソディ自体は、人間の耳にはその違いを識別することが困難な微細な情報である。このため、音質の劣化を招くことなく合成音声へ情報を埋め込むことができる。【００４６】  なお、本実施の形態において、付加情報としてとして音声合成装置の製造メーカを判別する判別情報を埋め込んだが、合成装置の型番や合成方式等これ以外の情報を埋め込むものとしてもよい。【００４７】  なお、本実施の形態において、韻律のマクロパタンは自然音声より統計的手法によりアクセント句の韻律パタンをモーラ単位で生成するものとしたが、ＨＭＭのような学習による手法を用いる、あるいは対数軸上の臨界制動二次線形系のようなモデルによる手法を用いて生成しても良い。【００４８】  なお、本実施の形態において、マイクロプロソディを設定する区間を音素開始点より３��ｍｓｅｃあるいは音素終端までの３０ｍｓｅｃとしたが、マイクロプロソディを生成するために十分な時間幅であればこれ以外の値でも良い。マイクロプロソディは音素境界の前後の１０ミリ秒〜５０ミリ秒（少なくとも２ピッチ以上）程度の間で観測することができ、その違いを聞き分けることは非常に困難であることが論文等により知られており、マイクロプロソディは音韻の特性にはほとんど影響をおよぼさないとされている。現実的なマイクロプロソディの観測範囲としては、２０ミリ秒から５０ミリ秒の間が上げられる。５０ミリ秒を上限としたのは、経験上５０ミリ秒を超えた場合には母音の長さを超えてしまう場合があるからである。【００４９】  なお、本実施の形態において、パタンの一致は１フレームごとの相対化した基本周波数の相関係数が０．９５以上である場合としたが、これ以外のパタンマッチング手法を用いても良い。【００５０】  なお、本実施の形態において、基本周波数パタンが特定メーカと対応するマイクロプロソディパタンと一致する回数が２回以上であれば当該のメーカの音声合成装置による合成音声であると判断したが、これ以外の判断基準でも良い。【００５１】（実施の形態２）
図９は、本発明の実施の形態２の音声合成装置と付加情報解読装置の機能ブロック図であり、図１０は音声合成装置の動作を示す流れ図であり、図１３は付加情報解読装置の動作を示す流れ図である。図９において、図２と同じ構成要素については同じ符号を用い、説明を省略する。【００５２】  図９において、音声合成装置３００は、入力されたテキストを音声に変換する装置であり、言語処理部２０１と、言語処理部２０１より出力された読みとアクセント、文節区切りと係り受け情報から、生成する合成音声の基本周波数、音声強度、リズム、およびポーズのタイミングと時間長を決定し、各モーラの基本周波数パタン、強度パタン、継続時間長を出力する韻律生成部３０２と、波形生成部３０３とからなる。【００５３】  韻律生成部３０２はマクロパタン生成部２０４と、音素境界付近における韻律の微細な時間構造（マイクロプロソディ）のパタンを、付加情報を表現するコードと対応させて記憶するマイクロプロソディテーブル３０５と、付加情報とコードとを対応させて記憶するコードテーブル３０８と、付加情報のコードに対応するマイクロプロソディを、マクロパタン生成部２０４より出力された音韻の継続時間の中央点での基本周波数、音声強度に合わせてあてはめ、各音韻内の韻律パタンを生成するマイクロプロソディ生成部３０６よりなる。さらに、付加情報と付加情報を表現するコードとの対応を擬似乱数を用いて変更することで、付加情報を暗号化し、暗号を解読するための鍵情報を生成する暗号化処理部３０７が音声合成装置３００の外部に設けられている。【００５４】  付加情報解読装置３１０は、入力された音声と鍵情報とより音声に埋め込まれた付加情報を抽出して出力する装置であり、基本周波数分析部２１１と、暗号化処理部３０７より出力された鍵情報を入力とし、付加情報であるかな文字とコードとの対応を生成する暗号解読部３１２と、暗号解読部３１２で生成されたかな文字とコードとの対応を記憶するコードテーブル３１５と、マイクロプロソディパタンを対応付けられたコードとともに記憶するマイクロプロソディテーブル３１３と、基本周波数分析部２１１から出力された基本周波数の時間パタン中に含まれるマイクロプロソディより、マイクロプロソディテーブル３１３を参照してコードを生成するコード検出部３１４よりなる。【００５５】  次に、上記の音声合成装置３００と付加情報解読装置３１０の動作を図１０、図１３の流れ図に従って説明する。さらにマイクロプロソディテーブル３０５に格納された有声音立ち上がり部のマイクロプロソディと各マイクロプロソディパタンに対応付けられたコードと「マツシタ」を例にコード化を例示した図１１、マイクロプロソディテーブル３０５に格納された有声音立ち上がり部のマイクロプロソディを有声音立下り部に適用する方法を模式的に示した図１２を参照して説明する。【００５６】  図１１（ａ）は、コードテーブル３０８の一例を示した図であり、列記号と行番号の組み合わせをコードとし、各コードが付加情報であるかな文字と対応付けられている。図１１（ｂ）は、マイクロプロソディテーブル３０５の一例を示した図であり、列記号と行番号との組み合わせをコードとし、各コードにマイクロ��ロソディが対応付けられている。コードテーブル３０８に基づいて、付加情報であるかな文字がコードに変換される。さらに、マイクロプロソディテーブル３０５に基づいて、コードがマイクロプロソディに変換される。図１２は、コードＢ３のマイクロプロソディを有声音の立ち上がり部に適用し、Ｃ３のマイクロプロソディを有声音の立下り部に適用する場合を例にマイクロプロソディの生成方法を示した模式図であり、図１２（ａ）は、マイクロプロソディテーブル３０５を示す図であり、図１２（ｂ）は、マイクロプロソディの時間軸上での反転処理を示す図であり、図１２（ｃ）は、横軸に時間、縦軸に周波数の座標上に合成しようとする音声の一部分に対する基本周波数のパタンを表示するグラフである。当該グラフでは、破線４２５によって有声無声境界を示している。また、黒丸４２１はマクロパタン生成部２０４で生成されたモーラ単位の基本周波数を示し、実線の曲線４２３、４２４はマイクロプロソディ生成部３０６で生成されたマイクロプロソディを示している。【００５７】  まず、音声合成装置３００は、実施の形態１と同様にして入力されたテキストを、言語処理部２０１で形態素解析および構文解析を行い、各形態素の読みおよびアクセント、文節区切りとその係り受けを出力する（ステップＳ１００）。マクロパタン生成部２０４は、各モーラに含まれる母音の中央点での基本周波数と音声強度、およびモーラの継続時間長を設定する（ステップＳ１０１）。１モーラあたり１点で生成された韻律パタンを、直線で補間し、モーラ内の各点での基本周波数を求める（ステップＳ１０２）。【００５８】  一方、暗号化処理部３０７は、付加情報であるかな文字を、１文字１コードで表現するためのかな文字とコードとの対応を、擬似乱数を用いて並び替え、図１１（ａ）に示すような、かな文字とコード（Ａ１、Ｂ１、Ｃ１・・・）との対応を、コードテーブル３０８に記録する（ステップＳ２０１）。さらに、暗号化処理部３０７は、図１１（ａ）のようなかな文字とコードとの対応を鍵情報として出力する（ステップＳ２０２）。【００５９】  マイクロプロソディ生成部３０６は入力された音声信号に埋め込むべき付加情報をコード化する（ステップＳ２０３）。図１１では、付加情報「マツシタ」のコード化を例示している。かな文字で構成された付加情報をコードテーブル３０８に格納されたかな文字とコードとの対応を参照して、各かな文字に対応するコードを抽出する。「マツシタ」の例では図１１（ａ）中で「マ」は「Ａ４」、「ツ」は「Ｃ１」、「シ」は「Ｃ２」、「タ」は「Ｂ４」にそれぞれ対応する。従って「マツシタ」に対応するコードは「Ａ４  Ｃ１  Ｃ２  Ｂ４」となる。マイクロプロソディ生成部３０６は、合成する音声中の有声部を特定し（ステップＳ２０４）、該当する有声部の、有声部開始点より３０ｍｓｅｃの区間および有声部終端までの３０ｍｓｅｃの区間について、音声の先頭よりＳ２０３でコード化した付加情報を１つずつ割り当てる（ステップＳ２０５）。【００６０】  Ｓ２０４で特定されたそれぞれの有声部について、Ｓ２０５で割り当てられたコードに対応するマイクロプロソディパタンをマイクロプロソディテーブル３０５を参照して抽出する（ステップＳ２０６）。例えば図１１のようにＳ２０３で生成された「マツシタ」に対応するコード「Ａ４  Ｃ１  Ｃ２  Ｂ４」に対応するマイクロプロソディを抽出する。有声部開始点から３０ｍｓｅｃの区間については、図１１（ｂ）のようにマイクロプロソディパタンが全体として右上がりの有声部開始点用のパタンのみで構成されている場合、図１２に示す通り、Ｓ２０５で割り当てられたコードに対応するマイクロプロソディパタンを抽出し（図１２（ａ））、抽出したマイクロプロソディパタンの終端が有声部開始点から３０ｍｓｅｃの点における基本周波数に合致するように接続し（図１２（ｃ））、該当する有声部開始点のマイクロプロソディ４２３を設定する。また、有声部終端までの３０ｍｓｅｃの区間においては、図１２（ａ）に示すように、Ｓ２０５で割り当てられたコードに対応するマイクロプロソディを抽出し、図１２（ｂ）に示すように時間方向を反転させ、全体で右下がりのマイクロプロソディパタンを生成し、図１２（ｃ）に示すようにマイクロプロソディパタンの始端が有声部終端より３０ｍｓｅｃ前のマクロプロソディパタンの値に合致するように接続し、該当する母音の立下り部のマイクロプロソディ４２４を設定する。マイクロプロソディ生成部２０６はＳ２０６で生成されたマイクロプロソディを含む基本周波数と、マクロパタン生成部２０４で生成された音声強度、およびモーラの継続時間長を、モーラ列とあわせて出力する。【００６１】  波形生成部２０３は、マイクロプロソディ生成部３０６より出力された、マイクロプロソディを含む基本周波数パタンと、マクロパタン生成部２０４で生成された音声強度、モーラの継続時間長および、モーラ列より波形重畳法あるいは音源フィルタモデル等を用いて音声波形を生成する（ステップＳ１０７）。【００６２】  次に、付加情報解読装置３１０は、基本周波数分析部２１１で入力音声の有声無声判定を行い、有声部と無声部とに分ける（ステップＳ１１１）。さらに基本周波数分析部２１１はＳ１１１で判別された有声部の基本周波数分析により、分析フレームごとの基本周波数の値を求める（ステップＳ１１２）。一方、暗号解読部３１２は入力された鍵情報に基づき付加情報であるかな文字とコードとを対応付け、コードテーブル３１５へ記録する（ステップＳ２１２）。コード検出部３１４はＳ１１２で抽出された入力音声の有声部の基本周波数について、音声の先頭よりマイクロプロソディテーブル３１３を参照して、当該有声部の基本周波数パタンと一致するマイクロプロソディパタンを特定し（ステップＳ２１３）、特定されたマイクロプロソディパタンに対応するコードを抽出し（ステップＳ２１４）、コード列を記録する（ステップＳ２１５）。一致の判断については実施の形態１と同様である。コード検出部３１４はＳ２１３の当該有声部の基本周波数パタンとマイクロプロソディテーブル３１３に記録されたマイクロプロソディパタンとを照合する際に、有声部開始点より３０ｍｓｅｃの区間についてはマイクロプロソディテーブル３１３に記録された有声部開始点用のパタンと照合し、一致するパタンに対応するコードを抽出する。また、有声部終端までの３０ｍｓｅｃの区間については、マイクロプ��ソディテーブル３１３に記録された有声部終端用のパタンすなわち有声部開始点用のパタンの時間方向を反転させたパタンと照合し、一致するパタンに対応するコードを抽出する。ステップＳ２１６で当該の有声部が入力された音声信号中の最後の有声部と判断された場合は（ステップＳ２１６でｙｅｓ）、コード検出部は音声の先頭から順に配列、記録されたマイクロプロソディに対応するコードの配列をコードテーブル３１５を参照して付加情報であるかな文字列に変換して出力する（ステップＳ２１７）。ステップＳ２１６で当該の有声部が入力された音声信号中の最後の有声部ではないと判断された場合は（ステップＳ２１６でｎｏ）、音声信号の時間軸上で、次の有声部に対してＳ２１３からＳ２１５までの動作を行う。音声信号中の全有声部についてＳ２１３からＳ２１５までの動作を行った後に、入力音声中のマイクロプロソディに対応するコードの配列をかな文字列に変換して出力することとなる。【００６３】  かかる構成によれば付加情報を表現する特定のコードと対応付けられたマイクロプロソディパタンを埋め込んだ合成音声を生成し、さらに付加情報とコードとの対応を合成処理を実行する毎に擬似乱数によって変化させ、付加情報とコードの対応を示す鍵情報を別途生成することにより、合成音声生成後のフィルタリングやイコライジングのような処理によって容易には改変できず、改ざんに対して信頼性の高い音声への情報の埋め込み方法を提供できる。そればかりでなく、基本周波数の微細な時間構造であるマイクロプロソディパタンとして情報を埋め込むため、音声信号の主たる周波数帯域中に付加情報を埋め込むことととなり、電話等のように音声信号の主たる周波数帯域に限定された伝送路に対しても付加情報の埋め込みによる音質の劣化や、帯域の狭さによる付加情報の脱落が起こらない伝送に対しての信頼性も高い音声への付加情報の埋め込み方法を提供することができる。また、デジタル／アナログ変換時のまるめ、あるいは伝送路での信号の脱落や雑音信号の混入に対しても、埋め込まれた情報が失われることがない情報の埋め込み方法を提供することができる。さらには、マイクロプロソディに対応付けられたコードと付加情報との対応関係を擬似乱数によって音声合成の動作ごとに変化させることで付加情報を暗号化し、解読のための鍵情報の所有者のみが解読可能な状態を作ることで情報の秘匿性を高めることもできる。なお、本実施の形態において、付加情報であるかな文字とコードの対応を擬似乱数によって変化させることで付加情報を暗号化したが、コードとマイクロプロソディパタンの対応を変化させる等の、これ以外の方法によりマイクロプロソディパタンと付加情報の対応関係を暗号化するものとしてもよい。なお、本実施の形態において、付加情報はかな文字列としたが、英数字列等これ以外の種類の情報としてもよい。【００６４】  なお、本実施の形態において、暗号化処理部３０７は鍵情報としてかな文字とコードとの対応を出力することとしたが、あらかじめ用意された複数個の対応表からコードを選択するための番号を出力する、対応表生成のための初期値を出力する等、音声合成装置３００が合成音声を生成するのに用いたかな文字とコードの対応���付加情報解読装置３１０において再現できる情報であればこれ以外の情報でも良い。【００６５】  なお、本実施の形態において、有声部終端のマイクロプロソディパタンは有声部開始点のマイクロプロソディパタンの時間方向を反転させたものとし、両者が同一のコードに対応するものとしたが、有声部開始点、有声部終端について独立にマイクロプロソディパタンを持つものとしてもよい。【００６６】  なお、本実施の形態において、韻律のマクロパタンは自然音声より統計的手法によリアクセント句の韻律パタンをモーラ単位で生成するものとしたが、ＨＭＭのような学習による手法を用いる、あるいは対数軸上の臨界制動二次線形系のようなモデルによる手法を用いて生成しても良い。【００６７】  なお、本実施の形態において、マイクロプロソディを設定する区間を音素開始点より３０ｍｓｅｃあるいは音素終端までの３０ｍｓｅｃとしたが、マイクロプロソディを生成するために十分な時間幅であればこれ以外の値でも良い。【００６８】  なお、マイクロプロソディを設定する立ち上がり部または立下り部としては、図３のステップＳ１０３およびステップＳ１０５ならびに図１０のステップＳ２０５で説明したものも含め、以下のような部分にマイクロプロソディを設定すればよい。すなわち、音素境界を含む音素長を越えない所定時間幅の領域であって、直前が無声音である有声音の有声音開始点から所定時間幅の領域、直後が無声音である有声音の有声音終端までの所定時間幅の領域、直前が無音である有声音の有声音開始点から所定時間幅の領域、直後が無音である有声音の有声音終端までの所定時間幅の領域、直前が子音である母音の母音開始点から所定時間幅の領域、直後が子音である母音の母音終端までの所定時間幅の領域、直前が無音である母音の母音開始点から所定時間幅の領域、または直後が無音である母音の母音終端までの所定時間幅の領域にマイクロプロソディを設定するようにすればよい。【００６９】  なお、実施の形態１および実施の形態２において音素境界の前後の所定の領域の基本周波数の時間パタンにマイクロプロソディと呼ばれる符合を対応付けて情報を埋め込んだが、人間が韻律の変化に気づきにくい領域、あるいは韻律の変化に違和感を持たない領域、あるいは韻律の変化による音質や明瞭度の劣化を感じない領域であれば、これ以外の領域でも良い。【００７０】  なお、本発明は、日本語以外の言語に適用してもよい。
【産業上の利用可能性】
【００７１】  本発明にかかる合成音声への情報埋め込み方法および情報の埋め込みが可能な音声合成装置は、合成音声の韻律に当該音声とは異なる情報を埋め込む方法または手段を有し、音声信号への透かし情報の付加等として有用である。また詐称防止等の用途にも応用できる。
【図１】
2005119650.tif 000003
【図２】
2005119650.tif 000004
【図３】
2005119650.tif 000005
【図４】
2005119650.tif 000006
【図５】
2005119650.tif 000007
【図６】
2005119650.tif 000008
【図７】
2005119650.tif 000009
【図８】
2005119650.tif 000010
【図９】
2005119650.tif 000011
【図１０】
2005119650.tif 000012
【図１１】
2005119650.tif 000013
【図１２】
2005119650.tif 000014
【図１３】
2005119650.tif 000015
【手続補正書】
【提出日】平成17年6月24日(2005.6.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声を合成する音声合成装置であって、
合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成手段と、
前記韻律情報に基づいて、音声を合成する合成手段とを備え、
前記韻律生成手段は、音素境界を含む音素長を越えない所定時間幅の領域であって、かつ、直前が無声音である有声音の有声音開始点から所定時間幅の領域、直後が無声音である有声音の有声音終端までの所定時間幅の領域、直前が無音である有声音の有声音開始点から所定時間幅の領域、直後が無音である有声音の有声音終端までの所定時間幅の領域、直前が子音である母音の母音開始点から所定時間幅の領域、直後が子音である母音の母音終端までの所定時間幅の領域、直前が無音である母音の母音開始点から所定時間幅の領域、または直後が無音である母音の母音終端までの所定時間幅の領域の前記韻律情報に透かし情報としての符号情報を埋め込む
ことを特徴とする音声合成装置。
【請求項２】
前記所定時間幅は、１０ミリ秒以上５０ミリ秒以下の時間幅である
ことを特徴とする請求項１に記載の音声合成装置。
【請求項３】
前記符号情報は、合成音声か否かを判別するための判別情報である
ことを特徴とする請求項１に記載の音声合成装置。
【請求項４】
さらに、所定の情報を暗号化する暗号化手段を備え、
前記符号情報は、暗号化された情報であり、
当該符号情報は、鍵情報を利用して解読される
ことを特徴とする請求項１に記載の音声合成装置。
【請求項５】
前記暗号化手段は、さらに、前記鍵情報を生成する
ことを特徴とする請求項４に記載の音声合成装置。
【請求項６】
前記符号情報は、マイクロプロソディにより表現されている
ことを特徴とする請求項１に記載の音声合成装置。
【請求項７】
入力音声が合成音声か否かを判別する合成音声判別装置であって、
前記入力音声を所定の時間幅のフレームごとに音声の基本周波数を算出する基本周波数算出手段と、
音素境界を含む音素長を越えない所定時間幅の領域において、前記基本周波数算出手段で算出される複数の音声の基本周波数中に、前記合成音声か否かを判別するための判別情報が含まれるか否かを判別することにより、前記入力音声が合成音声か否かを判別する判別手段とを備える
ことを特徴とする合成音声判別装置。
【請求項８】
入力音声に埋め込まれた付加情報を解読する付加情報読取装置であって、
前記入力音声を所定の時間幅のフレームごとに音声の基本周波数を算出する基本周波数算出手段と、
音素境界を含む音素長を越えない所定時間幅の領域において、前記基本周波数算出手段で算出される複数の音声の基本周波数より、周波数列で表された所定の付加情報を抽出する付加情報抽出手段とを備える
ことを特徴とする付加情報読取装置。
【請求項９】
前記付加情報は暗号化されており、
さらに、解読のための鍵情報を用いて、暗号化された前記付加情報を解読する解読手段を備える
ことを特徴とする請求項８に記載の付加情報読取装置。
【請求項１０】
音声を合成する音声合成方法であって、
合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成ステップとを含み、
前記韻律生成ステップでは、音素境界を含む音素長を越えない所定時間幅の領域であって、かつ、直前が無声音である有声音の有声音開始点から所定時間幅の領域、直後が無声音である有声音の有声音終端までの所定時間幅の領域、直前が無音である有声音の有声音開始点から所定時間幅の領域、直後が無音である有声音の有声音終端までの所定時間幅の領域、直前が子音である母音の母音開始点から所定時間幅の領域、直後が子音である母音の母音終端までの所定時間幅の領域、直前が無音である母音の母音開始点から所定時間幅の領域、または直後が無音である母音の母音終端までの所定時間幅の領域の前記韻律情報に透かし情報としての符号情報を埋め込む
ことを特徴とする音声合成方法。
【請求項１１】
コンピュータを音声合成装置として機能させるためのプログラムであって、コンピュータを、
合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成手段と、
前記韻律情報に基づいて、音声を合成する合成手段として機能させ、
前記韻律生成手段は、音素境界を含む音素長を越えない所定時間幅の領域であって、かつ、直前が無声音である有声音の有声音開始点から所定時間幅の領域、直後が無声音である有声音の有声音終端までの所定時間幅の領域、直前が無音である有声音の有声音開始点から所定時間幅の領域、直後が無音である有声音の有声音終端までの所定時間幅の領域、直前が子音である母音の母音開始点から所定時間幅の領域、直後が子音である母音の母音終端までの所定時間幅の領域、直前が無音である母音の母音開始点から所定時間幅の領域、または直後が無音である母音の母音終端までの所定時間幅の領域の前記韻律情報に透かし情報としての符号情報を埋め込む
ことを特徴とするプログラム。
【請求項１２】
コンピュータを音声合成装置として機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体であって、
前記プログラムは、コンピュータを、
合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成手段と、
前記韻律情報に基づいて、音声を合成する合成手段として機能させ、
前記韻律生成手段は、音素境界を含む音素長を越えない所定時間幅の領域であって、かつ、直前が無声音である有声音の有声音開始点から所定時間幅の領域、直後が無声音である有声音の有声音終端までの所定時間幅の領域、直前が無音である有声音の有声音開始点から所定時間幅の領域、直後が無音である有声音の有声音終端までの所定時間幅の領域、直前が子音である母音の母音開始点から所定時間幅の領域、直後が子音である母音の母音終端までの所定時間幅の領域、直前が無音である母音の母音開始点から所定時間幅の領域、または直後が無音である母音の母音終端までの所定時間幅の領域の前記韻律情報に透かし情報としての符号情報を埋め込む
ことを特徴とするコンピュータ読取可能な記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声合成装置に関し、特に、情報の埋め込みが可能な音声合成装置に関する。
【背景技術】
【０００２】
先般のデジタル信号処理技術の発展に伴い、音響データとりわけ音楽データの不正なコピーを防止し、著作権を保護する目的で、位相の変調、エコー信号または聴覚のマスキングを利用した透かし情報の埋め込み方式が開発されている。これらはコンテンツとして作成された音響データに後から情報を埋め込み、再生機器が情報を読み出すことにより正当な権利者のみがコンテンツを利用することを保証するものである。
【０００３】
一方、音声については、人間の発声によって作成される音声データのみでなく、いわゆる音声合成によって作成される音声データも存在する。文字列テキストから音声を合成するいわゆる音声合成技術の進歩は著しく、音声データベースに蓄積された音声波形をそのまま利用して音声を合成するシステムや、ＨＭＭ（隠れマルコフモデル）を用いた音声合成方法のような、音声データベースより統計的学習アルゴリズムを用いて各フレームのパラメータを制御する制御方式を構築するシステムでは、元となる音声データベースに収録された話者の特徴をよく保持した合成音声を生成することができる。すなわち、合成音声によって本人になりすます詐称が可能になってきている。
【０００４】
このような詐称を防止するために、音声データごとに合成音声へ情報を埋め込む方法では、音楽データのように著作権を保護するのみでなく、合成音声であることや、音声の合成に用いたシステム等を判別するための情報を埋め込むことが重要である。
【０００５】
従来の合成音声への情報埋め込み方法としては、音声信号の主たる周波数帯域外、すなわち人間が聴取した際に音質の劣化を感じ取りにくい周波数帯域において、合成音声の特定の周波数帯域の信号パワーを変更することで、合成音声であることを判別するための判別情報を付加して合成音声を出力するものがある（例えば、特許文献１参照）。図１は、特許文献１に記載された従来の合成音声への情報埋め込み方法を説明するための図である。音声合成装置１２では、文音声合成処理部１３から出力される合成音声信号が合成音声判別情報付加部１７に入力され、合成音声判別情報付加部１７が人間が発声した音声信号とは異なることを示す判別情報を合成音声信号に付加し、合成音声信号１８として出力する。一方、合成音声判別装置２０では、判別部２１が入力音声信号から判別情報の有無を検出する。判別部２１が判別情報を検出したときには、入力音声信号が合成音声信号１８であると判別され、判別結果が判別結果表示部２２に表示される。
【０００６】
また、特定の周波数帯域の信号パワーを用いる方式以外に、ピッチマークに１周期分の波形を同期させて波形を接続して音声を合成する音声合成方式においては、波形接続時に特定の１周期分の波形をわずかに変形することで情報を音声に付加するものがある（例えば、特許文献２参照）。波形の変形は、特定の１周期分の波形の振幅を本来合わせこむべき韻律情報と異なる値に設定する、あるいは特定の１周期分の波形を位相を反転させた波形に入れ替える、あるいは特定の１周期分の波形を同期させるべきピッチマークからわずかな時間分ずらすというものである。
【０００７】
一方、従来の音声合成装置としては、音声の明瞭性および自然性を向上する目的で、人間の発声による自然音声に見られる、マイクロプロソディと呼ばれる基本周波数または音声強度における音素内での微細な時間構造を生成するものがある（例えば、特許文献３、特許文献４参照）。マイクロプロソディは音素境界の前後の１０ミリ秒〜５０ミリ秒（少なくとも２ピッチ以上）程度の間で観測することができ、その違いを聞き分けることは非常に困難であることが論文等により知られており、マイクロプロソディは音韻の特性にはほとんど影響をおよぼさないとされている。現実的なマイクロプロソディの観測範囲としては、２０ミリ秒から５０ミリ秒の間が上げられる。５０ミリ秒を上限としたのは、経験上５０ミリ秒を超えた場合には母音の長さを超えてしまう場合があるからである。
【特許文献１】特開２００２−２９７１９９号公報（第３−４頁、図２）
【特許文献２】特開２００３−２９５８７８号公報
【特許文献３】特開平９−２４４６７８号公報
【特許文献４】特開２０００−１０５８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、前記従来の構成の情報埋め込み方法では、文音声合成処理部１３と合成音声判別情報付加部１７とが完全に分離しており、音声生成部１５が音声波形を生成した後に判別情報を付加している。このため、合成音声判別情報付加部１７のみを用いれば、他の音声合成装置で合成した音声、録音音声、またはマイクロフォンからの入力音声に対しても同様の判別情報を付加することができる。このため、合成音声装置１２によって合成された合成音声１８と、肉声を含め他の方法で生成された音声との判別が困難になるという課題を有している。
【０００９】
また、前記従来の構成の情報埋め込み方法は、判別情報を周波数特性の変形として音声データへ埋め込むものであるが、音声信号の主たる周波数帯域外の周波数帯域に情報を付加している。このため、電話回線等のように、伝送される帯域が音声信号の主たる周波数帯域に制限された伝送路においては、付加した情報が伝送過程で脱落してしまう可能性や、脱落しない帯域内すなわち音声信号の主たる周波数帯域内で情報を付加することにより、音質の大きな劣化を招く可能性があるという課題を有している。
【００１０】
さらに従来のピッチマークに１周期の波形を同期させる際に特定の１周期分の波形を変形させる方法では、伝送路の周波数帯域の影響は受けないが、１周期分という小さな時間単位の制御であり、また波形の変形量も、人間が音質の劣化を感じない、変形に気が付かない程度の小さな変形にとどめる必要があるため、デジタル／アナログ変換を行う過程や、伝送の過程で付加情報が脱落してしまう、あるいは雑音信号に埋もれてしまう可能性があるという課題を有している。
【００１１】
本発明は、上述の課題を解決するためになされたもので、他の方法で生成された音声との判別を確実に行なうことが可能な音声合成装置を提供することを第１の目的とする。
【００１２】
また、伝送路における帯域の制限、あるいはデジタル／アナログ変換時のまるめ、あるいは伝送路での信号の脱落や雑音信号の混入に対しても、埋め込まれた情報が失われることがない音声合成装置を提供することを第２の目的とする。
【００１３】
さらに、音質の劣化を招くことなく合成音声へ情報を埋め込むことができる音声合成装置を提供することを第３の目的とする。
【課題を解決するための手段】
【００１４】
本発明にかかる音声合成装置は、文字列に従って音声を合成する音声合成装置であって、文字列に従って、合成音声を生成するために必要な合成音声生成情報を生成する言語処理手段と、前記合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成手段と、前記韻律情報に基づいて、音声を合成する合成手段とを備え、前記韻律生成手段は、音素境界を含む音素長を越えない所定時間幅の領域の前記韻律情報に透かし情報としての符号情報を埋め込むことを特徴とする。
【００１５】
この構成によると、音声の合成過程でなければ操作が困難な音素境界を含む音素長を越えない所定時間幅の領域の前記韻律情報に透かし情報としての符号情報を埋め込んでいる。このため、他の音声合成装置により合成された音声や、人間が発声した肉声等の合成音声以外の音声に、符号情報を付加することを防止することができる。よって、他の方法で生成された音声との判別を確実に行なうことができる。
【００１６】
好ましくは、前記韻律生成手段は、音声の基本周波数の時間パタンに前記符号情報を埋め込む。
【００１７】
この構成によると、音声の基本周波数の時間パタンの中に情報を埋め込むことで、情報を音声信号の主たる周波数帯域中に保持することができる。このため、伝送路における帯域が狭く、伝送される信号が音声信号の主たる周波数帯域に限られるような場合においても、情報の脱落や、情報の付加による音質の劣化を招くことなく判別情報を付加した合成音声を伝送することができる。
【００１８】
さらに好ましくは、前記符号情報は、マイクロプロソディにより表現されている。
マイクロプロソディ自体は、人間の耳にはその違いを識別することができない微細な情報である。このため、音質の劣化を招くことなく合成音声へ情報を埋め込むことができる。
【００１９】
なお、上述の音声合成装置で合成された合成音声から符号情報を抽出し、合成音声か否かを判別する合成音声判別装置として本発明を実現したり、符号情報として付加された付加情報を合成音声中より抜き出す付加情報読取装置として実現したりすることもできる。
【００２０】
例えば、合成音声判別装置は、入力音声が合成音声か否かを判別する合成音声判別装置であって、前記入力音声を所定の時間幅のフレームごとに音声の基本周波数を算出する基本周波数算出手段と、音素境界を含む音素長を越えない所定時間幅の領域において、前記基本周波数算出手段で算出される複数の音声の基本周波数中に、前記合成音声か否かを判別するための判別情報が含まれるか否かを判別することにより、前記入力音声が合成音声か否かを判別する判別手段とを備えることを特徴とする。
【００２１】
また、付加情報読取装置は、入力音声に埋め込まれた付加情報を解読する付加情報読取装置であって、前記入力音声を所定の時間幅のフレームごとに音声の基本周波数を算出する基本周波数算出手段と、音素境界を含む音素長を越えない所定時間幅の領域において、前記基本周波数算出手段で算出される複数の音声の基本周波数より、周波数列で表された所定の付加情報を抽出する付加情報抽出手段とを備えることを特徴とする。
【００２２】
なお、本発明は、このような特徴的な手段を有する音声合成装置として実現することができるだけでなく、その特徴的な手段をステップとする音声合成方法として実現したり、音声合成装置としてコンピュータを機能させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００２３】
本発明によると、他の方法で生成された音声との判別を確実に行なうことが可能な音声合成装置を提供することができる。
【００２４】
また、伝送路における帯域の制限、あるいはデジタル／アナログ変換時のまるめ、あるいは伝送路での信号の脱落や雑音信号の混入に対しても、埋め込まれた情報が失われることがない音声合成装置を提供することができる。
【００２５】
さらに、音質の劣化を招くことなく合成音声へ情報を埋め込むことができる音声合成装置を提供することができる。
【発明を実施するための最良の形態】
【００２６】
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図２は、本発明の実施の形態１における音声合成装置と合成音声判別装置の機能ブロック図である。
【００２７】
図２において、音声合成装置２００は、入力されたテキストを音声に変換する装置であり、入力されたテキストを言語解析し、テキストの形態素並び、構文に応じた読みおよびアクセントを決定し、読みとアクセント位置、文節区切りと係り受け情報を出力する言語処理部２０１と、言語処理部２０１より出力された読みとアクセント位置、文節区切りと係り受け情報から、生成する合成音声の基本周波数、音声強度、リズム、およびポーズのタイミングと時間長を決定し、各モーラの基本周波数パタン、強度パタン、継続時間長を出力する韻律生成部２０２と、韻律生成部２０２より出力されたモーラごとの基本周波数パタン、強度パタン、継続時間長に従って音声波形を生成し、出力する波形生成部２０３とからなる。なお、モーラとは、日本語音声における韻律の基本単位であり、単一の短母音、子音と短母音、子音と半母音と短母音で構成されるものと、モーラ音素のみから構成されるものとがある。ここで、モーラ音素とは、日本語において音節の一部でありながら、一つの拍を形成する音韻のことを言う。
【００２８】
韻律生成部２０２は、言語処理部２０１より出力された読みとアクセント、文節区切りと係り受け情報より、アクセント句、フレーズ、文に対応して付与されるマクロな韻律パタンを決定し、モーラごとにモーラの継続時間長、およびモーラ中の母音継続時間の中央点での基本周波数と音声強度を出力するマクロパタン生成部２０４と、音素境界付近における韻律の微細な時間構造（マイクロプロソディ）のパタンを音韻および音韻の属性ごとに記憶するマイクロプロソディテーブル２０５と、言語処理部２０１より出力された音韻列とアクセント位置、係り受け情報、およびマクロパタン生成部２０４より出力された音韻の継続時間長と基本周波数、音声強度に基づいてマイクロプロソディテーブル２０５を参照してマイクロプロソディを生成し、マクロパタン生成部２０４より出力された音韻の継続時間の中央点での基本周波数、音声強度に合わせて各音韻にマイクロプロソディをあてはめ、各音韻内の韻律パタンを生成するマイクロプロソディ生成部２０６よりなる。
【００２９】
合成音声判別装置２１０は、入力された音声を分析し合成音であるか否かを判別する装置であり、波形生成部２０３より出力された合成音声またはそれ以外の音声信号を入力として受け、入力された音声の基本周波数を分析し、分析フレームごとの基本周波数の値を出力する基本周波数分析部２１１と、音声合成装置２００が出力する合成音声が持つはずの基本周波数の時間パタン（マイクロプロソディ）を音声合成装置の製造メーカごとに記憶するマイクロプロソディ判別テーブル２１２と、マイクロプロソディ判別テーブル２１２を参照して、基本周波数分析部２１１から出力された基本周波数の時間パタン中に音声合成装置２００で生成されたマイクロプロソディを含むか否かを判断し、合成音声であるか否かを判別して、判別結果を出力するマイクロプロソディ判別部２１３とからなる。
【００３０】
次に、上記の音声合成装置２００と合成音声判別装置２１０との動作について説明する。図３は音声合成装置２００の動作を示す流れ図であり、図６および図７は合成音声判別装置２１０の動作を示す流れ図である。さらにマイクロプロソディテーブル２０５に格納された母音立ち上がり部と母音立ち下がり部のマイクロプロソディを例示した図４、韻律生成部２０２での韻律生成の一例を模式的に示した図５、マイクロプロソディ判別テーブルに判別情報ごとに格納された母音立ち上がり部と母音立下り部を例示した図８を参照して説明する。図５の模式図は「オンセイゴウセイ」を例にとって韻律の生成過程を示したものであり、横軸に時間、縦軸に周波数の座標上に基本周波数のパタンを表示している。破線４０７によって音素境界を示し、領域内の音素をローマ字表記で上部に示す。マクロパタン生成部２０４で生成されたモーラ単位の基本周波数を黒丸４０５で示し、実線の折れ線４０１、４０４はマイクロプロソディ生成部２０６で生成されたマイクロプロソディを示している。
【００３１】
まず、音声合成装置２００は一般的な音声合成装置と同様に、入力されたテキストについて言語処理部２０１で形態素解析および構文解析を行い、各形態素の読みおよびアクセント、文節区切りとその係り受けを出力する（ステップＳ１００）。マクロパタン生成部２０４は読みをモーラ列に変換し、アクセント、文節区切り、係り受け情報より、各モーラに含まれる母音の中央点での基本周波数と音声強度、およびモーラの継続時間長を設定する（ステップＳ１０１）。基本周波数、音声強度はたとえば、特開平１１−９５７８３号公報に開示されているように、自然音声より統計的手法によりアクセント句の韻律パタンをモーラ単位で生成し、アクセント句の属性により韻律パタンの絶対位置を設定して文全体の韻律パタンを生成することにより設定される。１モーラ１点で生成された韻律パタンを直線４０６で補間し、モーラ内の各点での基本周波数を求める（ステップＳ１０２）。
【００３２】
マイクロプロソディ生成部２０５は、合成する音声中の母音の内、母音の直前が無音であるもの、あるいは母音の直前が半母音を除く子音である母音を特定する（ステップＳ１０３）。ステップＳ１０３の条件に合致する母音について、図５に示すようにＳ１０２で直線補間により求められたモーラ内の基本周波数のうち、音素開始点より３０ｍｓｅｃ経過した点４０２での基本周波数に、マイクロプロソディテーブル２０５を参照して図４に示す母音立ち上がり部用のマイクロプロソディパタン４０１を抽出し、抽出した母音立ち上がり部用のマイクロプロソディパタンを、当該マイクロプロソディパタンの終端が合致するように接続し、該当する母音の立ち上がり部のマイクロプロソディを設定する（ステップＳ１０４）。すなわち図４の点Ａが図５の点Ａに合致するように接続する。
【００３３】
同様、マイクロプロソディ生成部２０５は合成する音声中の母音の内、母音の直後が無音であるもの、あるいは母音の直後が半母音を除く子音である母音を特定する（ステップＳ１０５）。特定された母音の立下り部に対して、図５に示すようにＳ１０２で直線補間により求められたモーラ内の基本周波数のうち、音素終端より３０ｍｓｅｃ前での基本周波数４０３に、マイクロプロソディテーブル２０５を参照して図４に示す母音立下り部用のマイクロプロソディパタン４０４を抽出し、抽出した母音立下り部用のマイクロプロソディパタンを、当該マイクロプロソディパタンの始端が合致するように接続し、該当する母音の立下り部のマイクロプロソディを設定する（ステップＳ１０６）。すなわち図４の点Ｂが図５の点Ｂに合致するように接続する。
【００３４】
マイクロプロソディ生成部２０６はＳ１０５、Ｓ１０６で生成されたマイクロプロソディを含む基本周波数と、マクロパタン生成部２０４で生成された音声強度、およびモーラの継続時間長を、モーラ列とあわせて出力する。
【００３５】
波形生成部２０３は、マイクロプロソディ生成部２０６より出力された、マイクロプロソディを含む基本周波数パタンと、マクロパタン生成部２０４で生成された音声強度、モーラの継続時間長および、モーラ列より波形重畳法あるいは音源フィルタモデル等を用いて音声波形を生成する（Ｓ１０７）。
【００３６】
次に、図６および図７を参照して、合成音声判別装置２１０の動作について説明する。合成音声判別装置２１０は、基本周波数分析部２１１で入力音声の有声無声判定を行い、音声を有声部と無声部に分ける（ステップＳ１１１）。さらに、基本周波数分析部２１１はＳ１１１で判別された有声部の基本周波数分析により、分析フレームごとの基本周波数の値を求める（ステップＳ１１２）。次に、マイクロプロソディ判別部２１３は、図８に示すように、マイクロプロソディパタンをメーカ名と対応付けて記録したマイクロプロソディ判別テーブル２１２を参照して、Ｓ１１２で抽出された入力音声の有声部の基本周波数パタンをマイクロプロソディ判別テーブル２１２に記憶されたマイクロプロソディデータすべてと照合し、パタンと一致した回数を音声合成装置のメーカごとに計数する（ステップＳ１１３）。入力音声の有声部に特定メーカのマイクロプロソディパタンが２つ以上発見された場合に、マイクロプロソディ判別部２１３は入力音声が合成音声であると判断し、判別結果を出力する（ステップＳ１１４）。
【００３７】
図７を参照して、ステップＳ１１３の動作をさらに詳細に説明する。まず、Ｓ１１１で判別された入力音声の有声部のうち時間軸上で最も前にある有声部について、母音立ち上がりパタンを照合するため、先頭フレームを抽出窓の先頭に設定し（ステップＳ１２１）、時間軸上で後ろに向けて３０ｍｓｅｃの窓長で、基本周波数パタンを抽出する（ステップＳ１２２）。Ｓ１２２で抽出した基本周波数パタンと図８に示すマイクロプロソディ判別テーブル２１２に記憶された各メーカの母音立ち上がりパタンとを照合する（ステップＳ１２３）。ステップＳ１２４の判断において、抽出窓内の基本周波数パタンとマイクロプロソディ判別テーブル２１２に記憶されたパタンのうちいずれかが一致した際には（Ｓ１２４でｙｅｓ）、パタンが一致したメーカの計数に１を加算する（ステップＳ１２５）。ステップＳ１２４の判断において、Ｓ１２２で抽出した基本周波数パタンがマイクロプロソディ判別テーブル２１２に記憶された母音立ち上がりパタンのいずれとも一致しない場合には（Ｓ１２４でｎｏ）、抽出窓の先頭を１フレーム進める（ステップＳ１２６）。ここで、１フレームは例えば５ｍｓｅｃである。
【００３８】
抽出しうる有声部が３０ｍｓｅｃ未満か否かを判断する（ステップＳ１２７）。この判断において、抽出しうる有声部が３０ｍｓｅｃ未満である場合には有声部の終了とみなして（Ｓ１２７でｙｅｓ）、引き続き母音立下りパタンの照合のため、有声部のうち時間軸上で最も前にある有声部の終端フレームを抽出窓の最後尾に設定する（ステップＳ１２８）。時間軸をさかのぼって３０ｍｓｅｃの窓長で、基本周波数パタンを抽出する（ステップＳ１２９）。Ｓ１２７において抽出しうる有声部が３０ｍｓｅｃ以上である場合は（Ｓ１２７でｎｏ）、時間軸上で後ろに向けて３０ｍｓｅｃの窓長で、基本周波数パタンを抽出し、Ｓ１２２からＳ１２７までの処理を繰り返す。Ｓ１２９で抽出した基本周波数パタンと図８に示すマイクロプロソディ判別テーブル２１２に記憶された各メーカの母音立下りパタンとを照合する（ステップＳ１３０）。ステップＳ１３１の判断においてパタンが一致した際には（Ｓ１３１でｙｅｓ）、パタンが一致したメーカの計数に１を加算する（ステップＳ１３２）。ステップＳ１３１の判断においてＳ１２９で抽出した基本周波数パタンがマイクロプロソディ判別テーブル２１２に記憶された母音立下りパタンのいずれとも一致しない場合には（Ｓ１３１でｎｏ）、抽出窓の最後尾を１フレーム前へずらし（ステップＳ１３３）、抽出しうる有声部が３０ｍｓｅｃ未満であるか否かを判断する（ステップＳ１３４）。抽出しうる有声部が３０ｍｓｅｃ未満の場合は、有声部の終了とみなし（Ｓ１３４でｙｅｓ）、入力音声中にＳ１１２で判別された有声部が照合処理が終了した有声部より時間軸上で後ろに残っている場合には（Ｓ１３５でｎｏ）、次の有声部の先頭フレームを抽出窓の先頭に設定し、Ｓ１２１からＳ１３３の処理を繰り返す。Ｓ１３４において抽出しうる有声部が３０ｍｓｅｃ以上である場合は（Ｓ１３４でｎｏ）、時間軸をさかのぼって３０ｍｓｅｃの窓長で、基本周波数パタンを抽出し、Ｓ１２９からＳ１３４の処理を繰り返す。
【００３９】
パタンの一致は、例えば以下のような手法で判断する。音声合成装置２００がマイクロプロソディを設定する３０ｍｓｅｃについて、合成音声判別装置２１０のマイクロプロソディ判別テーブル２１２においてマイクロプロソディパタンは１フレーム（例えば、５ｍｓｅｃ）ごとに、マイクロプロソディの始点の周波数を０とした基本周波数の相対値で表現されているものとする。基本周波数分析部２１１で分析された基本周波数は、マイクロプロソディ判別部２１３で３０ｍｓｅｃの窓内で１フレームごとの値に変換され、さらに窓の先頭の値を０とした相対値に変換される。マイクロプロソディ判別テーブル２１２に格納されているマイクロプロソディパタンと基本周波数分析部２１１で分析された入力音声の基本周波数を１フレームごとに表したパタンとの間の相関係数を求め、相関係数が０．９５以上である場合にパタンが一致したとみなす。
【００４０】
例えば、図４のようなマイクロプロソディパタンを記録したマイクロプロソディテーブル２０５を備えたＡメーカの音声合成装置２００より出力された合成音声を、合成音声判別装置２１０に入力した場合、１つ目の母音立ち上がりパタンがＡメーカのパタンと一致し、１つ目の母音立下りパタンはＣメーカと一致したが、２つ目の母音立ち上がりパタンがＡメーカと一致した場合には、当該の合成音声はＡメーカの音声合成装置により合成されたものと判定される。このように、２箇所のマイクロプロソディの一致のみでＡメーカの音声合成装置により合成されたものであると判定できるのは、自然音声では同じ母音を発声したとしてもマイクロプロソディが一致する確率はほぼ０に等しいため、１箇所のマイクロプロソディの一致すら起こる可能性が極めて少ないからである。
【００４１】
かかる構成によれば、メーカごとに固有のマイクロプロソディパタンを合成音声判別情報として埋め込んだ合成音声を生成している。このため、音声の周期性を分析しなければ抽出できない基本周波数の微細な時間パタンのみを変更して音声を生成するには、音声を分析することにより得られる基本周波数の時間パタンを変形し、その基本周波数を持ち、かつ元の音声の周波数特性を持つ音声を再合成する必要がある。このように、基本周波数の時間パタンとして判別情報を埋め込むことにより、音声の周波数特性を変形するフィルタやイコライジング等の合成音声生成後の処理によっては容易には合成音声を改変できない。また、当該合成音声生成後の処理によっては、生成時には判別情報を含まない合成音声や録音音声等に判別情報を埋め込むことができない。よって、他の方法で生成された音声との判別を確実に行なうことができる。
【００４２】
また、音声合成装置２００は、音声信号の主たる周波数帯域中に合成音声判別情報を埋め込むこととなるため、判別情報が改ざんされにくく判別情報の信頼性が高く、詐称防止等には特に有効な音声への情報埋め込み方法を提供することができる。さらに、付加情報は基本周波数とういう音声の主たる周波数帯域にある信号に埋め込まれるため、電話等の音声信号の主たる周波数帯域に限定された伝送路に対しても情報の付加による音質の劣化や、帯域の狭さによる判別情報の脱落が起こらない伝送に対しても頑健で信頼性の高い、音声への情報の埋め込み方法を提供することができる。さらにまた、デジタル／アナログ変換時のまるめ、あるいは伝送路での信号の脱落や雑音信号の混入に対しても、埋め込まれた情報が失われることがない情報の埋め込み方法を提供することができる。
【００４３】
さらに、マイクロプロソディ自体は、人間の耳にはその違いを識別することが困難な微細な情報である。このため、音質の劣化を招くことなく合成音声へ情報を埋め込むことができる。
【００４４】
なお、本実施の形態において、付加情報としてとして音声合成装置の製造メーカを判別する判別情報を埋め込んだが、合成装置の型番や合成方式等これ以外の情報を埋め込むものとしてもよい。
【００４５】
なお、本実施の形態において、韻律のマクロパタンは自然音声より統計的手法によりアクセント句の韻律パタンをモーラ単位で生成するものとしたが、ＨＭＭのような学習による手法を用いる、あるいは対数軸上の臨界制動二次線形系のようなモデルによる手法を用いて生成しても良い。
【００４６】
なお、本実施の形態において、マイクロプロソディを設定する区間を音素開始点より３０ｍｓｅｃあるいは音素終端までの３０ｍｓｅｃとしたが、マイクロプロソディを生成するために十分な時間幅であればこれ以外の値でも良い。マイクロプロソディは音素境界の前後の１０ミリ秒〜５０ミリ秒（少なくとも２ピッチ以上）程度の間で観測することができ、その違いを聞き分けることは非常に困難であることが論文等により知られており、マイクロプロソディは音韻の特性にはほとんど影響をおよぼさないとされている。現実的なマイクロプロソディの観測範囲としては、２０ミリ秒から５０ミリ秒の間が上げられる。５０ミリ秒を上限としたのは、経験上５０ミリ秒を超えた場合には母音の長さを超えてしまう場合があるからである。
【００４７】
なお、本実施の形態において、パタンの一致は１フレームごとの相対化した基本周波数の相関係数が０．９５以上である場合としたが、これ以外のパタンマッチング手法を用いても良い。
【００４８】
なお、本実施の形態において、基本周波数パタンが特定メーカと対応するマイクロプロソディパタンと一致する回数が２回以上であれば当該のメーカの音声合成装置による合成音声であると判断したが、これ以外の判断基準でも良い。
【００４９】
（実施の形態２）
図９は、本発明の実施の形態２の音声合成装置と付加情報解読装置の機能ブロック図であり、図１０は音声合成装置の動作を示す流れ図であり、図１３は付加情報解読装置の動作を示す流れ図である。図９において、図２と同じ構成要素については同じ符号を用い、説明を省略する。
【００５０】
図９において、音声合成装置３００は、入力されたテキストを音声に変換する装置であり、言語処理部２０１と、言語処理部２０１より出力された読みとアクセント、文節区切りと係り受け情報から、生成する合成音声の基本周波数、音声強度、リズム、およびポーズのタイミングと時間長を決定し、各モーラの基本周波数パタン、強度パタン、継続時間長を出力する韻律生成部３０２と、波形生成部３０３とからなる。
【００５１】
韻律生成部３０２はマクロパタン生成部２０４と、音素境界付近における韻律の微細な時間構造（マイクロプロソディ）のパタンを、付加情報を表現するコードと対応させて記憶するマイクロプロソディテーブル３０５と、付加情報とコードとを対応させて記憶するコードテーブル３０８と、付加情報のコードに対応するマイクロプロソディを、マクロパタン生成部２０４より出力された音韻の継続時間の中央点での基本周波数、音声強度に合わせてあてはめ、各音韻内の韻律パタンを生成するマイクロプロソディ生成部３０６よりなる。さらに、付加情報と付加情報を表現するコードとの対応を擬似乱数を用いて変更することで、付加情報を暗号化し、暗号を解読するための鍵情報を生成する暗号化処理部３０７が音声合成装置３００の外部に設けられている。
【００５２】
付加情報解読装置３１０は、入力された音声と鍵情報とより音声に埋め込まれた付加情報を抽出して出力する装置であり、基本周波数分析部２１１と、暗号化処理部３０７より出力された鍵情報を入力とし、付加情報であるかな文字とコードとの対応を生成する暗号解読部３１２と、暗号解読部３１２で生成されたかな文字とコードとの対応を記憶するコードテーブル３１５と、マイクロプロソディパタンを対応付けられたコードとともに記憶するマイクロプロソディテーブル３１３と、基本周波数分析部２１１から出力された基本周波数の時間パタン中に含まれるマイクロプロソディより、マイクロプロソディテーブル３１３を参照してコードを生成するコード検出部３１４よりなる。
【００５３】
次に、上記の音声合成装置３００と付加情報解読装置３１０の動作を図１０、図１３の流れ図に従って説明する。さらにマイクロプロソディテーブル３０５に格納された有声音立ち上がり部のマイクロプロソディと各マイクロプロソディパタンに対応付けられたコードと「マツシタ」を例にコード化を例示した図１１、マイクロプロソディテーブル３０５に格納された有声音立ち上がり部のマイクロプロソディを有声音立下り部に適用する方法を模式的に示した図１２を参照して説明する。
【００５４】
図１１（ａ）は、コードテーブル３０８の一例を示した図であり、列記号と行番号の組み合わせをコードとし、各コードが付加情報であるかな文字と対応付けられている。図１１（ｂ）は、マイクロプロソディテーブル３０５の一例を示した図であり、列記号と行番号との組み合わせをコードとし、各コードにマイクロプロソディが対応付けられている。コードテーブル３０８に基づいて、付加情報であるかな文字がコードに変換される。さらに、マイクロプロソディテーブル３０５に基づいて、コードがマイクロプロソディに変換される。図１２は、コードＢ３のマイクロプロソディを有声音の立ち上がり部に適用し、Ｃ３のマイクロプロソディを有声音の立下り部に適用する場合を例にマイクロプロソディの生成方法を示した模式図であり、図１２（ａ）は、マイクロプロソディテーブル３０５を示す図であり、図１２（ｂ）は、マイクロプロソディの時間軸上での反転処理を示す図であり、図１２（ｃ）は、横軸に時間、縦軸に周波数の座標上に合成しようとする音声の一部分に対する基本周波数のパタンを表示するグラフである。当該グラフでは、破線４２５によって有声無声境界を示している。また、黒丸４２１はマクロパタン生成部２０４で生成されたモーラ単位の基本周波数を示し、実線の曲線４２３、４２４はマイクロプロソディ生成部３０６で生成されたマイクロプロソディを示している。
【００５５】
まず、音声合成装置３００は、実施の形態１と同様にして入力されたテキストを、言語処理部２０１で形態素解析および構文解析を行い、各形態素の読みおよびアクセント、文節区切りとその係り受けを出力する（ステップＳ１００）。マクロパタン生成部２０４は、各モーラに含まれる母音の中央点での基本周波数と音声強度、およびモーラの継続時間長を設定する（ステップＳ１０１）。１モーラあたり１点で生成された韻律パタンを、直線で補間し、モーラ内の各点での基本周波数を求める（ステップＳ１０２）。
【００５６】
一方、暗号化処理部３０７は、付加情報であるかな文字を、１文字１コードで表現するためのかな文字とコードとの対応を、擬似乱数を用いて並び替え、図１１（ａ）に示すような、かな文字とコード（Ａ１、Ｂ１、Ｃ１・・・）との対応を、コードテーブル３０８に記録する（ステップＳ２０１）。さらに、暗号化処理部３０７は、図１１（ａ）のようなかな文字とコードとの対応を鍵情報として出力する（ステップＳ２０２）。
【００５７】
マイクロプロソディ生成部３０６は入力された音声信号に埋め込むべき付加情報をコード化する（ステップＳ２０３）。図１１では、付加情報「マツシタ」のコード化を例示している。かな文字で構成された付加情報をコードテーブル３０８に格納されたかな文字とコードとの対応を参照して、各かな文字に対応するコードを抽出する。「マツシタ」の例では図１１（ａ）中で「マ」は「Ａ４」、「ツ」は「Ｃ１」、「シ」は「Ｃ２」、「タ」は「Ｂ４」にそれぞれ対応する。従って「マツシタ」に対応するコードは「Ａ４  Ｃ１  Ｃ２  Ｂ４」となる。マイクロプロソディ生成部３０６は、合成する音声中の有声部を特定し（ステップＳ２０４）、該当する有声部の、有声部開始点より３０ｍｓｅｃの区間および有声部終端までの３０ｍｓｅｃの区間について、音声の先頭よりＳ２０３でコード化した付加情報を１つずつ割り当てる（ステップＳ２０５）。
【００５８】
Ｓ２０４で特定されたそれぞれの有声部について、Ｓ２０５で割り当てられたコードに対応するマイクロプロソディパタンをマイクロプロソディテーブル３０５を参照して抽出する（ステップＳ２０６）。例えば図１１のようにＳ２０３で生成された「マツシタ」に対応するコード「Ａ４  Ｃ１  Ｃ２  Ｂ４」に対応するマイクロプロソディを抽出する。有声部開始点から３０ｍｓｅｃの区間については、図１１（ｂ）のようにマイクロプロソディパタンが全体として右上がりの有声部開始点用のパタンのみで構成されている場合、図１２に示す通り、Ｓ２０５で割り当てられたコードに対応するマイクロプロソディパタンを抽出し（図１２（ａ））、抽出したマイクロプロソディパタンの終端が有声部開始点から３０ｍｓｅｃの点における基本周波数に合致するように接続し（図１２（ｃ））、該当する有声部開始点のマイクロプロソディ４２３を設定する。また、有声部終端までの３０ｍｓｅｃの区間においては、図１２（ａ）に示すように、Ｓ２０５で割り当てられたコードに対応するマイクロプロソディを抽出し、図１２（ｂ）に示すように時間方向を反転させ、全体で右下がりのマイクロプロソディパタンを生成し、図１２（ｃ）に示すようにマイクロプロソディパタンの始端が有声部終端より３０ｍｓｅｃ前のマクロプロソディパタンの値に合致するように接続し、該当する母音の立下り部のマイクロプロソディ４２４を設定する。マイクロプロソディ生成部２０６はＳ２０６で生成されたマイクロプロソディを含む基本周波数と、マクロパタン生成部２０４で生成された音声強度、およびモーラの継続時間長を、モーラ列とあわせて出力する。
【００５９】
波形生成部２０３は、マイクロプロソディ生成部３０６より出力された、マイクロプロソディを含む基本周波数パタンと、マクロパタン生成部２０４で生成された音声強度、モーラの継続時間長および、モーラ列より波形重畳法あるいは音源フィルタモデル等を用いて音声波形を生成する（ステップＳ１０７）。
【００６０】
次に、付加情報解読装置３１０は、基本周波数分析部２１１で入力音声の有声無声判定を行い、有声部と無声部とに分ける（ステップＳ１１１）。さらに基本周波数分析部２１１はＳ１１１で判別された有声部の基本周波数分析により、分析フレームごとの基本周波数の値を求める（ステップＳ１１２）。一方、暗号解読部３１２は入力された鍵情報に基づき付加情報であるかな文字とコードとを対応付け、コードテーブル３１５へ記録する（ステップＳ２１２）。コード検出部３１４はＳ１１２で抽出された入力音声の有声部の基本周波数について、音声の先頭よりマイクロプロソディテーブル３１３を参照して、当該有声部の基本周波数パタンと一致するマイクロプロソディパタンを特定し（ステップＳ２１３）、特定されたマイクロプロソディパタンに対応するコードを抽出し（ステップＳ２１４）、コード列を記録する（ステップＳ２１５）。一致の判断については実施の形態１と同様である。コード検出部３１４はＳ２１３の当該有声部の基本周波数パタンとマイクロプロソディテーブル３１３に記録されたマイクロプロソディパタンとを照合する際に、有声部開始点より３０ｍｓｅｃの区間についてはマイクロプロソディテーブル３１３に記録された有声部開始点用のパタンと照合し、一致するパタンに対応するコードを抽出する。また、有声部終端までの３０ｍｓｅｃの区間については、マイクロプロソディテーブル３１３に記録された有声部終端用のパタンすなわち有声部開始点用のパタンの時間方向を反転させたパタンと照合し、一致するパタンに対応するコードを抽出する。ステップＳ２１６で当該の有声部が入力された音声信号中の最後の有声部と判断された場合は（ステップＳ２１６でｙｅｓ）、コード検出部は音声の先頭から順に配列、記録されたマイクロプロソディに対応するコードの配列をコードテーブル３１５を参照して付加情報であるかな文字列に変換して出力する（ステップＳ２１７）。ステップＳ２１６で当該の有声部が入力された音声信号中の最後の有声部ではないと判断された場合は（ステップＳ２１６でｎｏ）、音声信号の時間軸上で、次の有声部に対してＳ２１３からＳ２１５までの動作を行う。音声信号中の全有声部についてＳ２１３からＳ２１５までの動作を行った後に、入力音声中のマイクロプロソディに対応するコードの配列をかな文字列に変換して出力することとなる。
【００６１】
かかる構成によれば付加情報を表現する特定のコードと対応付けられたマイクロプロソディパタンを埋め込んだ合成音声を生成し、さらに付加情報とコードとの対応を合成処理を実行する毎に擬似乱数によって変化させ、付加情報とコードの対応を示す鍵情報を別途生成することにより、合成音声生成後のフィルタリングやイコライジングのような処理によって容易には改変できず、改ざんに対して信頼性の高い音声への情報の埋め込み方法を提供できる。そればかりでなく、基本周波数の微細な時間構造であるマイクロプロソディパタンとして情報を埋め込むため、音声信号の主たる周波数帯域中に付加情報を埋め込むことととなり、電話等のように音声信号の主たる周波数帯域に限定された伝送路に対しても付加情報の埋め込みによる音質の劣化や、帯域の狭さによる付加情報の脱落が起こらない伝送に対しての信頼性も高い音声への付加情報の埋め込み方法を提供することができる。また、デジタル／アナログ変換時のまるめ、あるいは伝送路での信号の脱落や雑音信号の混入に対しても、埋め込まれた情報が失われることがない情報の埋め込み方法を提供することができる。さらには、マイクロプロソディに対応付けられたコードと付加情報との対応関係を擬似乱数によって音声合成の動作ごとに変化させることで付加情報を暗号化し、解読のための鍵情報の所有者のみが解読可能な状態を作ることで情報の秘匿性を高めることもできる。なお、本実施の形態において、付加情報であるかな文字とコードの対応を擬似乱数によって変化させることで付加情報を暗号化したが、コードとマイクロプロソディパタンの対応を変化させる等の、これ以外の方法によりマイクロプロソディパタンと付加情報の対応関係を暗号化するものとしてもよい。なお、本実施の形態において、付加情報はかな文字列としたが、英数字列等これ以外の種類の情報としてもよい。
【００６２】
なお、本実施の形態において、暗号化処理部３０７は鍵情報としてかな文字とコードとの対応を出力することとしたが、あらかじめ用意された複数個の対応表からコードを選択するための番号を出力する、対応表生成のための初期値を出力する等、音声合成装置３００が合成音声を生成するのに用いたかな文字とコードの対応が付加情報解読装置３１０において再現できる情報であればこれ以外の情報でも良い。
【００６３】
なお、本実施の形態において、有声部終端のマイクロプロソディパタンは有声部開始点のマイクロプロソディパタンの時間方向を反転させたものとし、両者が同一のコードに対応するものとしたが、有声部開始点、有声部終端について独立にマイクロプロソディパタンを持つものとしてもよい。
【００６４】
なお、本実施の形態において、韻律のマクロパタンは自然音声より統計的手法によりアクセント句の韻律パタンをモーラ単位で生成するものとしたが、ＨＭＭのような学習による手法を用いる、あるいは対数軸上の臨界制動二次線形系のようなモデルによる手法を用いて生成しても良い。
【００６５】
なお、本実施の形態において、マイクロプロソディを設定する区間を音素開始点より３０ｍｓｅｃあるいは音素終端までの３０ｍｓｅｃとしたが、マイクロプロソディを生成するために十分な時間幅であればこれ以外の値でも良い。
【００６６】
なお、マイクロプロソディを設定する立ち上がり部または立下り部としては、図３のステップＳ１０３およびステップＳ１０５ならびに図１０のステップＳ２０５で説明したものも含め、以下のような部分にマイクロプロソディを設定すればよい。すなわち、音素境界を含む音素長を越えない所定時間幅の領域であって、直前が無声音である有声音の有声音開始点から所定時間幅の領域、直後が無声音である有声音の有声音終端までの所定時間幅の領域、直前が無音である有声音の有声音開始点から所定時間幅の領域、直後が無音である有声音の有声音終端までの所定時間幅の領域、直前が子音である母音の母音開始点から所定時間幅の領域、直後が子音である母音の母音終端までの所定時間幅の領域、直前が無音である母音の母音開始点から所定時間幅の領域、または直後が無音である母音の母音終端までの所定時間幅の領域にマイクロプロソディを設定するようにすればよい。
【００６７】
なお、実施の形態１および実施の形態２において音素境界の前後の所定の領域の基本周波数の時間パタンにマイクロプロソディと呼ばれる符合を対応付けて情報を埋め込んだが、人間が韻律の変化に気づきにくい領域、あるいは韻律の変化に違和感を持たない領域、あるいは韻律の変化による音質や明瞭度の劣化を感じない領域であれば、これ以外の領域でも良い。
【００６８】
なお、本発明は、日本語以外の言語に適用してもよい。
【産業上の利用可能性】
【００６９】
本発明にかかる合成音声への情報埋め込み方法および情報の埋め込みが可能な音声合成装置は、合成音声の韻律に当該音声とは異なる情報を埋め込む方法または手段を有し、音声信号への透かし情報の付加等として有用である。また詐称防止等の用途にも応用できる。
【図面の簡単な説明】
【００７０】
【図１】図１は、従来の音声合成装置および合成音声判別装置の機能ブロック図である。
【図２】図２は、本発明の実施の形態１における音声合成装置および合成音声判別装置の機能ブロック図である。
【図３】図３は、本発明の実施の形態１における音声合成装置の動作の流れ図である。
【図４】図４は、本発明の実施の形態１における音声合成装置中のマイクロプロソディテーブルに記憶されたマイクロプロソディパタンの例を示す図である。
【図５】図５は、本発明の実施の形態１における音声合成装置で生成された基本周波数パタンの例を示す図である。
【図６】図６は、本発明の実施の形態１における合成音声判別装置の動作の流れ図である。
【図７】図７は、本発明の実施の形態１における合成音声判別装置の動作の流れ図である。
【図８】図８は、本発明の実施の形態１における合成音声判別装置中のマイクロプロソディ判別テーブルに記憶された内容の例を示す図である。
【図９】図９は、本発明の実施の形態２における音声合成装置および付加情報解読装置の機能ブロック図である。
【図１０】図１０は、本発明の実施の形態２における音声合成装置の動作の流れ図である。
【図１１】図１１は、本発明の実施の形態２における音声合成装置中のコードテーブルに記録された付加情報とコードの対応の例、およびマイクロプロソディテーブルに記録されたマイクロプロソディとコードの対応の例を示す図である。
【図１２】図１２は、本発明の実施の形態２における音声合成装置でのマイクロプロソディ生成の模式図である。
【図１３】図１３は、本発明の実施の形態２における付加情報解読装置の動作の流れ図である。
【符号の説明】
【００７１】
１１  テキストファイル
１２  音声合成装置
１３  分音声合成処理部
１４  テキスト解析部
１５  音声生成部
１６  音声辞書
１７  合成音声判別情報付加部
１８  合成音声
１９  伝送路
２０、２１０  合成音声判別装置
２１  判別部
２２  判別結果表示部
２００、３００  音声合成装置
２０１  言語処理部
２０２、３０２  韻律生成部
２０３  波形生成部
２０４  マクロパタン生成部
２０５、３０５、３１３  マイクロプロソディテーブル
２０６、３０６  マイクロプロソディ生成部
２１１  基本周波数分析部
２１２  マイクロプロソディ判別テーブル
２１３  マイクロプロソディ判別部
３０７  暗号化処理部
３０８  コードテーブル
３１０  付加情報解読装置
３１２  暗号解読部
３１４  コード検出部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2005119650.tif 000016
【図２】
2005119650.tif 000017
【図３】
2005119650.tif 000018
【図４】
2005119650.tif 000019
【図５】
2005119650.tif 000020
【図６】
2005119650.tif 000021
【図７】
2005119650.tif 000022
【図８】
2005119650.tif 000023
【図９】
2005119650.tif 000024
【図１０】
2005119650.tif 000025
【図１１】
2005119650.tif 000026
【図１２】
2005119650.tif 000027
【図１３】
2005119650.tif 000028
【手続補正書】
【提出日】平成18年4月20日(2006.4.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声を合成する音声合成装置であって、
合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成手段と、
前記韻律情報に基づいて、音声を合成する合成手段とを備え、
前記韻律生成手段は、前記合成音声生成情報に基づいてマイクロプロソディを埋め込む合成音声中の時間位置を特定し、合成音声で有ることを示すパタンのマイクロプロソディを記憶した記憶手段から当該パタンのマイクロプロソディを抽出し、前記抽出したマイクロプロソディを韻律パタンとして前記特定された時間位置に埋め込む
ことを特徴とする音声合成装置。
【請求項２】
前記抽出したマイクロプロソディを埋め込む時間幅は、１０ミリ秒以上５０ミリ秒以下の時間幅である
ことを特徴とする請求項１に記載の音声合成装置。
【請求項３】
前記抽出したマイクロプロソディは、音素境界を含む前記時間位置に埋め込まれる
ことを特徴とする請求項１に記載の音声合成装置。
【請求項４】
さらに、付加情報を暗号化する暗号化手段を備え、
前記暗号化手段は、前記記憶手段に記憶されたマイクロプロソディの前記パタンと前記付加情報とを対応づける暗号情報を作成し、
前記韻律生成手段は、前記暗号情報に基づいて、前記付加情報に対応づけられたマイクロプロソディの前記パタンを前記記憶手段から選択して韻律パタンに埋め込む
ことを特徴とする請求項１に記載の音声合成装置。
【請求項５】
前記暗号化手段は、さらに、前記付加情報を解読するための前記暗号情報に対応した鍵情報を生成する
ことを特徴とする請求項４に記載の音声合成装置。
【請求項６】
入力音声が合成音声か否かを判別する合成音声判別装置であって、
前記入力音声を所定の時間幅のフレームごとに音声の基本周波数を算出する基本周波数算出手段と、
合成音声で有ることを判定するパタンのマイクロプロソディを記憶した記憶手段と、
前記入力音声のマイクロプロソディが存在する時間幅の領域における前記基本周波数算出手段で算出される音声の基本周波数を抽出し、前記抽出した基本周波数のパタンと前記記憶手段におけるマイクロプロソディの前記パタンとを照合することにより、前記入力音声が合成音声か否かを判別する判別手段とを備える
ことを特徴とする合成音声判別装置。
【請求項７】
入力音声に埋め込まれた付加情報を解読する付加情報読取装置であって、
前記入力音声を所定の時間幅のフレームごとに音声の基本周波数を算出する基本周波数算出手段と、
前記付加情報に対応付けられたマイクロプロソディが記憶された記憶手段と、
前記入力音声のマイクロプロソディが存在する時間幅の領域において、前記基本周波数算出手段で算出される音声の基本周波数よりマイクロプロソディを抽出し、前記抽出されたマイクロプロソディと前記付加情報に対応付けられたマイクロプロソディとを比較して前記抽出されたマイクロプロソディに含まれる所定の付加情報を抽出する付加情報抽出手段とを備える
ことを特徴とする付加情報読取装置。
【請求項８】
前記付加情報は暗号化されており、
さらに、解読のための鍵情報を用いて、暗号化された前記付加情報を解読する解読手段を備える
ことを特徴とする請求項７に記載の付加情報読取装置。
【請求項９】
音声を合成する音声合成方法であって、
合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成ステップとを含み、
前記韻律生成ステップでは、前記合成音声生成情報に基づいてマイクロプロソディを埋め込む合成音声中の時間位置を特定し、合成音声で有ることを示すパタンのマイクロプロソディを記憶した記憶手段から当該パタンのマイクロプロソディを抽出し、前記抽出したマイクロプロソディを韻律パタンとして前記特定された時間位置に埋め込む
ことを特徴とする音声合成方法。
【請求項１０】
前記抽出したマイクロプロソディを埋め込む時間幅は、１０ミリ秒以上５０ミリ秒以下の時間幅である
ことを特徴とする請求項９に記載の音声合成方法。
【請求項１１】
前記抽出したマイクロプロソディは、音素境界を含む前記時間位置に埋め込まれる
ことを特徴とする請求項９に記載の音声合成方法。
【請求項１２】
コンピュータを音声合成装置として機能させるためのプログラムであって、コンピュータを、
合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成手段と、
前記韻律情報に基づいて、音声を合成する合成手段として機能させ、
前記韻律生成手段は、前記合成音声生成情報に基づいてマイクロプロソディを埋め込む合成音声中の時間位置を特定し、合成音声で有ることを示すパタンのマイクロプロソディを記憶した記憶手段から当該パタンのマイクロプロソディを抽出し、前記抽出したマイクロプロソディを韻律パタンとして前記特定された時間位置に埋め込む
ことを特徴とするプログラム。
【請求項１３】
前記抽出したマイクロプロソディを埋め込む時間幅は、１０ミリ秒以上５０ミリ秒以下の時間幅である
ことを特徴とする請求項１２に記載のプログラム。
【請求項１４】
前記抽出したマイクロプロソディは、音素境界を含む前記時間位置に埋め込まれる
ことを特徴とする請求項１２に記載のプログラム。
【請求項１５】
コンピュータを音声合成装置として機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体であって、
前記プログラムは、コンピュータを、
合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成手段と、
前記韻律情報に基づいて、音声を合成する合成手段として機能させ、
前記韻律生成手段は、前記合成音声生成情報に基づいてマイクロプロソディを埋め込む合成音声中の時間位置を特定し、合成音声で有ることを示すパタンのマイクロプロソディを記憶した記憶手段から当該パタンのマイクロプロソディを抽出し、前記抽出したマイクロプロソディを韻律パタンとして前記特定された時間位置に埋め込む
ことを特徴とするコンピュータ読取可能な記録媒体。
【請求項１６】
前記抽出したマイクロプロソディを埋め込む時間幅は、１０ミリ秒以上５０ミリ秒以下の時間幅である
ことを特徴とする請求項１５に記載のコンピュータ読取可能な記録媒体。
【請求項１７】
前記抽出したマイクロプロソディは、音素境界を含む前記時間位置に埋め込まれる
ことを特徴とする請求項１５に記載のコンピュータ読取可能な記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明にかかる音声合成装置は、音声を合成する音声合成装置であって、合成音声生成情報に基づいて、音声の韻律情報を生成する韻律生成手段と、前記韻律情報に基づいて、音声を合成する合成手段とを備え、前記韻律生成手段は、前記合成音声生成情報に基づいてマイクロプロソディを埋め込む合成音声中の時間位置を特定し、合成音声で有ることを示すパタンのマイクロプロソディを記憶した記憶手段から当該パタンのマイクロプロソディを抽出し、前記抽出したマイクロプロソディを韻律パタンとして前記特定された時間位置に埋め込むことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
例えば、合成音声判別装置は、入力音声が合成音声か否かを判別する合成音声判別装置であって、前記入力音声を所定の時間幅のフレームごとに音声の基本周波数を算出する基本周波数算出手段と、合成音声で有ることを判定するパタンのマイクロプロソディを記憶した記憶手段と、前記入力音声のマイクロプロソディが存在する時間幅の領域における前記基本周波数算出手段で算出される音声の基本周波数を抽出し、前記抽出した基本周波数のパタンと前記記憶手段におけるマイクロプロソディの前記パタンとを照合することにより、前記入力音声が合成音声か否かを判別する判別手段とを備えることを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
また、付加情報読取装置は、入力音声に埋め込まれた付加情報を解読する付加情報読取装置であって、前記入力音声を所定の時間幅のフレームごとに音声の基本周波数を算出する基本周波数算出手段と、前記付加情報に対応付けられたマイクロプロソディが記憶された記憶手段と、前記入力音声のマイクロプロソディが存在する時間幅の領域において、前記基本周波数算出手段で算出される音声の基本周波数よりマイクロプロソディを抽出し、前記抽出されたマイクロプロソディと前記付加情報に対応付けられたマイクロプロソディとを比較して前記抽出されたマイクロプロソディに含まれる所定の付加情報を抽出する付加情報抽出手段とを備えることを特徴とする。
【国際調査報告】
2005119650.tif 000029
2005119650.tif 000030
2005119650.tif 000031
2005119650.tif 000032