(57)【特許請求の範囲】
【請求項１】
テキスト文を入力するように構成される入力部と、
言語情報を抽出するために、前記テキスト文を解析するように構成されるテキスト解析部と、
前記言語情報及び予めトレーニングされた統計パラメータモデルを使用することによって音声パラメータを生成するように構成されるパラメータ生成部と、
前記音声パラメータに情報を埋め込むように構成される埋込部と、
前記埋込部によって前記情報を埋め込まれた前記音声パラメータを、前記情報を備えた音声に合成するように構成される音声合成部と、
を具備し、
前記音声パラメータは、ピッチパラメータ及びスペクトルパラメータを含み、
前記埋込部は、
前記ピッチパラメータに基づいて有声音励振を生成するように構成される有声音励振生成部と、
無声音励振を生成するように構成される無声音励振生成部と、
前記有声音励振及び前記無声音励振を結合して励振源にするように構成される結合部と、
前記情報を前記励振源に埋め込むように構成される情報埋込部と、を含む、音声合成装置。
【請求項２】
前記音声合成部は、前記スペクトルパラメータに基づいて合成フィルタを構築するように構成されるフィルタ構築部を含み、
前記音声合成部は、前記合成フィルタを使用して、前記情報を埋め込まれた前記音声パラメータを、前記情報を備えた前記音声に合成する、請求項１に記載の音声合成装置。
【請求項３】
前記情報を備えた前記音声が前記音声合成部によって合成された後に前記情報を検出するように構成される検出部をさらに具備する請求項２に記載の音声合成装置。
【請求項４】
前記検出部は、
前記スペクトルパラメータに基づいて逆フィルタを構築するように構成される逆フィルタ構築部と、
前記逆フィルタを使用して、前記情報を備えた前記音声から前記情報を備えた前記励振源を分離するように構成される分離部と、
前記情報を備えた前記励振源と前記情報埋込部によって前記情報が前記励振源へ埋め込まれるときに使用される疑似ランダムシーケンスとの間の相関関数を復号することにより、前記情報を得るように構成される復号部と、
を含む、請求項３に記載の音声合成装置。
【請求項５】
テキスト文を入力するように構成される入力部と、
言語情報を抽出するために、前記テキスト文を解析するように構成されるテキスト解析部と、
前記言語情報及び予めトレーニングされた統計パラメータモデルを使用することによって音声パラメータを生成するように構成されるパラメータ生成部と、
前記音声パラメータに情報を埋め込むように構成される埋込部と、
前記埋込部によって前記情報を埋め込まれた前記音声パラメータを、前記情報を備えた音声に合成するように構成される音声合成部と、
を具備し、
前記音声パラメータは、ピッチパラメータ及びスペクトルパラメータを含み、
前記埋込部は、
前記ピッチパラメータに基づいて有声音励振を生成するように構成される有声音励振生成部と、
無声音励振を生成するように構成される無声音励振生成部と、
前記情報を前記無声音励振に埋め込むように構成される情報埋込部と、
前記有声音励振及び前記情報を埋め込まれた前記無声音励振を結合して励振源にするように構成される結合部と、を含む、音声合成装置。
【請求項６】
前記音声合成部は、前記スペクトルパラメータに基づいて合成フィルタを構築するように構成されるフィルタ構築部を含み、
前記音声合成部は、前記合成フィルタを使用して、前記情報を埋め込まれた前記音声パラメータを、前記情報を備えた前記音声に合成する、請求項５に記載の音声合成装置。
【請求項７】
前記情報を備えた前記音声が前記音声合成部によって合成された後に前記情報を検出するように構成される検出部をさらに具備する請求項６に記載の音声合成装置。
【請求項８】
前記検出部は、
前記スペクトルパラメータに基づいて逆フィルタを構築するように構成される逆フィルタ構築部と、
前記逆フィルタを使用して、前記情報を備えた前記音声から前記情報を備えた前記励振源を分離するように構成される第１分離部と、
前記情報を備えた前記励振源から前記情報を備えた前記無声音励振を分離するように構成される第２分離部と、
前記情報を備えた前記無声音励振と前記情報が前記無声音励振へ埋め込まれるときに使用される疑似ランダムシーケンスとの間の相関関数を復号することにより、前記情報を得るように構成される復号部と、を含む、請求項７に記載の音声合成装置。
【請求項９】
テキスト文を入力することと、
言語情報を抽出するために前記入力されたテキスト文を解析することと、
前記抽出された言語情報及び予めトレーニングされた統計パラメータモデルを使用することによって音声パラメータを生成することと、
前記音声パラメータに情報を埋め込むことと、
前記情報を埋め込まれた前記音声パラメータを、前記情報を備えた音声に合成することと、
を具備し、
前記音声パラメータは、ピッチパラメータ及びスペクトルパラメータを含み、
前記埋め込むことは、
前記ピッチパラメータに基づいて有声音励振を生成することと、
無声音励振を生成することと、
前記有声音励振及び前記無声音励振を結合して励振源にすることと、
前記情報を前記励振源に埋め込むことと、を含む、音声合成方法。
【請求項１０】
テキスト文を入力することと、
言語情報を抽出するために前記入力されたテキスト文を解析することと、
前記抽出された言語情報及び予めトレーニングされた統計パラメータモデルを使用することによって音声パラメータを生成することと、
前記音声パラメータに情報を埋め込むことと、
前記情報を埋め込まれた前記音声パラメータを、前記情報を備えた音声に合成することと、
を具備し、
前記音声パラメータは、ピッチパラメータ及びスペクトルパラメータを含み、
前記埋込部は、
前記ピッチパラメータに基づいて有声音励振を生成することと、
無声音励振を生成することと、
前記情報を前記無声音励振に埋め込むことと、
前記有声音励振及び前記情報を埋め込まれた前記無声音励振を結合して励振源にすることと、を含む、音声合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理技術に関し、特に、テキストトゥスピーチ（ＴＴＳ：text-to-speech）技術に関し、さらに詳細には、音声合成プロセス中に情報を埋め込む技術に関する。
【背景技術】
【０００２】
現在、音声合成システムは、様々な分野に適用され、人々の生活に多大の利便性をもたらしている。著作権の保護のために透かしが埋め込まれている大部分のオーディオ製品とは違い、合成音声は市販品でさえもほとんど保護されていない。合成音声は複雑な合成アルゴリズムを使用してプロの話者によって記録された音声データベースから作成されており、話者の音声を保護することは重要である。さらに、多くのＴＴＳアプリケーションは、例えばウェブアプリケーションにおいてテキスト情報が音声へ埋め込まれるように、音声信号への影響を最小にした上で合成音声に何らかの追加情報が埋め込まれることを要求する。しかしながら、ＴＴＳシステム全体は、システムの複雑さ及びハードウェア要件の制限に関して複雑であるので、ＴＴＳシステムに個別の透かしモジュールを追加するには費用がかかり過ぎる。
【０００３】
統計的パラメトリック音声合成方法は、重要なＴＴＳ方法の１つである（非特許文献１参照。非特許文献１は統計的パラメトリック音声合成システムのフレームワークについて記載されている。）。統計的パラメトリック音声合成システムでは、初めに、音声が分析されて音声パラメータが抽出され、次に、統計パラメータモデルが音声パラメータからトレーニングされ、最後に、音声が統計パラメータモデルから直接に合成される。音声合成のこのフレームワークは多くの利点を有する。それは少ないリソースしか必要とせず、さらに、パラメータの操作によって音声を修正することが容易である。ソースフィルタモデルは、パラメータに基づく音声合成において広く使用されている。ソースフィルタモデルは、２つの部分から構成され、即ち、音声の励振を示し且つ音声の時間周波数構造を表す源（source）と、音声の広帯域構造を表すフィルタとから構成される。
【０００４】
電子透かし技術は、所有権を保護するために、或いは、何らかの有用なデータを隠すために、長年にわたって様々なマルチメディアアプリケーションに適用されている。音声電子透かし技術は、音声信号のために開発されている。透かし情報をデータ中に適切に隠すために、音声データが音声パラメータを得るために分析され、次に、任意の種類の透かし埋込アルゴリズムを使用して電子透かしデータが音声パラメータに付加され、最後に、これらのパラメータから音声が合成方法によって再構成される。即ち、これらの透かし埋込アルゴリズムは、音声分析合成プロセスと同様である（非特許文献２参照。非特許文献２は音声パラメータ分析合成での電子透かし埋込みについて記載されている。）。しかしながら、一般に、これらの２つは、各々の目的のために、これまで異なるシステムと見なされている。即ち、音声合成プロセス中ではなく、音声合成後に透かし埋込モジュールが追加される。
【０００５】
非特許文献１：H. Zen, T. Nose, J. Yamagishi, S. Sako, T. Masuko, A.W. Black, K. Tokuda, “The HMM-based Speech Synthesis System (HTS) Version 2.0”, Proc. of ISCA SSW6, Bonn, Germany, Aug. 2007、この全ては参照されてここに組み込まれる。
【０００６】
非特許文献２：Hofbauer, Konrad, Kubin, Gernot, “High-Rate Data Embedding in Unvoiced Speech”, In INTERSPEECH-2006, paper 1906-Mon1FoP.10、この全ては参照されてここに組み込まれる。
【発明の概要】
【０００７】
本発明は、従来技術の上記問題を鑑みて提案されたものであり、その目的は、音声合成システムにおいて巧みに適切に情報を埋め込むことができ、且つ、低複雑性や安全等といった多くの利点とともに高品質の音声を実現することができる、音声合成プロセス中に情報を埋め込む方法及び装置を提供することにある。
【０００８】
本発明の一態様によれば、テキスト文を入力することと、言語情報を抽出するために前記入力されたテキスト文を解析することと、前記抽出された言語情報及び予めトレーニングされた統計パラメータモデルを使用することによって音声パラメータを生成することと、前記音声パラメータに情報を埋め込むことと、前記情報を埋め込まれた前記音声パラメータを、前記情報を備えた音声に合成することとを備える、情報を備えた音声を合成する方法が提供される。
【０００９】
好ましくは、情報を備えた音声を合成する方法においては、前記音声パラメータは、ピッチパラメータ及びスペクトルパラメータを含み、前記音声パラメータに事前に設定された情報を埋め込むステップは、前記ピッチパラメータに基づいて有声音励振を生成するステップと、無声音励振を生成するステップと、前記有声音励振及び前記無声音励振を結合して励振源にするステップと、前記情報を前記励振源に埋め込むステップと、を含む。
【００１０】
さらに、好ましくは、情報を備えた音声を合成する方法においては、音声パラメータはピッチパラメータ及びスペクトルパラメータを含み、前記音声パラメータに事前に設定された情報を埋め込むステップは、前記ピッチパラメータに基づいて有声音励振を生成するステップと、無声音励振を生成するステップと、前記情報を前記無声音励振に埋め込むステップと、前記有声音励振及び前記情報を埋め込まれた前記無声音励振を結合して励振源にするステップと、を含む。
【００１１】
好ましくは、情報を備えた音声を合成する方法においては、前記情報を備えた音声を合成するステップは、前記スペクトルパラメータに基づいて合成フィルタを構築するステップと、前記合成フィルタを使用して、前記情報を埋め込まれた前記音声パラメータを、前記情報を備えた前記音声に合成するステップとを含む。
【００１２】
好ましくは、情報を備えた音声を合成する方法は、前記情報を備えた前記音声が合成された後に前記情報を検出するステップをさらに備える。
【００１３】
好ましくは、情報を備えた音声を合成する方法においては、前記情報を検出するステップは、前記スペクトルパラメータに基づいて逆フィルタを構築するステップと、前記逆フィルタを使用して、前記情報を備えた前記音声から前記情報を備えた前記励振源を分離するステップと、前記情報を得るために、前記情報を備えた前記励振源と前記情報埋込部によって前記情報が前記励振源へ埋め込まれるときに使用される疑似ランダムシーケンスとの間の相関関数を復号するステップとを含む。
【００１４】
さらに、好ましくは、情報を備えた音声を合成する方法においては、前記情報を検出するステップは、前記スペクトルパラメータに基づいて逆フィルタを構築するステップと、前記逆フィルタを使用して、前記情報を備えた前記音声から前記情報を備えた前記励振源を分離するステップと、前記情報を備えた前記励振源から前記情報を備えた前記無声音励振を分離するステップと、前記情報を得るために、前記情報を備えた前記無声音励振と前記情報が前記無声音励振へ埋め込まれるときに使用される疑似ランダムとの間の相関関数を復号するステップとを含む。
【００１５】
本発明の他の態様によれば、テキスト文を入力するように構成される入力部と、言語情報を抽出するために、前記入力部により入力された前記テキスト文を解析するように構成されるテキスト解析部と、前記テキスト解析部により抽出された前記言語情報及び予めトレーニングされた統計パラメータモデルを使用することによって音声パラメータを生成するように構成されるパラメータ生成部と、前記音声パラメータに事前に設定された情報を埋め込むように構成される埋込部と、前記埋込部によって前記情報埋め込まれた前記音声パラメータを、前記情報を備えた音声に合成するように構成される音声合成部と、を備える、情報を備えた音声を合成する装置が提供される。
【００１６】
好ましくは、情報を備えた音声を合成する装置においては、前記音声パラメータは、ピッチパラメータ及びスペクトルパラメータを含み、前記埋込部は、前記ピッチパラメータに基づいて有声音励振を生成するように構成される有声音励振生成部と、無声音励振を生成するように構成される無声音励振生成部と、前記有声音励振及び前記無声音励振を結合して励振源にするように構成される結合部と、前記情報を前記励振源に埋め込むように構成される情報埋込部と、を含む。
【００１７】
さらに、好ましくは、情報を備えた音声を合成する装置においては、前記音声パラメータはピッチパラメータ及びスペクトルパラメータを含み、前記埋込部は、前記ピッチパラメータに基づいて有声音励振を生成するように構成される有声音励振生成部と、無声音励振を生成するように構成される無声音励振生成部と、前記情報を前記無声音励振に埋め込むように構成される情報埋込部と、前記有声音励振及び前記情報を埋め込まれた前記無声音励振を結合して励振源にするように構成される結合部と、を含む。
【００１８】
好ましくは、情報を備えた音声を合成する装置においては、前記音声合成部は、前記スペクトルパラメータに基づいて合成フィルタを構築するように構成されるフィルタ構築部を含み、前記音声合成部は、前記合成フィルタを使用して、前記情報を埋め込まれた前記音声パラメータを、前記情報を備えた前記音声に合成するように構成される。
【００１９】
好ましくは、情報を備えた音声を合成する装置は、前記情報を備えた前記音声が前記音声合成部によって合成された後に前記情報を検出するように構成される検出部をさらに含む。
【００２０】
好ましくは、情報を備えた音声を合成する装置においては、前記検出部は、前記スペクトルパラメータに基づいて逆フィルタを構築するように構成される逆フィルタ構築部と、前記逆フィルタを使用して、前記情報を備えた前記音声から前記情報を備えた前記励振源を分離するように構成される分離部と、前記情報を備えた前記励振源と前記情報埋込部によって前記情報が前記励振源へ埋め込まれるときに使用される疑似ランダムシーケンスとの間の相関関数を復号することにより、前記情報を得るように構成される復号部とを含む。
【００２１】
さらに、好ましくは、情報を備えた音声を合成する装置においては、前記検出部は、前記スペクトルパラメータに基づいて逆フィルタを構築するように構成される逆フィルタ構築部と、前記逆フィルタを使用して、前記情報を備えた前記音声から前記情報を備えた前記励振源を分離するように構成される第１分離部と、前記情報を備えた前記励振源から前記情報を備えた前記無声音励振を分離するように構成される第２分離部と、前記情報を備えた前記無声音励振と前記情報が前記無声音励振へ埋め込まれるときに使用される疑似ランダムシーケンスとの間の相関関数を復号することにより、前記情報を得るように構成される復号部とを含む。
【００２２】
音声合成プロセス中に情報を埋め込む方法及び装置により、情報が、パラメータに基づく音声合成システムにおいて巧みに適切に埋め込まれることができ、低複雑性や安全等といった多くの利点とともに高品質の音声が実現されることができる。さらに、音声が合成された後に情報を埋め込む一般的な方法と比較して、本発明の方法及び装置は、情報埋込アルゴリズムの機密性を確保することができ、特に省スペース用途向けに、計算コスト及びストレージ要求を低減することができる。さらに、情報埋込モジュールをシステムから離しておくのは多くの労力を必要とするので、情報埋込モジュールを音声合成システムへ統合することはより無難である。さらに、情報が無声音励振に付加されるだけの場合、人間の聴力ではほとんど知覚することができない。
【図面の簡単な説明】
【００２３】
図面とともに解釈される本発明の実施形態についての以下の詳細な説明により、上述した特徴、利点及び目的がより一層理解されるだろう。
【図１】図１は、本発明の一実施形態に係る情報を備えた音声を合成する方法を示すフローチャートである。
【図２】図２は、本実施形態発明に係る情報を音声パラメータに埋め込む一例を示す。
【図３】図３は、本実施形態発明に係る情報を音声パラメータに埋め込む他の例を示す。
【図４】図４は、本発明の他の実施形態に係る情報を備えた音声を合成する装置を示すブロック図である。
【図５】図５は、他の実施形態発明に係る情報を音声パラメータに埋め込むように構成される埋込部の一例を示す。
【図６】図６は、他の実施形態発明に係る情報を音声パラメータに埋め込むように構成される埋込部の他の例を示す。
【発明を実施するための形態】
【００２４】
以下、本発明の好ましい実施形態を図面とともに詳細に説明する。
【００２５】
情報を備えた音声を合成する方法
図１は、本発明の一実施形態に係る情報を備えた音声を合成する方法を示すフローチャートである。次に、本実施形態を図面とともに説明する。
【００２６】
図１に示されるように、初めに、ステップ１０１では、テキスト文が入力される。本実施形態では、入力されるテキスト文は、当業者に知られているいかなるテキスト文であってもよく、中国語、英語、日本語等のように、いかなる言語のテキスト文であってもよく、本発明は、これに関して何らの制限もない。
【００２７】
次に、ステップ１０５では、入力されたテキスト文が、この入力されたテキスト文から言語情報を抽出するために、テキスト解析法を使用して解析される。本実施形態では、言語情報は、文脈情報を含み、具体的には、テキスト文の長さ、文字、ピンイン（pinyin）、音素タイプ、声調（tone）タイプ、品詞、相対位置、前後の文字（単語）との境界タイプ、並びに、テキスト文内の各文字（単語）の前の読点（pause）からの距離及び次の読点までの距離等を含む。さらに、本実施形態では、入力されたテキスト文から言語情報を抽出するテキスト解析法は、当業者に知られているいかなる方法であってもよく、本発明は、これに関して何らの制限もない。
【００２８】
次に、ステップ１１０では、音声パラメータが、ステップ１０５で抽出された言語情報及び予めトレーニングされた（pre-trained）統計パラメータモデル１０を使用して生成される。
【００２９】
本実施形態では、統計パラメータモデル１０は、トレーニングデータを使用して予めトレーニングされる。統計パラメータモデルをトレーニングする方法を以下に簡単に説明する。初めに、音声データベースが、例えばプロのブロードキャスター等のような１以上の話者からトレーニングデータとして記録される。音声データベースは、複数のテキスト文、及びこれらテキスト文のそれぞれに対応する複数の音声を含む。次に、音声データベースのテキスト文が、言語情報、即ち、文脈情報を抽出するために解析される。その一方で、テキスト文に対応する音声が、音声パラメータを得るために分析される。ここで、音声パラメータは、ピッチパラメータ及びスペクトルパラメータを含む。ピッチパラメータは、声帯の共振の基本周波数、即ち、ピッチ周期の逆数を表し、それは、有声音が発せられる際の声帯の振動に起因する周期性を示す。スペクトルパラメータは、空気流が通過することで音声が発生する音声生成システム（vocal system）における振幅及び周波数の応答特性を表し、それは、音声信号の短時間分析により得られる。非周期性分析は、後の合成においてより正確な励振源を生成するために、音声信号の非周期的な成分を抽出する。次に、音声パラメータは、統計的な手法を使用することによって、統計パラメータモデルとして、文脈情報によりクラスタリングされる（clustered）。統計パラメータモデルは、文脈情報に関連するパラメータの、モデル単位（１単位は音素、音節、等）に対する記述の一式を含み、それは、ＨＭＭ（隠れマルコフモデル；Hidden Markov Model）のガウス分布又は他の数学的形式のように、パラメータの表現で記述される。一般に、統計パラメータモデルは、ピッチ、スペクトル、継続期間（duration）等に関する情報を含む。
【００３０】
本実施形態では、非特許文献１に記載されているトレーニング方法のように、当業者に知られているいかなるトレーニング方法が、統計パラメータモデルをトレーニングするために使用されてもよく、本発明は、これに関して何らの制限もない。さらに、本実施形態では、トレーニングされた統計パラメータモデルは、ＨＭＭモデル等のように、パラメータに基づく音声合成システムにおいて使用されるいかなるモデルであってもよく、本発明は、これに関して何らの制限もない。
【００３１】
本実施形態では、ステップ１１０において、音声パラメータが、ステップ１０５で抽出された言語情報及び統計パラメータモデルに基づいてパラメータを生成するアルゴリズムを使用することによって生成される。本実施形態では、パラメータ生成アルゴリズムは、非特許文献３（“Speech Parameter Generation Algorithm for HMM-based Speech Synthesis”, Keiichi Tokuda, etc. ICASSP2000、この全ては参照としてここに組み込まれる。）に記載されているような、当業者に知られているいかなるパラメータ生成アルゴリズムであってもよく、本発明は、これに関して何らの制限もない。さらに、本実施形態では、ステップ１１０で生成された音声パラメータは、ピッチパラメータ及びスペクトルパラメータを含む。
【００３２】
次に、ステップ１１５では、事前に設定された情報（preset information）が、ステップ１１０で生成された音声パラメータへ埋め込まれる。本実施形態では、埋め込まれる情報は、著作権情報又はテキスト情報等のように、音声へ埋め込まれる必要があるいかなる情報であってもよく、本発明は、これに関して何らの制限もない。さらに、著作権情報は、例えば、電子透かしを含み、本発明は、これに関して何らの制限もない。
【００３３】
次に、本発明の音声パラメータに情報を埋め込む方法を図２及び図３とともに詳細に説明する。
【００３４】
図２は、本実施形態発明に係る音声パラメータに情報を埋め込む例を示している。図２に示されるように、初めに、ステップ１１５１では、有声音励振（voiced excitation）が、ステップ１１０で生成された音声パラメータのピッチパラメータに基づいて生成される。具体的には、ピッチパルスシーケンスが、パルスシーケンス生成器によって、ピッチパラメータを用いて有声音励振として生成される。さらに、ステップ１１５２では、無声音励振（unvoiced excitation）が生成される。具体的には、疑似ランダム雑音が、疑似ランダム雑音数生成器（pseudo random noise number generator）によって無声音励振として生成される。本実施形態では、有声音励振及び無声音励振を生成する手順に関して何らの制限もないことを理解されたい。
【００３５】
次に、ステップ１１５４では、時間系列の中で、Ｕ／Ｖ（無声音／有声音）判定がされながら、有声音励振と無声音励振が結合されて励振源（excitation source）となる。概して、励振源は、時間系列の中で、有声音部分及び無声音部分からなる。Ｕ／Ｖ判定は、基本周波数があるかどうかに基づいて判定される。有声音部分の励振は、概して、基本周波数パルスシーケンス、又は非周期的な成分（例えば、雑音）と周期的な成分（例えば、周期パルスシーケンス）とを混合した励振により表され、無声音部分の励振は、概して、白色雑音シミュレーションによって生成される。
【００３６】
本実施形態では、無声音励振及び有声音励振を生成する方法、及びそれらを結合する方法を制限することはなく、詳細な説明は、非特許文献４（“Mixed Excitation for HMM-base Speech Synthesis”, T. Yoshimura, etc. in Eurospeech 2001、この全ては参照されてここに組み込まれる。）を参照されたい。
【００３７】
次に、ステップ１１５５では、事前に設定された情報３０が、ステップ１１５４で結合された励振源へ埋め込まれる。本実施形態では、情報３０は、例えば著作権情報又はテキスト情報等である。埋め込む前に、情報は、２値符号化シーケンスｍ＝｛−１、＋１｝として最初に符号化される。その後、疑似ランダム雑音ＰＲＮ（pseudo random noise）が、疑似乱数生成器によって生成される。その後、疑似ランダム雑音ＰＲＮには、情報３０を、あるシーケンスｄとして転送するために、２値符号化シーケンスｍを乗じられる。埋め込みプロセスでは、励振源は、情報を埋め込むためのホスト信号Ｓとして使用され、情報３０を備えた励振源Ｓ’は、シーケンスｄをホスト信号Ｓに加えることにより生成される。具体的には、それは、下記式（１）及び（２）によって表すことができる。  
S' = S + d           （1）
d = m * PRN          （2）
【００３８】
情報３０を埋め込む方法は本発明の音声パラメータに情報を埋め込む例に限らず、当業者に知られているいかなる埋め込み方法が本実施形態で使用されてもよく、本発明がこれに関して何らの制限もないことを理解されたい。
【００３９】
図２に関連する埋め込み方法では、必要な情報は、結合された励振源へ埋め込まれる。次に、図３を参照して他の例を説明し、ここでは、必要な情報は、結合前に無声音励振へ埋め込まれる。
【００４０】
図３は、本実施形態発明に係る音声パラメータに情報を埋め込む他の例を示す。図３に示されるように、初めに、ステップ１１５１では、有声音励振が、ステップ１１０で生成された音声パラメータのピッチパラメータに基づいて生成され、ステップ１１５２では、無声音励振が生成され、これらは、図２を参照して説明した例と同じであり、詳細な説明を省略する。
【００４１】
次に、ステップ１１５３では、事前に設定された情報３０が、ステップ１１５２で生成された無声音励振へ埋め込まれる。本実施形態では、無声音励振に情報３０を埋め込む方法は、励振源に情報３０を埋め込む方法で同じであり、埋め込む前に、まず、情報３０は、２値符号シーケンスｍ＝｛−１、＋１｝として符号化される。その後、疑似ランダム雑音ＰＲＮが、疑似乱数生成器によって生成される。その後、疑似ランダム雑音ＰＲＮは、情報３０をシーケンスｄとして転送するために、２値符号化シーケンスｍを乗じられる。埋め込みプロセスでは、無声音励振は、情報を埋め込むためにホスト信号Ｕとして使用され、情報３０を備えた無声音励振Ｕ’は、シーケンスｄをホスト信号Ｕに加えることにより生成される。具体的には、それは、下記式（３）及び（４）によって表すことができる。  
U' = U + d           （3）
d = m * PRN          （4）
【００４２】
次に、ステップ１１５４では、有声音励振と、情報３０を備えた無声音励振が、時間系列の中でＵ／Ｖ判定をされながら、結合されて励振源になる。
【００４３】
図１に戻ると、図２及び図３を参照して説明した方法を使用して情報が音声パラメータへ埋め込まれた後に、ステップ１２０では、情報３０を備えた音声パラメータが、情報を備えた音声へと合成される。
【００４４】
本実施形態では、ステップ１２０において、まず、合成フィルタが、ステップ１１０で生成された音声パラメータのスペクトルパラメータに基づいて構築され、次に、情報を埋め込まれた励振源が、合成フィルタを使用することにより情報を備えた音声へと合成され、即ち、情報を備えた音声は、励振源を合成フィルタに通すことにより得られる。本実施形態では、合成フィルタを構築する方法、及び合成フィルタを使用して音声を合成する方法に関して何らの制限もなく、非特許文献１に記載されているような当業者に知られているいかなる方法を使用してもよい。
【００４５】
さらに、本実施形態では、合成音声内の情報は、情報を備えた音声が合成された後に検出することができる。
【００４６】
具体的には、図２を参照して説明した方法を使用して情報が励振源へ埋め込まれる場合は、この情報は、下記の方法を使用することにより検出することができる。
【００４７】
初めに、逆フィルタが、ステップ１１０で生成された音声パラメータのスペクトルパラメータに基づいて構築される。逆フィルタを構築する方法は、合成フィルタを構築する方法とは正反対であり、逆フィルタの目的は、音声から励振源を分離することにある。当業者に知られているいかなる方法が逆フィルタを構築するために使用されてもよい。
【００４８】
次に、情報を備えた励振源は、逆フィルタを使用することにより情報を備えた音声から分離される。即ち、ステップ１２０で合成される前の情報３０を備えた励振源Ｓ’は、情報を備えた音声を逆フィルタに通すことにより得ることができる。
【００４９】
次に、２値符号化シーケンスｍは、下記式（５）によって、情報３０を備えた励振源Ｓ’と、情報３０が励振源Ｓへ埋め込まれるときに使用された疑似ランダムシーケンスＰＲＮとの間の相関関数を計算することにより得られる。
【数１】
0005422754.tif 000002
【００５０】
最後に、情報３０は、２値符号化シーケンスｍを復号することにより得られる。ここで、情報３０が励振源Ｓへ埋め込まれるときに使用される疑似ランダムシーケンスＰＲＮは、情報３０を検出するための秘密鍵である。
【００５１】
さらに、図３を参照して説明した方法によって情報が無声音励振へ埋め込まれる場合は、その情報は、下記の方法を使用することにより検出することができる。
【００５２】
初めに、逆フィルタは、ステップ１１０で生成された音声パラメータのスペクトルパラメータに基づいて構築される。逆フィルタを構築する方法は、合成フィルタを構築する方法とは正反対であり、逆フィルタの目的は、音声から励振源を分離することにある。当業者に知られているいかなる方法が逆フィルタを構築するために使用されてもよい。
【００５３】
次に、情報を備えた励振源は、逆フィルタを使用することにより情報を備えた音声から分離され、即ち、ステップ１２０で合成される前の情報３０を備えた励振源Ｓ’は、情報を備えた音声を逆フィルタに通すことにより取得されることができる。
【００５４】
次に、情報３０を備えた無声音励振Ｕ’が、Ｕ／Ｖ判定によって情報３０を備えた励振源Ｓ’から分離される。ここで、Ｕ／Ｖ判定は、上述したものと同様であり、その詳細な説明を省略する。
【００５５】
次に、２値符号化シーケンスｍは、下記式（６）によって、情報３０を備えた無声音励振Ｕ’と、情報３０が無声音励振Ｕへ埋め込まれるときに使用された疑似ランダムシーケンスＰＲＮとの間の相関関数を計算することにより得られる。
【数２】
0005422754.tif 000003
【００５６】
最後に、情報３０は、２値符号化シーケンスｍを復号することにより得られる。ここで、情報３０が無声音励振Ｕへ埋め込まれるときに使用される疑似ランダムシーケンスＰＲＮは、情報３０を検出するための秘密鍵である。
【００５７】
本実施形態の情報を備えた音声を合成する方法によって、パラメータベースの音声合成システムにおいては必要な情報を巧みに適切に埋め込むことができ、複雑性の低さや安全性等のような多くの利点を持つとともに、高品質の音声を実現することができる。さらに、音声が合成された後に情報を埋め込む一般的な方法と比較すると、本実施形態の方法は、情報埋込アルゴリズムの機密性を確保することができ、特に省スペース用途向けに、計算コスト及びストレージ要求を大幅に低減することができる。さらに、情報埋込モジュールを音声合成システムから離しておくことは多くの労力を必要とするので、情報埋め込みモジュールを音声合成システムに統合することはより無難である。さらに、情報が無声音励振に付加されるだけの場合、人間の聴力ではほとんど知覚することができない。
【００５８】
情報を備えた音声を合成する装置
本発明の同じ概念に基づいて、図４は、本発明の他の実施形態に係る情報を備えた音声を合成する装置を示すブロック図である。この実施形態の説明は、上述した実施形態と同じ内容を適切に省略しながら、図４とともに以下に与えられる。
【００５９】
図４に示されるように、本実施形態に係る情報を備えた音声を合成する装置４００は、テキスト文を入力するように構成される入力部ト４０１と、言語情報を抽出するために、入力ユニット４０１によって入力されたテキスト文を解析するように構成されるテキスト解析部４０５と、テキスト解析ユニット４０５によって抽出された言語情報及び予めトレーニングされた統計パラメータモデルを使用することによって音声パラメータを生成するように構成されるパラメータ生成部４１０と、事前に設定された情報３０を音声パラメータに埋め込むように構成される埋込部４１５と、埋込部４１５によって埋め込まれた前記情報を備えた前記音声パラメータを、前記情報３０を備えた音声に合成するように構成される音声合成部４２０と、を備える。
【００６０】
本実施形態では、入力部４０１によって入力されるテキスト文は、当業者に知られているいかなるテキスト文であってもよく、中国語、英語、日本語等のように、いかなる言語のテキスト文であってもよく、本発明は、これに関して何らの制限もない。
【００６１】
入力されたテキスト文は、入力されたテキスト文から言語情報を抽出するために、テキスト解析部４０５によって解析される。本実施形態では、言語情報は、文脈情報を含み、具体的には、テキスト文の長さ、文字、ピンイン、音素タイプ、声調タイプ、品詞、相対位置、前後の文字（単語）との境界タイプ、並びに、テキスト文内の各文字（単語）の前の読点からの距離及び次の読点までの距離等を含む。さらに、本実施形態では、入力されたテキスト文から言語情報を抽出するテキスト解析法は、当業者に知られているいかなる方法であってもよく、本発明は、これに関して何らの制限もない。
【００６２】
音声パラメータは、テキスト解析部４０５よって抽出された言語情報及び予めトレーニングされた統計パラメータモデル１０に基づいて、パラメータ生成部４１０によって生成される。
【００６３】
本実施形態では、統計パラメータモデル１０は、トレーニングデータを使用して予めトレーニングされる。統計パラメータモデルをトレーニングする方法を以下に簡単に説明する。初めに、音声データベースが、例えばプロのブロードキャスター等のような１以上の話者からトレーニングデータとして記録される。音声データベースは、複数のテキスト文、及びこれらテキスト文のそれぞれに対応する複数の音声を含む。次に、音声データベースのテキスト文が、言語情報、即ち、文脈情報を抽出するために解析される。その一方で、テキスト文に対応する音声が、音声パラメータを得るために分析される。ここで、音声パラメータは、ピッチパラメータ及びスペクトルパラメータを含む。ピッチパラメータは、声帯の共振の基本周波数、即ち、ピッチ周期の逆数を表し、それは、有声音が発せられる際の声帯の振動に起因する周期性を示す。スペクトルパラメータは、空気流が通過することで音声が発生する音声生成システムにおける振幅及び周波数の応答特性を表し、それは、音声信号の短時間分析により得られる。非周期性分析は、後の合成においてより正確な励振源を生成するために、音声信号の非周期的な成分を抽出する。次に、音声パラメータは、統計的な手法を使用することによって、統計パラメータモデルとして、文脈情報によりクラスタリングされる。統計パラメータモデルは、文脈情報に関連するパラメータのモデル単位（１単位は音素、音節、等）に対する記述の一式を含み、それは、ＨＭＭ（隠れマルコフモデル）のガウス分布又は他の数学的形態のように、パラメータの表現で記述される。概して、統計パラメータモデルは、ピッチ、スペクトル、継続期間等に関する情報を含む。
【００６４】
本実施形態では、非特許文献１に記載されているトレーニング方法のように、当業者に知られているいかなるトレーニング方法が、統計パラメータモデルをトレーニングするために使用されてもよく、本発明は、これに関して何らの制限もない。さらに、本実施形態では、トレーニングされた統計パラメータモデルは、ＨＭＭモデル等のように、パラメータに基づく音声合成システムで使用されるいかなるモデルであってもよく、本発明は、これに関して何らの制限もない。
【００６５】
本実施形態では、音声パラメータは、テキスト解析部４０５によって抽出された言語情報及び統計パラメータモデルに基づいて、パラメータを生成するアルゴリズムを使用することにより、パラメータ生成部４１０によって生成される。本実施形態では、パラメータ生成アルゴリズムは、非特許文献３（“Speech Parameter Generation Algorithm for HMM-based Speech Synthesis”, Keiichi Tokuda, etc. ICASSP2000、この全ては参照としてここに組み込まれる。）に記載されているような、当業者に知られているいかなるパラメータ生成アルゴリズムであってもよく、本発明は、これに関して何らの制限もない。さらに、本実施形態では、パラメータ生成部４１０によって生成された音声パラメータは、ピッチパラメータ及びスペクトルパラメータを含む。
【００６６】
事前に設定された情報が、埋込部４１５によって、パラメータ生成部４１０により生成された音声パラメータへ埋め込まれる。本実施形態では、埋め込まれる情報は、著作権情報又はテキスト情報等のように、音声へ埋め込まれる必要があるいかなる情報であってもよく、本発明は、これに関して何らの制限もない。さらに、著作権情報は、例えば、電子透かしを含み、本発明は、これに関して何らの制限もない。
【００６７】
次に、本発明の音声パラメータに情報を埋め込む埋込部４１５を、図５及び図６とともに詳細に説明する。
【００６８】
図５は、他の実施形態発明に係る、音声パラメータに情報を埋め込むように構成される埋込部４１５の一例を示す。図５に示されるように、埋込部４１５は、ピッチパラメータに基づいて有声音励振を生成するように構成される有声音励振生成部４１５１と、無声音励振を生成するように構成される無声音励振生成部４１５２と、有声音励振及び無声音励振を結合して励振源にするように構成される結合部４１５４と、励振源に情報を埋め込むように構成される情報埋込部４１５５と、を備える。
【００６９】
具体的には、ピッチパルスシーケンスは、ピッチパラメータをパルスシーケンス生成器に通すことにより、有声音励振生成部４１５１によって有声音励振として生成される。さらに、無声音励振生成部４１５２は、疑似ランダム雑音数生成器を含む。疑似ランダム雑音は、疑似ランダム雑音数生成器によって無声音励振として生成される。
【００７０】
有声音励振及び無声音励振は、結合部４１５４によって、時間系列の中でＵ／Ｖ（無声音／有声音）判定がされながら、結合されて励振源となる。概して、励振源は、時間系列の中で、有声音部分及び無声音部分からなる。Ｕ／Ｖ判定は、基本周波数があるかどうかに基づいて判定される。有声音部分の励振は、概して、基本周波数パルスシーケンス、又は非周期的な成分（例えば、雑音）と周期的な成分（例えば、周期パルスシーケンス）とを混合した励振により表され、無声音部分の励振は、概して、白色雑音シミュレーションによって生成される。
【００７１】
本実施形態では、有声音励振生成部４１５１、無声音励振生成部４１５２、並びに有声音励振及び無声音励振を結合する結合部４１５４に関して何らの制限もなく、詳細な説明は、非特許文献４（“Mixed Excitation for HMM-base Speech Synthesis”, T. Yoshimura, etc. in Eurospeech 2001、この全ては参照されてここに組み込まれる。）を参照されたい。
【００７２】
事前に設定された情報３０は、結合部４１５４によって結合された励振源へ、情報埋込部４１５５によって埋め込まれる。本実施形態では、情報３０は、例えば著作権情報又はテキスト情報等である。埋め込む前に、情報は、２値符号化シーケンスｍ＝｛−１、＋１｝として最初に符号化される。その後、疑似ランダム雑音ＰＲＮが、疑似乱数生成器によって生成される。その後、疑似ランダム雑音ＰＲＮには、情報３０をシーケンスｄとして転送するために、２値符号化シーケンスｍを乗じられる。埋め込みプロセスでは、励振源は、情報を埋め込むためのホスト信号Ｓとして使用され、情報３０を備えた励振源Ｓ’は、シーケンスｄをホスト信号Ｓに加えることにより生成される。具体的には、それは、上記式（１）及び（２）によって得ることができる。
【００７３】
情報の埋込部４１５５による情報３０を埋め込む方法は本発明の音声パラメータに情報を埋め込む例に限らず、当業者に知られているいかなる埋め込み方法が本実施形態で使用されてもよく、本発明がこれに関して何らの制限もないことを理解されたい。
【００７４】
図５に関連する埋込部においては、必要な情報は、結合された励振源へ埋め込まれる。次に、図６を参照して本発明の埋込部４１５の他の例を説明し、ここにおいて、必要な情報は、結合前に無声音励振へ埋め込まれる。
【００７５】
図６は、他の実施形態発明に係る音声パラメータに情報を埋め込むように構成される埋込部４１５の他の例を示す。図６に示されるように、埋込部４１５は、ピッチパラメータに基づいて有声音励振を生成するように構成される有声音励振生成部４１５１と、無声音励振を生成するように構成される無声音励振生成部４１５２と、無声音励振に情報を埋め込むように構成される情報埋込部４１５３と、有声音励振及び情報を埋め込まれた無声音励振を結合して励振源にするように構成される結合部４１５４と、を備える。
【００７６】
本実施形態では、有声音励振生成部４１５１及び無声音励振生成部４１５２は、図５に関連して説明した例の有声音励振生成部及び無声音励振生成部で同じであり、同じ参照番号を付与してその詳細な説明を省略する。
【００７７】
事前に設定された情報３０は、情報埋込部４１５３によって、無声音励振生成部４１５２により生成された無声音励振へ埋め込まれる。本実施形態では、無声音励振に情報３０を埋め込む方法は、情報埋込部４１５５による励振源に情報３０を埋め込む方法で同じであり、埋め込む前に、まず、情報３０は、２値符号シーケンスｍ＝｛−１、＋１｝として符号化される。その後、疑似ランダム雑音ＰＲＮが、疑似乱数生成器によって生成される。その後、疑似ランダム雑音ＰＲＮは、情報３０をシーケンスｄとして転送するために、２値符号化シーケンスｍを乗じられる。埋め込みプロセスでは、無声音励振は、情報を埋め込むためにホスト信号Ｕとして使用され、情報３０を備えた無声音励振Ｕ’は、シーケンスｄをホスト信号Ｕに加えることにより生成される。具体的には、それは、上記式（３）及び（４）によって得ることができる。
【００７８】
本実施形態では、結合部４１５４は、図５を参照して説明した例の埋め込み部と同じであり、同じ参照番号を付与してその詳細な説明を省略する。
【００７９】
図４に戻ると、本実施形態では、音声合成部４２０は、パラメータ生成部４１０によって生成された音声パラメータのスペクトルパラメータに基づいて合成フィルタを構築するように構成されるフィルタ構築部を備え、情報を埋め込まれた励振源は、音声合成部４２０によって、合成フィルタの使用により情報を備えた音声へと合成され、即ち、情報を備えた音声は、励振源を合成フィルタに通すことにより得られる。本実施形態では、フィルタ構築部及び合成フィルタの使用により音声を合成する方法に関して何らの制限もなく、非特許文献１に記載されているような当業者に知られているいかなる方法を使用してもよい。
【００８０】
さらに、随意的に、情報を備えた音声を合成する装置４００は、音声合成部４２０によって合成された音声内の情報を検出するように構成される検出部をさらに含んでもよい。
【００８１】
具体的には、図５を参照して説明した埋込部によって情報が励振源へ埋め込まれる場合は、検出部は、パラメータ生成部４１０によって生成された音声パラメータのスペクトルパラメータに基づいて、逆フィルタを構築するように構成される逆フィルタ構築部を含む。逆フィルタ構築部は、フィルタ構築部と類似しており、逆フィルタ構築部によって逆フィルタを構築する目的は、音声から励振源を分離することにある。当業者に知られているいかなる方法が逆フィルタを構築するために使用されてもよい。
【００８２】
検出部は、逆フィルタを使用して、情報を備えた音声から情報を備えた励振源を分離するように構成され、即ち、情報を備えた音声を逆フィルタに通すことにより情報３０を備えた励振源Ｓ’を得るように構成される分離部をさらに備えてもよい。
【００８３】
検出部は、上記式（５）によって、情報３０を備えた励振源Ｓ’と情報３０が励振源Ｓへ埋め込まれるときに使用された疑似ランダムシーケンスＰＲＮとの間の相関関数を計算することにより、２値符号化シーケンスｍを得て、２値符号化シーケンスｍを復号することにより情報３０を得るように構成される復号部をさらに備えてもよい。ここで、情報埋込部４１５５によって情報３０が励振源Ｓへ埋め込まれるときに使用される疑似ランダムシーケンスＰＲＮは、検出部が情報３０を検出するための秘密鍵である。
【００８４】
さらに、図６を参照して説明した埋込部によって情報が無声音励振へ埋め込まれる場合は、検出部は、パラメータ生成部４１０によって生成された音声パラメータのスペクトルパラメータに基づいて逆フィルタを構築するように構成される逆フィルタ構築部を含む。逆フィルタ構築部は、フィルタ構築部と類似しており、逆フィルタ構築部によって逆フィルタを構築する目的は、音声から励振源を分離することにある。当業者に知られているいかなる方法が逆フィルタを構築するために使用されてもよい。
【００８５】
検出部は、逆フィルタを使用して、情報を備えた音声から情報を備えた励振源を分離するように構成され、即ち、情報を備えた音声を逆フィルタに通すことにより情報３０を備えた励振源Ｓ’を得るように構成される第１分離部をさらに備えてもよい。
【００８６】
検出部は、Ｕ／Ｖ判定によって情報３０を備えた励振源Ｓ’から情報３０を備えた無声音励振Ｕ’を分離するように構成される第２分離部をさらに備えてもよい。ここで、Ｕ／Ｖ判定は、上述したものと同様であり、その詳細な説明を省略する。
【００８７】
検出部は、上記式（６）によって、情報３０を備えた励振源Ｓ’と情報３０が励振源Ｓへ埋め込まれるときに使用された疑似ランダムシーケンスＰＲＮとの間の相関関数を計算することにより、２値符号化シーケンスｍを得て、２値符号化シーケンスｍを復号することにより情報３０を得るように構成される復号部をさらに備えてもよい。ここで、情報埋込部４１５３によって情報３０が無声音励振Ｕへ埋め込まれるときに使用される疑似ランダムシーケンスＰＲＮは、検出部が情報３０を検出するための秘密鍵である。
【００８８】
本実施形態の情報を備えた音声を合成する装置４００によって、パラメータベースの音声合成システムにおいては必要な情報を巧みに適切に埋め込むことができ、複雑性の低さや安全性等のような多くの利点を持つとともに、高品質の音声を実現することができる。さらに、音声が合成された後に情報を埋め込む一般的な方法と比較すると、本実施形態の装置４００は、情報埋め込みアルゴリズムの機密性を確保することができ、特に省スペース用途向けに、計算コスト及びストレージ要求を大幅に低減することができる。さらに、情報埋め込みモジュールを音声合成システムから離しておくことは多くの労力を必要とするので、情報埋め込みモジュールを音声合成システムに統合することはより無難である。さらに、情報が無声音励振に付加されるだけの場合、人間の聴力ではほとんど知覚することができない。
【００８９】
情報を備えた音声を合成する方法及び装置を複数の典型的な実施形態を用いて詳細に説明したが、これらの上述した実施形態は網羅的ではない。当業者は、本発明の精神及び範囲内で種々の変更及び変形を行ってもよい。従って、本発明はこれらの実施形態に限定されるものではなく、むしろ、本発明の範囲は、添付の特許請求の範囲のみによって規定される。
【００９０】
具体的には、本発明は、著作権を保護する統計的パラメトリック音声合成アルゴリズムを採用するあらゆる商用ＴＴＳ製品に使用することができる。特にＴＶ、カーナビゲーション、携帯電話機、表現ボイスシミュレーションロボット（expressive voice simulation robot）等における内蔵型の音声インタフェース用途に関して、実施するのは容易である。さらに、それは、ウェブアプリケーションにおける音声テキスト等のように、有用な情報を音声に隠すことに使用することもできる。
【図１】
0005422754.tif 000004
【図２】
0005422754.tif 000005
【図３】
0005422754.tif 000006
【図４】
0005422754.tif 000007
【図５】
0005422754.tif 000008
【図６】
0005422754.tif 000009