(57)【要約】【課題】音声側の帯域を制限する必要がなく、聴感上の違和感が皆無である変調信号を重畳することができる音声合成装置を提供する。【解決手段】音源１３のうち、ノイズ音の音色を示す波形メモリ１３１Ｎは、ＰＮ符号のような自己相関性の高い疑似雑音符号列（疑似ノイズ音の波形）として波形が記憶されている。この波形メモリ１３１Ｎの疑似雑音符号列の極性を制御部１４が制御することで、データ通信を行うことができる。送信データ１４１のビットデータが「１」の場合、ＰＮ符号をそのままの極性で出力し、送信データ１４１のビットデータが「０」の場合、ＰＮ符号の極性を逆（逆位相）にして出力する。【選択図】図１
2010156740.tif 000002
【特許請求の範囲】
【請求項１】
入力パラメータに基づいて複数の見本信号から音声を合成する音声合成装置であって、
前記見本信号の一部を疑似雑音信号として記憶する記憶部を備えた音声合成装置。
【請求項２】
前記記憶部の疑似雑音信号の極性を制御する制御部を備えた請求項１に記載の音声合成装置。
【請求項３】
請求項１または請求項２に記載の音声合成装置が出力した音声を入力する復調装置を備え、
前記入力した音声と前記疑似雑音信号の相関を求める相関計算部と、
前記相関計算部が算出した相関値に基づいて復調処理を行う復調部と、
を備えた音声処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声を合成する音声合成装置、および当該音声合成装置を用いた音声処理システムに関する。
【背景技術】
【０００２】
従来、データ通信においては、ＯＦＤＭ等の変調方式が用いられている（特許文献１参照）。このような変調方式を用いて音声信号に変調信号を重畳し、データ通信を行うことも考えられるが、可聴域に近い帯域では変調信号のノイズ音が聞こえてしまうという問題がある。そこで、楽音信号等とミックスして音声を聞こえにくく（音声透かし）したり、ハイパスフィルタを通して非可聴域の帯域にのみ変調信号を重畳したりすることが考えられる。
【特許文献１】特開２０００−５９３２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、音声透かしでは必ずしもノイズ音を消すことができず、違和感が生じる場合もある。また、非可聴域に変調信号を重畳するためには、変調信号と通常の音声を切り分けるために音声側の帯域を制限する必要があり、音質の劣化が問題となる。
【０００４】
そこで、この発明は、音声側の帯域を制限する必要がなく、聴感上の違和感が皆無である変調信号を重畳することができる音声合成装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
この発明の音声合成装置は、入力パラメータに基づいて複数の見本信号から音声を合成する音声合成装置であって、前記見本信号の一部を疑似雑音信号として記憶する記憶部を備えたことを特徴とする。
【０００６】
見本信号としては、例えばＭＩＤＩ音源、音声圧縮系のデコーダの合成フィルタバンク、ＣＥＬＰデコーダのコードブック等が考えられる。例えば、ＭＩＤＩを例にとると、ＭＩＤＩ音源の一部には、必ずホワイトノイズのような音源が含まれている。本発明では、このノイズ音を示すＭＩＤＩ音源の一部を疑似雑音（ＰＮ符号）として記憶している。疑似雑音は、もともとＭＩＤＩ音源に含まれているノイズ音と聴感上全く等価とすることが可能である。よって本発明の音声合成装置は、帯域を制限する必要がなく、聴感上の違和感が皆無である変調信号を重畳することができる。
【０００７】
そして、制御部は、疑似雑音信号の極性を制御することで、種々のデータを送信することができる。復調側では、重畳されている疑似雑音信号と同じ疑似雑音信号で入力音声との相関値を求めることで、データを復調することができる。
【発明の効果】
【０００８】
この発明によれば、音声側の帯域を制限する必要がなく、聴感上の違和感が皆無である変調信号を重畳することができる。
【発明を実施するための最良の形態】
【０００９】
本発明の音声合成装置および音声処理システムに係る実施形態について説明する。図１（Ａ）は、本実施形態の音声合成装置として自動演奏装置を示し、図１（Ｂ）は、復調装置を示した図である。なお、本実施形態においては、Ａ／Ｄ変換器、Ｄ／Ａ変換器を省略し、特に記載がない場合、全てデジタル処理であるとして説明する。なお、図面における楕円表示は情報内容を示すものである。
【００１０】
自動演奏装置１は、ＭＩＤＩインタフェース（Ｉ／Ｆ）１１、シーケンサ１２、音源１３、制御部１４、および音声出力Ｉ／Ｆ１５を備えている。ＭＩＤＩインタフェース１１には、ＭＩＤＩパラメータ（ＭＩＤＩ規格に従ったデータ）が入力される。
【００１１】
シーケンサ１２は、ＭＩＤＩインタフェース１１から入力されたＭＩＤＩパラメータ（ノートオン、ノートオフ等）に従って、音源１３の波形メモリ１３１Ａ〜波形メモリ１３１Ｎに記憶されている波形を読み出し、音声を合成する。音源１３の波形メモリ１３１Ａ〜波形メモリ１３１Ｎは、本発明の見本信号に相当する。ＭＩＤＩパラメータには、音色を指定するデータ（プログラムチェンジ）が含まれており、その中にはノイズ音の音色（例えばハイハットシンバルの様な音色）を指定するデータも含まれている。
【００１２】
本実施形態の自動演奏装置１では、音源１３のうち、ノイズ音の音色を示す波形メモリ１３１ＮがＭ系列あるいはＧｏｌｄ系列のような自己相関性の高い疑似雑音符号列（疑似雑音信号の波形）として記憶されている。この波形メモリ１３１Ｎの疑似雑音符号列の極性を制御部１４が制御することで、データ通信を行うことができる。すなわち、送信データ１４１のビットデータが「１」の場合、ＰＮ符号をそのままの極性で出力し、送信データ１４１のビットデータが「０」の場合、ＰＮ符号の極性を逆（逆位相）にして出力する。受信側では、算出された相関値の位相を検出することにより、重畳されているビットデータの「１」、「０」を復調することができる。なお、極性が反対の波形メモリを２つ用意しておき、制御部１４がいずれかの波形メモリが読み出されるように制御してもよい。
【００１３】
シーケンサ１２によって合成された疑似雑音を含む音声信号は、出力Ｉ／Ｆ１５を介して出力され、アンプ等により増幅され音声として放音される。放音された音声は、マイク等により収音され、同図（Ｂ）の復調装置２に入力される。
【００１４】
同図（Ｂ）の復調装置２において、入力Ｉ／Ｆ２１から入力された音声信号は、整合フィルタ２２に入力される。整合フィルタ２２は、入力された音声信号と上記疑似雑音との相関を求める相関計算部である。整合フィルタ２２は、ＦＩＲフィルタにより実現され、フィルタ係数として、送信側の波形メモリ１３１Ｎに含まれている擬似雑音符号列が設定されている。ＰＮ符号は非常に高い自己相関性を有するため、整合フィルタ２２は、入力された音声にＰＮ符号が含まれている場合、相関値ピーク（所定レベル以上の相関値）を出力する。整合フィルタ２２は、位相が正転であれば正の相関値ピークを出力し、位相が反転していれば負の相関値ピークを出力する。
【００１５】
復調部２３では、整合フィルタ２２の出力値からデータ復調を行う。すなわち、復調部２３は、整合フィルタ２２から正の相関値ピークが入力された場合、ビットデータとして「１」を復調し、整合フィルタ２２から負の相関値ピークが入力された場合、ビットデータとして「０」を復調する。なお、疑似雑音の出力周期は予め決められており、復調部２３は、相関値ピークが入力された場合、その後、疑似雑音の出力周期の長さだけビット出力を続ける。例えば、疑似雑音の周期が１０２３サンプルであれば、正の相関値ピークが入力された場合、「１」を１０２３サンプル連続して出力する。
【００１６】
このようにして復調部２３で送信データ２３１が復調される。上記疑似雑音は、周波数特性上はホワイトノイズ等のノイズ音そのものであり、もともとＭＩＤＩ音源に含まれているノイズ音と聴感上全く等価とすることが可能である。よって、従来の音声透かしのような通常の音声（楽音信号）に変調信号を重畳したものとは異なり、楽音信号そのものが変調信号を含んでいるため、送信側で何ら帯域を制限する必要がなく、聴感上の違和感が皆無である変調信号を出力することができる。
【００１７】
また、合成装置および復調装置で閉ループが形成される場合、さらに下記のような情報を取出すこともできる。図２は、合成装置である自動演奏装置１、および復調装置２を内蔵した閉ループを形成する装置の例として、カラオケ装置１００の構成を示した図である。
【００１８】
カラオケ装置１００には、マイク１０１、スピーカ１０２が接続されている。自動演奏装置１のＭＩＤＩインタフェース１１には、カラオケ装置１００の記憶部（不図示）からカラオケ曲データデータ（ＭＩＤＩデータ）が入力される。このカラオケ曲データにより、自動演奏装置１にてカラオケ演奏音が生成される。生成されたカラオケ演奏音には、上記疑似雑音が含まれる。疑似雑音が含まれたカラオケ演奏音は、信号処理装置７に入力され、イコライジング、増幅等の信号処理がされ、スピーカ１０２から放音される。
【００１９】
スピーカ１０２から放音されたカラオケ演奏音は、歌唱音とともにマイク１０１で収音される。マイク１０１から入力された音声は、復調装置２および信号処理装置７に入力される。このようにして、閉ループが形成される。
【００２０】
図２の例において、復調装置２の復調部２３は、帰還したカラオケ演奏音に含まれる疑似雑音から、閉ループの遅延量２３２、およびループゲイン２３３を取出す（推定する）処理を行う。
【００２１】
以下、復調部２３における遅延量２３２およびループゲイン２３３の推定処理について説明する。図３は、相関の時間軸特性を模式的に表した図である。
【００２２】
復調部２３は、自動演奏装置１が疑似雑音を出力したタイミングから最初に相関値ピークが入力された場合、当該最初に算出した時間帯における相関値をカラオケ演奏音の帰還成分のうち、直接波の成分とみなし、直接波のピーク成分を求める。なお、この場合、復調部２３には、自動演奏装置１から疑似雑音を出力したタイミングを示す情報（例えばノートオンメッセージ）が入力されるものとする。
【００２３】
復調部２３は、相関値ピークが入力された場合、その後所定時間帯ｔ１の相関値をメモリ（不図示）に一時記憶し、所定時間帯ｔ１の中で最も高レベルの相関値を抽出し、ピーク値ａ０とする。なお、所定レベルは、定常ノイズのレベルに応じて設定する。ピーク値を抽出する所定時間帯ｔ１は、相関値算出の精度（疑似雑音符号の符号長等）等に応じて設定する。
【００２４】
復調部２３は、自動演奏装置１が疑似雑音を出力したタイミングから直接波のピーク値ａ０を算出するタイミングとの時間差を閉ループの遅延量２３２として推定する。閉ループの遅延量２３２は、スピーカからマイクまでの距離に相当する。
【００２５】
そして、復調部２３は、最初に相関値ピークを入力してから上記所定時間帯ｔ１が経過した後に再び相関値ピークが入力された場合、当該相関値を反射波とみなし、反射波のピーク成分を求める。なお、この場合、自動演奏装置１の疑似雑音の出力周期は、室内の残響時間よりも十分に長いものとする。
【００２６】
復調部２３は、上記と同様、相関値ピークを入力した場合、その後所定時間帯ｔ１の相関値をメモリに一時記憶し、最も高レベルの相関値を抽出し、ピーク値ａ１とする。以下、同様にして反射波のピーク値（ａ１，ａ２，・・・）を所定時間長ｔ２だけ抽出する。
【００２７】
そして、復調部２３は、抽出した直接波および反射波のピーク値の絶対値（｜ａ１｜，｜ａ２｜，・・・）を求め、各絶対値の総和からループゲイン２３３を推定する。
【００２８】
復調装置２は、このループゲイン２３３が所定のしきい値に近づいた場合、ハウリング発生の可能性が高いとして、信号処理装置７のゲインを抑制するよう指示する。また、復調装置２は、ループゲイン２３３がしきい値に近づいた場合に警告（カラオケ装置のＬＥＤを点灯させる、カラオケ用ディスプレイに警告を表示する等）を行ってもよい。なお、ゲイン抑制の処理および警告の処理は、いずれか一方のみ行ってもよく、音声信号のゲインを抑制しつつ、さらに警告を行うようにしてもよい。また、最初に警告を行い、その後ゲイン抑制処理を行う、という態様であってもよい。
【００２９】
なお、上記しきい値は、どのような値であってもよいが、例えばカラオケ装置１００で実際にハウリング発生を検出した時のループゲイン推定値をメモリに記憶しておき、記憶したループゲイン推定値に、ある程度のマージンを見た値を設定しておけばよい。
【００３０】
なお、閉ループの遅延量およびループゲインの推定手法は、上記手法に限るものではない。例えば、直接波のピーク成分のみの値をループゲインとして推定してもよい。
【００３１】
また、上記実施形態では、音声合成装置の例として、ＭＩＤＩによる自動演奏装置を示したが、下記の変形例のような態様でも本発明の音声合成装置を実現可能である。
【００３２】
（変形例１）
図４は、変形例１に係る音声合成装置の例として、ＣＥＬＰデコーダの主要構成を簡易的に示した図である。ＣＥＬＰデコーダ３は、入力Ｉ／Ｆ３１、適応コードブック３２、セレクタ３３、コードブック３４、加算器３５、出力Ｉ／Ｆ３６、および制御部３７を備えている。なお、実際には線形予測フィルタ等の合成フィルタが加算器３５の後段に設けられているが、本実施形態では図示および説明を省略する。
【００３３】
入力Ｉ／Ｆ３１には、ＣＥＬＰ符号データが入力される。入力された符号データは、適応コードブック３２およびセレクタ３３に入力される。
【００３４】
適応コードブック３２は、過去に加算器６５が出力した信号を入力符号データに含まれるピッチ情報に基づいて再利用し、出力するものである。
【００３５】
セレクタ３３は、入力符号データに含まれるコードブック・インデックスに従い、コードブック３４から見本信号（音声信号）を読み出して加算器３５に出力する。加算器３５は、適応コードブック３２から出力された信号とセレクタ３３から出力された信号を加算し、出力Ｉ／Ｆ３６に出力する。
【００３６】
コードブック３４には、固定コードブック３４１Ａ〜固定コードブック３４１Ｎが含まれており、種々の音声信号（波形データ）が記憶されている。固定コードブック３４１Ｎには、ノイズ音の波形データが記憶されている。本実施形態のＣＥＬＰデコーダ３では、固定コードブック３４１Ｎが疑似雑音符号列を記憶するコードブックとして機能する。制御部３７は、固定コードブック３４１Ｎの疑似雑音符号の極性を制御し、送信データ３７１を重畳する。
【００３７】
出力された音声信号は、図１（Ｂ）に示した復調装置に入力され、送信データの復調、遅延量、ループゲインの推定等が行われる。
【００３８】
この場合においても、疑似雑音は、周波数特性上はホワイトノイズ等のノイズ音そのものであり、もともとＣＬＥＰデコーダのコードブックに含まれているノイズ音と聴感上全く等価とすることが可能である。このように、本発明の音声合成装置は、ＣＥＬＰデコーダに実装する形でも実現することができる。
【００３９】
（変形例２）
図５は、変形例２に係る音声合成装置の例として、音声圧縮系のデコーダの主要構成を簡易的に示した図である。デコーダ４は、入力Ｉ／Ｆ４１、フィルタバンク４２、出力Ｉ／Ｆ４３、および制御部４４を備えている。なお、実際には、フィルタバンク４２の前段にハフマン復号、逆量子化等の処理を行う機能部も存在するが、本実施形態では図示および説明を省略する。
【００４０】
入力Ｉ／Ｆ４１には、音声圧縮系の符号データ（ビットストリーム）が入力される。入力されたビットストリームは、ハフマン復号、逆量子化処理がされ、フィルタバンク４２に入力される。ビットストリームは、フィルタバンク４２で音声信号（音声データ）にデコードされ、出力Ｉ／Ｆ４３から出力される。
【００４１】
フィルタバンク４２の合成フィルタバンク４２１Ａ〜合成フィルタバンク４２１Ｎは、それぞれ入力された値（フィルタバンク値）を波形化するフィルタであり、合成フィルタバンク４２１Ｎは、ノイズ音の波形を合成するフィルタバンクである。各合成フィルタバンクの出力波形が合成部４２３で合成され、音声信号（音声データ）として出力Ｉ／Ｆ４３に出力される。本実施形態のデコーダ４では、合成フィルタバンク４２１Ｎが疑似雑音符号列を合成するフィルタバンクとして機能する。制御部４４は、合成フィルタバンク４２１の疑似雑音符号の極性を制御し、送信データ４４１を重畳する。
【００４２】
出力された音声信号は、図１（Ｂ）に示した復調装置に入力され、送信データの復調、遅延量、ループゲインの推定等が行われる。
【００４３】
この場合においても、疑似雑音は、周波数特性上はホワイトノイズ等のノイズ音そのものであり、もともとデコーダの合成フィルタバンクから出力されるノイズ音と聴感上全く等価とすることが可能である。このように、本発明の音声合成装置は、音声圧縮系のデコーダに実装する形でも実現することができる。
【００４４】
無論、上記変形例１，変形例２以外にも、見本信号としてノイズ音が含まれているものであれば、どのような音声合成装置にも本発明を適用することが可能である。
【図面の簡単な説明】
【００４５】
【図１】音声合成装置の構成を示したブロック図である。
【図２】相関の時間軸特性を示した図である。
【図３】自動演奏装置および復調装置を内蔵した閉ループを形成する装置の例として、カラオケ装置の構成を示した図である。
【図４】音声合成装置としてＣＥＬＰデコーダを示した図である。
【図５】音声合成装置として圧縮音声系のデコーダを示した図である。
【符号の説明】
【００４６】
１−自動演奏装置
２−復調装置
【図１】
2010156740.tif 000003
【図２】
2010156740.tif 000004
【図３】
2010156740.tif 000005
【図４】
2010156740.tif 000006
【図５】
2010156740.tif 000007