(57)【要約】【課題】  話者に面倒な作業を行わせることなく、自然な音声に適切に声質変換できる声質変換装置を提供する。【解決手段】  フォルマント移動部２６は、複数のフォルマント周波数の組み合わせで座標が定まる座標系を想定し、変換元話者、目標話者の異なる複数の音声によってそれぞれ表される座標の分布を基に求めた特徴モデル（声質変換規則）を用いて、位相補償部２４から入力した各チャンネルの周波数成分を対象に、フォルマント周波数検出部２５が検出したフォルマント周波数Ｆ１、Ｆ２を移動させる。それにより、変換元話者の音声を目標話者の音声に声質変換する。【選択図】      図２
2006330343.tif 000002
【特許請求の範囲】
【請求項１】
第１の音声波形から該第１の音声波形の声質を変換した第２の音声波形を生成する声質変換装置において、
複数のフォルマント周波数の組み合わせによって座標が定まる座標系を想定して、複数の異なる第１の音声波形によって表される座標の分布、及び該複数の異なる第１の音声波形から生成すべき複数の異なる第２の音声波形によって表される座標の分布を基に求められる、前記第１の音声波形を前記第２の音声波形に声質変換するうえでの声質変換規則を取得する規則取得手段と、
前記規則取得手段が取得した声質変換規則を用いて、前記第１の音声波形の声質変換を行い、前記第２の音声波形を生成する波形生成手段と、
を具備することを特徴とする声質変換装置。
【請求項２】
前記声質変換規則は、前記第１、及び第２の音声波形別に、前記座標の分布から基準点を決定し、該決定した基準点を中心として該座標の分布を近似する楕円を求めた場合に、該第１の音声波形で求めた楕円を該第２の音声波形で求めた楕円に変換する形で声質変換を行うための規則である、
ことを特徴とする請求項１記載の声質変換装置。
【請求項３】
前記声質変換規則は、前記第１、及び第２の音声波形別に、前記座標の分布から基準点を決定し、該決定した基準点を中心として該座標の分布を近似する楕円、及び該楕円における範囲をそれぞれ求めた場合に、該第１の音声波形で求めた範囲の楕円を該第２の音声波形で求めた範囲の楕円に変換する形で声質変換を行うための規則であり、
前記波形生成手段は、前記声質変換の対象とする第１の音声波形が有する複数のフォルマント周波数を抽出し、該抽出した複数のフォルマント周波数によって特定される前記範囲の楕円における位置を考慮して、前記声質変換規則を用いた前記第２の音声波形の生成を行う、
ことを特徴とする請求項１記載の声質変換装置。
【請求項４】
前記基準点は、前記第１、及び第２の音声波形ともに、５母音のうちの一つ以上を考慮して決定する、
ことを特徴とする請求項２、または３記載の声質変換装置。
【請求項５】
第１の音声波形から該第１の音声波形の声質を変換した第２の音声波形を生成する声質変換装置に実行させるプログラムであって、
複数のフォルマント周波数の組み合わせによって座標が定まる座標系を想定して、複数の異なる第１の音声波形によって表される座標の分布、及び該複数の異なる第１の音声波形から生成すべき複数の異なる第２の音声波形によって表される座標の分布を基に求められる、前記第１の音声波形を前記第２の音声波形に声質変換するうえでの声質変換規則を取得する機能と、
前記取得する機能により取得した声質変換規則を用いて、前記第１の音声波形の声質変換を行い、前記第２の音声波形を生成する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１の音声波形からその第１の音声波形の声質を変換した第２の音声波形を生成するための技術に関する。
【背景技術】
【０００２】
音声の声質変換は、その音声をフォルマント成分と残差成分とに分離し、分離したフォルマント成分の周波数を線形移動させることで行うことができる。しかし、その周波数を単に線形移動させる場合、音声によっては自然な音声に声質変換できない。このことから、従来の声質変換装置のなかには、例えば特許文献１に記載されているように、自然な音声に声質変換できるものがある。
【０００３】
その特許文献１に記載された従来の声質変換装置では、話者（変換元話者）の音声を変換目標とする話者（目標話者）の音声に声質変換するために、変換元話者用、目標話者用のコードブック、及び変換元話者用のコードブックから目標話者用のコードブックへの変換規則をそれぞれ予め用意する。それにより、変換元話者の音声から特徴パラメータを抽出し、抽出した特徴パラメータに対応するコードブックを特定し、特定したコードブックに対応する変換規則により音声の声質変換を行うようになっている。
【０００４】
特許文献１に記載された従来の声質変換装置は、ベクトル量子化を応用して、自然な音声に声質変換できるようにしている。しかし、ベクトル量子化では、周知のように、ひずみによる悪影響を回避するには、多くのコードブックを用意しなければならないのが普通である。それにより、様々な音声に適切に対応できるようにするには、少なくとも変換元話者は非常に面倒で時間のかかる作業を行わなければならない。そのような作業を行う必要性から、演算量やメモリ量等の問題を無視したとしても、不特定多数の話者を対象に音声の声質変換に利用するようなことは現実的ではない。このようなことからも、自然な音声に声質変換できるようにするうえでは、面倒な作業を行う必要性を回避することが重要であると考えられる。
【特許文献１】特許第３２８２６９３号公報
【特許文献２】特開２００４−２８７３５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の課題は、話者に面倒な作業を行わせることなく、自然な音声に適切に声質変換できる声質変換装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の声質変換装置は、第１の音声波形から該第１の音声波形の声質を変換した第２の音声波形を生成することを前提とし、複数のフォルマント周波数の組み合わせによって座標が定まる座標系を想定して、複数の異なる第１の音声波形によって表される座標の分布、及び該複数の異なる第１の音声波形から生成すべき複数の異なる第２の音声波形によって表される座標の分布を基に求められる、第１の音声波形を第２の音声波形に声質変換するうえでの声質変換規則を取得する規則取得手段と、規則取得手段が取得した声質変換規則を用いて、第１の音声波形の声質変換を行い、第２の音声波形を生成する波形生成手段と、を具備する。
【０００７】
なお、上記声質変換規則は、第１、及び第２の音声波形別に、座標の分布から基準点を決定し、該決定した基準点を中心として該座標の分布を近似する楕円を求めた場合に、該第１の音声波形で求めた楕円を該第２の音声波形で求めた楕円に変換する形で声質変換を行うための規則である、ことが望ましい。
【０００８】
また、上記声質変換規則は、第１、及び第２の音声波形別に、座標の分布から基準点を決定し、該決定した基準点を中心として該座標の分布を近似する楕円、及び該楕円における範囲をそれぞれ求めた場合に、該第１の音声波形で求めた範囲の楕円を該第２の音声波形で求めた範囲の楕円に変換する形で声質変換を行うための規則であり、上記波形生成手段は、声質変換の対象とする第１の音声波形が有する複数のフォルマント周波数を抽出し、該抽出した複数のフォルマント周波数によって特定される範囲の楕円における位置を考慮して、声質変換規則を用いた第２の音声波形の生成を行う、ことが望ましい。
【０００９】
上記基準点は、第１、及び第２の音声波形ともに、５母音のうちの一つ以上を考慮して決定する、ことが望ましい。
本発明のプログラムは、上記声質変換装置が具備する手段を実現させるための機能を搭載している。
【発明の効果】
【００１０】
本発明は、複数のフォルマント周波数の組み合わせによって座標が定まる座標系を想定して、複数の異なる第１の音声波形によって表される座標の分布、及び複数の異なる第１の音声波形から生成すべき複数の異なる第２の音声波形によって表される座標の分布を基に求められる声質変換規則を取得し、その規則を用いて、第１の音声波形の声質変換を行い、第２の音声波形を生成する。
【００１１】
上記座標は、音声が持つフォルマントの周波数の組み合わせによって特定されることから、その座標の分布は、複数の異なる音声間におけるフォルマント周波数の関係を表すものとなる。その関係を第１、及び第２の音声波形でそれぞれモデル化することにより、第１の音声波形を第２の音声波形に適切に声質変換するための声質変換規則を得ることができる。このため、その声質変換規則を用いて、第１の音声波形から第２の音声波形のモデルに合った音声波形を適切に生成することができる。それにより、第２の音声波形が自然と感じられるものであれば、第１の音声波形は自然と感じられる音声に声質変換される。また、音声波形は、モデル化に必要なものを入力すれば良いから、第１の音声波形の話者、第２の音声波形の話者の何れも面倒な作業を行う必要は回避される。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
図１は、本実施の形態による声質変換装置を搭載した電子楽器の構成図である。
その電子楽器は、図１に示すように、楽器全体の制御を行うＣＰＵ１と、複数の鍵を備えた鍵盤２と、各種スイッチを備えたスイッチ部３と、ＣＰＵ１が実行するプログラムや各種制御用データ等を格納したＲＯＭ４と、ＣＰＵ１のワーク用のＲＡＭ５と、例えば液晶表示装置（ＬＣＤ）や複数のＬＥＤなどを備えた表示部６と、特には図示しない端子に接続されたマイク７から入力されるアナログの音声信号のＡ／Ｄ変換を行いそのデジタルデータ（音声データ）を出力するＡ／Ｄ変換器８と、ＣＰＵ１の指示に従い楽音発音用の波形データを生成する楽音生成部９と、その生成部９が生成した波形データのＤ／Ａ変換を行い、アナログのオーディオ信号を出力するＤ／Ａ変換器１０と、そのオーディオ信号を音声に変換して出力するサウンドシステム１１と、を備えて構成されている。それらの構成において、ＣＰＵ１、鍵盤２、スイッチ部３、ＲＯＭ４、ＲＡＭ５、表示部６、Ａ／Ｄ変換器８、及び楽音生成部９の間はバスによって接続されている。なお、上記スイッチ部３は、例えばユーザが操作の対象とする各種スイッチの他に、各種スイッチの状態変化を検出するための検出回路を備えたものである。
【００１３】
上記構成の電子楽器において、本実施の形態による声質変換装置は、マイク７から入力した音声の声質変換を行い、その変換によって得られる音声を放音できるものとして実現されている。音声の入力は、光学ディスク等の記録媒体にアクセス可能な媒体駆動装置を介して行っても良く、ＬＡＮ、或いは公衆網等の通信ネットワークを介して行っても良い。
【００１４】
図２は、本実施の形態による声質変換装置の機能構成図である。
声質変換した音声波形は基本的に、元の音声波形を周波数分析して周波数チャンネル毎に周波数成分（スペクトル成分）を抽出し、抽出した周波数成分をシフトし、そのシフト後の周波数成分を用いて生成するようになっている。そのために、以下のような機能構成を備えている。
【００１５】
図２に示すＡ／Ｄ変換器（ＡＤＣ）８は、マイク７から出力されたアナログの音声信号をデジタルの音声データに変換するものである。例えばサンプリング周波数２２，０５０ＨｚでＡＤ変換を行う。以降、それがＡＤ変換して得られる音声データについては便宜的に「元音声データ」、或いは「元波形データ」と呼び、マイク７に入力された音声については「元音声」と呼ぶことにする。
【００１６】
入力バッファ２１は、Ａ／Ｄ変換器８が出力する元音声データを一時的に格納するバッファである。フレーム抽出部２２は、入力バッファ２１に格納された元音声データから予め定められたサイズ分の音声データであるフレームを切り出すことで抽出する。そのサイズ（フレームサイズ）、つまり音声データ数は例えば１０２４である。正確な位相展開の実施にはフレームをオーバーラップさせて抽出する必要があることから、フレームの切り出しはオーバーラップファクタＯＶＬでオーバーラップさせて行う。そのファクタＯＶＬの値としては４を設定している。この場合、ホップサイズ（隣り合うフレームのずれに相当するサンプリング数）は２５６（１０２４／２５６＝４）である。
【００１７】
フレーム抽出部２２は、ローパスフィルタ（ＬＰＦ）の機能を搭載したものである。その機能により、抽出したフレームに対し、ピッチのシフトにより周波数成分がナイキスト周波数を超えることを防止するために高周波成分の除去を行う。高周波成分を除去した後のフレームをＦＦＴ部２３、及びフォルマント周波数検出部２５にそれぞれ出力する。
【００１８】
ＦＦＴ部２３は、フレーム抽出部２２から入力したフレームを対象に、例えばフレームサイズの２倍のＦＦＴ点数（＝２０４８点）でＦＦＴを実行する。位相補償部２４は、位相補償を行いつつ、ピッチシフトによるフレームの伸縮を回避し、フレームサイズを維持するために、フレームサイズの伸縮を行う。その伸縮を行った後のフレームがフォルマント移動部２６に出力される。
【００１９】
ここで位相補償部２４が行う位相補償について詳細に説明する。
ＦＦＴによって得られる周波数チャンネルの周波数成分は実数部と虚数部を有している。実数部をｒｅａｌ、虚数部をｉｍｇと表記すると、周波数振幅ｍａｇは
ｍａｇ＝（ｒｅａｌ2＋ｉｍｇ2）1/2      ・・・  （１）
により計算される。位相ｐｈａｓｅは
ｐｈａｓｅ＝ａｒｃｔａｎ（ｉｍｇ／ｒｅａｌ）      ・・・  （２）
により計算される。
【００２０】
ａｒｃｔａｎによって計算される位相ｐｈａｓｅは−π〜πの間に制限されるために折り畳まれている。しかし、位相は角速度を積分したものであるから、チャンネルｋの任意の時刻ｔにおける展開された位相をΘk,t、その折り畳まれた位相をθk,t（＝ｐｈａｓｅ）とそれぞれ表記すると、位相Θk,tは
Θk,t＝θk,t＋２ｎπ  （ただし、ｎ＝０，１，２，・・・）  ・・・  （３）
と表すことができる。このため、以下のように位相の展開を行う。
【００２１】
先ず、フレームｉとフレームｉ−１間の位相差Δθi,kは
Δθi,k＝θi,k−θi-1,k    ・・・  （４）
と表すことができる。式４で表される位相差Δθi,kは位相が折り畳まれた状態にある。一方、フレームｉにおけるチャンネルｋの中心角周波数Ωi,kは、サンプリング周波数をｆｓ、ＦＦＴ点数をＮとすると
Ωi,k＝（２π・ｆｓ／Ｎ）・ｋ              ・・・  （５）
により求めることができる。この周波数Ωi,kのとき、直前のフレームｉ−１との時間差をΔｔとすると、位相差ΔＺi,kは
ΔＺi,k＝Ωi,k・Δｔ                       ・・・  （６）
により算出できる。時間差Δｔ自体は、前述のオーバーラップファクタＯＶＬを用いて、
Δｔ＝Ｎ／（ｆｓ・ＯＶＬ）                 ・・・  （７）
で求められる。
【００２２】
式６では位相展開されている。このため、以下の式で記述できる。
ΔＺi,k＝Δζi,k＋２ｎπ                   ・・・  （８）
式４で算出される位相差Δθi,kと式８中の位相差Δζi,kの差をδ（＝Δθi,k−Δζi,k）とすると、式６を用いて、
Δθi,k−Ωi,k・Δｔ＝（Δζi,k＋δ）−（Δζi,k＋２ｎπ）
＝δ−２ｎπ                    ・・・  （９）
が導出できる。従って式９の右辺の２ｎπを削除してその範囲を−πからπの間に制限すればδを算出できる。そのδは、元音声波形において実際に検出される位相差（以降「実位相差」と呼ぶ）である。
【００２３】
そのように算出される実位相差δに位相差ΔＺi,k（＝Ωi,k・Δｔ）を加算すれば、以下のように位相展開された位相差ΔΘi,kを求めることができる。
ΔΘi,k＝δ＋Ωi,k・Δｔ＝δ＋（Δζi,k＋２ｎπ）＝Δθi,k＋２ｎπ
・・・  （１０）
式１０中のΩi,k・Δｔは式５、及び式７から下記のように変形できる。
【００２４】
Ωi,k・Δｔ＝（２π・ｆｓ／Ｎ）・ｋ・Ｎ／（ｆｓ・ＯＶＬ）
＝２π・ｋ／ＯＶＬ        ・・・  （１１）
従って、式１０は
ΔΘi,k＝Δθi,k＋２ｎπ＝δ＋２π・ｋ／ＯＶＬ      ・・・  （１２）
と変形できる。この展開された位相差ΔΘi,kを用いて、位相補償した位相θ'i,kは
θ'i,k＝ΔΘi,k・（θ'i-1,hm1−θi-1,hm1）／ΔΘi,hm1
＋（α−１）ΔΘi,k＋θi,k      ・・・  （１３）
で算出される。その式１３において、ｈｍ１は基準チャンネル、αはスケーリング値をそれぞれ表している。式１３により、位相θ'i,kは基準チャンネルｈｍ１の位相差ΔΘi,hm1を基準にする形で位相補償される（特願２００４−３７４０９０参照）。
【００２５】
位相補償部２４は、上述したようにして位相補償した位相θ'をチャンネル毎に求め、フレームサイズの伸縮をスケーリング値αに応じて行った後、その伸縮を行ったフレームをフォルマント移動部２６に出力する。
【００２６】
一方、フォルマント周波数検出部２５は、第１フォルマント周波数Ｆ１、及び第２フォルマント周波数Ｆ２を検出する。それらの周波数Ｆ１、Ｆ２を検出するために、図３に示す機能構成となっている。
【００２７】
ＬＰＣ係数算出部３１は、フレーム抽出部２２から入力したフレームを対象に線形予測分析を行い、ＬＰＣ係数を算出する。その算出は、例えばＬｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎ法を用いて行うことができる（特許文献２）。ＦＦＴ部３２は、そのＬＰＣ係数に関するＦＦＴを行い、フォルマント概形を算出する。本実施の形態では、ＬＰＣ係数の次数は２４次、パワースペクトル算出用のＦＦＴ点数は２５６点としている。
【００２８】
線形予測分析により得られたＬＰＣ係数をａ1、ａ2、・・・、ａp、利得をＧとすると、音声発生の伝達関数Ｈ（ｚ）はｚ変換を用いて以下のようになる。
【００２９】
【数１】
2006330343.tif 000003
音源をインパルスとした場合、自己相関関数をＲとすると、Ｇ2は下記で求められる。
【００３０】
【数２】
2006330343.tif 000004
式１４のｚをｚ＝ｅjωTとおくと、パワースペクトルは以下の式１６により算出される。
【００３１】
【数３】
2006330343.tif 000005
その式１６の対数をとると
【００３２】
【数４】
2006330343.tif 000006
となる。式１７右辺第２項のかっこ内はＬＰＣ係数ａk（ｋ＝０，１，・・・，ｐ（ただしａ0＝１））に関するＦＦＴを行うことで、以下の式により周波数別にパワースペクトル値Ｐ（ｋ）が算出できる。図１０には、そのようにして算出されたスペクトル値（ｋ）を示している。図１０に示すように、そのスペクトル値Ｐ（ｋ）は、フォルマント概形を表している。
【００３３】
Ｐ（ｋ）＝２０ｌｏｇ10Ｇ−１０ｌｏｇ10（ｒｅａｌ（ｋ）2
＋ｉｍｇ（ｋ）2）                        ・・・  （１８）
ここでｒｅａｌ（ｋ）、ｉｍｇ（ｋ）はＦＦＴによって得られた各チャンネルの実数部、虚数部をそれぞれ表している。
【００３４】
ピークピッキング部３３は、上述したようにして算出されるスペクトル値（フォルマント概形）ＰをＦＦＴ部３２から入力し、ピークピッキング法によりフォルマント周波数Ｆ１、Ｆ２の検出を行う。スペクトル値Ｐの代わりに、それを移動平均フィルタによりフィルタリングしたものを用いても良い（特願２００４−３７４０９０参照）。
【００３５】
フォルマント周波数は、式１４右辺の分母を解いて極を算出し、それによって得られた極のうちｚ平面上の単位円に近いものを求めることで検出することができる。しかし、そのような方法では、高次方程式を解く必要があり、処理が重くなる。このことから、本実施の形態では、フォルマント周波数の検出にピークピッキング法を採用している。実験により、この方法が最も高精度に検出を行えることが確認されている。
【００３６】
ＦＦＴ部３２から入力するスペクトル値Ｐは、或る周波数間隔ｆで求めたものである。ピークピッキング法では、例えば注目する周波数のスペクトル値Ｐを、順次前のスペクトル値Ｐと比較することにより、ローカルなピークの周波数ｍｆを求める。このとき、周波数（ｍ−１）ｆ、ｍｆ、（ｍ＋１）ｆに対するパワースペクトル値ＰをそれぞれＰ（ｍ−１）、Ｐ（ｍ）、Ｐ（ｍ＋１）とすると、この３点を２次式ａλ2＋ｂλ＋ｃで近似し、より正確なピーク周波数Ｆiを求める。
【００３７】
ここでは簡単のため、ローカルのピーク周波数ｍｆを０とし、かつスペクトル値Ｐは等間隔な周波数ｆ（＝サンプリング周波数／ＦＦＴ点数）で与えられると想定して２次近似式の係数ａ，ｂ，ｃを求める。その想定では、−ｆでスペクトル値Ｐ（ｍ−１）、０でＰ（ｍ）、＋ｆでＰ（ｍ＋１）となれば良いから、次式が求まる。
【００３８】
【数５】
2006330343.tif 000007
これより係数ａ，ｂ，ｃは次式により求められる。ただしその式では簡単のため、ｆ＝１を想定している。
【００３９】
【数６】
2006330343.tif 000008
一方、２次近似式から求められる極大値は
ｄ（ａλ2＋ｂλ＋ｃ）／ｄλ＝０          ・・・  （２１）
を満足するλ（他と区別するために「λp」と表記する）を求めれば良い。それにより、式２１から
λp＝−ｂ／２ａ      ・・・  （２２）
が導出される。上記２次近似式の前提、及び式２２から、ピーク周波数Ｆiは
Ｆi＝λpｆ＋ｍｆ＝（−ｂ／２ａ＋ｍ）ｆ      ・・・  （２３）
により算出できる。
【００４０】
ピークピッキング部３３は、スペクトル値Ｐを参照し、周波数の低い方から順に２つのピーク周波数Ｆiを算出する。そのようにして算出される２つのピーク周波数Ｆiは、周波数の低い方からフォルマント周波数Ｆ１、Ｆ２としてピークピッキング部３３からフォルマント移動部２６に出力される。
【００４１】
フォルマント移動部２６は、フォルマント周波数Ｆ１、Ｆ２を移動させることにより、元音声の声質変換を行うためのものである。ここでは便宜的に、平均的な男声の話者（変換元話者）が話す音声を元音声として、その音声を平均的な女声の話者（目標話者）の音声に声質変換する場合を例にとり、その声質変換方法について具体的に説明する。
【００４２】
図６は、フォルマント周波数の平均値を説明する図である。図６（ａ）には男声のフォルマント周波数Ｆ１、Ｆ２の平均値を母音（ａ，ｉ，ｕ，ｅ，ｏ）毎に示し、図６（ｂ）には、図６（ａ）と同様に、女声のそれを母音毎に示している。図６（ａ）、図６（ｂ）から明らかなように、平均的な男声と女声の間には、フォルマント周波数Ｆ１、Ｆ２の組み合わせに明確な相違がある。
【００４３】
図７は、２つのフォルマント周波数によって座標が定まる座標系における５母音の座標の分布を説明する図である。横軸にフォルマント周波数Ｆ１、縦軸にフォルマント周波数Ｆ２をとった座標系に、２つのフォルマント周波数Ｆ１、Ｆ２の組み合わせが示す座標を母音毎に男声、女声のそれぞれで示したものである。図７には、母音ｏと母音ａを結ぶ直線（以下「ｏ−ａ直線」と呼ぶ）、母音ｕと母音ｉを結ぶ直線（以下「ｕ−ｉ直線」と呼ぶ）を男声、女声のそれぞれで併せて示している。
【００４４】
図７に示すように、ｏ−ａ直線とｕ−ｉ直線の交点は、男声、女声の間で大きな差はない。その交点を基準にした母音ａ，ｅ，ｉの座標の位置関係は男声、女声ともに類似したものとなっている。本実施の形態は、そのことに着目し、図７に示す座標系で音声が持つ特徴（音声によるフォルマント周波数の組み合わせの相違（以降「フォルマント分布」とも呼ぶ））をモデル化し、声質変換に利用することにより、声質変換した後の音声が常に自然なものとなるようにしている。
【００４５】
音声の持つ特徴のモデル化は以下のようにして行っている。
先ず、変換元話者、目標話者ともに、ｏ−ａ直線とｕ−ｉ直線の交点を算出し、これを座標原点（ｘ0，ｙ0）とする。変換元話者が平均的な男声の話者であり、目標話者が平均的な女声の話者である場合には、変換元話者の座標原点ｏｒｇmは
ｏｒｇm＝（ｘ0m，ｙ0m）＝（３５０，７２５）    ・・・  （２４）
となり、目標話者の座標原点ｏｒｇfは
ｏｒｇf＝（ｘ0f，ｙ0f）＝（３５５，７１５）    ・・・  （２５）
となる。
【００４６】
図７に示すように、算出した座標原点ｏｒｇと母音ａ、ｉのそれぞれの間の周波数は横軸（フォルマント周波数Ｆ１）、縦軸（フォルマント周波数Ｆ２）で大きな差がある。その差をより小さくするために、以下のようにして変換元話者、目標話者別に求める係数ρ（ρm、ρf）を縦軸のスケールに乗算する。
【００４７】
ρm＝ｘ0m／ｙom＝３５０／７２５＝０．４８３      ・・・  （２６）
ρf＝ｘ0f／ｙof＝３５５／７１５＝０．４９７      ・・・  （２７）
次に楕円式を算出する。その楕円式は下記で表される。
【００４８】
ｘ2／Ａ2＋ｙ2／Ｂ2＝１      ・・・  （２８）
本実施の形態では、母音ａとｉの点（座標）を通る楕円の短径Ａと長径Ｂを算出する。原点ｏｒｇとの間の周波数は縦軸（Ｆ２軸）のほうが横軸（Ｆ１軸）より大きいためＢ＞Ａである。２点（ｘ1，ｙ1）（ｘ2，ｙ2）を通る楕円のＡ、Ｂは下記の式で算出できる。
【００４９】
【数７】
2006330343.tif 000009
式２４、式２６により、変換元話者の母音ａ（＝（７５０，１１２５））を座標変換すると、７５０−３５０＝４００、（１１２５−７２５）×０．４８３＝１９３．２であるから、変換後の座標は（４００，１９３．２）となる。同様に、母音ｉ（＝（２８５，２１９０）を座標変換すると、変換後の座標は（−６５，７０７．５９５）となる。これらを式２９に代入して
Ａm＝４１４．６４９５，    Ｂm＝７１６．６５８１    ・・・  （３０）
を得る。同じく目標話者では、母音ａ（＝（１０４０，１５４５））、ｉ（＝（２９５，２７５５））から、式２５、式２７、式２９により
Ａf＝７４９．８５５１，    Ｂf＝１０１５．６９５５    ・・・  （３１）
を得る。そのようにして変換元話者（男声）、目標話者（女声）でそれぞれ求めた楕円は図８に示すようなものとなる。
【００５０】
式２８を変形すると
（Ｂｘ）2＋（Ａｙ）2＝（ＡＢ）2      ・・・    （３２）
が導出される。式３２において、Ｘ＝Ｂｘ、Ｙ＝Ａｙとおくと
Ｘ2＋Ｙ2＝（ＡＢ）2      ・・・  （３３）
が導出でき、半径ＡＢの円となる。この円と相似なる円は
（Ｂｘ）2＋（Ａｙ）2＝（ＡＢｒ）2      ・・・    （３４）
と表すことができる。ここでｒは０より大きい値の定数である。
【００５１】
この円において、原点ｏｒｇと点（ｘ、ｙ）を結ぶ直線がＦ１軸となす角度θは
θ＝ａｒｃｔａｎ（Ａｙ／Ｂｘ）      ・・・  （３５）
となる。変換元話者では、ｘをｆ１、ｙをｆ２とおくと、その直線がＦ１軸となす角度θmは図９に示すようなものとなる。
【００５２】
次に、原点ｏｒｇと母音ａの点を結ぶ直線とＦ１軸がなす角度Ｍｉｎθ、原点ｏｒｇと母音ｉの点を結ぶ直線とＦ１軸がなす角度Ｍａｘθを変換元話者、目標話者でそれぞれ算出する。それらの角度Ｍｉｎθ、角度Ｍａｘθはそれぞれ以下のようになる。
【００５３】
Ｍｉｎθm＝0.2727[rad]，  Ｍａｘθm＝1.7281[rad]    ・・・  （３６）
Ｍｉｎθf＝0.4174[rad]，  Ｍａｘθf＝1.6510[rad]    ・・・  （３７）
式３６、式３７より、変換元話者、目標話者で取り得る角度θの範囲Δθは
Δθm＝１．７２８１−０．２７２７＝１．４５５４［ｒａｄ］，
Δθf＝１．６５１０−０．４１７４＝１．２３３６［ｒａｄ］  ・・・  （３８）
となる。式３８により明らかなように、目標話者の取り得る範囲Δθfは変換元話者のそれよりも小さく、その比率κは
κ＝Δθf／Δθm＝１．２３３６／１．４５５４＝０．８４７６  ・・・  （３９）
である。
【００５４】
式２４〜２７、３０、３１、及び３６〜３９により求まる数値は、話者が話す音声の持つ特徴を示す定数として用意される。それにより、その特徴のモデル化は、それらの定数を算出することで行われる。
【００５５】
本実施の形態では、モデルを示すそれらの定数は、声質変換装置自体、より具体的には例えばフォルマント周波数検出部２５に算出させるようにしている。その算出のために、スイッチ部３を操作して、話者が変換元話者、目標話者の何れであるかを指定した後、５母音の音声を順次、マイク７から入力させるようにしている。それにより、変換元話者、目標話者別に、音声の特徴モデルを更新できるようにさせている。
【００５６】
その特徴モデルの更新は、５母音の音声を入力することで行うことができる。このため、コードブック等を用意する場合と比較して、音声を入力すべき回数は非常に少なくて済む。それにより、変換元話者、目標話者は共に、面倒な作業を行う必要性は回避される。この結果、不特定多数の変換元話者を対象にするような場合であっても対応できることとなる。特徴モデルを表す定数は、記録媒体を介して取得するようにしても良い。或いは通信ネットワークを介して取得するようにしても良い。
【００５７】
図２に示すフォルマント移動部２６は、上記特徴モデルを考慮してフォルマント周波数Ｆ１、Ｆ２を移動させることにより、元音声の声質変換を行う。次に、その特徴モデルによる声質変換方法について詳細に説明する。
【００５８】
声質変換の対象となる元音声のフォルマント周波数Ｆ１、Ｆ２はフォルマント周波数検出部２５から供給される。フォルマント移動部２６は、それらの周波数Ｆ１、Ｆ２で表される座標を式２４、式２６により座標変換する。その座標変換後のＦ１、Ｆ２軸上の座標ｆ１、ｆ２は以下のようになる。
【００５９】
ｆ１＝Ｆ１−ｘ0m＝Ｆ１−３５０、
ｆ２＝（Ｆ２−ｙ0m）×ρm＝（Ｆ１−７２５）×０．４８３    ・・・  （４０）
次に式３４における定数ｒの値を求める。その定数ｒは変換元話者の楕円と目標話者のそれの相似比であり、式３４、式３０から導出される下記の式により算出される。
【００６０】
【数８】
2006330343.tif 000010
定数ｒを算出した後は、変換後の座標（ｆ１，ｆ２）と原点ｏｒｇmを結ぶ直線とＦ１軸のなす角度θmを算出する（図９）。その算出は下記の式により行う。
【００６１】
θm＝ａｒｃｔａｎ（（Ａm・ｆ２）／（Ｂm・ｆ１））      ・・・  （４２）
上述したように、角度θの範囲Δθは、話者によって異なる。このことから、式４２により得られた角度θmは、目標話者における特徴モデルで対応する角度θfに変換する。その変換は、式３６、式３７に示す定数、及び式３９により得られた定数κを用いて以下の式により行う。
【００６２】
θf＝（θm−Ｍｉｎθm）×κ＋Ｍｉｎθf＝（θm−０．２７２７）
×０．８４７６＋０．４１７４          ・・・  （４３）
式４１、式４３より、目標話者の特徴モデルにおける対応する座標（ｆ１’，ｆ２’）は
【００６３】
【数９】
2006330343.tif 000011
となる。式４４により算出された座標（ｆ１’，ｆ２’）に対応する元の座標系（図７参照）における座標（Ｆ１’，Ｆ２’）は
【００６４】
【数１０】
2006330343.tif 000012
により算出される。式４５から、変換元話者の音声（元音声）を目標話者の音声に声質変換する場合のスケーリング比ｓｃａｌｅ＿Ｆ１、ｓｃａｌｅ＿Ｆ２は
ｓｃａｌｅ＿Ｆ１＝Ｆ１’／Ｆ１，
ｓｃａｌｅ＿Ｆ２＝Ｆ２’／Ｆ２        ・・・  （４６）
となる。
【００６５】
フォルマント移動部２６は、式４６より算出したスケーリング比ｓｃａｌｅ＿Ｆ１、ｓｃａｌｅ＿Ｆ２に従って、フォルマント周波数Ｆ１、Ｆ２を移動させる。その移動は、図１０に示すように、周波数の低い側からフォルマント周波数Ｆ１、Ｆ２の中間値まではスケーリング比ｓｃａｌｅ＿Ｆ１に従って行い、その中間値以降はスケーリング比ｓｃａｌｅ＿Ｆ２に従って行う。そのように分けてフォルマント周波数Ｆ１、Ｆ２を移動させることにより、目標話者におけるフォルマント周波数Ｆ１、Ｆ２の位置関係に合わせた自然な位置関係を実現させることができる。
【００６６】
後段でピッチシフトを行うと、そのシフトによってフォルマント周波数Ｆ１、Ｆ２が移動する。このことから、声質変換のためのフォルマント周波数Ｆ１、Ｆ２の移動は、ピッチシフトによる移動分を打ち消すように行う。周知のように、平均的な女声のピッチは平均的な男声のそれのほぼ２倍である。このことから、変換元話者が平均的な男声の話者、目標話者が平均的な女声の話者であった場合には、つまりスケーリング値αが２であった場合には、スケーリング比ｓｃａｌｅ＿Ｆ１、ｓｃａｌｅ＿Ｆ２としては実際には２．０／ｓｃａｌｅ＿Ｆ１、２．０／ｓｃａｌｅ＿Ｆ２の値を用いることになる。変換元話者と目標話者のピッチは自動的に検出することができるが、ユーザ側で指定できるようにしても良い。
【００６７】
上述したような操作により、フォルマント周波数検出部２５が検出したフォルマント周波数Ｆ１、Ｆ２は、変換元話者の特徴モデルから目標話者の特徴モデルで対応する周波数にマッピングされる。それにより、変換元話者の音声は目標話者の音声に適切に声質変換される。そのように声質変換を行うことにより、変換後の音声は常に自然なものとすることができる。
【００６８】
ＩＦＦＴ部２７は、フォルマント移動部２６からフォルマント周波数Ｆ１、Ｆ２を移動させた後の各周波数チャンネルの周波数成分を入力し、ＩＦＦＴ（逆ＦＦＴ）を行って時間座標上のデータに戻すことにより、１フレーム分の音声データを生成して出力する。その音声データについては以降「変換音声データ」と呼び、それによって発音される音声を「変換音声」と呼ぶことにする。
【００６９】
ピッチシフタ２８は、ＩＦＦＴ部２７が出力する変換音声データを対象に補間、或いは間引きを行い、そのピッチをシフトする。
出力バッファ３０は、音声としてサウンドシステム１１から放音させる変換音声データを格納するバッファである。フレーム加算部２９は、ピッチシフタ２８から入力した１フレーム分の変換音声データを、出力バッファ３０に格納された変換音声データにオーバーラップさせて加算する。出力バッファ３０に格納された変換音声データは、Ｄ／Ａ変換器（ＤＡＣ）１０に出力されてＤ／Ａ変換される。
【００７０】
スケーリングファクタαの値が２であった場合、つまりピッチを２倍にする場合、ピッチシフタ２８ではデータ数を１／２にするための間引きを行う。前述のようにＦＦＴ部２３では、フレームサイズの２倍のＦＦＴ点数（＝２０４８点）でＦＦＴが実行されているので、この間引きによりフレームサイズは、フレーム抽出部２２で用いられた値（＝１０２４）に戻る。このことから、変換音声波形は、フレーム抽出部２２で用いられたオーバーラップファクタＯＶＬの値（＝４）で直前フレームにオーバーラップ加算されることになる。
【００７１】
上記入力バッファ２１、及び出力バッファ３０は、例えばＲＡＭ５に確保された領域である。Ａ／Ｄ変換器８、Ｄ／Ａ変換器１０、入力バッファ２１、及び出力バッファ３０を除く各部２２〜２９は、例えばＲＡＭ５をワーク用にして、ＣＰＵ１がＲＯＭ４に格納されたプログラムを実行することで実現される。
【００７２】
以降は、上述したように声質変換を行う声質変換装置を実現させる電子楽器の動作について、図４、及び図５に示す各種フローチャートを参照して詳細に説明する。
図４は、全体処理のフローチャートである。始めに図４を参照して、その全体処理について詳細に説明する。なお、その全体処理は、ＣＰＵ１が、ＲＯＭ４に格納されたプログラムを実行して電子楽器のリソースを使用することにより実現される。
【００７３】
先ず、ステップＳＡ１では、電源がオンされたことに伴い、初期化処理を実行する。続くステップＳＡ２では、スイッチ部３を構成するスイッチへのユーザの操作に対応するためのスイッチ処理を実行する。そのスイッチ処理は、例えばスイッチ部３を構成する検出回路に各種スイッチの状態を検出させてその検出結果を受け取り、その検出結果を解析して状態が変化したスイッチの種類、及びその変化を特定して行われる。上述したような変換元話者、或いは目標話者の特徴モデルの更新（各種定数の算出）は、このスイッチ処理を実行することで実現される。特徴モデルを表す各種定数はＲＡＭ５に保存される。その保存のためにＲＡＭ５としては不揮発性のものを採用している。
【００７４】
ステップＳＡ２に続くステップＳＡ３では、鍵盤２へのユーザの操作に対応するための鍵盤処理を実行する。その鍵盤処理を実行することにより、鍵盤２への演奏操作に応じて楽音がサウンドシステム１１から放音される。ステップＳＡ４にはその後に移行する。
【００７５】
ステップＳＡ４では、Ａ／Ｄ変換器８から元音声データが出力されるサンプリングタイミングか否か判定する。そのタイミングであった場合、判定はＹＥＳとなり、ステップＳＡ５でその元音声データをＲＡＭ５上の入力バッファ２１に書き込んだ後、ステップＳＡ６に移行する。そうでない場合には、判定はＮＯとなってステップＳＡ１０に移行する。
【００７６】
ステップＳＡ６では、フレーム抽出タイミングか否か判定する。前回そのタイミングとなってからホップサイズ分の元音声データをサンプリングする時間が経過した場合、判定はＹＥＳとなってステップＳＡ７に移行する。そうでない場合には、判定はＮＯとなって上記ステップＳＡ１０に移行する。
【００７７】
ステップＳＡ７では、入力バッファ２１に格納された元音声データを１フレーム分、抽出し、抽出したフレームに対して、高周波成分を除去するＬＰＦ処理、ＦＦＴ、及び位相補償を順次、行う。次のステップＳＡ８では、ステップＳＡ７で抽出したフレームを対象にフォルマント周波数Ｆ１、Ｆ２を検出するフォルマント周波数検出処理を実行する。その実行後はステップＳＡ９に移行して、位相補償後の各チャンネルの周波数成分を対象に、検出したフォルマント周波数Ｆ１、Ｆ２の変換元話者、目標話者の特徴モデル間のマッピングによる移動を行い、移動後の各チャンネルの周波数成分を対象にしたＩＦＦＴ、そのＩＦＦＴにより得られる１フレーム分の変換音声データに対する補間、或いは間引きによるピッチシフトを行い、ピッチシフト後の変換音声データをＲＡＭ５上の出力バッファ３０に格納された変換音声データにオーバーラップ加算する。ステップＳＡ１０にはその後に移行する。
【００７８】
図２に示すフレーム抽出部２２、ＦＦＴ部２３、位相補償部２４は、上記ステップＳＡ７の処理を実行することで実現される。フォルマント周波数検出部２５は、上記ステップＳＡ８の処理を実行することで実現される。フォルマント移動部２６、ＩＦＦＴ部２７、ピッチシフタ２８、及びフレーム加算部２９は、上記ステップＳＡ９の処理を実行することで実現される。
【００７９】
ステップＳＡ１０では、１サンプリング分の変換音声データを出力すべきタイミングか否か判定する。そのタイミングであった場合、判定はＹＥＳとなり、次にステップＳＡ１１で出力すべき変換音声データを出力バッファ３０から読み出して楽音生成部９を介しＤ／Ａ変換器１０に送出し、更にステップＳＡ１２でその他処理を実行した後、上記ステップＳＡ２に戻る。そうでない場合には、判定はＮＯとなり、次にステップＳＡ１２の処理を実行する。
【００８０】
合成された変換音声データは楽音生成部９を介してＤ／Ａ変換器１０に送られる。このことから、楽音生成部９には、自身が生成した楽音の波形データを他から入力したデータとミックスする機能が搭載されている。
【００８１】
図５は、上記ステップＳＡ８として実行されるフォルマント周波数検出処理のフローチャートである。次に図５を参照して、そのフォルマント周波数検出処理について詳細に説明する。その検出処理には、ステップＳＡ７で入力バッファ２１から抽出された１フレーム分の元音声データが渡される。
【００８２】
先ず、ステップＳＢ１では、渡されたフレームを対象に線形予測分析を行い、ＬＰＣ係数を算出する。次のステップＳＢ２では、算出したＬＰＣ係数に関するＦＦＴを行い、各チャンネルのパワースペクトル値Ｐを算出する（式１４〜１８）。そのスペクトル値Ｐはフォルマント概形を示すものである。
【００８３】
ステップＳＢ２に続くステップＳＢ３では、算出したスペクトル値Ｐを参照し、ピークピッキング法により周波数の低いほうから順に２つのフォルマント周波数Ｆ１、Ｆ２の検出を行う（式１９〜２３）。その検出を行った後、一連の処理を終了する。
【００８４】
なお、本実施の形態では、フォルマント分布のモデル化のために５母音を入力させるようにしているが、任意の異なる複数の音声を入力させて、そのモデル化を行うようにしても良い。フォルマント分布を近似する楕円の定義は、母音ａ、ｉの座標を通ることを想定して行うようにしているが、これはその母音の組み合わせがモデル化をより高精度に行えるためである。その精度がより低くとも良いのであれば、別の母音の組み合わせを採用しても良い。或いは母音の組み合わせが異なる複数の楕円を定義して特徴モデルを複数、用意し、適用するモデルを適宜、切り替えるようにしても良い。目標話者の特徴モデル（フォルマント分布）については、実際の人間（ここでは平均的なものなどを含む）のものでなくとも良い。つまり、任意に定めたものであっても良い。
【００８５】
上述したような声質変換装置、或いはその変形例を実現させるようなプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ、或いはフラッシュメモリ等の記録媒体に記録させて配布しても良い。或いは、公衆網等で用いられる伝送媒体を介して、そのプログラムの一部、若しくは全部を配信するようにしても良い。そのようにした場合には、ユーザはプログラムを取得してコンピュータなどのデータ処理装置にロードすることにより、そのデータ処理装置を用いて本発明を適用させた声質変換装置を実現させることができる。このことから、記録媒体は、プログラムを配信する装置がアクセスできるものであっても良い。
【図面の簡単な説明】
【００８６】
【図１】本実施の形態による声質変換装置を搭載した電子楽器の構成図である。
【図２】本実施の形態による声質変換装置の機能構成図である。
【図３】フォルマント周波数検出部の機能構成図である。
【図４】全体処理のフローチャートである。
【図５】フォルマント周波数検出処理のフローチャートである。
【図６】フォルマント周波数の平均値を説明する図である。
【図７】２つのフォルマント周波数によって座標が定まる座標系における５母音の座標の分布を説明する図である。
【図８】５母音の座標の分布を近似する楕円を説明する図である。
【図９】楕円上の座標と原点を結ぶ直線と横軸がなす角度の求め方を説明する図である。
【図１０】元音声から得られるフォルマント概形、及びフォルマント周波数の移動方法を説明する図である。
【符号の説明】
【００８７】
１    ＣＰＵ
３    スイッチ部
４    ＲＯＭ
５    ＲＡＭ
７    マイク
８    Ａ／Ｄ変換器
９    楽音生成部
１０    Ｄ／Ａ変換器
１１    サウンドシステム
【図１】
2006330343.tif 000013
【図２】
2006330343.tif 000014
【図３】
2006330343.tif 000015
【図４】
2006330343.tif 000016
【図５】
2006330343.tif 000017
【図６】
2006330343.tif 000018
【図７】
2006330343.tif 000019
【図８】
2006330343.tif 000020
【図９】
2006330343.tif 000021
【図１０】
2006330343.tif 000022