(57)【特許請求の範囲】
【請求項１】
歌唱者の音声を分析した結果を歌唱者音声分析情報として出力する音声分析手段と、
物まね対象となるターゲットの音声を分析した結果を基準歌唱情報として記憶する基準歌唱情報記憶手段と、
前記基準歌唱情報記憶手段から前記基準歌唱情報を読み出す基準歌唱情報読出手段と、
前記音声分析手段から出力された歌唱者音声分析情報と前記基準歌唱情報読出手段によって読み出された基準歌唱情報とを比較し、比較した結果を歌唱判定結果として出力する歌唱判定手段と、
前記基準歌唱情報と前記歌唱者音声分析情報との合成の割合と、前記歌唱判定結果との対応関係を、楽曲の難易度又は歌唱者の歌唱力に応じて複数記憶する対応関係記憶手段と、
楽曲の難易度又は歌唱者の歌唱力を示す情報を取得する取得手段と、
前記対応関係記憶手段に記憶された対応関係のうち前記取得手段によって取得された情報に基づく対応関係を読み出し、当該対応関係に基づいて前記歌唱判定結果に対応した前記基準歌唱情報と前記歌唱者音声分析情報との合成の割合を決定する決定手段と、
前記基準歌唱情報と前記歌唱者音声分析情報とを前記決定手段によって決定された割合で合成して特徴合成情報を生成し、当該特徴合成情報に基づいて音声信号を生成するモーフィング音声生成手段と
を備えることを特徴とする音声変換装置。
【請求項２】
前記音声分析手段から出力された歌唱者音声分析情報と前記基準歌唱情報読出手段によって読み出された基準歌唱情報とを音素単位で対応付ける対応付け手段を備え、
前記歌唱判定手段は、前記対応付け手段によって対応付けられた歌唱者分析情報と基準歌唱情報とを比較し、比較した結果を歌唱判定結果として出力し、
前記モーフィング音声生成手段は、前記対応付け手段によって対応付けられた歌唱者音声分析情報と基準歌唱情報とを、前記決定手段によって決定された割合で合成する
ことを特徴とする請求項１に記載の音声変換装置。
【請求項３】
予め物まね対象となるターゲットの音声を分析した結果を基準歌唱情報として記憶する基準歌唱情報記憶手段を用い、歌唱者の音声を分析した結果を歌唱者音声分析情報として出力する音声分析過程と、
基準歌唱情報記憶手段から基準歌唱情報を読み出す基準歌唱情報読出過程と、
前記音声分析過程で出力された歌唱者音声分析情報と、前記基準歌唱情報読出過程で読み出された基準歌唱情報とを比較し、比較した結果を歌唱判定結果として出力する歌唱判定過程と、
楽曲の難易度又は歌唱者の歌唱力を示す情報を取得する取得過程と、
前記基準歌唱情報と前記歌唱者音声分析情報との合成の割合と、前記歌唱判定結果との対応関係を、楽曲の難易度又は歌唱者の歌唱力に応じて複数記憶する対応関係記憶手段から、前記取得過程で取得された情報に基づく対応関係を読み出し、当該対応関係に基づいて前記歌唱判定結果に対応した前記基準歌唱情報と前記歌唱者音声分析情報との合成の割合を決定する決定過程と、
前記基準歌唱情報と前記歌唱者音声分析情報とを前記決定過程で決定された割合で合成して特徴合成情報を生成し、当該特徴合成情報に基づいて音声信号を生成するモーフィング音声生成過程と
を有することを特徴とする音声変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された歌唱者の音声と、予め設定してある歌唱対象者の音声とを所定の割合で合成して出力する音声変換装置に係り、特に、カラオケ装置等に適用し、入力された歌唱者の音声を、対象とする他の歌唱者の音声に物まねさせる際に用いて好適な音声変換装置及び方法に関する。
【０００２】
【従来の技術】
従来の音声変換装置には、マイクから入力された音声に対して、予め登録してある歌手などのある目的の人の音声を分析した結果を用いて、その目的の人の音声に似させるような変換処理を行う、いわゆる物まねカラオケと呼ばれる音声変換装置が提案されている。また、その音声変換の割合を、段階的に変更可能な変換装置も提案されている。このような音声変換装置の一例が、特開平１１−１３３９９５号公報「音声変換装置」に記載されている。
【０００３】
一方、マイクから入力された歌唱情報と、予め用意されたその歌唱に対応する音符情報、または基準音声などの基準歌唱情報との比較により、歌唱者のうまさを評価して点数をつけ、その結果を歌唱者が分かるように表示する歌唱採点装置がある。これまで、このような歌唱のうまさ度の判定する歌唱採点装置として、特開平１０−２６９９４号公報「カラオケ採点装置」に記載されているものを始め多数提案されている。
【０００４】
【発明が解決しようとする課題】
ところで、上記のような従来の物まねカラオケ装置においては、物まね度（モーフィング）の変換割合に対するパラメータは、ユーザーが設定するか、または、予め曲のシーケンス情報に入れるなどの方法で設定するしかない。例えば、モーフィングパラメータを最大（ターゲット歌唱の重みを最大）にした場合は、歌唱者がどのように歌唱してもターゲットの歌唱を録音・再生したようにしかならず、面白い効果を得ることができない。そのため、多くの場合は、設定値として、中間の値が用いられることが多いと思われる。しかしながら、従来の装置では、中間の値に設定したとしても、例えば、歌唱者がうまく歌うか、歌わないかといった歌唱の状態に係わらず、常に一定の設定値によって音声変換が行われてしまう。
【０００５】
一方、歌唱力を採点する歌唱採点装置は、多くのカラオケ装置に搭載されており、人気がある機能であるが、その多くは、歌唱が全て終わった時にトータルの結果で採点が行われていたため、歌唱者は、歌唱のどの部分が歌唱不足なのかといったことを知ることはできなかった。一部には、歌唱中に所定の周期で採点を行い、その採点結果を数値で表示したり、あるいは複数の表示装置を用いて表示するものもあるが、採点の結果は視覚情報として与えられるため、その採点結果が歌唱のどの部分（たとえばどのフレーズ）を対象としたものなのかを歌唱者本人が的確に把握することは難しかった。
【０００６】
本発明は、例えば、物まね度を可変できる物まねカラオケにおいて、物まね度の設定を歌唱者の歌のうまさ（歌唱力）によって決定すること可能とし、これによって、歌唱力に応じた音声変換を得るとともに、歌唱採点結果をよりリアルタイムで把握できるようにする音声変換装置及び方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明は、歌唱者の音声を分析した結果を歌唱者音声分析情報として出力する音声分析手段と、物まね対象となるターゲットの音声を分析した結果を基準歌唱情報として記憶する基準歌唱情報記憶手段と、前記基準歌唱情報記憶手段から前記基準歌唱情報を読み出す基準歌唱情報読出手段と、前記音声分析手段から出力された歌唱者音声分析情報と前記基準歌唱情報読出手段によって読み出された基準歌唱情報とを比較し、比較した結果を歌唱判定結果として出力する歌唱判定手段と、前記基準歌唱情報と前記歌唱者音声分析情報との合成の割合と、前記歌唱判定結果との対応関係を、楽曲の難易度又は歌唱者の歌唱力に応じて複数記憶する対応関係記憶手段と、楽曲の難易度又は歌唱者の歌唱力を示す情報を取得する取得手段と、前記対応関係記憶手段に記憶された対応関係のうち前記取得手段によって取得された情報に基づく対応関係を読み出し、当該対応関係に基づいて前記歌唱判定結果に対応した前記基準歌唱情報と前記歌唱者音声分析情報との合成の割合を決定する決定手段と、前記基準歌唱情報と前記歌唱者音声分析情報とを前記決定手段によって決定された割合で合成して特徴合成情報を生成し、当該特徴合成情報に基づいて音声信号を生成するモーフィング音声生成手段とを備えることを特徴とする。
【０００８】
また、請求項２記載の発明は、請求項１記載の音声変換装置において、前記音声分析手段から出力された歌唱者音声分析情報と前記基準歌唱情報読出手段によって読み出された基準歌唱情報とを音素単位で対応付ける対応付け手段を備え、前記歌唱判定手段は、前記対応付け手段によって対応付けられた歌唱者分析情報と基準歌唱情報とを比較し、比較した結果を歌唱判定結果として出力し、前記モーフィング音声生成手段は、前記対応付け手段によって対応付けられた歌唱者音声分析情報と基準歌唱情報とを、前記決定手段によって決定された割合で合成することを特徴とする。
【００１１】
また、請求項３記載の発明は、予め物まね対象となるターゲットの音声を分析した結果を基準歌唱情報として記憶する基準歌唱情報記憶手段を用い、歌唱者の音声を分析した結果を歌唱者音声分析情報として出力する音声分析過程と、基準歌唱情報記憶手段から基準歌唱情報を読み出す基準歌唱情報読出過程と、前記音声分析過程で出力された歌唱者音声分析情報と、前記基準歌唱情報読出過程で読み出された基準歌唱情報とを比較し、比較した結果を歌唱判定結果として出力する歌唱判定過程と、楽曲の難易度又は歌唱者の歌唱力を示す情報を取得する取得過程と、前記基準歌唱情報と前記歌唱者音声分析情報との合成の割合と、前記歌唱判定結果との対応関係を複数記憶する対応関係記憶手段から、前記取得過程で取得された情報に応じた対応関係を読み出し、当該対応関係に基づいて前記歌唱判定結果に対応する合成の割合を決定する決定過程と、前記基準歌唱情報と前記歌唱者音声分析情報とを前記決定過程で決定された割合で合成して特徴音声情報を生成し、当該特徴音声情報に基づいて音声信号を生成するモーフィング音声生成過程とを有することを特徴とする。
【００１２】
上記のように、本発明によれば、歌唱者の音声を分析し、その分析結果と予め準備した物まね対象者の歌唱分析結果、または、楽譜情報との比較によって、歌唱者の歌のうまさ、歌唱力度等を求める歌唱判定が行われ、その歌唱力度等によって物まねカラオケの物まね度等を設定することが可能となる。
【００１３】
【発明の実施の形態】
[第１の実施形態]
以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の第１の実施形態の構成を示すブロック図である。本実施形態は、本発明を物まね機能付きのカラオケ装置に適用したものであり、歌唱者（ミー：Me）のマイク１からの入力音声を、歌手などの物まね対象者（ターゲット：Target）の音声に似させるような音声変換を行って出力するように構成されている。
【００１４】
マイク１は、歌唱者（ミー）の音声を収拾する。その収拾された音声信号は入力音声分析部１０２に入力され、入力音声分析部１０２によって入力音声信号からミー音声の特徴が抽出される。抽出される情報は、ミー音声の特徴を現すピッチ（平均基本周波数）、振幅、スペクトルなどである。なお、本発明は、物まねを行う際の音声合成の割合の設定方法に特徴を有するものであり、どのような物まね方法を用いるのか、すなわちどのようにして音声合成を行うのかは特に限定されない。ここで分析される情報は、物まね音声変換部１０３において必要な情報と、歌唱判定部１０６において必要な情報であり、上記のものに限定されない。
【００１５】
１０９は、たとえばＭＩＤＩ規格の曲情報に基づいてカラオケの演奏信号を生成する伴奏演奏部である。また、ターゲット歌唱情報記憶部１０４は、予めターゲット歌唱者によって歌唱された歌唱音声に対して音声分析を行った結果を、上記入力音声分析部１０２の出力と同じ特徴情報に対応して記憶している。ターゲット歌唱情報記憶部１０４に記憶されている特徴情報は、ターゲット歌唱情報呼び出し部１０５によって、伴奏音演奏部１０９による曲の進行位置に対応する情報が読み出される。読み出し方は、曲のテンポに従って読み出す方法、曲の開始時刻からの経過時間に従って読み出す方法など任意の方法を用いればよい。後述する第２実施形態のアライメント処理を行う方法をとってもよい。
【００１６】
基準歌唱情報読み出し部１０７は、歌唱判定を行う際に用いるターゲット歌唱情報記憶部１０４と、歌唱曲の音符情報を記憶する音符情報記憶部１０４＊との両者またはどちらか一方から読み出し、これを基準歌唱情報として出力する。ただし、例えば、音符情報記憶部１０４＊に記憶されている歌唱曲の音符情報を基準として用いず、ターゲット歌唱情報記憶部１０４に記憶されている歌唱対象者の音声を音声分析した結果のみを歌唱判定の基準として用いる場合には、この基準歌唱情報読み出し部１０７をターゲット歌唱情報呼び出し部１０５に含ませることも可能である。基準歌唱情報は、歌唱判定を行う際の比較基準として必要となる情報であり、最低限の情報としては、歌唱の歌い出しと歌い終わりのタイミングが分かる情報（例えば振幅情報からタイミング情報を得るようにしてもよい）と、その音声についてのピッチ情報である。
【００１７】
歌唱判定部１０６は、入力音声分析部１０２から出力された歌唱者の音声特徴情報と基準歌唱情報読み出し部１０７によって読み出された基準歌唱情報に基づいて、各情報が示す音声波形の振幅、平均基本周波数（ピッチ）、ビブラート、音色、音素の種類を特定する情報について各属性毎に歌唱者の音声特徴情報と基準歌唱情報との比較を行い、その結果に基づいて、比較した結果を各属性毎に歌唱力の判定結果（歌唱力度）として出力する歌唱判定を行う。なお、各属性のうちの１または複数の属性に絞って歌唱判定を行っても良い。
判定方法には、入力音声分析部１０２を基準に行う方法と、基準歌唱情報読み出し部１０７を基準に行う方法とがある。この基準の取り方によって、比較結果が全く不一致である場合に、どちらの歌唱情報による音声が１００％の割合で出力されるのかということが異なってくる。例えば、ターゲット歌唱者の歌唱が始まっているのに、歌唱者が歌唱していないとき、その音声を出力するかどうかは、この基準の取り方によって異なる。通常、歌唱者が歌唱しない時であっても音声を出力するという要求は特殊なものであると思われるので、ここでは、歌唱者が歌唱していない場合には、音声は出力しないという設定を用いることとする。ただし、このどちらを基準として用いるかは適宜設定可能である。
【００１８】
次に判定方法であるが、入力音声分析部１０２の音声特徴情報の中にどの属性情報が含まれているかによって異なってくる。その判定方法の詳細は後述するが、その含まれる属性ごとに判定を行うことが好ましい。その場合、判定結果を例えば“０”から“１”までの値で表すこととしたとき、ピッチの判定が“０．５”で、振幅の判定が“０．３”などという形で属性毎に判定結果が得られるようになる。
【００１９】
歌唱力度→物まね度変換部１０８は、歌唱判定部１０６の判定結果に基づいて、物まね音声変換部１０３の物まね度すなわち合成割合の設定値をいくつにするかを決定する。歌唱力度→物まね度変換部１０８における変換の方法としては、歌唱力度→物まね度モード切り替え部１０８＊における操作者の所定の操作に応じて、あらかじめ定められた複数の変換方法のなかから選択された１つの方法が用いられる。例えば、変換の方法としては、判定結果と変換割合の対応を規定する変換テーブルまたは変換関数などによって決定する方法を用いることができる。ここで、変換時に注意が必要となる事項について説明する。
【００２０】
例えば、音声特徴情報またはターゲット歌唱情報（基準歌唱情報）で示される音声中の連続した２つの音素間の判定結果が極端に変化した場合、変換結果をどのように決定するかの設定は、重要な要素である。例えば「わたしは」と歌唱した場合に、交互に判定結果が「わ」は“０”、「た」は“１”、「し」は“０”、「は」は“１”などと変化した場合、単純にその結果を変換割合の決定の基準値として用いると、自分の歌唱、ターゲットの歌唱が交互に出力されることになってしまう。これを避けるためには、例えば、物まね音声変換部１０３の物まね度の設定が「ピッチ」および「音色」の２つの属性に関する判定結果で行う場合、夫々の属性について以前の設定値を記憶しておき、新たな設定値が、前回の値に対して、ある値、例えば１０％以上異なるような場合には、１０％分のみ増やすといった補間制御が必要になる。この補間は、歌唱判定部１０６で行っても良い。また、歌唱者もターゲットも無音部分である場合は、上記補間情報をリフレッシュ（初期化）するといったことも考えられる。この処理は、例えば、歌唱判定部１０６からの指令によって行うようにすることができる。
【００２１】
また、歌唱判定部１０６からの判定結果における出力の属性数が、物まね音声変換部１０３の物まね度の設定に用いる属性の個数と異なる場合は、少ないときには同じ設定を複数の物まね設定に対応させ、多いときには重みづけや平均化した値を使うなどの方法を採用することができる。例として、歌唱判定部１０６の結果に、ピッチとアンプ（振幅）の２つの属性情報があり、物まね音声変換部１０３の物まね度の設定が一つの基準値から変換割合を決定する構成になっている場合、ピッチとアンプ両方の平均をとり、その値を変換の際に用いる変換テーブルに入力とするといったことである。
【００２２】
次に、歌唱力度→物まね度モード切り替え部１０８＊における変換方法の選択については、いくつかのバリエーションがあるが、代表的な例について説明する。
▲１▼歌唱力度→物まね度モード切り替え部１０８＊に曲の難易度によって変換方法を変更するかどうかを設定する操作子を設け、その操作に従い、歌唱力度→物まね度変換部１０８において、例えば音符記憶情報記憶部１０４＊に記憶されている曲の難易度を示すデータに従って変換テーブルや変換関数を変更するようにする。
▲２▼歌唱力度→物まね度モード切り替え部１０８＊に曲の難易度を入力する操作子をさらに設けてその操作に応じて、歌唱力度→物まね度変換部１０８で変換テーブルや変換関数を変更する。
▲３▼歌唱力度→物まね度モード切り替え部１０８＊に、歌唱者の歌唱力として、例えば、例えば初級、中級、上級といった設定を選択可能な操作子を設け、その操作に従って、歌唱力度→物まね度変換部１０８で使用する変換テーブルや変換関数を異ならせるようにすることもできる。
▲４▼歌唱力度→物まね度モード切り替え部１０８＊には、歌唱判定部１０６あるいは歌唱力度→物まね度変換部１０８において、歌唱情報と歌唱基準情報のどちらを基準として用いるのかを選択する操作子を設け、その操作に応じて基準となる情報を選択することも可能である。
【００２３】
次に、物まね音声変換部１０３は、入力音声分析部１０２、ターゲット歌唱情報呼び出し部１０５、歌唱度→物まね度変換部１０８から供給される情報に基づいて、物まね音声を合成する。例えば、入力音声分析部１０２の出力がピッチＰｍ’であり、ターゲット歌唱情報呼び出し部１０５の出力がピッチＰｔであり、歌唱力度→物まね度変換部１０８の出力におけるピッチ物まね度（物まねの割合）がＰｒであった場合は、合成後のピッチＰｄは、Ｐｄ＝Ｐｍ’＊（１−Ｐｒ）＋Ｐｔ＊Ｐｒ（但し、Ｐｔ，Ｐｒは同じオクターブの場合）などの演算によって決定することができる。同様に他の各要素（属性）によって決定されたパラメータによる合成がなされ、合成された結果が、ミキシングアンプ部１７に供給される。このミキシングアンプ部１７に供給された合成結果は、ミキシングアンプ部１７で、さらに伴奏演奏部１０９から出力された伴奏音とミキシングされた後、出力される。
【００２４】
次に、歌唱判定部１０６における歌唱力度の判定方法について詳細に説明する。ここでは、入力音声分析部１０２からの歌唱情報と基準歌唱情報読み出し部１０７からの基準歌唱情報に含まれる歌唱情報の各属性（パラメータ）についての説明と、歌唱判定部１０６においてどのように判定を行うのかということについて説明する。まず、判定を行う判定パラメータ（属性パラメータ）とそのパラメータの求め方、およびその判定範囲について述べる。各情報中のパラメータとしては、例えば、固定フレーム長１２８サンプルで分析を行い、そのサンプルごとに１つの結果を値として持つようにする。
【００２５】
歌唱判定部１０６において、ピッチ（基本周波数）を判定パラメータとして用いる場合、音素単位、音節単位、または、固定時間（例えば１００ｍｓごと）で判定を行うこととする。ピッチは、周波数で判定する場合は、その比で判定を行い、対数、例えば、セントでの比較は差分で行うこととする。その比率、差分ごとに、その値に対応する歌唱力度を、表（テーブル）に設定したり、関数式で表すことによって、そのピッチに関する歌唱力度を求める。例えば、歌唱力度のピッチ属性に関する判定結果は“０”（歌唱力があまり無い）から“１”（歌唱力がある）までの値として出力される。また、このピッチパラメータから、平均ピッチ、ビブラートピッチ、こぶしピッチなどを求め、その各パラメータごとに判定を行ってもよい。その場合、ビブラートピッチ、こぶしピッチについては、判定を行うのが音が発生されてから、その変化が確認されるまで、例えばビブラートの場合はそのビブラートの周期が確認されるまで、待ってから判定を行うこととなる。ビブラートピッチは、例えば周期または周波数という単位でその比によって判定を行う。
こぶしピッチは、ピッチの上がり下がりの変化（平均ピッチとの差分）を、音の立ち上がりから３００ｍｓ程度を２０ｍｓ程度の間隔で計測した結果を同様な情報を数パターン予め用意したこぶしピッチパターンテーブルからもっとも近いパターンのテーブル番号を求め、そのテーブル番号の各情報間の差によって判定を行う。その際には、例えば、徐々に設定値が変化する複数のテーブルを用いる。
【００２６】
振幅に基づく判定に関しては、振幅の変化量との割合（対数の場合は、差分）を判定基準とするなどの方法がある。また、ピッチと同様に、平均振幅、ビブラート振幅、こぶし振幅などを、個別に求め、その各パラメータごとの判定を行っても良い。そのビブラート振幅、こぶし振幅などは、その結果が出力された後に判定を行うこととなる。また、歌唱力の判定を行うのに重要な要素の一つである歌唱タイミング（リズム度）については、この振幅情報を基準として判定するようにすることができる。また他の判定の方法としては、あるスレッショルド値と、現在の歌唱・非歌唱の情報、ピッチがある無しなどの情報に基づいて、音の歌いだし、終わりの時間を求め、その時間差を判定基準とするといった方法もある。なお、歌唱タイミングについては、音素情報などがあればその情報も含めて判定を行うことが好ましい。
【００２７】
次に、スペクトル（音色）情報に基づく判定について説明する。スペクトルの情報は、音色を現す情報を最も多く含む属性パラメータである。スペクトルの情報は、例えば、各サイン成分のピーク値を、周波数ｆｎとピーク値ｐｎを各成分ごとに持つことで表したり、線形予測（ＬＰＣ）値などで表すことできるが、それに基づく判定は、例えば、周知の方法によって各歌唱情報間のスペクトル歪み度を求め、その値を判定基準として用いる方法などがある。
【００２８】
次に、音素情報を判定パラメータとする場合について説明する。音素情報とは、音声認識等で使用されている情報である。音素情報は、例えば、ＨＭＭ（隠れマルコフモデル）などで使用されているＬＰＣ係数などから、予め学習されたコードブックのインデックス番号を求めるＶＱ（ベクトル量子化）などの手法で量子化した値で表すことができる。そして、判定時には、各歌唱情報間で量子化した値を比較することで判定を行う。例えば、ＶＱなどの手法で量子化した値を比較する場合、歌詞を誤って歌ったかどうかを認識して、それを判定基準とすることなどが可能となる。
【００２９】
（第１実施形態の動作の概略）
上述した構成による第１実施形態の概略動作は以下の通りある。まず、曲データに応じて伴奏演奏部１０９がカラオケ演奏信号を生成し、これがミキシングアンプ１７によって増幅されて出力される。これにより、歌唱者は、演奏の始まり（イントロ）を聞く。そして、歌唱者が歌い出すと、その音声はマイク１を介して入力音声分析部１０２に供給され、特徴成分が抽出される。同時に、曲の進行と同期して、ターゲット歌唱情報記憶部１０４からターゲットの特徴情報が読み出され、物まね音声変換部１０３に供給される。このとき、歌唱者の特徴成分も入力音声分析部１０２から物まね音声変換部１０３に供給され、物まね音声変換部１０３は、両者の特徴成分を混合し、ターゲットの声に似せた音声信号を生成する。この場合、どの程度ターゲットに似せるかという物まね度が、歌唱力度→物まね度変換部１０８によって制御される。本実施形態では、歌唱判定部１０６の判定結果に基づいて物まね度が逐次変化し、物まね度が１００％で完全にターゲットの声色になり、物まね度が０％で歌唱者本人の声色になる。例えば、歌唱者がうまく歌っているフレーズでは、物まね度が高くなってターゲットの声色に近くなり、歌唱者がうまく歌えないフレーズでは物まね度が低くなって本人の声色に近くなる。したがって、歌唱者は、出力される音声の声色を聞きながら、その箇所の歌唱度を判断することができる。例えば、歌唱者本人の声色に近くなってしまった場合には、より巧く歌うようにしてゆくと、だんだんターゲットの声色に近づいてゆくという制御が行われる。なお、上記制御とは反対に、巧く歌うほど本人の声色に近くなるように制御することも可能である。
以上説明したように、第１の実施形態によれば、自動的に判定した歌唱力に応じて、物まね度すなわちミーとターゲットの合成の割合が自動的に変更されるので、次のような効果を得ることができる。▲１▼従来のように物まね度を一定にしておいた場合に比べて、歌唱能力に応じた物まね度を設定できるので、より歌唱能力に適合した物まね効果を得ることが出来る。▲２▼歌唱中の各時点で、歌唱能力に応じて物まね度が変更されるため、どの部分の歌唱が不足しているのかということを的確に確認しつつ歌唱することができ、この装置を用いることによって歌唱能力を高める効果が期待できる。▲３▼歌唱の特徴ごとにその特徴に応じて物まね度が変更されるため、歌唱中のどの特徴が歌唱不足なのかが分かり、歌唱能力を高める効果が期待できる。▲４▼カラオケなどで、複数人で楽しむ場合などで、歌唱能力に差があって、歌唱能力があまり無い人が歌いにくい場合などがあるが、歌唱能力が低いほど物まね度を高める設定にしておけば、へたな人でもうまく歌うことができ、聞く場合も下手な歌をがまんして聞くようなこともなくなり、みんなでカラオケを楽しむことができる。▲５▼カラオケなどで、複数人で楽しむ場合などで、歌唱能力に自信がある人たちのグループの場合は、歌唱能力が高いほど、物まね度を高める設定にしておけば、だれが完壁に物まねができるかなどを競いあうことができる。
【００３０】
［第２の実施形態］
次に、図２〜図１４を参照して、本発明による音声変換装置の第２の実施形態について説明する。
【００３１】
［１−１．全体構成］
図２は、本発明の他の実施形態の構成を示すブロック図である。本実施形態は、上記実施形態と同様に、本発明を物まね機能付きのカラオケ装置に適用したものであり、歌唱者（ミー：Me）のマイクからの入力音声を、例えば歌手などの物まね対象者（ターゲット：Target）の音声に似させるように音声変換を行って出力するように構成されている。なお、図２において、図１に示す構成に対応する構成にはその構成を破線で囲むとともに、図１のものと同一の符号を用いて対応関係を表している。ただし、第２実施形態における物まね度変換部１０３は、第１実施形態における歌唱力度→物まね度変換部１０８の機能を併せ持っている。
【００３２】
本実施形態では、所定の時間単位で区切ったフレーム単位で対象音声を分析したデータを記憶しておき、入力音声も同様の時間単位で区切ったフレーム単位で分析することにより、入力音声のフレームの時間に対応する対象者のフレームを特定できれば、時間関係を一致させるようにしている。そして、本実施形態は、さらに、音素単位で入力音声と対象音声とを一致させたフレームデータを合成することによって音声変換を行うように構成されている。
【００３３】
図２において、マイク１は、ものまねをしようとする歌唱者の声を収集し、入力音声信号Ｓｖとして入力音声信号切出部３に出力する。分析窓生成部２は、前回のフレームで検出したピッチの周期の固定倍の周期を有する分析窓（例えば、ハミング窓）ＡＷを生成し、入力音声信号切出部３に出力する。なお、初期状態あるいは前回のフレームが無声音（含む無音）の場合には、予め設定した固定周期の分析窓を分析窓ＡＷとして入力音声信号切出部３に出力する。入力音声信号切出部３は、入力された分析窓ＡＷと入力音声信号Ｓvとを掛け合わせ、入力音声信号Ｓvをフレーム単位で切り出し、フレーム音声信号ＦＳvとして高速フーリエ変換部４に出力する。高速フーリエ変換部４は、フレーム音声信号ＦＳvから周波数スペクトルを求め、周波数分析部５ｓおよび特徴パラメータ分析部５ｐを備えた入力音声分析部５に出力する。
【００３４】
周波数分析部５ｓは、ＳＭＳ（Spectral Modeling Synthesis）分析を行って正弦波成分および残差成分を抽出し、分析した当該フレームの歌唱者の周波数成分情報として保持する。特徴パラメータ分析部５ｐは、入力音声のスペクトル特性を特徴づける特徴パラメータを抽出し、シンボル量子化部７に出力する。本実施形態では、特徴パラメータとして後に説明する５種類（メルケプストラム係数、差分メルケプストラム係数、差分エネルギー係数、エネルギー、ボイスネス）の特徴ベクトルを用いる。
【００３５】
音素辞書記憶部６は、後に詳しく説明するように、符号帳および各音素における特徴ベクトルの状態遷移確率とシンボル発生確率とを示す確率データを含む音素辞書を記憶している。シンボル量子化部７は、音素辞書記憶部６に記憶された符号帳を参照して、そのフレームにおける特徴シンボルを選び出し、状態遷移決定部９に出力する。音素列状態形成部８は、隠れマルコフモデル（ＨＭＭ）によって音素列状態を形成し、状態遷移決定部９は、入力音声から得られたフレーム単位の特徴シンボルを用いて、後述するビタービアルゴリズムに従って状態遷移を決定する。
【００３６】
アライメント・歌唱判定・変換部１０は、決定された状態遷移から入力音声の時間ポインタを決定し、当該時間ポインタに対応するターゲットフレームを特定し、周波数分析部に保持された入力音声の周波数成分と、ターゲットフレーム情報保持部１１に保持された対象者の周波数成分とを合成部１２に出力するとともに、前述した第１の実施形態と同様にして歌唱判定を行い、歌唱判定の結果に基づいて合成割合を決定して合成部１２に出力する。ターゲットフレーム情報保持部１１には、予めフレーム単位で周波数分析された周波数分析データおよび、いくつかのフレームで構成される時間リージョン（region）単位で記述された音素列が記憶されている。
【００３７】
合成部１２は、入力音声の周波数成分と対象者の周波数成分とを、アライメント・歌唱判定・変換部１０で設定された合成割合で合成した新たな周波数成分を生成して逆高速フーリエ変換部１３に出力し、逆高速フーリエ変換部１３は新たな周波数成分を逆高速フーリエ変換して新たな音声信号を生成する。
【００３８】
ところで、本実施形態は物まね機能を備えたカラオケ装置であり、曲データ記憶部１４には、ＭＩＤＩデータや時間データ、歌詞データなどによって示されるカラオケ曲データが記憶されており、ＭＩＤＩデータを時間データに従って再生するシーケンサ１５およびシーケンサ１５の出力データから楽音信号を生成する音源１６を備えている。ミキサ１７は、逆高速フーリエ変換部１３から出力された音声信号と音源１６から出力された楽音信号とを合成してスピーカ１８から出力する。このように、歌唱者がマイク１に向かって歌唱すると、歌唱者の音声が対象者の音声に似せて変換された新たな音声と、カラオケの伴奏楽音とがスピーカ１８から出力されるように構成されている。
【００３９】
[１−２．音素辞書]
次に、本実施形態で用いる音素辞書について説明する。音素辞書は、音声信号の代表的な特徴パラメータを特徴ベクトルとして所定数のシンボルにクラスタ化した符号帳と、各音素毎に状態遷移確率および前記各シンボルの観測確率とから構成されいる。
【００４０】
[１−２−１．特徴ベクトル]
符号帳について説明する前に、まず、本実施形態で用いる特徴ベクトルについて説明しておく。
▲１▼メルケプストラム係数（bMEL）
メルケプストラム係数は、音のスペクトル特性を少ない次数で表す係数であり、本実施形態では１２次元ベクトルとして１２８シンボルにクラスタ化している。
▲２▼差分メルケプストラム係数（bdeltaMEL）
差分メルケプストラム係数は、メルケプストラム係数の時間差分であり、１２次元ベクトルとして１２８シンボルにクラスタ化している。
▲３▼差分エネルギー係数（bbdeltaENERGY）
差分エネルギー係数は、音の強さの時間差分を表す係数であり、本実施形態では１次元ベクトルとして３２シンボルにクラスタ化している。
▲４▼エネルギー（bENERGY）
エネルギーは、音の強さを表す係数であり、本実施形態では１次元ベクトルとして３２シンボルにクラスタ化している。
▲５▼ボイスネス（bVOICENESS）
ボイスネスは、有声音らしさを表す特徴ベクトルであり、音声をゼロクロス率およびピッチエラーで特徴づける２次元ベクトルとして３２シンボルにクラスタ化している。以下、ゼロクロス率とピッチエラーについてそれぞれ説明する。
【００４１】
（１）ゼロクロス率
ゼロクロス率は、有声音であるほどゼロクロス率が低くなる特徴を有するものであり、次式で定義される。
【数１】
0004364977.tif 000002
ここで、sgn{s(n)}=+1:s(n)>=0,-1:s(n)<0,
N：フレームサンプル数
W：フレーム窓
s：入力信号
【００４２】
（２）ピッチエラー
ピッチエラーは、予測ピッチから測定ピッチへのエラーおよび、測定ピッチから予測ピッチへのエラーの２方向からのミスマッチを求めることによって有声音らしさを示すものであり、詳細には、"Fundamental Frequency Estimation in the SMS Analysis"(P.Cano. Proceedings of the Digital Audio Effects Workshop,1898）にTwo-Way Mismuch手法として説明されている。
【００４３】
まず、予測ピッチ(p)から測定ピッチ(m)へのピッチエラーは次式で表される。
【数２】
0004364977.tif 000003
fn：ｎ番目の予測ピーク周波数
Δfn：ｎ番目の予測ピーク周波数とそれに近接した測定ピーク周波数差
an：ｎ番目の測定アンプリチュード
Amax：最大アンプリチュード
【００４４】
一方、測定ピッチ(m)から予測ピッチ(p)へのピッチエラーは次の式で表される。
【数３】
0004364977.tif 000004
fk：ｋ番目の予測ピーク周波数
Δfk：ｋ番目の予測ピーク周波数とそれに近接した測定ピーク周波数差
ak：ｋ番目の測定アンプリチュード
Amax：最大アンプリチュード
【００４５】
従って、トータルエラーは次式のようになる。
【数４】
0004364977.tif 000005
なお、常数として、p=0.5,q=1.4,r=0.5が実験的にほとんどの音声に対して最適であることが報告されている。
【００４６】
[１−２−２．符号帳]
符号帳は、それぞれの特徴ベクトルに対して、各シンボルの数へクラスタされたベクトル情報が記憶されている（図３参照）。
符号帳は、大量の学習セット中の全ての予測ベクトルの中から、最小歪みである量子化によって、Ｋ予測ベクトル（コード）と言われるセットを見つけることによって作成されている。本実施形態では、クラスタ化のアルゴリズムとしてＬＧＢアルゴリズムを用いる。
【００４７】
以下、ＬＧＢアルゴリズムを以下に示す。
▲１▼初期化
まず、ベクトルの全体の中からセントロイドを見つける。ここでは、初期コードベクトルとする。
▲２▼反復
Ｉをトータル反復回数とすると、２Iのコードベクトルが要求される。そこで、反復回数をｉ＝１，２，・・・・・・，Ｉとすると、反復ｉについて、以下の計算を行う。
１）いくつかの存在するｘというコードベクトルを、ｘ（１＋ｅ）とｘ（１−ｅ）という二つのコードへ分割する。ここで、ｅは、例えば０．００１という小さな数値である。
これにより、２i個の新しいコードベクトルｘik（ｋ＝１，２，・・・，２i）が得られる。
２）学習セット中の各々の予測ベクトルｘについて、ｘからコードへｘik量子化する。
ｋ’＝ａｒｇｍｉｎkｄ（ｘ，ｘik）
ここで、ｄ（ｘ，ｘik）は、予測空間での歪み距離を示している。
３）反復計算の間、各々のｋについて、ｘik＝Ｑ（ｘ）のように、すべてのベクトルをセントロイドする計算を行う。
【００４８】
[１−２−３．確率データ]
次に、確率データについて説明する。本実施形態では、音声をモデル化するためのサブワード単位としてＰＬＵ（疑似音素単位）を用いる。より具体的には、図４に示すように、日本語を２７の音素単位で扱うものとし、各音素には状態数が割り付けられている。
状態数とは、サブワード単位の持続する最も短いフレーム数をいい、例えば、音素“ａ”の状態数は“３”であるので、音素“ａ”は少なくとも３フレームが続くことを意味する。
３状態は、発音の立ち上がり・定常状態・リリース状態を擬似的に表したものである。音素“ｂ”や“ｇ”などの破裂音は、本来持つ音韻が短いので２状態に設定されており、息継ぎ（ASPIRATION）も２状態に設定されている。そして、無音（SILEMCE）は、時間的変動がないので１状態に設定されている。
【００４９】
音素辞書中の確率データには、図５に例示するように、サブワード単位で表される２７の音素に対して、各状態の遷移確率と、各特徴ベクトルのシンボルに対する観測シンボル発生確率が記述されている。なお、図５においては、記載を中略しているが、各特徴ベクトル毎の観測シンボル発生確率の和は１となっている。これらのパラメータは、学習データに対するモデルの尤度を最大にするサブワード単位モデルのパラメータを推定することにより求める。ここでは、セグメントｋ平均学習アルゴリズムを用いる。
【００５０】
セグメントｋ平均学習アルゴリズムを以下に示す。
▲１▼初期化
まず、予め音素セグメント分けされた初期推定データについて、各々の音素セグメントをＨＭＭ状態へ線形的にセグメント化（分割）する。
▲２▼推定
遷移確率は、次式に示すように、遷移に用いられる遷移数（フレーム単位）をカウントし、これを、状態からの遷移全てに用いられる遷移数（フレーム単位）のカウント値で割り算することにより求められる。
【数５】
0004364977.tif 000006
【００５１】
一方、シンボル発声確率は、次式に示すように、各状態で各特徴シンボルを発生する数をカウントし、これを各状態における全ての発生数のカウントで割り算することによって求められる。
【数６】
0004364977.tif 000007
【００５２】
▲３▼セグメンテーション
学習セットに対して、ステップ▲２▼で求めた推定パラメータを用いて、ビタービアルゴリズムを介して再セグメント化する。
▲４▼反復
ステップ▲２▼とステップ▲３▼を収束するまで繰り返す。
【００５３】
[１−３．ターゲットフレーム情報]
ターゲットフレーム情報保持部１１には、予め対象者の音声がＳＭＳ分析されてフレーム単位で記憶されている。
まず、図６参照しながら、ＳＭＳ分析について説明する。ＳＭＳ分析では、まず標本化された音声波形に窓関数を乗じた音声波形（Frame）を切り出し、高速フーリエ変換（FFT）を行って得られる周波数スペクトルから、正弦波成分と残差成分とを抽出する。
【００５４】
正弦波成分とは、基本周波数（Pitch）および基本周波数の倍数にあたる周波数（倍音）の成分をいう。本実施形態では、基本周波数を“Fi”として保持し、各成分の平均アンプリチュードを“Ai”として保持し、スペクトル包絡をエンベロープとして保持する。
残差成分とは、入力信号から正弦波成分を除いた成分であり、本実施形態では、図６に示すように周波数領域のデータとして保持する。
図６に示すように得られた正弦波成分および残差成分で示される周波数分析データは、図７に示すようにフレーム単位で記憶される。本実施形態では、フレーム間の時間間隔は５ｍｓとし、フレームをカウントすることによって時間を特定することができるようになっている。各フレームには曲の冒頭からの経過時間に相当するタイムスタンプが付されている（ｔｔ１、ｔｔ２、……）。
【００５５】
ところで、先に説明したように、各音素は、少なくとも音素毎に設定されている状態数分のフレームが続くから、ターゲットフレーム情報においても、各音素情報は複数のフレームから構成される。この複数フレームのまとまりをリージョン（region）とする。
ターゲットフレーム情報保持部には、対象者が歌唱したときの音素列が記憶されるが、各音素とリージョンとを対応つけて記述している。図７に示す例では、フレームｔｔ１〜ｔｔ５から構成されるリージョンが音素“ｎ”に対応し、フレームｔｔ６〜ｔｔ１０から構成されるリージョンが音素“ａ”に対応している。
このように、ターゲットフレーム情報を保持し、同様のフレーム分析を入力音声に対して行えば、音素単位で両者を一致させた際に、フレームで時間を特定することができ、周波数分析データで合成処理ができるようになる。
【００５６】
[２．実施形態の動作]
次に、本実施形態の動作について説明する。
【００５７】
[２−１．概要動作]
最初に、概要動作について図８に示すフローチャートを参照しながら説明する。
まず、マイク入力音声分析が行われる（Ｓ１）。具体的には、フレーム単位で高速フーリエ変換し、周波数スペクトルからＳＭＳ分析を行った周波数分析データを保持する。また、周波数スペクトルから特徴パラメータ解析を行って、音素辞書に基づいてシンボル量子化を行う。
【００５８】
次に、音素辞書および音素記述列に基づいて、ＨＭＭモデルによる音素の状態決定を行い（Ｓ２）、シンボル量子化された特徴パラメータおよび決定された音素状態に基づいて１パスビタービアルゴリズムによって状態遷移を決定する（Ｓ３）。ＨＭＭモデルおよび１パスビタービアルゴリズムについては後に詳しく説明する。
そして、決定した状態遷移により入力音声の時間ポインタを決定し（Ｓ４）、当該時間が新たな音素状態になったか否かを判定する（Ｓ５）。時間ポインタとは、入力音声および対象音声の時系列において、当該処理時刻におけるフレームを特定するものである。本実施形態では、入力音声および対象音声はフレーム単位で周波数分析され、各フレームは、入力音声および対象音声の時系列と対応付けられている。以後、入力音声の時系列を時刻ｔｍ１、ｔｍ２……と表記し、対象音声の時系列をｔｔ１、ｔｔ２……と表記する。
【００５９】
ステップＳ５の判定において、新たな音素状態になったと判定した場合は（Ｓ５；Ｙｅｓ）、フレームカウントを開始し（Ｓ６）、時間ポインタを音素列の先頭へ移動する（Ｓ７）。フレームカウントとは、当該音素状態として処理したフレーム数をいい、先に説明したように、各音素は複数のフレームが続くので、すでに何フレーム続いたかを示す値となる。
そして、入力音声フレームと対象者音声フレームにおける振幅、平均基本周波数、ビブラート、音色、音素番号等の所定のパラメータについて比較を行うことで歌唱力の判定を行い、判定結果に基づいて合成割合を決定し（Ｓ８ａ）、決定した合成割合で、入力音声フレームの周波数分析データと対象者音声フレームの周波数分析データとを周波数領域で合成し（Ｓ８ｂ）、逆高速フーリエ変換することによって（Ｓ９）新たな音声信号を生成して出力する。
【００６０】
ところで、ステップＳ５の判定において、新たな音素状態に遷移していないと判定した場合は（Ｓ５；Ｎｏ）、フレームカウントをインクリメントして（Ｓ１０）、時間ポインタをフレーム時間間隔分進め（Ｓ１１）、ステップＳ８ａに移行する。
具体例をあげて説明すると、図７示す例では、音素状態が“ｎ”にとどまり続ける場合はフレームカウントをインクリメントして、時間ポインタをｔｔ１、ｔｔ２……と移動させる。しかし、フレームｔｔ３の音素状態が“ｎ”を処理した次の時刻に“ａ”に遷移した場合には、音素列“ａ”の先頭フレームｔｔ６に時間ポインタを移動させる。
このようにすれば、対象者と歌唱者との発音タイミングが異なっても、音素単位での時間一致を行うことができる。
【００６１】
[２−２．動作の詳細]
次に、概要動作においてふれた各処理について詳細に説明する。
【００６２】
[２−２−１．入力音声分析]
図９は、入力音声を分析する処理について詳細に説明する図である。図９に示すように、入力音声波形からフレーム単位で切り出された音声信号は、高速フーリエ変換によって周波数スペクトルに変換される。
周波数スペクトルは、先に説明したＳＭＳ分析によって周波数成分データとして保持される他、特徴パラメータ解析が行われる。
一方、周波数スペクトルは、特徴パラメータ分析も行われる。より具体的には、各特徴ベクトル毎に、音素辞書から最大尤度のシンボルを見つけることによってシンボル量子化して観測シンボルとする。
このようにして得られたフレーム毎の観測シンボルを用いて、後に詳しく説明するように状態遷移が決定されるようになる。
【００６３】
[２−２−２．隠れマルコフモデル]
次に、図１０を参照しながら、隠れマルコフモデル（ＨＭＭ）について説明する。なお、音声の状態は一方向へ遷移するので、left to right型のモデルを用いている。
【００６４】
時刻ｔにおいて、状態がｉからｊへ遷移する確率（状態遷移確率）をａijと表す。図１０に示す例では、状態▲１▼にとどまる確率をａ11と表し、状態▲１▼から状態▲２▼へ遷移する確率をａ12と表している。
各状態の中には特徴ベクトルがそれぞれ存在し、各々に異なる観測シンボルがある。これをＸ＝｛ｘ1、x2，…、ｘT｝と表す。
そして、時刻ｔにおいて状態がｊである時に特徴ベクトルのシンボルｘtを発生させる確率（観測シンボル離散確率）をｂj(xt）と表す。
モデルλにおいて、時刻Ｔまでの状態系列をＱ＝｛ｑ1,q2,…,ｑT｝とすると、観測シンボル系列Ｘと状態系列Ｑの同時発生確率は、次式で表せる。
【数７】
0004364977.tif 000008
観測シンボル系列は判っているが、状態系列は観測しえないという理由で、このようなモデルが隠れマルコフモデル（ＨＭＭ）と呼ばれている。本実施形態では、ターゲットフレーム情報保持部１１に記憶されている音素記述列に基づいて、図１０に示すようなＦＮＳ（有限状態ネットワーク）を音素単位で形成する。
【００６５】
[２−２−３．アライメント]
次に、図１１および図１２を参照しながら、本実施形態におけるアライメントについて説明する。
本実施形態では、音素記述列に基づいて形成された上述の隠れマルコフモデルと、入力音声から抽出したフレーム単位の特徴シンボルを用いて、１パスビタービアルゴリズムに従って入力音声の状態遷移を決定する。そして、入力音声の音素と対象音声の音素とをフレーム単位で対応づける処理を行う。また、本実施形態では、二つの音声信号のアライメントをカラオケ装置において用いているので、曲データに従った楽曲の時系列と、音声信号の時系列とを同期させる処理も行う。
以下、これらの処理について順次説明する。
【００６６】
[２−２−３−１．１パスビタービアルゴリズム]
ビタービアルゴリズムは、観測シンボル系列の各観測シンボルが各ＨＭＭモデルによって出現する全ての確率を算出し、最大確率を与えるパスを後から選択して状態遷移結果とするものである。しかしながら、観測シンボル系列が終結した後に状態遷移結果を求めるので、リアルタイム処理には不向きである。
そこで、本実施形態では、以下に説明する１パスビタービアルゴリズムを用いて、その時点まで音素状態を決定する。
下記式におけるΨt（ｊ）は、時刻ｔフレームまでの観測をふまえて算出した、一つのパスを経由して得られる時刻ｔのフレームにおけるベスト確率δt（ｉ）を最大とする状態を選択する。すなわち、Ψt（ｊ）に従って音素状態が遷移していく。
初期演算としてδ1（ｉ）＝１とし、繰り返し演算として
【数８】
0004364977.tif 000009
を実行する。ここで、ａijは状態ｉから状態ｊへの状態遷移確率であり、ｂj(Ot）は特徴ベクトルの時刻ｔにおけるシンボル発生確率である。各観測シンボルは、入力音声から抽出された特徴ベクトルであるから、歌唱者の発声態様によって観測シンボルが異なり、遷移の態様も異なるようになる。
図１１に示す例では、上記式によって計算された確率を○あるいは△で示している（○＞△）。例えば、時刻ｔｍ１から時刻ｔｍ３までの観測をふまえ、状態“Ｓｉｌｅｎｃｅ”から状態“ｎ１”へのパスが形成される確率は、状態“Ｓｉｌｅｎｃｅ”から状態“Ｓｉｌｅｎｃｅ”へのパスが形成される確率よりも高く、時刻ｔｍ３におけるベスト確率となり、図中太矢印で示すように状態遷移を決定する。
このような演算を入力音声の各フレームに対応する時刻（ｔｍ１、ｔｍ２、……）毎に行うことによって、図１１に示す例では、時刻ｔｍ３において状態“Ｓｉｌｅｎｃｅ”から状態“ｎ１”に遷移し、時刻ｔｍ５において状態“ｎ１”から状態“ｎ２”に遷移し、時刻ｔｍ９において状態“ｎ２”から状態“ｎ３”に遷移し、時刻ｔｍ１１において状態“ｎ３”から状態“ａ１”に遷移したように決定されている。
これにより、入力音声の音素をフレーム単位の各時刻において特定できるようになる。
【００６７】
[２−２−３−２．フレーム単位の対応]
上述したように状態遷移を決定し、入力音声の音素がフレーム単位で特定されると、次に、特定された音素に対応する対象音声のフレームを特定する。
上述したように、隠れマルコフモデルの各状態はターゲットフレーム情報保持部１１に記憶された対象音声の音素列記述に基づいて形成されているので、各状態に対応する対象音声の音素毎のフレームを特定することができるようになっている。
本実施形態では、アライメントとして、対象音声と入力音声の対応する音素が同じフレーム同士を、各フレーム毎に時系列で一致させる処理を行う。
【００６８】
図１１に示す例では、対象音声の時刻ｔｔ１〜ｔｔ３のフレームが音素“Ｓｉｌｅｎｃｅ”に対応し、時刻ｔｔ４〜ｔｔ９のフレームが音素“ｎ”に対応し、時刻ｔｔ１０〜のフレームが音素“ａ”に対応している。
一方、１パスビタービアルゴリズムによって入力音声の状態遷移が決定され、入力音声の時刻ｔｍ１〜ｔｍ２のフレームが音素“Ｓｉｌｅｎｃｅ”に対応し、時刻ｔｍ３〜ｔｍ１０のフレームが音素“ｎ”に対応し、時刻ｔｍ１１〜のフレームが音素“ａ”に対応している。
そして、音素“Ｓｉｌｅｎｃｅ”に対応するフレームとして、入力音声の時刻ｔｍ１のフレームと対象音声の時刻ｔｔ１のフレームを一致させ、入力音声の時刻ｔｍ２のフレームと対象音声の時刻ｔｔ２のフレームを一致させる。
入力音声の時刻ｔｍ３において状態“Ｓｉｌｅｎｃｅ”から状態“ｎ１”に遷移しているので、音素“ｎ”に対応するフレームとしては、入力音声の時刻ｔｍ３のフレームが最初のフレームになる。
一方、対象音声のフレームは、音素“ｎ”に対応するフレームは、音素列記述によれば時刻ｔｔ４のフレームからであるので、音素“ｎ”発声開始時の対象音声の時間ポインタは時刻ｔｔ４となる（図８：ステップＳ５〜Ｓ７参照）。
次に、入力音声の時刻ｔｍ４においては、新たな音素状態に遷移していないので、フレームカウントをインクリメントするとともに、対象音声の時間ポインタをフレーム時間間隔分進めて（図８：ステップＳ５〜Ｓ１１参照）、時刻ｔｔ５のフレームを入力音声の時刻ｔｍ４のフレームと一致させる。
このようにして、入力音声の時刻ｔｍ５〜ｔｍ７と、対象音声の時刻ｔｔ６〜ｔｔ８とを順次一致させていく。
【００６９】
ところで、図１１に示す例では、入力音声の時刻ｔｍ３〜ｔｍ１０までの８フレーム分が音素“ｎ”に対応しているのに対して、対象音声の音素“ｎ”に対応しているフレームは時刻ｔｔ４〜ｔｔ９までのフレームである。
このように、歌唱者が対象者よりも同じ音素を長い時間発声してしまう場合が生じるので、本実施形態では、予め用意したループフレームを用いて対象音声が入力音声よりも短い場合の補間を行う。
ループフレームは、音をのばして発音する場合のピッチの変化やアンプリチュードの変化を擬似的に再現するためのデータを数フレーム分記憶しており、例えば、基本周波数の差分（ΔPitch）やアンプリチュードの差分（ΔAmp）などから構成される。
そして、ターゲットフレームデータ中には、音素列における各音素の最終フレームにループフレームの呼び出しを指示するデータを記述しておく。これにより、歌唱者が対象者よりも同じ音素を長い時間発声してしまった場合でも、良好にアライメントを行うことができるようなる。
【００７０】
[２−２−３−３．曲データとの同期]
ところで、本実施形態では、カラオケ装置に音声変換を適用しており、カラオケ装置はＭＩＤＩデータに基づいて楽曲の演奏を行うので、音声の進行と楽曲の進行が同期していることが望ましい。
そこで、本実施形態では、アライメント・歌唱判定・変換部１０は、曲データで示される時系列と対象音声の音素列とを同期させるように構成している。より具体的には、図１２に例示するように、シーケンサ１５は曲データに記述された時間情報（例えば、ＭＩＤＩデータの再生時間間隔を示すΔタイムやテンポ情報）などに基づいて、楽曲の進行情報を生成してアライメント・歌唱判定・変換部１０に出力する。
アライメント・歌唱判定・変換部１０は、シーケンサ１５から出力された時間情報とターゲットフレーム情報保持部１１に記憶されている音素記述列とを比較して、曲進行の時系列と対象音声の時系列とを対応付ける。
【００７１】
また、図１１に示すような重み付け関数ｆ（｜ｔm-tt｜）を用いて、楽曲に同期して状態遷移確率への重み付けをおこなうことができるようにしている。この重み付け関数は、各状態遷移確率ａijに乗じる窓関数である。
なお、図中ａおよびｂは楽曲のテンポに応じた要素である。また、αは限りなく０に近い値に設定する。
上述したように、対象音声の時間ポインタは楽曲のテンポに同期して進行するので、このような重みつけ関数を導入することによって、結果的に歌唱音声と対象音声との同期が正確になる。
【００７２】
[３．変形例]
本実施形態の形態は上記のものに限定されるものではなく、以下に説明するような各種の変形が可能である。
【００７３】
[３−１．音素の飛び越し]
上記実施形態では、１パスビタービアルゴリズムを用いて状態遷移を決定しているが、歌唱者が歌詞を間違えた場合には不向きである。例えば、数フレーズ先の歌詞を歌ってしまった場合や、数フレーム前の歌詞を歌ってしまった場合などが考えられる。
このような場合は、図１３に示すように、数状態前後まで最適状態を検索する範囲を広げ、最適状態と判断した場合に限り飛び越しを行うようにすればよい。
より具体的には、入力音声の時刻ｔｍ４においては、音素“ａ”に対応する状態となっているので、上述した１パスビタービアルゴリズムによれば、入力音声の時刻ｔｍ５のフレームについては、音素“ａ”から遷移しない確率、あるいは音素列記述において音素“ａ”の次にくる“Ｓｉｌｅｎｃｅ”への遷移確率のいずれか高い方から最大確率を選択することになる。
しかしながら、歌唱者は無音期間なしに音素“ｋ”の発声を開始しているので、対象者の音素列記述のうちの“Ｓｉｌｅｎｃｅ”については飛び越してアライメントすることが望ましい。
そこで、このような歌唱者が対象者の音素列記述に従わずに発声した場合には、数状態前後の状態まで最大確率となる状態を検索するようにしてもよい。図１３に示す例では、直前のフレーム状態の前後３状態の範囲を検索して、２状態先の音素“ｋ”を最大確率としている。このようにて、“Ｓｉｌｅｎｃｅ”を飛び越して音素“ｋ”への状態遷移を決定する。
【００７４】
また、無音の位置や息継ぎの位置などが異なる場合も多い。このような場合には、上記実施形態では音素の位置が異なってしまう。
そこで、図１３に示すように、発音音素単位から“Ｓｉｌｅｎｃｅ”と“Ａｓｐｉｌａｔｉｏｎ”や発音音素単位への飛び越しの確率を同じように設定する。
例えば、対象者の音素列記述においては、音素“ｉ”の前後数状態には“Ａｓｐｉｌａｔｉｏｎ”は記述されていない。しかしながら、音素記述列において音素“ｉ”の次に記述されている音素“ｎ”へ遷移する確率と、記述されていない“Ｓｉｌｅｎｃｅ”あるいは“Ａｓｐｉｌａｔｉｏｎ”への飛び越しを行う確率を同等に設定し、“Ｓｉｌｅｎｃｅ”あるいは“Ａｓｐｉｌａｔｉｏｎ”に飛び越しを行った後に、音素記述列中の音素に戻る確率も同等に設定しておけばよい。  このようにすれば、例えば図１３に示す例のように、歌唱者が時刻ｔｍ７において、対象者の音素記述列に従わずに息継ぎを行った場合でも柔軟にアライメントすることができる。
また、対象者の音素列記述にかかわらず、ある摩擦音の次に他の摩擦音に遷移する場合があるので、摩擦音をアライメントしている時は、摩擦音あるいは対象音声の音素記述の次の音素について最大確率を検索するようにしてもよい。
【００７５】
[３−２．似通った音素]
日本語では、同じ言葉でも歌唱者によって異なる音素で発音する場合がある。たとえば、図１４に示すように、音素記述では“nagara”であっても、“nakara”“nagala”“nakala”などと発音される場合がある。
このように、似通った音素については、グループ化したパスを持つ隠れマルコフモデルを用いることにより、柔軟性のあるアライメントを実現することができる。
【００７６】
[その他]
（１）第２実施形態においては、アライメント対象となる対象音声と入力音声とを時系列で対応づける音声処理装置を、物まね機能を有するカラオケ装置に適用しているが、これに限らず、カラオケ装置であれば例えば採点に用いてもよいし、歌唱を補正するために用いても良い。
また、音素単位で時系列を一致させる技術はカラオケ装置に限らず、他の音声認識に関する装置にも適用することが可能である。
【００７７】
（２）第２の実施形態では、音声信号の代表的な特徴パラメータを特徴ベクトルとして所定数のシンボルにクラスタ化した符号帳と、各音素毎に状態遷移確率および前記各シンボルの観測確率とを記憶する音素辞書について説明しているが、上述した５種類の特徴ベクトルに限らず他のパラメータを用いてもよい。
【００７８】
（３）第２の実施形態では、対象音声および入力音声をフレーム単位で周波数分析しているが、分析の手法は上述したＳＭＳに限定されるものではないし、時間領域の波形データとして分析しても構わない。あるいは、周波数と波形とを併用した分析を行っても構わない。
（４）また、本願におけるモーフィング処理は、上述した各実施例に限定されない。例えば、ターゲットのフォルマント、スペクトルチルト、ピッチ変動、歌唱アクセントなどのいずれか、もしくは２以上の組み合わせからなる音声の属性に基づいて、歌唱音声に対する音声変換処理を行ってもよい。
（５）また、本願における歌唱判定は、上述した各実施形態における判定方法に限らない。例えば、単純に音符情報との比較で音程と強弱の一致度だけをみてもよく、また、ビブラートやこぶしなどの一致度までも判定するように構成してもよい。要は、歌唱判定の基準となるデータを用意し、歌唱の音声信号を基準データと比較できる形式にして比較する構成があればよい。
【００７９】
【発明の効果】
以上説明したように、本発明によれば、歌唱力に応じて歌唱者の音声と目的とする歌唱対象の音声との変換割合を自動的に変更することができるので、変化に富む音声変換作用を得ることができるとともに、歌唱採点結果をより的確に把握することが可能となる。
【図面の簡単な説明】
【図１】  本発明の第１の実施形態の構成を示すブロック図である。
【図２】  本発明の第２の実施形態の構成を示すブロック図である。
【図３】  符号帳を説明する図である。
【図４】  音素を説明する図である。
【図５】  音素辞書を説明する図である。
【図６】  ＳＭＳ分析を説明する図である。
【図７】  対象音声のデータについて説明する図である。
【図８】  実施形態の動作を説明するフローチャートである。
【図９】  入力音声の分析について説明する図である。
【図１０】  隠れマルコフモデルを説明する図である。
【図１１】  アライメントについて具体例を示した図である。
【図１２】  楽曲との同期について説明する図である。
【図１３】  音素の飛び越しを行う場合について説明する図である。
【図１４】  似通った音素が発声される場合について説明する図である。
【符号の説明】
１…マイク、２…分析窓生成部、３…入力音声信号切出部、４…高速フーリエ変換部、５…入力音声分析部、５ｓ…周波数分析部、５ｐ…特徴パラメータ分析部、６…音素辞書記憶部、７…シンボル量子化部、８…音素列状態形成部、９…状態遷移決定部、１０…アライメント・歌唱判定・変換部、１１…ターゲットフレーム情報保持部、１２…合成部、１３…逆高速フーリエ変換部、１４…曲データ記憶部、１５…シーケンサ、１６…音源、１７…ミキシングアンプ（ミキサ）、１８…スピーカ、１０２…入力音声分析部、１０３…物まね音声変換部、１０４…ターゲット歌唱情報記憶部、１０４＊…音符情報記憶部、１０５…ターゲット歌唱情報記憶部、１０６…歌唱判定部、１０７…基準歌唱情報読み出し部、１０８…歌唱力度→物まね度変換部、１０８＊…歌唱力度→物まね度モード切り替え部、１０９…伴奏演奏部。
【図１】
0004364977.tif 000010
【図２】
0004364977.tif 000011
【図３】
0004364977.tif 000012
【図４】
0004364977.tif 000013
【図５】
0004364977.tif 000014
【図６】
0004364977.tif 000015
【図７】
0004364977.tif 000016
【図８】
0004364977.tif 000017
【図９】
0004364977.tif 000018
【図１０】
0004364977.tif 000019
【図１１】
0004364977.tif 000020
【図１２】
0004364977.tif 000021
【図１３】
0004364977.tif 000022
【図１４】
0004364977.tif 000023