(57)【特許請求の範囲】
【請求項１】
発声すべき内容の文字列、並びに前記文字列を構成する文字の各々の基準発声開始タイミング、及び基準発声終了タイミングを表す発声内容情報を取得する発声情報取得手段と、
前記発声情報取得手段によって取得された発声内容情報に基づいて、前記文字列を構成する音節の各々について発声すべき区間である模範発声区間を特定する模範区間特定手段と、
前記模範区間特定手段で特定された前記模範発声区間の各々に対応する音節ほど大きな値となるように、前記音節の各々、かつ当該音節に対応する区間である重み付与区間ごとに重みを設定する重み設定手段と、
前記発声情報取得手段によって取得された発声内容情報によって表される文字列について発声された音声波形を表す音声データを取得する音声データ取得手段と、
前記音声データ取得手段で取得された音声データに対し、当該音声データにおける時間軸に沿って連続するように複数の単位区間を設定する区間設定手段と、
前記区間設定手段で設定された音声データの１つの単位区間における特徴量に対して、音素ごとの特徴量を表すモデルとして予め用意された音響モデルの各々を照合すると共に、前記重み設定手段で設定され、かつ当該単位区間に対応する前記重み付与区間での重みを付与した発声尤度それぞれを導出し、前記発声尤度が最も大きな結果となる音響モデルに対応する音素を、当該単位区間において発声された音素である発声音素として特定する内容特定処理を、当該音声データにおける時間軸に沿って前記単位区間ごとに順次実行する音素特定手段と、
前記音素特定手段で順次特定される発声音素に基づいて、前記音声データにおいて発声された音節である発声音節を特定するごとに、前記発声音節が時間軸に沿って切り替わったタイミングである発声切替タイミングを特定するタイミング特定手段と、
前記タイミング特定手段で特定した発声切替タイミングの直前の前記発声音節を推定完了音節とし、当該発声切替タイミングの直後の発声音素が構成する音節を推定中音節とし、時間軸に沿って前記模範発声区間が切り替わるタイミングである模範切替タイミングと前記発声切替タイミングとのズレが予め規定された許容値以上である場合、時間軸に沿った前記推定中音節以降の音節に対応する前記単位区間について、前記文字列によって表され、かつ当該単位区間に対応する音節を構成する音素が前記音素特定手段にて前記発声音素として特定されるように、前記重み設定手段で規定され前記推定中音節に対応する前記重み付与区間以降における重み付与区間を変更する重み変更手段と
を備えることを特徴とする発声特定装置。
【請求項２】
前記重み変更手段は、
前記発声切替タイミングが前記模範切替タイミングよりも早ければ、前記重み付与区間を時間軸に沿って早くする
ことを特徴とする請求項１に記載の発声特定装置。
【請求項３】
前記重み変更手段は、
前記発声切替タイミングが前記模範切替タイミングよりも早ければ、時間軸に沿って前記推定中音節の次の音節に対応する重み付与区間の開始タイミングを、時間軸に沿って早くする
ことを特徴とする請求項２に記載の発声特定装置。
【請求項４】
前記重み変更手段は、
前記推定完了音節の発声開始タイミングから発声終了タイミングまでの音声発声区間の時間長が、当該推定完了音節に対応する音節についての前記模範発声区間よりも短ければ、前記推定中音節に対応する重み付与区間の終了タイミングを、時間軸に沿って早くする
ことを特徴とする請求項２または請求項３に記載の発声特定装置。
【請求項５】
前記重み変更手段は、
前記発声切替タイミングが前記模範切替タイミングよりも遅ければ、前記重み付与区間を時間軸に沿って遅くする
ことを特徴とする請求項１から請求項４のいずれか一項に記載の発声特定装置。
【請求項６】
前記重み変更手段は、
前記発声切替タイミングが前記模範切替タイミングよりも遅ければ、時間軸に沿って前記推定中音節の次の音節に対応する重み付与区間の開始タイミングを、時間軸に沿って遅くする
ことを特徴とする請求項５に記載の発声特定装置。
【請求項７】
前記重み変更手段は、
前記推定完了音節の発声開始タイミングから発声終了タイミングまでの音声発声区間の時間長が、当該推定完了音節に対応する音節についての前記模範発声区間よりも長ければ、前記推定中音節に対応する重み付与区間の終了タイミングを、時間軸に沿って遅くする
ことを特徴とする請求項５または請求項６に記載の発声特定装置。
【請求項８】
前記重み付与区間は、
前記模範発声区間より短い時間長であり、前記模範発声区間内に包含されている
ことを特徴とする請求項１から請求項７のいずれか一項に記載の発声特定装置。
【請求項９】
発声すべき内容の文字列、並びに前記文字列を構成する文字の各々の基準発声開始タイミング、及び基準発声終了タイミングを表す発声内容情報を取得する発声情報取得手順と、
前記発声情報取得手順によって取得された発声内容情報に基づいて、前記文字列を構成する音節の各々について発声すべき区間である模範発声区間を特定する模範区間特定手順と、
前記模範区間特定手順で特定された前記模範発声区間の各々に対応する音節ほど大きな値となるように、前記音節の各々、かつ当該音節に対応する区間である重み付与区間ごとに重みを設定する重み設定手順と、
前記発声情報取得手順によって取得された発声内容情報によって表される文字列について発声された音声波形を表す音声データを取得する音声データ取得手順と、
前記音声データ取得手順で取得された音声データに対し、当該音声データにおける時間軸に沿って連続するように複数の単位区間を設定する区間設定手順と、
前記区間設定手順で設定された音声データの１つの単位区間における特徴量に対して、音素ごとの特徴量を表すモデルとして予め用意された音響モデルの各々を照合すると共に、前記重み設定手順で設定され、かつ当該単位区間に対応する前記重み付与区間での重みを付与した発声尤度それぞれを導出し、前記発声尤度が最も大きな結果となる音響モデルに対応する音素を、当該単位区間において発声された音素である発声音素として特定する内容特定処理を、当該音声データにおける時間軸に沿って前記単位区間ごとに順次実行する音素特定手順と、
前記音素特定手順で順次特定される発声音素に基づいて、前記音声データにおいて発声された音節である発声音節を特定するごとに、前記発声音節が時間軸に沿って切り替わったタイミングである発声切替タイミングを特定するタイミング特定手順と、
前記タイミング特定手順で特定した発声切替タイミングの直前の前記発声音節を推定完了音節とし、当該発声切替タイミングの直後の発声音素が構成する音節を推定中音節とし、時間軸に沿って前記模範発声区間が切り替わるタイミングである模範切替タイミングと前記発声切替タイミングとのズレが予め規定された許容値以上である場合、時間軸に沿った前記推定中音節以降の音節に対応する前記単位区間について、前記文字列によって表され、かつ当該単位区間に対応する音節を構成する音素が前記音素特定手順にて前記発声音素として特定されるように、前記重み設定手順で規定され前記推定中音節に対応する前記重み付与区間以降における重み付与区間を変更する重み変更手順とを
コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声波形から各音節に対して発声された発声区間を特定する発声特定装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、音声波形において、音節の各々に対して発声された区間である発声区間を自動的に特定する発声特定技術が知られている（例えば、特許文献１参照）。
この特許文献１に記載された発声特定技術では、歌声と伴奏音とを含む楽曲の音楽音響信号からボーカル音声に対応する信号（以下、ボーカル信号と称す）を抽出し、そのボーカル信号の単位区間ごとに、音素ごとに予め用意された音響モデルの各々を照合する。そして、照合結果が最も大きな尤度となる音響モデルに対応する音素を、当該単位区間にて発声した内容の音素（音節）として特定することがなされている。
【０００３】
さらに、一般的な発声特定技術では、音声波形の時間軸に沿って、上述した発声内容の特定を順次実行すると共に、発声内容として特定した音節が切り替わったタイミングを、１つの音節に対する発声区間が切り替わったタイミングとして特定している（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１８６６８７号公報
【特許文献２】特開２００９−１３９８６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に記載された技術では、発声内容の特定精度は、音声波形に照合する音響モデルに依存する。
一般的に、音響モデルは、数多くの人物に適合するように構築されているものの、適合の度合いには個人差があるため、人によっては適合度が低くなる。
【０００６】
このように、音響モデルの適合度が低い人物が発声した音声波形に当該音響モデルを照合する場合、発声特定技術では、その発声内容の認識精度が低下し、ひいては、各音節に対する発声区間の認識精度が低下するという問題がある。
【０００７】
そこで、本発明は、各音節に対する発声内容の認識精度、及び各音節に対する発声区間の認識精度を向上させる技術の提供を目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するためになされた本発明は、発声特定装置に関する。
本発明の発声特定装置では、発声情報取得手段が、発声すべき内容の文字列、並びに文字列を構成する文字の各々の基準発声開始タイミング、及び基準発声終了タイミングを表す発声内容情報を取得し、その取得した発声内容情報に基づいて、模範区間特定手段が、文字列を構成する音節の各々について発声すべき区間である模範発声区間を特定する。
【０００９】
そして、重み設定手段が、模範区間特定手段で特定された模範発声区間の各々に対応する音節ほど大きな値となるように、音節の各々、かつ当該音節に対応する区間である重み付与区間ごとに重みを設定する。
【００１０】
一方、本発明の発声特定装置では、音声データ取得手段が、発声内容情報によって表される文字列について発声された音声波形を表す音声データを取得し、その取得した音声データに対して、区間設定手段が、当該音声データにおける時間軸に沿って連続するように複数の単位区間を設定する。
【００１１】
すると、音素特定手段が、区間設定手段で設定された音声データの１つの単位区間における特徴量に対して、音素ごとの特徴量を表すモデルとして予め用意された音響モデルの各々を照合すると共に、重み設定手段で設定され、かつ当該単位区間に対応する重み付与区間での重みを付与した発声尤度それぞれを導出する。さらに、音素特定手段では、発声尤度が最も大きな結果となる音響モデルに対応する音素を、当該単位区間において発声された音素（以下、発声音素とする）として特定する内容特定処理を、当該音声データにおける時間軸に沿って単位区間ごとに順次実行する。
【００１２】
そして、音素特定手段で順次特定される発声音素に基づいて、タイミング特定手段が、音声データにおいて発声された音節である発声音節を特定するごとに、発声音節が時間軸に沿って切り替わったタイミングである発声切替タイミングを特定する。
【００１３】
さらに、本発明の発声特定装置では、その特定した発声切替タイミングの直前の発声音節を推定完了音節とし、当該発声切替タイミングの直後の発声音素が構成する音節を推定中音節とする。そして、重み変更手段が、時間軸に沿って模範発声区間が切り替わるタイミング（以下、模範切替タイミングとする）と発声切替タイミングとのズレが予め規定された許容値以上である場合、時間軸に沿った推定中音節以降の音節に対応する単位区間について、文字列によって表され、かつ当該単位区間に対応する音節を構成する音素が音素特定手段にて発声音素として特定されるように、重み設定手段で規定され推定中音節に対応する重み付与区間以降における重み付与区間を変更する。
【００１４】
このような発声特定装置では、音声データにおける発声内容を特定する際に、単位区間ごとに音声データから抽出した特徴量に音響モデルを照合すると共に、発声内容情報に基づいて規定された重みを付与している。しかも、本発明の発声特定装置では、１つの模範発声区間に対する実際の発声区間のズレに応じて、時間軸に沿った当該音節に対応する重み付与区間以降の重み付与区間を変更している。
【００１５】
すなわち、本発明の発声特定装置によれば、重み付与区間を、各音節に対する実際の発声区間に合致するように調整することができる。
この結果、本発明の発声特定装置によれば、各音節に対する発声内容の認識精度を向上させることができ、ひいては、各音節に対する発声区間の認識精度を向上させることができる。
【００１６】
このため、本発明の発声特定装置によれば、発声区間での音声データから音声パラメータを生成する際に、信頼度の高い音節の内容を当該音声パラメータに付加することができる。この結果、本発明の発声特定装置によれば、音声合成の際に、その音声合成を利用する人物が望む音声を実現しやすくできる。
【００１７】
なお、ここで言う模範発声区間とは、少なくとも、実際に発声する区間の各々を含む概念であり、この実際に発声する区間に加えて、実際には声を出さない無音区間も含む概念であっても良い。
【００１８】
さらに、ここで言う模範切替タイミングは、模範発声区間が切り替わるタイミングであり、例えば、基準発声開始タイミングであっても良いし、基準発声開始タイミングに基づいて規定されるタイミングであっても良い。
【００１９】
また、本発明の発声特定装置において、重み変更手段は、発声切替タイミングが模範切替タイミングよりも早ければ、重み付与区間を時間軸に沿って早くしても良い（請求項２）。
【００２０】
このような発声特定装置によれば、各音節の発声開始タイミングが基準発声開始タイミングよりも早くなる人物が発声した音声であっても、各音節に対する発声内容、及び、各音節に対する発声区間の認識精度を向上させることができる。
【００２１】
この場合、本発明における重み変更手段は、発声切替タイミングが模範切替タイミングよりも早ければ、時間軸に沿って推定中音節の次の音節に対応する重み付与区間の開始タイミングを、時間軸に沿って早くしても良い（請求項３）。
【００２２】
発声切替タイミングが模範切替タイミングよりも早いタイミングで発声している人物は、次の音節の発声切替タイミングも模範切替タイミングより早くなる可能性が高い。よって、本発明のように、次の音節に対応する重み付与区間の開始タイミングを早くすれば、音節に対する発声内容、及び、音節に対する発声区間の認識精度が向上する可能性も高くなる。
【００２３】
なお、本発明において、重みを変更する対象としての重み付与区間は、請求項３に記載された、「推定中音節の次の音節に対応する重み付与区間」に限るものではなく、例えば、１つの楽曲において、推定中音節と同一のフレーズ（即ち、Ａメロ、Ｂメロ、サビなど）中での音節に対応する重み付与区間を含んでも良い。
【００２４】
また、本発明における重み変更手段は、推定完了音節の発声開始タイミングから発声終了タイミングまでの音声発声区間の時間長が、当該推定完了音節に対応する音節についての模範発声区間よりも短ければ、推定中音節に対応する重み付与区間の終了タイミングを、時間軸に沿って早くしても良い（請求項４）。
【００２５】
このような発声特定装置によれば、各音節について発声する時間長が模範発声区間の時間長よりも短くなる人物が発声した音声であっても、各音節に対する発声内容、及び、各音節に対する発声区間の認識精度を向上させることができる。
【００２６】
ところで、本発明における重み変更手段は、発声切替タイミングが模範切替タイミングよりも遅ければ、重み付与区間を時間軸に沿って遅くしても良い（請求項５）。
このような発声特定装置によれば、各音節の発声開始タイミングが基準発声開始タイミングよりも遅くなる人物が発声した音声であっても、各音節に対する発声内容、及び、各音節に対する発声区間の認識精度を向上させることができる。
【００２７】
この場合、本発明における重み変更手段は、発声切替タイミングが模範切替タイミングよりも遅ければ、時間軸に沿って推定中音節の次の音節に対応する重み付与区間の開始タイミングを、時間軸に沿って遅くしても良い（請求項６）。
【００２８】
発声切替タイミングが模範切替タイミングよりも遅いタイミングで発声する人物は、次の音節の発声切替タイミングも模範切替タイミングより遅くなる可能性が高い。よって、本発明のように、次の音節に対応する重み付与区間の開始タイミングを遅くすれば、音節に対する発声内容、及び、音節に対する発声区間の認識精度が向上する可能性も高くなる。
【００２９】
なお、本発明において、重みを変更する対象としての重み付与区間は、請求項６に記載された、「推定中音節の次の音節に対応する重み付与区間」に限るものではなく、例えば、１つの楽曲において、推定中音節と同一のフレーズ（即ち、Ａメロ、Ｂメロ、サビなど）中での音節に対応する重み付与区間を含んでも良い。
【００３０】
さらに、本発明における重み変更手段は、推定完了音節の発声開始タイミングから発声終了タイミングまでの音声発声区間の時間長が、当該推定完了音節に対応する音節についての模範発声区間よりも長ければ、推定中音節に対応する重み付与区間の終了タイミングを、時間軸に沿って遅くしても良い（請求項７）。
【００３１】
このような発声特定装置によれば、各音節について発声する時間長が模範発声区間の時間長よりも長くなる人物が発声した音声であっても、各音節に対する発声内容、及び、各音節に対する発声区間の認識精度を向上させることができる。
【００３２】
通常、時間軸に沿って連続する音節について人が発声する場合、音節の切り替わりが、模範切替タイミングに完全に一致することは少ない。
このため、発声特定装置において、模範切替タイミングの直前や直後の単位区間から重みを付与すると、当該音声特定装置は、実際に発声した音素とは異なる音素を発声したと誤認してしまう可能性がある。
【００３３】
そこで、本発明においては、重み付与区間は、模範発声区間より短い時間長であり、模範発声区間内に包含されていても良い（請求項８）。
このような発声特定装置によれば、模範切替タイミングの直前や直後の単位区間から重みを付与することがないため、実際に発声した内容と異なる内容を発声したと誤認する可能性を低減できる。
【００３４】
なお、本発明は、コンピュータを発声特定装置として機能させるためのプログラムであっても良い。
この場合、本発明のプログラムは、発声情報取得手順と、模範区間特定手順と、重み設定手順と、音声データ取得手順と、区間設定手順と、音素特定手順と、タイミング特定手順と、重み変更手順とをコンピュータに実行させるプログラムである必要がある。
【００３５】
本発明のプログラムが、このようになされていれば、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、コンピュータに各手順を実行させることで、そのコンピュータを、請求項１に記載された発声特定装置として機能させることができる。
【図面の簡単な説明】
【００３６】
【図１】本発明が適用された情報処理装置を中心に構成された音声合成システムのブロック図である。
【図２】音声パラメータ登録処理の処理手順を示すフローチャートである。
【図３】発声区間推定処理の処理手順を示したフローチャートである。
【図４】重み付与区間と模範発声区間との関係を示した図である。
【図５】音素特定処理の処理手順を示したフローチャートである。
【図６】付与区間変更処理の処理手順を示したフローチャートである。
【図７】付与区間推定処理の処理概要を示した図である。
【図８】付与区間推定処理の処理概要をまとめた図である。
【図９】音声合成処理の処理手順を示す図である。
【発明を実施するための形態】
【００３７】
以下に本発明の実施形態を図面と共に説明する。
〈音声合成システム〉
図１に示す音声合成システム１は、当該音声合成システム１の利用者が指定した内容の音声が出力されるように、予め登録された音声パラメータＰＭに基づいて音声合成した音声（即ち、合成音）を出力するシステムである。ここで言う音声パラメータＰＭとは、詳しくは後述するが、いわゆるフォルマント合成に用いる音声特徴量である。
【００３８】
これを実現するために、音声合成システム１は、音声を入力する音声入力装置１０と、音声入力装置１０を介して入力された音声（以下、音声データＳＶと称す）及びカラオケの用途に用いられる各種データ（以下、音楽データＭＤと称す）を格納する音楽サーバ２５とを備えている。さらに、音声合成システム１は、音楽サーバ２５に格納されている音声データＳＶ及び音楽データＭＤに基づいて、音声パラメータＰＭを生成する情報処理装置３０と、情報処理装置３０にて生成された音声パラメータＰＭを格納するデータ格納サーバ５０とを備えている。その上、音声合成システム１は、データ格納サーバ５０に格納されている音声パラメータＰＭに基づいて音声合成した合成音を出力する音声出力端末６０を備えている。
【００３９】
〈音楽サーバ〉
まず、音楽サーバ２５は、記憶内容を読み書き可能に構成された記憶装置を中心に構成された装置であり、通信網を介して、音声入力装置１０に接続されている。
【００４０】
この音楽サーバ２５には、少なくとも、楽曲ごとに予め用意された音楽データＭＤが格納されている。この音楽データＭＤは、楽曲を演奏するための楽曲データＤＭ（楽曲データＤＭとは、例えば、ＭＩＤＩデータ形式データや、生音形式のデータである）と、歌詞データ群ＤＬとを含む。
【００４１】
一方、歌詞データ群ＤＬは、当該楽曲の歌詞に関するデータであり、楽曲の歌詞を構成する文字（以下、歌詞構成文字とする）を表す歌詞テロップデータＤＴと、歌詞構成文字の出力タイミングである歌詞出力タイミングを、楽曲データＤＭの演奏と対応付けるタイミング対応関係が規定された歌詞出力データＤＯとを備えている。
【００４２】
タイミング対応関係は、楽曲データＤＭの演奏を開始するタイミングに、歌詞テロップデータＤＴの出力を開始するタイミングが対応付けられた上で、当該楽曲の時間軸に沿った各歌詞構成文字の出力タイミングが、楽曲データＤＭの演奏を開始からの経過時間によって規定されている。なお、ここで言う経過時間とは、例えば、表示された歌詞構成文字の色替えを実行するタイミングを表す時間であり、色替えの速度によって規定されている。また、ここで言う歌詞構成文字は、歌詞を構成する文字の各々であっても良いし、その文字の各々を時間軸に沿った特定の規則に従って一群とした文節やフレーズであっても良い。
【００４３】
〈音声入力装置〉
次に、音声入力装置１０は、通信部１１と、入力受付部１２と、表示部１３と、音声入力部１４と、音声出力部１５と、音源モジュール１６と、記憶部１７と、制御部２０とを備えている。すなわち、音声入力装置１０は、いわゆる周知のカラオケ装置として構成されている。
【００４４】
このうち、通信部１１は、通信網（例えば、公衆無線通信網やネットワーク回線）を介して、音声入力装置１０が外部との間で通信を行う。入力受付部１２は、外部からの操作に従って情報や指令の入力を受け付ける入力機器（例えば、キーやスイッチ、リモコンの受付部など）である。
【００４５】
表示部１３は、後述する音楽データＭＤの曲名、選曲番号、歌詞を表示する表示装置（例えば、液晶ディスプレイやＣＲＴ等）である。また、音声入力部１４は、音を電気信号に変換して制御部２０に入力する装置（いわゆるマイクロホン）である。音声出力部１５は、制御部２０からの電気信号を音に変換して出力する装置（いわゆるスピーカ）である。さらに、音源モジュール１６は、楽曲データＤＭがＭＩＤＩ形式の場合に、音源からの音を模擬した音（即ち、出力音）を出力する装置（例えば、ＭＩＤＩ音源）である。
【００４６】
記憶部１７は、記憶内容を読み書き可能に構成された不揮発性の記憶装置（例えば、ハードディスク装置や、フラッシュメモリ）である。
また、制御部２０は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納するＲＯＭ２１と、処理プログラムやデータを一時的に格納するＲＡＭ２２と、ＲＯＭ２１やＲＡＭ２２に記憶された処理プログラムに従って各処理（各種演算）を実行するＣＰＵ２３とを少なくとも有した周知のコンピュータを中心に構成されている。
【００４７】
そして、ＲＯＭ２１には、周知のカラオケ演奏処理を制御部が実行する処理プログラムや、カラオケ演奏処理によって一つの楽曲が演奏されている期間中に、音声入力部１４を介して入力された歌唱音（発声者の声）を音声データＳＶとして、当該対象楽曲を識別する楽曲識別情報と対応付けて、音楽サーバ２５に格納する音声格納処理を制御部２０が実行する処理プログラムが記憶されている。
【００４８】
以下に、音声格納処理を説明する。音声入力装置１０では、カラオケ演奏処理に従って、入力受付部１２を介して指定された一つの楽曲（以下、対象楽曲とする）に対応する音楽データＭＤを音楽サーバ２５から取得して、当該音楽データＭＤ中の楽曲データＤＭに基づいて対象楽曲を演奏すると共に、当該音楽データＭＤ中の歌詞データ群ＤＬに基づいて対象楽曲の演奏進行の歌唱（発声）すべきタイミングで歌詞を表示部１３に表示したり、その表示色を変化させたりする。
【００４９】
さらに、当該対象楽曲を識別する楽曲識別情報（例えば、音楽データＭＤの曲名、選曲番号など、）、音声入力部１４から音声を入力した人物（以下、発声者とする）を識別する発声者識別情報（以下、発声者ＩＤと称す）、音声データＳＶとを、音楽データＭＤの演奏時に対応付けて、音楽サーバ２５に格納する。なお、音楽サーバ２５に格納される音声データＳＶには、発声者の特徴を表す発声者特徴情報も対応付けられており、この発声者特徴情報には、例えば、発声者の性別、年齢などを含む。
【００５０】
楽曲識別情報と発声者ＩＤとの対応付けは、例えば、発声者が音声入力装置１０に対して、入力受付部１２から発声者ＩＤを用いてログインすることで、発声者ＩＤが音声入力装置１０に入力され、対象楽曲情報の選曲などにより、楽曲識別情報と発声者ＩＤとの対応付けが行われる。
【００５１】
以上、音声格納処理によって、発声者(発声者ＩＤ）によって選曲された対象楽曲が演奏され、その演奏進行に応じて、表示部１３で色替え表示された歌詞を、発声者が音声入力部１４（マイク）に向かって歌唱（発声）したときの歌唱音声が、対象楽曲に対する発声者ＩＤの音声データＳＶとして、音楽サーバ２５に記憶されることとなる。
【００５２】
発声者ＩＤを入力するときに、性別、年齢なども併せて入力すれば、発声者特徴情報に性別、年齢なども含んで音楽サーバ２５に記憶される。
その後、情報処理装置３０の制御部４０は、入力受付部３２からの発声者ＩＤの入力によって、音楽サーバ２５に問い合わせし、発声者ＩＤの対象楽曲と、その音声データＳＶを情報処理装置３０側にダウンロードする。
【００５３】
〈情報処理装置〉
次に、情報処理装置３０は、通信部３１と、入力受付部３２と、表示部３３と、記憶部３４と、制御部４０とを備えている。
【００５４】
このうち、通信部３１は、通信網を介して外部との間で通信を行う。入力受付部３２は、外部からの操作に従って情報や指令の入力を受け付ける入力機器である。表示部３３は、画像を表示する表示装置である。
【００５５】
記憶部３４は、記憶内容を読み書き可能に構成された不揮発性の記憶装置である。また、制御部４０は、ＲＯＭ４１、ＲＡＭ４２、ＣＰＵ４３を少なくとも有した周知のコンピュータを中心に構成されている。
【００５６】
そして、情報処理装置３０のＲＯＭ４１には、音楽サーバ２５に格納されている音声データＳＶ及び音楽データＭＤに基づいて生成した音声パラメータＰＭを、データ格納サーバ５０に格納する音声パラメータ登録処理を制御部４０が実行するための処理プログラムが記憶されている。
【００５７】
なお、データ格納サーバ５０は、記憶内容を読み書き可能に構成された記憶装置を中心に構成された装置であり、通信網を介して情報処理装置３０に接続されている。
〈音声パラメータ登録処理〉
図２に示すように、音声格納処理の実行終了後、音声パラメータ登録処理は、起動されると、入力受付部３２を介して指定された楽曲（即ち、対象楽曲）の楽曲データＭＤを音楽サーバ２５から取得する（Ｓ１１０）。続いて、対象楽曲の歌詞データ群ＤＬを抽出し（Ｓ１２０）、対象楽曲に対応し、かつ入力受付部３２を介して指定された発声者ＩＤに対応する一つの音声データＳＶを音楽サーバ２５から取得する（Ｓ１３０）。
【００５８】
さらに、Ｓ１３０で取得した音声データＳＶにおいて、歌詞構成文字を構成する音節それぞれに対応して発声されたと推定される区間（以下、発声区間と称す）を特定し、発声区間の各々を表す発声区間データを生成する発声区間推定処理を実行する（Ｓ１４０）。
【００５９】
そして、発声区間推定処理（Ｓ１４０）にて生成した各発声区間データに基づく発声区間の各々での音声波形（以下、音節波形と称す）から音声パラメータＰＭを導出する（Ｓ１５０）。Ｓ１５０にて導出する音声パラメータＰＭには、少なくとも、基本周波数、メル周波数ケプストラム（ＭＦＣＣ）、パワー、それらの時間差分それぞれを含む。これらの基本周波数、ＭＦＣＣ、パワー、及びそれらの時間差分の導出方法は、周知であるため、ここでの詳しい説明は省略するが、例えば、基本周波数であれば、音節波形の時間軸に沿った自己相関、音節波形の周波数スペクトルの自己相関、またはケプストラム法などの手法を用いて導出すれば良い。また、ＭＦＣＣであれば、音節波形に対して時間分析窓を適用して、時間分析窓ごとに周波数解析（例えば、ＦＦＴ）をした結果について、周波数ごとの大きさを対数化した結果を、さらに、周波数解析することで導出すれば良い。パワーについては、音節波形に対して時間分析窓を適用して振幅を二乗した結果を時間軸に沿って積分することで導出すれば良い。
【００６０】
続いて、Ｓ１５０にて導出した音声パラメータＰＭを格納する音声パラメータ登録を実行する（Ｓ１６０）。なお、Ｓ１６０にてデータ格納サーバ５０に格納される音声パラメータＰＭは、各発声区間にて発声した音節の内容（種類）や、発声者ＩＤ、発声者特徴情報と対応付けられている。
【００６１】
その後、本音声パラメータ登録処理を終了する。
〈発声区間推定処理〉
この発声区間推定処理は、音声パラメータ登録処理のＳ１４０にて起動されると、図３に示すように、先のＳ１３０にて取得した音声データＳＶに対して、時間に沿って連続するように複数のフレームｔnを設定する（Ｓ２１０）。ここで言うフレームｔnとは、予め規定された時間長（例えば、１０［ｍｓ］）を有した単位時間であり、添え字ｎは、当該フレームｔが時間軸に沿ってｎ番目であることを表す添え字である。
【００６２】
そして、音声データＳＶにおける各フレームｔnから音声パラメータＰＭを算出する（Ｓ２２０）。続いて、先のＳ１２０にて取得した歌詞データ群ＤＬのうちの歌詞テロップデータＤＴについて、歌詞構成文字の各々を音素表記で表した歌詞音素データへと変換する（Ｓ２３０）。具体的に、Ｓ２３０では、歌詞テロップデータＤＴによって表される歌詞構成文字の列に対して周知の形態素解析を実施して、歌詞テロップデータＤＴを形態素（単語）ごとに切り分ける。さらに、Ｓ２３０では、各単語の音素表記を表す辞書データとして予め用意した音素辞書に基づいて、各形態素を音素表記へと変換する。これにより、歌詞テロップデータＤＴが歌詞音素データへと変換される。
【００６３】
その変換された歌詞音素データ、及び先のＳ１２０にて取得した歌詞データ群ＤＬのうちの、歌詞出力データＤＯに基づいて、歌詞構成文字を構成する音節である構成音節ＣＳの各々に対して発声されるべき区間（以下、模範発声区間と称す）ＥＳを特定する（Ｓ２４０）。
【００６４】
具体的には、模範発声区間ＥＳは、時間軸に沿って連続する複数のフレームｔによって規定された区間であり、歌詞出力データＤＯによって規定され、かつ時間軸に沿って連続する２つの歌詞構成文字の出力開始タイミングの間の区間を、上記構成音節ＣＳの模範発声区間ＥＳとしたものである。ただし、Ｓ２４０においては、歌詞構成文字が「漢字」である場合には、当該歌詞構成文字を「ひらがな」などに置き換えた場合の文字数にて、出力開始タイミングの間の区間を等分割し、その分割された各区間を当該音節ＣＳの模範発声区間ＥＳとして特定する。
【００６５】
なお、本実施形態の構成音節ＣＳには、無音の文字相当であることを表す無音状態ｓｐ（即ち、楽曲データＤＭに規定された休符）を含む。また、ＣＳNと、その符号Ｎは、歌詞の文頭から数えて、当該構成音節ＣＳが時間軸に沿ったＮ番目の構成音節ＣＳであることを表す符号である。
【００６６】
続いて、Ｓ２４０にて特定した各模範発声区間ＥＳNに対応する構成音節ＣＳNを構成する音素に対して、後述する音素特定処理にて重みβを付与する区間（以下、重み付与区間と称す）ＧＳNを設定する（Ｓ２５０）。
【００６７】
本実施形態における重み付与区間ＧＳNは、時間軸に沿って連続する複数のフレームｔによって規定された区間であり、各模範発声区間ＥＳに対して、１つの重み付与区間ＧＳを設定する。重み付与区間ＧＳNのそれぞれは、図４（Ａ）に示すように、模範発声区間ＥＳNの始端から、時間軸に沿って規定数α分のフレームｔに相当する時間長遅い時刻を、重み付与区間ＧＳNの開始タイミングとし、模範発声区間ＥＳNの終端よりも、時間軸に沿って規定数α分のフレームｔに相当する時間長早い時刻を、重み付与区間ＧＳNの終了タイミングとして設定する。すなわち、各重み付与区間ＧＳNは、模範発声区間ＥＳNより短い時間長であり、模範発声区間ＥＳN内に包含される区間である。
【００６８】
そして、Ｓ２５０にて設定した各重み付与区間ＧＳNに対して、重みβを規定する（Ｓ２６０）。このＳ２６０にて規定する重みβは、音素ごとに規定された値であり、当該模範発声区間ＥＳNの各々に対応する構成音節ＣＳNを構成する音素ほど大きな値（例えば、「１．５」）となるように規定されている。例えば、模範発声区間ＥＳNに対応する音節が「か」であれば、音素“ｋ”及び“ａ”についての重みβが大きな値に設定され、音素“ｋ”及び“ａ”以外の音素（例えば、“ｉ”や，“ｕ”）についての重みβは小さな値（例えば、「１」）に設定される。ただし、重みβは、正の実数である。
【００６９】
さらに、音声データＳＶの各フレームｔnにおける発声内容を発声音素として特定すると共に、その特定した発声音素に基づいて、音声データＳＶにおいて発声された音節（以下、発声音節ＶＳとする）を特定するごとに、時間軸に沿って発声音節ＶＳが切り替わったタイミング（以下、発声切替タイミングとする）を特定する音素特定処理を実行する（Ｓ２７０）。なお、発声音節ＶＳには、無音状態ｓｐを含む。
【００７０】
続いて、Ｓ２７０にて特定され、時間軸に沿って隣接する２つの発声切替タイミング間の区間を発声区間として特定すると共に、当該発声区間における発声内容としての発声音節と音節波形とを対応付けた音節データを生成する（Ｓ２８０）。さらに、その生成した音節データの各々に、当該発声区間に対応する出力音の音高を対応付ける（Ｓ２９０）。
【００７１】
その後、音声パラメータ登録処理のＳ１５０へと移行する。
〈音素特定処理〉
次に、音素特定処理は、発声区間推定処理のＳ２７０にて起動されると、図５に示すように、フレームｔnを初期値（ｎ＝「１」）に設定する（Ｓ３１０）。続いて、フレームｔ1に対する尤度を初期値に設定する（Ｓ３２０）。すなわち、Ｓ３２０では、人が発声する場合、発声開始の時点では無音であることが多いため、フレームｔ1に対する発声音素を無音状態ｓｐとする。
【００７２】
さらに、音声データＳＶにおける時間軸に沿ってフレームｔnを１つ進行（ｎ＝ｎ＋１）させる（Ｓ３３０）。そのフレームｔnにおいて、各音素が発声された可能性を表す発声尤度を導出する（Ｓ３４０）。
【００７３】
このＳ３４０では、具体的に、歌詞音素データに規定された時間軸に沿った音素の配列に従ってフレームｔnにて採りうる音素（以下、候補音素とする）の１つに対応する音響モデルを、フレームｔnでの音声パラメータＰＭに対して照合する。この音響モデルは、音素ごとに当該音素を表す音声パラメータＰＭとして予め用意されたモデルである。
【００７４】
そして、照合結果（即ち、各音素を発声した確からしさ、以下、第一尤度と称す）に、当該フレームｔnに対応する重み付与区間ＧＳに対して先のＳ２６０にて設定され、かつ当該音響モデルに対応する音素における重みβを付与する。つまり、第一尤度に重みβを乗算することで、１つの音響モデルに対応する音素に対する発声尤度を導出する（Ｓ３４０）。
【００７５】
続いて、発声尤度の導出を全ての候補音素に対して実行したか否かを判定する（Ｓ３５０）。この判定の結果、全ての候補音素について発声尤度を導出していなければ（Ｓ３５０：ＮＯ）、Ｓ３４０へと戻り、フレームｔnでの音声パラメータＰＭに対して、新たな音響モデルを照合すると共に、当該候補音素に対する発声尤度を導出することを繰返す。
【００７６】
一方、Ｓ３５０での判定の結果、全ての候補音素に対して発声尤度を導出していれば（Ｓ３５０：ＹＥＳ）、フレームｔnに対する発声尤度の中で、値が最大となる発声尤度に対応する音響モデルの候補音素を発声音素として特定する（Ｓ３６０）。
【００７７】
すなわち、本実施形態では、周知のビタビアルゴリズム、及びビタビアライメントに従って、フレームｔnが採りうる音素全てについて仮説を展開した上で発声音素を特定する。
【００７８】
続いて、Ｓ３４０を実行したフレーム（以下、現フレームと称す）ｔnが最終フレームｔnmaxまで達したか否かを判定する（Ｓ３７０）。このＳ３７０での判定の結果、現フレームｔnが最終フレームｔnmaxにまで達していなければ（Ｓ３７０：ＮＯ）、現フレームｔnにて音節が切り替わったか否かを判定する（Ｓ３８０）。
【００７９】
具体的に、本実施形態のＳ３８０では、フレームｔn-1での発声音素が母音であるときに、フレームｔnでの発声音素が、フレームｔn-1での発声音素とは異なる母音や、子音、無音状態ｓｐとなった場合、フレームｔnにて音節が切り替わったものと判定する。この場合、Ｓ３８０では、フレームｔnとフレームｔn-1との境界（または、フレームｔnそのもの）を、発声切替タイミングとして特定する。
【００８０】
そして、Ｓ３８０での判定の結果、現フレームｔnにて音節が切り替わっていなければ（Ｓ３８０：ＮＯ）、Ｓ３３０へと戻り、時間軸に沿ってフレームｔnを１つ進行（ｎ＝ｎ＋１）させた後、Ｓ３５０〜Ｓ３６０を実行する。
【００８１】
一方、Ｓ３８０での判定の結果、現フレームｔnにて音節が切り替わっていれば（Ｓ３８０：ＹＥＳ）、フレームｔn+1以降のフレームｔに対応する重み付与区間ＧＳNについて規定するフレームｔを変更する付与区間変更処理を実行する（Ｓ３９０）。
【００８２】
以下では、発声音節ＶＳのうち、現フレームｔnから、時間軸に沿って次の発声切替タイミングを構成するフレームｔまでに対する発声音節ＶＳを推定中音節ＶＳMと称し、時間軸に沿って推定中音節ＶＳMの１つの前の発声音節ＶＳを推定完了音節ＶＳM-1と称す。なお、発声音節ＶＳには、無音状態ｓｐも含む。
【００８３】
ここで符号Ｍは、推定中音節ＶＳMが時間軸に沿ってＭ番目の発声音節ＶＳであることを表す符号であり、符号Ｍ−１は、推定完了音節ＶＳM-1が、時間軸に沿ってＭ−１番目の発声音節ＶＳであることを表す符号である。
【００８４】
その後、Ｓ３３０へと戻り、時間軸に沿ってフレームｔnを１つ進行（ｎ＝ｎ＋１）させた後、Ｓ３５０〜Ｓ３６０を実行する。
なお、Ｓ３７０での判定の結果、現フレームｔnが最終フレームｔnmaxまで達していれば（Ｓ３７０：ＹＥＳ）、時間軸に沿って隣接する２つの発声切替タイミングの間の区間それぞれを発声区間として特定し、発声区間データを生成する（Ｓ４００）。
【００８５】
その後、発声区間推定処理のＳ２８０へと移行する。
〈付与区間変更処理〉
次に、付与区間変更処理は、音素特定処理のＳ３９０にて起動されると、図６に示すように、まず、重み付与区間ＧＳM-1を構成する複数のフレームｔ内に現フレームｔnが含まれるか否かを判定する（Ｓ６１０）。
【００８６】
このＳ６１０での判定の結果、重み付与区間ＧＳM-1を構成する複数のフレームｔ内に現フレームｔnが含まれていなければ（Ｓ６１０：ＮＯ）、詳しくは後述するＳ６４０へと進む。
【００８７】
一方、Ｓ６１０での判定の結果、重み付与区間ＧＳM-1を構成する複数のフレームｔ内に現フレームｔnが含まれている場合（Ｓ６１０：ＹＥＳ）、重み付与区間ＧＳM-1を構成する最終フレームｔと、現フレームｔnとの間のフレーム数を時間差分ＤＰとして導出する（Ｓ６２０）。
【００８８】
続いて、重み付与区間ＧＳM+1を構成する最初のフレームｔを、時間軸に沿って時間差分ＤＰ分早くなるように変更する（Ｓ６３０）。すなわち、Ｓ６３０では、推定中音節ＶＳMから時間軸に沿った次の構成音節ＣＳM+1に対応する重み付与区間ＧＳM+1の始端が、時間軸に沿って早められる。
【００８９】
ところで、Ｓ６４０では、重み付与区間ＧＳMを構成する複数のフレームｔ内に現フレームｔnが含まれるか否かを判定する（Ｓ６４０）。このＳ６４０での判定の結果、重み付与区間ＧＳMを構成する複数のフレームｔ内に現フレームｔnが含まれていれば（Ｓ６４０：ＹＥＳ）、重み付与区間ＧＳMを構成する最初のフレームｔと、現フレームｔnとの間のフレーム数を時間差分ＤＣとして導出する（Ｓ６５０）。
【００９０】
続いて、重み付与区間ＧＳM+1を構成する最初のフレームｔを、時間軸に沿って時間差分ＤＣ分遅くなるように変更する（Ｓ６６０）。すなわち、Ｓ６６０では、構成音節ＣＳM+1に対応する重み付与区間ＧＳM+1の始端が、時間軸に沿って遅くなる。
【００９１】
その後、Ｓ６７０へと移行する。
このＳ６７０には、Ｓ６３０が完了した場合や、Ｓ６４０での判定の結果、重み付与区間ＧＳMを構成する複数のフレームｔ内に現フレームｔnが含まれていない場合（Ｓ６４０：ＮＯ）にも移行する。
【００９２】
そのＳ６７０では、推定完了音節ＶＳM-1として発声した発声区間の区間長ＥＬを導出する。具体的に区間長ＥＬの導出は、推定完了音節ＶＳM-1を構成する発声音素を特定したフレームｔの数量であればよい。
【００９３】
続いて、推定完了音節ＶＳM-1に対応する構成音節ＣＳM-1の模範発声区間ＥＳM-1の区間長ＰＬを導出する（Ｓ６８０）。具体的に区間長ＰＬの導出は、構成音節ＣＳM-1の模範発声区間ＥＳを構成するフレームｔの数量であればよい。
【００９４】
さらに、区間長ＥＬが区間長ＰＬと不一致であるか否かを判定する（Ｓ６９０）。このＳ６９０での判定の結果、区間長ＥＬが区間長ＰＬと不一致であれば（Ｓ６９０：ＹＥＳ）、区間長ＥＬと区間長ＰＬとの差分Ｄ（Ｄ＝ＥＬ−ＰＬ）を導出する（Ｓ７００）。
差分Ｄを実時間にするのであれば、差分Ｄに１つのフレームの時間長を乗算すればよい。
【００９５】
そして、重み付与区間ＧＳMを構成する最終のフレームｔを、時間軸に沿って差分Ｄ分変更する（Ｓ７１０）。
ただし、本実施形態におけるＳ７１０では、差分Ｄが負の値（即ち、ＥＬ＜ＰＬ）であれば、重み付与区間ＧＳMを構成する最終のフレームｔを、時間軸に沿って差分Ｄ（ただし、絶対値）分早くなるように変更する。また、差分Ｄが正の値（即ち、ＥＬ＞ＰＬ）であれば、重み付与区間ＧＳMを構成する最終のフレームｔを、時間軸に沿って差分Ｄ（ただし、絶対値）分遅くなるように変更する。後者の場合、推定中音節ＶＳMに対応する構成音節ＣＳMの模範発声区間ＥＳMと、時間軸に沿って推定中音節ＶＳMの次の発声音節ＶＳM+1に対応する構成音節ＣＳM+1の模範発声区間ＥＳM+1とが切り替わるフレームｔを変更可能な上限としても良い。
【００９６】
その後、本付与区間変更処理を終了し、音素特定処理のＳ３３０へと移行する。
なお、Ｓ６９０での判定の結果、区間長ＥＬが区間長ＰＬと一致した場合にも（Ｓ６９０：ＮＯ）、本付与区間変更処理を終了し、音素特定処理のＳ３３０へと移行する。
【００９７】
なお、Ｓ６９０における「一致」とは、区間長ＥＬが区間長ＰＬと完全に一致することの他に、区間長ＥＬが区間長ＰＬに対して、予め規定された誤差範囲以下で一致することも含む。この場合、Ｓ６９０にて判定する際に、区間長ＥＬと区間長ＰＬの差の絶対値（｜ＥＬ−ＰＬ｜）がある閾値γより小さければ、区間長ＥＬが区間長ＰＬと一致した（Ｓ６９０：ＮＯ）ものとすれば良い。
【００９８】
すなわち、付与区間変更処理では、推定完了音節ＶＳM-1の発声終了タイミングが、推定完了音節ＶＳM-1に対応する模範発声区間ＥＳM-1の終了タイミングよりも早い場合、図４（Ｂ）に示すように、重み付与区間ＧＳM+1の開始タイミングを時間軸に沿って早くする。この場合、重み付与区間ＧＳMの開始タイミングは、推定完了音節ＶＳM-1の発声終了タイミングに対するフレームｔn-1の次のフレームｔn（即ち、現フレームｔn）とする。
【００９９】
そして、推定完了音節ＶＳM-1に対する発声区間の時間長が、模範発声区間ＥＳM-1の時間長よりも短い場合、図４（Ｃ）に示すように、重み付与区間ＧＳMの終了タイミングを時間軸に沿って早くする。なお、図４においては、Ｍ＝Ｎ＋１とする。
【０１００】
また、付与区間変更処理では、推定完了音節ＶＳM-1の発声終了タイミングが、推定中音節ＶＳMに対応する模範発声区間ＥＳMの開始タイミングよりも遅い場合、図７（Ａ），図７（Ｂ）に示すように、重み付与区間ＧＳM+1の開始タイミングを時間軸に沿って遅くする。
【０１０１】
そして、推定完了音節ＶＳM-1に対する発声区間の時間長が、模範発声区間ＥＳM-1の時間長よりも長い場合、図７（Ｃ）に示すように、重み付与区間ＧＳMの終了タイミングを時間軸に沿って遅くする。ただし、この場合、重み付与区間ＧＳMの最も遅い終了タイミングを、発声音節ＶＳM+1に対応する構成音節ＣＳM+1と構成音節ＣＳMと切り替わりタイミングとする。なお、図７においては、Ｍ＝Ｎ＋１とする。
【０１０２】
さらに、付与区間変更処理では、図８に示すように、推定完了音節ＶＳM-1の発声終了タイミングが、付与禁止区間ＰＳM-1内である場合や、推定完了音節ＶＳM-1に対する発声区間の時間長が、模範発声区間ＥＳM-1の時間長に一致する場合には、重み付与区間ＧＳMの変更を実施することなく、時間軸に沿って次のフレームｔへと処理を移行する。なお、図８に記載された後続音節とは、発声音節ＶＳM+1である。
【０１０３】
〈音声出力端末〉
次に、音声出力端末について説明する（図１参照）。
この音声出力端末６０は、情報受付部６１と、表示部６２と、音出力部６３と、通信部６４と、記憶部６５と、制御部６７とを備えている。音声出力端末６０として、例えば、周知の携帯端末（携帯電話や携帯情報端末）や、周知の情報処理装置（いわゆるパーソナルコンピュータ）を想定しても良い。
【０１０４】
このうち、情報受付部６１は、入力装置（図示せず）を介して入力された情報を受け付ける。表示部６２は、制御部６７からの信号に基づいて画像を表示する。音出力部６３は、音を出力する周知の装置であり、例えば、ＰＣＭ音源と、スピーカとを備えている。
【０１０５】
通信部６４は、周知の通信網を介して音声出力端末６０が外部との間で情報通信を行うものである。記憶部６５は、記憶内容を読み書き可能に構成された不揮発性の記憶装置であり、各種処理プログラムや各種データが記憶される。
【０１０６】
また、制御部６７は、ＲＯＭ、ＲＡＭ、ＣＰＵを少なくとも有した周知のコンピュータを中心に構成されている。
〈音声合成処理〉
次に、音声出力端末６０の制御部６７が実行する音声合成処理について説明する。
【０１０７】
この音声合成処理は、音声出力端末６０の情報受付部６１を介して起動指令が入力されると起動される。
図９に示すように、音声合成処理は、起動されると、まず、情報受付部６１を介して入力された情報（以下、入力情報と称す）を取得する（Ｓ９１０）。このＳ９１０にて取得する入力情報とは、例えば、合成音として出力する音声の内容（文言）を表す出力文言や、合成音として出力する音の性質を表す出力性質情報を含むものである。なお、ここで言う音の性質（即ち、出力性質情報）とは、発声者の性別、発声者の年齢といった、発声者の声の特徴を含むものである。
【０１０８】
続いて、Ｓ９１０にて取得した出力文言を合成音として出力するために必要な音節それぞれに対応し、かつＳ９１０にて取得した出力性質情報に最も類似する情報と対応付けられた音声パラメータＰＭを、データ格納サーバ５０から抽出する（Ｓ９２０）。
【０１０９】
そして、Ｓ９１０にて取得した出力文言の内容にて合成音が出力されるように、Ｓ９２０にて取得した音声パラメータＰＭを設定する（Ｓ９３０）。続いて、Ｓ９３０にて設定された音声パラメータＰＭに基づいて、音声合成する（Ｓ９４０）。このＳ９４０における音声合成は、特許文献１に記載された方法や、フォルマント合成による周知の音声合成の手法を用いれば良い。
【０１１０】
さらに、Ｓ９４０にて生成した合成音を音出力部６３から出力する（Ｓ９５０）。
その後、本音声合成処理を終了する。
［実施形態の効果］
以上説明したように、本実施形態の付与区間変更処理では、推定完了音節ＶＳM-1の発声終了タイミングが、模範発声区間ＥＳM-1の終了タイミングよりも早い場合、重み付与区間ＧＳM+1の開始タイミングを時間軸に沿って早くしている。このようにすることで、模範発声区間ＥＳの切替タイミングに対して発声音節ＶＳの発声開始タイミングが常時先行する人物に対して、時間軸に沿って当該発声音節ＶＳ以降の音節に対応する重み付与区間ＧＳを適切な時間帯に再設定することができる。
【０１１１】
また、付与区間変更処理では、推定完了音節ＶＳM-1に対する発声区間の時間長が、模範発声区間ＥＳM-1の時間長よりも短い場合にも、重み付与区間ＧＳMの終了タイミングを時間軸に沿って早くしている。このようにすることで、模範発声区間ＥＳの区間長よりも短い区間で発声する人物に対して、当該発声音節ＶＳに対応する重み付与区間ＧＳを適切な時間帯に再設定することができる。
【０１１２】
さらに、付与区間変更処理では、推定完了音節ＶＳM-1の発声終了タイミングが、模範発声区間ＥＳMの開始タイミングよりも遅い場合、重み付与区間ＧＳM+1の開始タイミングを時間軸に沿って遅くしている。このようにすることで、模範発声区間ＥＳの切替タイミングに対して発声音節ＶＳの発声開始タイミングが常時遅延する人物に対して、時間軸に沿って当該発声音節ＶＳ以降の音節に対応する重み付与区間ＧＳを適切な時間帯に再設定することができる。
【０１１３】
また、付与区間変更処理では、推定完了音節ＶＳM-1に対する発声区間の時間長が、模範発声区間ＥＳM-1の時間長よりも長い場合には、重み付与区間ＧＳMの終了タイミングを時間軸に沿って遅くする。このようにすることで、模範発声区間ＥＳの区間長よりも長い区間で発声する人物に対して、当該発声音節ＶＳに対応する重み付与区間ＧＳを適切な時間帯に再設定することができる。
【０１１４】
以上のことから、上記実施形態の発声区間特定処理によれば、各音節に対する発声内容の認識精度を向上させることができ、ひいては、各音節に対する発声区間の認識精度を向上させることができる。
【０１１５】
したがって、上記実施形態の音声パラメータ登録処理によれば、各発声区間での音声パラメータを生成する際に、信頼度の高い音節の内容を当該音声パラメータに付加することができる。この結果、上記実施形態において、音声合成処理を実行する場合には、その音声合成を利用する人物が望む合成音を実現しやすくできる。
【０１１６】
しかも、上記実施形態の発声区間特定処理では、模範発声区間ＥＳの切替タイミングの直前や直後の単位区間を、付与禁止区間ＰＳとした上で、重み付与区間ＧＳを設定している。これは、時間軸に沿って連続する音節について人が発声する場合、通常、音節の切り替わりが、模範切替タイミングに完全に一致することは少なく、模範発声区間ＥＳの切替タイミングの直前・直後から重みβの付与を禁止することで、音素特定処理において、実際に発声した音素とは異なる音素を発声したと誤認することを低減できるためである。
【０１１７】
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【０１１８】
上記実施形態では、音声入力装置（カラオケ装置）１０と音楽サーバ２５のシステムに、情報処理装置３０とデータ格納サーバ６０とを追加し、音声入力装置１０がカラオケ演奏処理を実行して対象楽曲を演奏している期間に入力された音声に基づいて音声データＳＶを生成していたが、本発明における音声データＳＶは、これに限るものではない。
【０１１９】
すなわち、本発明では、音声入力装置１０において、カラオケ装置などにて周知のアフレコ機能を用いて、音声データＳＶを生成しても良い。つまり、アフレコ機能を有した音声入力装置（カラオケ装置）であれば、発声すべき台詞に関するデータとして、台詞を構成する文字（以下、台詞構成文字と称す）を表す台詞テロップデータ（即ち、歌詞テロップデータと同様のデータ）と、台詞構成文字を表示部１３に表示するタイミングを規定した台詞出力データ（即ち、歌詞出力データと同様のデータ）とを備えている。よって、アフレコ機能を用いて音声データＳＶを取得する場合、音声入力装置１０は、台詞テロップデータに基づく台詞を表示部１３に表示し、当該台詞が表示部１３に表示されている期間に音声入力部１４を介して入力された音声波形を音声データＳＶとして、音楽サーバ２５に格納しても良い。
【０１２０】
この場合、情報処理装置３０では、アフレコ機能を用いて生成した音声データＳＶを音声パラメータ登録処理の処理対象としても良い。
また、上記実施形態では、音声入力装置１０として、カラオケ装置を想定したが、音声入力装置１０として想定する装置は、カラオケ装置に限るものではなく、例えば、周知の携帯端末（携帯電話や携帯情報端末）や、周知の情報処理装置（いわゆるパーソナルコンピュータ）を想定しても良い。
【０１２１】
また、上記実施形態の音声合成システムにおいては、音楽サーバ２５、データ格納サーバ５０が設けられていたが、これらは補助記憶手段として機能すればよく、音声入力装置１０の記憶部１７に格納し、更には情報処理装置３０の各手段も、音声入力装置１０へ組み込むことで、音声入力装置（カラオケ装置）を、音声合成データ作成に用いる、発声を特定する装置としても良い。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【０１２２】
上記実施形態の音声パラメータ登録処理におけるＳ１２０が、特許請求の範囲の記載における発声情報取得手段に相当し、Ｓ１３０が、特許請求の範囲の記載における音声データ取得手段に相当する。さらに、発声区間推定処理におけるＳ２４０が、特許請求の範囲の記載における模範区間特定手段に相当し、Ｓ２５０及びＳ２６０が、特許請求の範囲の記載における重み設定手段に相当し、Ｓ２１０が、特許請求の範囲の記載における区間設定手段に相当する。
【０１２３】
上記実施形態の音素特定処理におけるＳ３１０〜Ｓ３６０が、特許請求の範囲の記載における音素特定手段に相当し、Ｓ３８０が、特許請求の範囲の記載におけるタイミング特定手段に相当する。そして、上記実施形態の音素特定処理におけるＳ３９０、即ち、付与区間変更処理が、特許請求の範囲の記載における重み変更手段に相当する。
【符号の説明】
【０１２４】
１…音声合成システム  １０…音声入力装置  １１…通信部  １２…入力受付部  １３…表示部  １４…音声入力部  １５…音声出力部  １６…音源モジュール  １７…記憶部  ２０…制御部  ２１…ＲＯＭ  ２２…ＲＡＭ  ２３…ＣＰＵ  ２５…音楽サーバ  ３０…情報処理装置  ３１…通信部  ３２…入力受付部  ３３…表示部  ３４…記憶部  ４０…制御部  ４１…ＲＯＭ  ４２…ＲＡＭ  ４３…ＣＰＵ  ５０…データ格納サーバ  ６０…音声出力端末
【図１】
0005678912.tif 000002
【図２】
0005678912.tif 000003
【図３】
0005678912.tif 000004
【図４】
0005678912.tif 000005
【図５】
0005678912.tif 000006
【図６】
0005678912.tif 000007
【図７】
0005678912.tif 000008
【図８】
0005678912.tif 000009
【図９】
0005678912.tif 000010