(57)【特許請求の範囲】
【請求項１】
音高と音価との組み合わせからなる複数の音符のうちの少なくとも一部に割り当てられた歌詞を発声した音声波形を表す音声データであって、前記発声した人及び前記歌詞のうちの少なくとも１つが異なる音声データを少なくとも２つ以上取得する音声データ取得手段と、
前記音声データ取得手段で取得した音声データにおける声質を表す声質特徴量を導出する分析手段と、
前記分析手段で導出した声質特徴量の分布に基づいて、前記音声データを少なくとも２つのグループに分類する分類手段と、
前記分類手段で分類された音声データのグループごとに、前記グループそれぞれに含まれる前記音声データから、前記歌詞の音節かつ前記音符の種類ごとの音声の特徴量を表す音声特徴量の代表値を導出し、その導出した音声特徴量の代表値とその音声特徴量の代表値に対応する声質特徴量とを対応付けた音源データを記憶装置に記憶する記憶制御手段と、
音声の入力を受け付ける入力受付手段と、
前記入力受付手段で入力を受け付けた入力音声を分析して、前記入力音声の声質特徴量である入力声質を導出する声質分析手段と、
前記記憶装置に記憶された前記音源データの中で、前記声質分析手段で導出した入力声質に最も類似する声質特徴量を有した前記音源データを特定する検索手段と、
前記検索手段で特定した音源データに従って音声合成した合成音声を出力する合成手段と
を備えることを特徴とする音声合成システム。
【請求項２】
指定された楽曲を表す楽曲データであって、複数の音符を時間軸に沿って配置した楽譜データ、及び前記複数の音符のうちの少なくとも一部の音符に割り当てられた歌詞を表す歌詞データを含む楽曲データを取得する楽曲データ取得手段を備え、
前記合成手段は、
前記楽曲データ取得手段で取得した楽曲データに基づいて、当該楽曲データに含まれる歌詞を歌唱した合成音声を出力する
ことを特徴とする請求項１に記載の音声合成システム。
【請求項３】
音声の入力を受け付ける入力受付手段と、
前記入力受付手段で入力を受け付けた入力音声を分析して、前記入力音声の声質を表す声質特徴量である入力声質を導出する声質分析手段と、
音高と音価との組み合わせからなる複数の音符のうちの少なくとも一部に割り当てられた歌詞を発声した音声波形を表す音声データであって、前記発声した人及び前記歌詞のうちの少なくとも１つが異なる音声データを少なくとも２つ以上取得する音声データ取得ステップと、前記音声データ取得ステップで取得した音声データにおける声質を表す声質特徴量を導出する分析ステップと、前記分析ステップで導出した声質特徴量の分布に基づいて、前記音声データを少なくとも２つのグループに分類する分類ステップと、前記分類ステップで分類された音声データのグループごとに、前記グループそれぞれに含まれる前記音声データから、前記歌詞の音節かつ前記音符の種類ごとの音声の特徴量を表す音声特徴量の代表値を導出し、その導出した音声特徴量の代表値とその音声特徴量の代表値に対応する声質特徴量とを対応付けた音源データを記憶装置に記憶する記憶制御ステップとが実行されることで、前記記憶装置に記憶された前記音源データの中で、前記声質分析手段で導出した入力声質に最も類似する声質特徴量を有した前記音源データを特定する検索手段と、
前記検索手段で特定した音源データに従って音声合成した合成音声を出力する合成手段と
を備えることを特徴とする音声合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合成音声を生成する技術に関する。
【背景技術】
【０００２】
従来、楽曲を演奏するカラオケ装置であって、複数存在する歌唱旋律のうちの少なくとも１つの歌唱旋律を歌唱した音声を合成音声にて生成して出力するカラオケ装置が知られている（特許文献１参照）。このカラオケ装置では、複数存在する歌唱旋律のうちの少なくとも１つを利用者が担当して歌唱し、他の歌唱旋律を合成音声が担当する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１５４２９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、カラオケ装置において、当該カラオケ装置の利用者が歌唱することなく、利用者自身が歌唱したような合成音声（以下、「仮想発声音」と称す）を生成して出力することが考えられている。
【０００５】
音源データの生成は、実際に人が発声した音声を分析することで実施される。このため、仮想発声音を、カラオケ装置の一人の利用者自身が発声することで生成した音源データだけに基づいて生成するためには、膨大な量の音源データが必要となる。そして、膨大な量の音源データを生成するためには、カラオケ装置の一人の利用者自身が発声した膨大な量の音声データを収集する必要がある。
【０００６】
一般的に、一人の利用者の膨大な量の音声データを収集することは困難であるため、従来の技術において、仮想発声音を生成することは、困難であるという課題がある。
つまり、従来の技術では、仮想発声音の生成が困難であるという課題があった。
【０００７】
そこで、本発明は、仮想発声音の生成を簡易化する技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するためになされた本発明の音声合成システムは、音声データ取得手段と、分析手段と、分類手段と、記憶制御手段と、入力受付手段と、声質分析手段と、検索手段と、合成手段とを備えている。
【０００９】
このうち、音声データ取得手段は、発声した人及び歌詞のうちの少なくとも１つが異なる音声データを少なくとも２つ以上取得する。ここで言う音声データとは、音高と音価との組み合わせからなる複数の音符のうちの少なくとも一部に割り当てられた歌詞を発声した音声波形を表すものである。
【００１０】
分析手段は、音声データ取得手段で取得した音声データにおける声質を表す声質特徴量を導出する。分類手段は、分析手段で導出した声質特徴量の分布に基づいて、音声データを少なくとも２つのグループに分類する。
【００１１】
記憶制御手段は、分類手段で分類された音声データのグループごとに、グループそれぞれに含まれる音声データから、歌詞の音節かつ音符の種類ごとの音声の特徴量を表す音声特徴量の代表値を導出し、その導出した音声特徴量の代表値とその音声特徴量の代表値に対応する声質特徴量とを対応付けた音源データを記憶装置に記憶する。
【００１２】
入力受付手段は、音声の入力を受け付ける。声質分析手段は、入力受付手段で入力を受け付けた入力音声を分析して、入力音声の声質特徴量である入力声質を導出する。さらに、検索手段は、記憶装置に記憶された音源データの中で、声質分析手段で導出した入力声質に最も類似する声質特徴量を有した音源データを特定する。合成手段は、検索手段で特定した音源データに従って音声合成した合成音声を出力する。
【００１３】
本発明の音声合成システムでは、利用者自身の声と声質が似ている音声パラメータ（音源データ）を用いて、合成音声を生成している。本発明において、このような音源データは、一人の利用者の音声データだけでなく複数人の音声データに基づいて導出される。
【００１４】
すなわち、本発明の音声合成システムによれば、音源データの生成に必要になる音声データとして、カラオケ装置の利用者自身が発声した音声データだけでなく、当該利用者とは異なる他の人物が発声した音声データを用いている。
【００１５】
したがって、本発明の音声合成システムによれば、音声合成に必要な音声データの収集を容易なものとすることができ、仮想発声音の生成の困難性を低下させることができる。この結果、本発明によれば、仮想発声音の生成の簡易化を実現できる。
【００１６】
さらに、本発明の音声合成システムでは、楽曲データ取得手段が、指定された楽曲を表す楽曲データであって、複数の音符を時間軸に沿って配置した楽譜データ、及び複数の音符のうちの少なくとも一部の音符に割り当てられた歌詞を表す歌詞データを含む楽曲データを取得しても良い。
【００１７】
この場合、本発明における合成手段は、楽曲データ取得手段で取得した楽曲データに基づいて、当該楽曲データに含まれる歌詞を歌唱した合成音声を出力しても良い。
このような音声合成システムによれば、利用者の声質に近い声による合成音声で、楽曲を歌唱させることができる。
【００１８】
ところで、本発明は、音声合成装置としてなされていても良い。本発明の音声合成装置は、入力受付手段と、声質分析手段と、検索手段と、合成手段とを備えている。
入力受付手段は、音声の入力を受け付ける。声質分析手段は、入力受付手段で入力を受け付けた入力音声を分析して、入力音声の声質を表す声質特徴量である入力声質を導出する。
【００１９】
検索手段は、記憶装置に記憶された音源データの中で、声質分析手段で導出した入力声質に最も類似する声質特徴量を有した音源データを特定する。ただし、音源データは、音声データ取得ステップと、分析ステップと、分類ステップと、記憶制御ステップとが実行されることで記憶装置に記憶される。
【００２０】
音声データ取得ステップでは、発声した人及び歌詞のうちの少なくとも１つが異なる音声データを少なくとも２つ以上取得する。分析ステップでは、音声データ取得ステップで取得した音声データにおける声質を表す声質特徴量を導出する。分類ステップでは、分析ステップで導出した声質特徴量の分布に基づいて、音声データを少なくとも２つのグループに分類する。記憶制御ステップでは、分類ステップで分類された音声データのグループごとに、グループそれぞれに含まれる音声データから、音節かつ音符の種類ごとの音声の特徴量を表す音声特徴量の代表値を導出し、その導出した音声特徴量の代表値とその音声特徴量の代表値に対応する声質特徴量とを対応付けた音源データを記憶装置に記憶する。
【００２１】
そして、音声合成装置における合成手段は、検索手段で特定した音源データに従って音声合成した合成音声を出力する。
このような音声合成装置であれば、請求項１に係る発明と同様の効果を得ることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明が適用された音声合成システムの全体構成を示すブロック図である。
【図２】音源データ生成処理の処理手順を示すフローチャートである。
【図３】音源データを例示した説明図である。
【図４】音声合成処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下に本発明の実施形態を図面と共に説明する。
＜音声合成システム＞
図１に示す音声合成システム１は、ユーザが指定した楽曲（以下、指定楽曲と称す）を歌唱した合成音声を、ユーザに類似する声にて生成して出力するシステムである。
【００２４】
これを実現するために、音声合成システム１は、情報処理装置２と、情報処理サーバ１０と、カラオケ装置３０とを備えている。
情報処理装置２は、人が発声した音声を含む音声波形データＷＤ及びその発声した内容を表すＭＩＤＩ楽曲ＭＤに基づいて、合成音声の生成（即ち、音声合成）に必要な音源データＳＤを生成する。ここで言う音源データＳＤは、詳しくは後述するが、いわゆるフォルマント合成に用いる音声パラメータを含むデータである。この音声パラメータには、例えば、発声音声における各音節での基本周波数（ｆ０）、メル周波数ケプストラム（ＭＦＣＣ）、パワーを含む。ここで言う音声パラメータは、特許請求の範囲に記載された音声特徴量の一例である。
【００２５】
情報処理サーバ１０には、少なくとも、情報処理装置２にて生成された音源データＳＤ及びＭＩＤＩ楽曲ＭＤが記憶されている。
カラオケ装置３０は、情報処理サーバ１０に記憶されたＭＩＤＩ楽曲ＭＤを演奏すると共に、そのＭＩＤＩ楽曲ＭＤに対応する楽曲を歌唱した合成音声を、音源データＳＤに従って生成して出力する。なお、音声合成システム１は、複数のカラオケ装置３０を備えている。
＜音声波形データ＞
音声波形データＷＤは、楽曲を演奏した演奏音を表す音声データであり、当該楽曲に関する情報が記述された楽曲管理情報と対応付けられている。楽曲管理情報には、楽曲を識別する楽曲識別情報（以下、楽曲ＩＤと称す）が含まれる。
【００２６】
本実施形態の音声波形データＷＤには、演奏音として、少なくとも１つの楽器を演奏した伴奏音と、少なくとも人が歌唱した歌唱音とを含む。なお、音声波形データＷＤは、その音声波形データＷＤごとに、歌唱した人物または楽曲（歌詞）が異なっている。
【００２７】
この音声波形データＷＤは、非圧縮音声ファイルフォーマットの音声ファイルによって構成されたデータであっても良いし、音声圧縮フォーマットの音声ファイルによって構成されたデータであっても良い。この音声波形データＷＤは、ユーザが楽曲を歌唱した際に音声を録音することで生成されても良いし、その他の方法で生成されても良い。
【００２８】
本実施形態における音声波形データＷＤは、特許請求の範囲に記載された音声データの一例である。
＜ＭＩＤＩ楽曲＞
ＭＩＤＩ楽曲ＭＤは、楽曲ごとに予め用意されたものであり、楽曲データと、歌詞データとを有している。
【００２９】
このうち、楽曲データは、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）規格によって、一つの楽曲の楽譜を表したデータである。この楽曲データは、楽曲ＩＤと、当該楽曲にて用いられる楽器ごとの楽譜を表す楽譜トラックとを少なくとも有している。
【００３０】
そして、楽譜トラックには、ＭＩＤＩ音源から出力される個々の演奏音について、少なくとも、音高（いわゆるノートナンバー）と、ＭＩＤＩ音源が演奏音を出力する期間（以下、音符長と称す）とが規定されている。楽譜トラックにおける音符長は、当該演奏音の出力を開始するまでの当該楽曲の演奏開始からの時間を表す演奏開始タイミング（いわゆるノートオンタイミング）と、当該演奏音の出力を終了するまでの当該楽曲の演奏開始からの時間を表す演奏終了タイミング（いわゆるノートオフタイミング）とによって規定されている。
【００３１】
すなわち、楽譜トラックでは、ノートナンバーと、ノートオンタイミング及びノートオフタイミングによって表される音符長とによって、１つの音符ＮＯが規定される。そして、楽譜トラックは、音符ＮＯが演奏順に配置されることによって、１つの楽譜として機能する。なお、楽譜トラックは、例えば、鍵盤楽器、弦楽器、打楽器、及び管楽器などの楽器ごとに用意されている。このうち、本実施形態では、特定の楽器（例えば、ヴィブラフォン）が、楽曲における歌唱旋律を担当する楽器として規定されている。
【００３２】
一方、歌詞データは、楽曲の歌詞に関するデータであり、歌詞テロップデータと、歌詞出力データとを備えている。歌詞テロップデータは、楽曲の歌詞を構成する文字（以下、歌詞構成文字とする）を表す。歌詞出力データは、歌詞構成文字の出力タイミングである歌詞出力タイミングを、演奏データの演奏と対応付けるタイミング対応関係が規定されたデータである。
【００３３】
具体的に、本実施形態におけるタイミング対応関係では、演奏データの演奏を開始するタイミングに、歌詞テロップデータの出力を開始するタイミングが対応付けられている。さらに、タイミング対応関係では、楽曲の時間軸に沿った各歌詞構成文字の歌詞出力タイミングが、演奏データの演奏開始からの経過時間によって規定されている。これにより、楽譜トラックに規定された個々の演奏音（即ち、音符ＮＯ）と、歌詞構成文字それぞれとが対応付けられる。
＜情報処理装置＞
情報処理装置２は、入力受付部３と、外部出力部４と、記憶部５と、制御部６とを備えた周知の情報処理装置（例えば、パーソナルコンピュータ）である。
【００３４】
入力受付部３は、外部からの情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、可搬型の記憶媒体（例えば、ＣＤやＤＶＤ、フラッシュメモリ）に記憶されたデータを読み取る読取ドライブ、通信網を介して情報を取得する通信ポートなどである。外部出力部４は、外部に情報を出力する出力装置である。ここでの出力装置とは、可搬型の記憶媒体にデータを書き込む書込ドライブや、通信網に情報を出力する通信ポートなどである。
【００３５】
記憶部５は、記憶内容を読み書き可能に構成された周知の記憶装置である。記憶部５には、少なくとも２以上の音声波形データＷＤが、その音声波形データＷＤでの発声内容を表すＭＩＤＩ楽曲ＭＤと対応付けて記憶されている。なお、図１中における符号「ｌ」は、音声波形データＷＤを識別する識別子であり、ユーザごとかつ当該ユーザが歌唱した楽曲ごとに割り当てられている。この符号「ｌ」は、２以上の自然数である。また、図１における符号「ｏ」は、ＭＩＤＩ楽曲ＭＤを識別する識別子であり、楽曲ごとに割り当てられている。この符号「ｏ」は、２以上の自然数である。
【００３６】
制御部６は、ＲＯＭ７，ＲＡＭ８，ＣＰＵ９を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ７は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ８は、処理プログラムやデータを一時的に記憶する。ＣＰＵ９は、ＲＯＭ７やＲＡＭ８に記憶された処理プログラムに従って各処理を実行する。
【００３７】
本実施形態のＲＯＭ７には、記憶部５に記憶されている音声波形データＷＤ及びＭＩＤＩ楽曲ＭＤに基づいて音源データＳＤを生成する音源データ生成処理を、制御部６が実行するための処理プログラムが記憶されている。
＜情報処理サーバ＞
情報処理サーバ１０は、通信部１２と、記憶部１４と、制御部１６とを備えている。
【００３８】
このうち、通信部１２は、通信網を介して、情報処理サーバ１０が外部との間で通信を行う。すなわち、情報処理サーバ１０は、通信網を介してカラオケ装置３０と接続されている。なお、ここで言う通信網は、有線による通信網であっても良いし、無線による通信網であっても良い。
【００３９】
記憶部１４は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部１４には、少なくとも、複数のＭＩＤＩ楽曲ＭＤが記憶される。なお、図１に示す符号「ｎ」は、情報処理サーバ１０の記憶部１４に記憶されているＭＩＤＩ楽曲ＭＤを識別する識別子であり、楽曲ごとに割り当てられている。この符号「ｎ」は、１以上の自然数である。さらに、記憶部１４には、情報処理装置２が音源データ生成処理を実行することで生成された音源データＳＤが記憶される。なお、図１に示す符号「ｍ」は、情報処理サーバ１０の記憶部１４に記憶されている音源データＳＤを識別する識別子であり、詳しくは後述するグループごとに割り当てられている。この符号「ｍ」は、２以上の自然数である。
【００４０】
制御部１６は、ＲＯＭ１８，ＲＡＭ２０，ＣＰＵ２２を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ１８は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ２０は、処理プログラムやデータを一時的に記憶する。ＣＰＵ２２は、ＲＯＭ１８やＲＡＭ２０に記憶された処理プログラムに従って各処理を実行する。
＜カラオケ装置＞
カラオケ装置３０は、通信部３２と、入力受付部３４と、楽曲再生部３６と、記憶部３８と、音声制御部４０と、映像制御部４６と、制御部５０とを備えている。
【００４１】
通信部３２は、通信網を介して、カラオケ装置３０が外部との間で通信を行う。入力受付部３４は、外部からの操作に従って情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、リモコンの受付部などである。
【００４２】
楽曲再生部３６は、情報処理サーバ１０からダウンロードしたＭＩＤＩ楽曲ＭＤに基づく楽曲の演奏を実行する。この楽曲再生部３６は、例えば、ＭＩＤＩ音源である。音声制御部４０は、音声の入出力を制御するデバイスであり、出力部４２と、マイク入力部４４とを備えている。
【００４３】
マイク入力部４４には、マイク６２が接続される。これにより、マイク入力部４４は、マイク６２を介して入力された音声を取得する。出力部４２にはスピーカ６０が接続されている。出力部４２は、楽曲再生部３６によって再生される楽曲の音源信号、マイク入力部４４からの歌唱音の音源信号をスピーカ６０に出力する。スピーカ６０は、出力部４２から出力される音源信号を音に換えて出力する。
【００４４】
映像制御部４６は、制御部５０から送られてくる映像データに基づく映像または画像の出力を行う。映像制御部４６には、映像または画像を表示する表示部６４が接続されている。
【００４５】
制御部５０は、ＲＯＭ５２，ＲＡＭ５４，ＣＰＵ５６を少なくとも有した周知のコンピュータを中心に構成されている。ＲＯＭ５２は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ５４は、処理プログラムやデータを一時的に記憶する。ＣＰＵ５６は、ＲＯＭ５２やＲＡＭ５４に記憶された処理プログラムに従って各処理を実行する。
【００４６】
本実施形態のＲＯＭ５２には、音声合成処理を制御部５０が実行するための処理プログラムが記憶されている。音声合成処理は、ユーザの声に声質が類似する音声で、ユーザによって指定された楽曲を歌唱した合成音声を生成して出力する処理である。
＜音源データ生成処理＞
情報処理装置２の制御部６が実行する音源データ生成処理について説明する。
【００４７】
図２に示すように、音源データ生成処理が起動されると、制御部６は、入力受付部３を介して指定された楽曲ＩＤが含まれるＭＩＤＩ楽曲ＭＤを取得する（Ｓ１１０）。続いて、制御部６は、記憶部５に記憶されている全ての音声波形データＷＤの中から、Ｓ１１０にて取得した楽曲ＩＤと対応付けられた一つの音声波形データＷＤを取得する（Ｓ１２０）。
【００４８】
音源データ生成処理では、制御部６は、Ｓ１２０にて取得した音声波形データＷＤに含まれる伴奏音を抑制する（Ｓ１３０）。本実施形態においては、伴奏音の抑制手法として周知の手法を用いれば良い。本実施形態における伴奏音の抑制手法は、音声波形データＷＤに含まれる歌唱音を強調する手法であっても良いし、ＭＩＤＩ楽曲ＭＤによって表される楽器の演奏音を音声波形データＷＤから除去する手法であっても良い。
【００４９】
さらに、音源データ生成処理では、制御部６は、Ｓ１３０にて伴奏音を抑制した音声波形データＷＤと、Ｓ１１０にて取得したＭＩＤＩ楽曲ＭＤとに基づいて、音符ボーカルＶｏ（ａ，ｉ）を特定する（Ｓ１４０）。音符ボーカルＶｏ（ａ，ｉ）とは、音声波形データＷＤにおいて、歌唱旋律を構成し、かつ、歌詞が割り当てられた各音符ＮＯ（ａ，ｉ）に対応する区間である。Ｓ１４０においては、制御部６は、Ｓ１２０で取得した音声波形データＷＤに、ＭＩＤＩ楽曲ＭＤにおける演奏開始タイミングｎｎｔ（ａ，ｉ）及び演奏終了タイミングｎｆｔ（ａ，ｉ）を照合することで、音符ボーカルＶｏ（ａ，ｉ）を特定する。
【００５０】
本実施形態における符号ａは、楽曲を識別する符号であり、符号ｉは、楽曲における歌唱旋律の音符ＮＯを識別する符号である。なお、Ｓ１４０で特定された音符ボーカルＶｏ（ａ，ｉ）は、当該音符ＮＯ（ａ，ｉ）に割り当てられた歌詞の母音が対応付けられた上で、記憶部５に記憶される。
【００５１】
さらに、音源データ生成処理では、制御部６は、音符ボーカルＶｏ（ａ，ｉ）のそれぞれに、複数の分析窓を設定する（Ｓ１５０）。このＳ１５０での分析窓の設定では、制御部６は、複数個の分析窓が時間軸に沿って互いに隣接するように設定する。この分析窓は、音符ＮＯ（ａ，ｉ）の時間長よりも短い時間長を有した区間である。
【００５２】
続いて、音源データ生成処理では、制御部６は、各音符ボーカルＶｏ（ａ，ｉ）における声質特徴量Ｍ（ａ，ｉ）を算出する（Ｓ１６０）。ここで言う声質特徴量Ｍとは、発声した人物の声質を表す特徴量である。このＳ１６０では、制御部６は、まず、Ｓ１５０にて設定された音符ボーカルＶｏ（ａ，ｉ）の分析窓それぞれについて、周波数解析（例えば、ＤＦＴ）を実施する。制御部６は、周波数解析の結果（周波数スペクトル）に対してケプストラム分析を実行することで、各分析窓のメル周波数ケプストラム（ＭＦＣＣ）を声質特徴量Ｍ（ａ，ｉ）として算出する。
【００５３】
そして、音源データ生成処理では、制御部６は、Ｓ１２０にて取得した音声波形データＷＤ、ひいては、Ｓ１４０で特定した音符ボーカルＶｏ（ａ，ｉ）のそれぞれに、分類キーＸｑを割り当てる（Ｓ１７０）。ここで言う分類キーＸｑとは、歌詞の母音ごとの声質特徴量Ｍの代表値を表すベクトルである。
【００５４】
具体的には、Ｓ１７０では、制御部６は、まず、歌詞の母音が共通する声質特徴量Ｍを全て抽出し、その抽出した声質特徴量Ｍの相加平均を算出する。そして、制御部６は、その相加平均の結果を声質特徴量Ｍの代表値とする。この声質特徴量Ｍの代表値の算出を、歌詞の母音ごとに実行する。さらに、制御部６は、声質特徴量Ｍの代表値を歌詞の母音の順序に配置したベクトルデータを、分類キーＸｑとして生成する。制御部６は、この生成した分類キーＸｑを、Ｓ１２０にて取得した音声波形データＷＤ、ひいては、Ｓ１４０で特定した音符ボーカルＶｏ（ａ，ｉ）のそれぞれに割り当てる。
【００５５】
続いて、音源データ生成処理では、制御部６は、Ｓ１１０にて取得したＭＩＤＩ楽曲ＭＤと対応付けられた全ての音声波形データＷＤに対してＳ１２０からＳ１７０までの処理を実行したか否かを判定する（Ｓ１８０）。このＳ１８０での判定の結果、全ての音声波形データＷＤに対して処理を実行していなければ（Ｓ１８０：ＮＯ）、制御部６は、音源データ生成処理をＳ１２０へと戻す。そのＳ１２０では、Ｓ１１０にて取得したＭＩＤＩ楽曲ＭＤと対応付けられ、かつ、Ｓ１２０〜Ｓ１８０までの処理を未実行である音声波形データＷＤの中から、音声波形データＷＤを１つ取得する。その後、制御部６は、Ｓ１３０からＳ１８０までのステップを実行する。
【００５６】
一方、Ｓ１８０での判定の結果、全ての音声波形データＷＤに対して処理を実行済みであれば（Ｓ１８０：ＹＥＳ）、制御部６は、記憶部５に記憶されている全てのＭＩＤＩ楽曲ＭＤを取得したか否かを判定する（Ｓ１９０）。このＳ１９０での判定の結果、全てのＭＩＤＩ楽曲ＭＤに対して処理を実行していなければ（Ｓ１９０：ＮＯ）、制御部６は、音源データ生成処理をＳ１１０へと戻す。そのＳ１１０では、制御部６は、処理を実行していないＭＩＤＩ楽曲ＭＤの中から１つのＭＩＤＩ楽曲ＭＤを取得する。その後、音源データ生成処理では、Ｓ１２０からＳ１９０までを繰り返す。
【００５７】
ところで、Ｓ１９０での判定の結果、全てのＭＩＤＩ楽曲ＭＤに対して処理を実行済みであれば（Ｓ１９０：ＹＥＳ）、制御部６は、音源データ生成処理をＳ２００へと移行させる。
【００５８】
そのＳ２００では、制御部６は、分類キーＸｑに従って、記憶部５に記憶された音声波形データＷＤ、ひいては音符ボーカルＶｏをグルーピングする。このグルーピングは、分類キーＸｑをデータとした、周知のクラスタリング（例えば、ｋ−ｍｅａｎｓ法）を用いて実行すれば良い。したがって、Ｓ２００でのグルーピングにより、声質特徴量Ｍが近似する音声波形データＷＤごとに、音声波形データＷＤ（ひいては、音符ボーカルＶｏ）を分類したグループ（クラスタ）が形成される。
【００５９】
続いて、音源データ生成処理では、制御部６は、Ｓ２００にて生成された複数のグループのうちの１つを選択する（Ｓ２１０）。さらに、制御部６は、Ｓ２１０にて選択したグループに含まれる音符ボーカルＶｏ（ａ，ｉ）を１つ取得する（Ｓ２２０）。
【００６０】
さらに、音源データ生成処理では、制御部６は、Ｓ２２０にて取得した音符ボーカルＶｏ（ａ，ｉ）の音声パラメータＰ（ａ，ｉ）を算出する（Ｓ２３０）。本実施形態のＳ２３０にて導出する音声パラメータＰには、少なくとも、基本周波数（ｆ０）、メル周波数ケプストラム（ＭＦＣＣ）、パワー、及びそれぞれの時間差分を含む。これらの基本周波数、ＭＦＣＣ、パワーの導出方法は、周知であるため、ここでの詳しい説明は省略するが、例えば、基本周波数であれば、音符ボーカルＶｏの時間軸に沿った自己相関、音符ボーカルＶｏの周波数スペクトルの自己相関、またはケプストラム法などの手法を用いて導出すれば良い。また、ＭＦＣＣであれば、音符ボーカルＶｏに対して時間分析窓を適用して、時間分析窓ごとに周波数解析（例えば、ＦＦＴ）をした結果について、周波数ごとの大きさを対数化した結果を、さらに、周波数解析することで導出すれば良い。パワーについては、音符ボーカルＶｏに対して時間分析窓を適用して振幅を二乗した結果を時間方向に積分することで導出すれば良い。
【００６１】
また、音源データ生成処理では、制御部６は、Ｓ２２０にて取得した音符ボーカルＶｏ（ａ，ｉ）に対応する音符ＮＯ（ａ，ｉ）の音符プロパティｐ（ａ，ｉ）を特定する（Ｓ２４０）。本実施形態のＳ２４０では、具体的には、制御部６は、ＭＩＤＩ楽曲ＭＤから、そのＭＩＤＩ楽曲ＭＤに規定された各音符ＮＯ（ａ，ｉ）の情報を音符プロパティｐ（ａ，ｉ）として抽出して特定する。
【００６２】
ここで言う音符プロパティｐ（ａ，ｉ）には、対象音符属性と、前音符属性と、後音符属性とを含む。対象音符属性とは、音符ＮＯ（ａ，ｉ）の属性を表す情報である。この対象音符属性には、音符ＮＯ（ａ，ｉ）の音階（音高）、音符長、歌詞の音節を含む。また、前音符属性とは、時間軸に沿って音符ＮＯ（ａ，ｉ）の一つ前の音符（以下、前音符と称す）ＮＯ（ａ，ｉ−１）の属性を表す情報である。この前音符属性には、前音符ＮＯ（ａ，ｉ−１）の音階（音高）、音符長、歌詞の音節、及び前音符ＮＯ（ａ，ｉ−１）と音符ＮＯ（ａ，ｉ）との間の時間長を含む。
【００６３】
さらに、後音符属性とは、時間軸に沿って対象音符ＮＯ（ａ，ｉ）の一つ後の音符（以下、後音符と称す）ＮＯ（ａ，ｉ＋１）の属性を表す情報である。この後音符属性には、音階（音高）、音符長、歌詞の音節、及び音符ＮＯ（ａ，ｉ）と後音符ＮＯ（ａ，ｉ＋１）との間の時間長を含む。なお、音符プロパティｐ（ａ，ｉ）における音符長、及び音符間の時間長は、予め規定された階級へと量子化されていても良い。
【００６４】
続いて、制御部６は、Ｓ２４０にて特定した音符プロパティｐ（ａ，ｉ）を、Ｓ２３０にて算出した音声パラメータＰ（ａ，ｉ）と対応付ける（Ｓ２５０）。このＳ２５０では、制御部６は、音符プロパティｐ（ａ，ｉ）と対応付けられた音声パラメータＰ（ａ，ｉ）を、記憶部５に記憶する。
【００６５】
さらに、音源データ生成処理では、制御部６は、Ｓ２１０にて設定したグループに含まれる全ての音符ボーカルＶｏに対してＳ２３０からＳ２５０までの処理を実行したか否かを判定する（Ｓ２６０）。このＳ２６０での判定の結果、Ｓ２３０からＳ２５０までの処理を未実行である音符ボーカルＶｏが存在していれば（Ｓ２６０：ＮＯ）、制御部６は、音源データ生成処理をＳ２２０へと戻す。そのＳ２２０では、制御部６は、Ｓ２３０からＳ２５０までの処理を未実行である音符ボーカルＶｏの中から、音符ボーカルＶｏ（ａ，ｉ）を１つ取得する。
【００６６】
一方、Ｓ２１０にて設定したグループに含まれる全ての音符ボーカルＶｏに対して、Ｓ２３０からＳ２５０までの処理を実行済みであれば（Ｓ２６０：ＹＥＳ）、制御部６は、音声パラメータＰの代表値を算出する（Ｓ２７０）。このＳ２７０では、制御部６は、Ｓ２１０にて設定されたグループにおいて、共通する音符プロパティｐごとに、音声パラメータＰを相加平均する。そして、制御部６は、相加平均の結果それぞれを音声パラメータＰの代表値として算出する。
【００６７】
さらに、音源データ生成処理では、制御部６は、音源データＳＤを生成して記憶部５に記憶する（Ｓ２８０）。このＳ２８０では、制御部６は、Ｓ２１０にて設定したグループに対応付けられた分類キーＸｑと、Ｓ２７０にて算出した音声パラメータＰの代表値とを対応付けることで、図３に示すような音源データＳＤを生成する。
【００６８】
続いて、音源データ生成処理では、制御部６は、Ｓ２００にて生成した全てのグループに対してＳ２２０からＳ２８０までの処理を実行したか否かを判定する（Ｓ２９０）。このＳ２９０での判定の結果、Ｓ２２０からＳ２５０までの処理を未実行であるグループが存在していれば（Ｓ２９０：ＮＯ）、制御部６は、音源データ生成処理をＳ２１０へと戻す。そのＳ２１０では、制御部６は、Ｓ２２０からＳ２８０までの処理を未実行であるグループの中から１つのグループを選択する。
【００６９】
一方、Ｓ２９０での判定の結果、Ｓ２２０からＳ２５０までの処理を全てのグループに対して実行していれば（Ｓ２９０：ＹＥＳ）、制御部６は、音源データ生成処理を終了する。
【００７０】
以上説明したように、音源データ生成処理では、予め用意された音声波形データＷＤを解析した結果に従って、その音符ボーカルＶｏを声質が近似するもの同士でグループ化する。さらに、音源データ生成処理では、その声質が近似するグループに含まれる音符ボーカルＶｏの音声パラメータＰの代表値を、共通する音符プロパティｐごとに導出する。これと共に、音源データ生成処理では、当該グループにおける声質特徴量Ｍの代表値である分類キーＸｑを、音符プロパティｐごとに導出された音声パラメータＰの代表値に対応付けることで、音源データＳＤを生成する。
【００７１】
なお、情報処理装置２の制御部６が音源データ生成処理を実行することで生成した音源データＳＤは、可搬型の記憶媒体を用いて情報処理サーバ１０の記憶部１４に記憶されても良い。情報処理装置２と情報処理サーバ１０とが通信網を介して接続されている場合には、情報処理装置２の記憶部５に記憶された音源データＳＤは、通信網を介して転送されることで、情報処理サーバ１０の記憶部１４に記憶されても良い。
＜音声合成処理＞
次に、カラオケ装置３０の制御部５０が実行する音声合成処理について説明する。
【００７２】
図４に示すように、音声合成処理が起動されると、制御部５０は、入力受付部３４を介して指定された楽曲（指定楽曲）に対応する楽曲ＩＤを取得する（Ｓ５１０）。
音声合成処理では、続いて、制御部５０は、マイク入力部４４に接続されたマイク６２を介して入力された音声の波形を表す発声音声データを取得する（Ｓ５２０）。そして、制御部５０は、Ｓ５２０にて取得した発声音声データの声質を分析して、入力声質Ｙｋを算出する（Ｓ５３０）。入力声質Ｙｋは、上述した分類キーＸｑと同様、母音ごとのメル周波数ケプストラム（ＭＦＣＣ）を代表値化した声質特徴量である。この入力声質Ｙｋの算出手法は、「音符ボーカルＶｏ」を「発声音声データ」へと読み替えることを除けば、音源データ生成処理におけるＳ１５０からＳ１７０と同様であるため、ここでの詳しい説明は省略する。
【００７３】
さらに、音声合成処理では、制御部５０は、Ｓ５３０にて算出した入力声質Ｙｋに基づいて、カラオケ装置３０のユーザの声に声質が近似するグループである類似グループを特定する（Ｓ５４０）。このＳ５４０では、制御部５０は、下記（１）式に従って、近似値ｋｏｐｔを算出し、その近似値ｋｏｐｔが最も大きくなるグループを類似グループとして特定する。
【００７４】
【数１】
0006260499.tif 000002
なお、（１）式における符号“ｋ”はグループを識別する識別子である。また、（１）式におけるａｒｇｋｍｉｎは、ｋの関数における最小値を意味する。
【００７５】
さらに、音声合成処理では、制御部５０は、Ｓ５１０にて取得した楽曲ＩＤに対応するＭＩＤＩ楽曲ＭＤを情報処理サーバ１０から取得する（Ｓ５５０）。
そして、音声合成処理では、制御部５０は、Ｓ５５０にて取得したＭＩＤＩ楽曲ＭＤに含まれる音符ＮＯの音符プロパティｐと対応付けられ、かつ、Ｓ５４０にて特定した類似グループに対応する音源データＳＤを取得する（Ｓ５６０）。そして、制御部５０は、Ｓ５６０にて取得した音源データＳＤに基づいて、Ｓ５５０にて取得したＭＩＤＩ楽曲ＭＤに対応する楽曲の歌唱音が出力されるように音声合成する（Ｓ５７０）。具体的には、制御部５０は、Ｓ５４０にて特定した類似グループに対応する音源データＳＤの中から、Ｓ５５０にて取得したＭＩＤＩ楽曲ＭＤに対応する楽曲の歌詞の音節に対応する音源データＳＤ（音声パラメータＰ）を取得する（Ｓ５６０）。そして、制御部５０は、Ｓ５５０にて取得したＭＩＤＩ楽曲ＭＤに対応する楽曲の歌詞が歌唱されるように、その取得した音声パラメータＰを調整してフォルマント合成することで合成音声を生成する（Ｓ５７０）。
【００７６】
さらに、制御部５０は、Ｓ５６０にて音声合成することによって生成された合成音声を出力部４２へと出力する（Ｓ５８０）。その出力部４２は、スピーカ６０から合成音声を放音する。
【００７７】
その後、制御部５０は、本音声合成処理を終了する。
つまり、音声合成処理では、マイク６２を介して入力された入力音声を分析して、その入力音声の声質特徴量である入力声質Ｙｋを導出する。そして、音声合成処理では、情報処理サーバ１０の記憶部１４に記憶された音源データＳＤの中で、入力声質Ｙｋに最も類似する分類キーＸｑを有した音源データＳＤを特定する。さらに、音声合成処理では、その特定した音源データＳＤに従って、指定楽曲を歌唱した合成音声（即ち、仮想発声音）を音声合成にて生成して出力する。
［実施形態の効果］
以上説明したように、音声合成システム１では、ユーザ自身の声と声質が似ている音声パラメータＰ（音源データＳＤ）を用いて合成音声を生成している。音声合成システム１において、このような音源データＳＤは、一人の利用者の音声波形データＷＤだけでなく複数人の音声波形データＷＤに基づいて生成される。
【００７８】
すなわち、音声合成システム１によれば、音源データＳＤの生成に必要になる音声波形データＷＤとして、カラオケ装置３０のユーザ自身が発声した音声波形データＷＤだけでなく、当該ユーザとは異なる他の人物が発声した音声波形データＷＤを用いている。
【００７９】
したがって、音声合成システム１によれば、音声合成に必要な音声波形データＷＤの収集を容易なものとすることができ、音声パラメータＰの生成の困難性を低下させることができる。この結果、音声合成システム１によれば、合成音声（ひいては、仮想発声音）の生成の困難性を低下させることができ、合成音声の生成の簡易化を実現できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【００８０】
例えば、上記実施形態における音声波形データＷＤには、演奏音として、少なくとも１つの楽器を演奏した伴奏音と、少なくとも人が歌唱した歌唱音とが含まれていたが、本発明における音声波形データＷＤは、歌唱音だけが含まれていても良い。
【００８１】
また、上記実施形態における音源データ生成処理のＳ２７０では、音声パラメータＰの代表値を、同一グループにおいて共通する音符プロパティｐと対応付けられた音声パラメータＰを相加平均した結果としていたが、音声パラメータＰの代表値は、相加平均した結果に限るものではない。すなわち、音声パラメータＰの代表値は、同一グループにおいて共通する音符プロパティｐと対応付けられた音声パラメータＰの最頻値であっても良いし、同一グループにおいて共通する音符プロパティｐと対応付けられた音声パラメータＰの中央値であっても良い。
【００８２】
なお、上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。
【００８３】
また、本発明は、前述した音声合成システムの他、音声合成を実現するためにコンピュータが実行するプログラム、音声合成の方法等、種々の形態で実現することができる。
［実施形態と特許請求の範囲との対応関係］
最後に、実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【００８４】
実施形態における音源データ生成処理のＳ１２０を実行することで得られる機能が、特許請求の範囲に記載された音声データ取得手段の一例であり、Ｓ１３０〜Ｓ１６０を実行することで得られる機能が、分析手段の一例である。さらに、Ｓ１７０〜Ｓ２００を実行することで得られる機能が、分類手段の一例であり、Ｓ２１０〜Ｓ２９０を実行することで得られる機能が、記憶制御手段の一例である。
【００８５】
また、音声合成処理のＳ５２０を実行することで得られる機能が、特許請求の範囲に記載された入力受付手段の一例であり、Ｓ５３０を実行することで得られる機能が、声質分析手段の一例である。さらに、Ｓ５４０を実行することで得られる機能が、検索手段の一例であり、Ｓ５７０，Ｓ５８０を実行することで得られる機能が、合成手段の一例である。なお、Ｓ５５０を実行することで得られる機能が、楽曲データ取得手段の一例である。
【符号の説明】
【００８６】
１…音声合成システム  ２…情報処理装置  ３…入力受付部  ４…外部出力部  ５，１４，３８…記憶部  ６，１６，５０…制御部  ７，１８，５２…ＲＯＭ  ８，２０，５４…ＲＡＭ  ９，２２，５６…ＣＰＵ  １０…情報処理サーバ  １２，３２…通信部  ３０…カラオケ装置  ３４…入力受付部  ３６…楽曲再生部  ４０…音声制御部  ４２…出力部  ４４…マイク入力部  ４６…映像制御部  ６０…スピーカ  ６２…マイク  ６４…表示部
【図１】
0006260499.tif 000003
【図２】
0006260499.tif 000004
【図３】
0006260499.tif 000005
【図４】
0006260499.tif 000006