(57)【特許請求の範囲】
【請求項１】
楽曲を歌った音声である模範ボーカルを音声合成にて生成して出力する音声合成装置であって、
音高と音価との組み合わせからなる音符を複数有し、前記複数の音符のうちの少なくとも一部に歌詞が割り当てられた楽曲のうち、指定された１つの楽曲を特定楽曲とし、前記特定楽曲を構成する音符であって、前記歌詞が割り当てられた音符を構成音符とし、
指定された歌手である指定歌手が前記構成音符それぞれにて用いる歌唱技巧である特定技巧の特徴量を表す技巧特徴量を、前記構成音符の音高，音価、及び当該構成音符に割り当てられた歌詞の組み合わせである音符プロパティごとに対応付けた歌唱特徴データを取得する特徴データ取得手段と、
前記特定楽曲の演奏中に入力された音声データを解析し、前記音声データにて表現された前記構成音符それぞれでの歌唱技巧の特徴量を表す歌唱特徴量を算出する特徴量算出手段と、
前記特徴データ取得手段で取得した歌唱特徴データに含まれる技巧特徴量と、前記特徴量算出手段で算出された歌唱特徴量とを、互いに対応する構成音符ごとに比較する比較手段と、
前記比較手段での比較の結果、前記技巧特徴量と前記歌唱特徴量との差分である技巧差分が、予め規定された規定条件を満たしていなければ、当該構成音符の音符プロパティと同一の音符プロパティを有し、かつ、当該構成音符とは異なる構成音符である対象音符での前記技巧差分が前記規定条件を満たすように、前記対象音符に対する模範ボーカルを音声合成して出力する音声合成手段と
を備え、
前記歌唱技巧には、ビブラートを含み、
前記音声合成手段は、
前記比較手段での比較の結果、前記歌唱特徴量におけるビブラートの特徴量と、前記技巧特徴量におけるビブラートの特徴量との差分が、予め規定された第１閾値範囲を超えていれば、前記技巧差分が前記規定条件を満たしていないものとする
ことを特徴とする音声合成装置。
【請求項２】
前記音声合成手段は、
前記技巧差分が前記第１閾値範囲を超えていれば、前記対象音符に対する模範ボーカルにおいて、周波数の最高値と周波数の最小値との差分が大きくなるように音声合成して出力する
ことを特徴とする請求項１に記載の音声合成装置。
【請求項３】
前記歌唱技巧には、時間軸に沿って連続し、互いに異なる音高を有した２つの音符を含む音符群に対して発声音高を変化させつつ連続して歌唱する、しゃくりを含み、
前記音声合成手段は、
前記比較手段での比較の結果、前記歌唱特徴量におけるしゃくりの特徴量と、前記技巧特徴量におけるしゃくりの特徴量との差分が予め規定された第２閾値範囲を超えていれば、前記技巧差分が前記規定条件を満たしていないものとする
ことを特徴とする請求項１又は請求項２に記載の音声合成装置。
【請求項４】
楽曲を歌った音声である模範ボーカルを音声合成にて生成して出力する音声合成装置であって、
音高と音価との組み合わせからなる音符を複数有し、前記複数の音符のうちの少なくとも一部に歌詞が割り当てられた楽曲のうち、指定された１つの楽曲を特定楽曲とし、前記特定楽曲を構成する音符であって、前記歌詞が割り当てられた音符を構成音符とし、
指定された歌手である指定歌手が前記構成音符それぞれにて用いる歌唱技巧である特定技巧の特徴量を表す技巧特徴量を、前記構成音符の音高，音価、及び当該構成音符に割り当てられた歌詞の組み合わせである音符プロパティごとに対応付けた歌唱特徴データを取得する特徴データ取得手段と、
前記特定楽曲の演奏中に入力された音声データを解析し、前記音声データにて表現された前記構成音符それぞれでの歌唱技巧の特徴量を表す歌唱特徴量を算出する特徴量算出手段と、
前記特徴データ取得手段で取得した歌唱特徴データに含まれる技巧特徴量と、前記特徴量算出手段で算出された歌唱特徴量とを、互いに対応する構成音符ごとに比較する比較手段と、
前記比較手段での比較の結果、前記技巧特徴量と前記歌唱特徴量との差分である技巧差分が、予め規定された規定条件を満たしていなければ、当該構成音符の音符プロパティと同一の音符プロパティを有し、かつ、当該構成音符とは異なる構成音符である対象音符での前記技巧差分が前記規定条件を満たすように、前記対象音符に対する模範ボーカルを音声合成して出力する音声合成手段と
を備え、
前記歌唱技巧には、時間軸に沿って連続し、互いに異なる音高を有した２つの音符を含む音符群に対して発声音高を変化させつつ連続して歌唱する、しゃくりを含み、
前記音声合成手段は、
前記比較手段での比較の結果、前記歌唱特徴量におけるしゃくりの特徴量と、前記技巧特徴量におけるしゃくりの特徴量との差分が予め規定された第２閾値範囲を超えていれば、前記技巧差分が前記規定条件を満たしていないものとする
ことを特徴とする音声合成装置。
【請求項５】
前記音声合成手段は、
前記技巧差分が前記第２閾値範囲を超えていれば、前記音符群のうち時間軸に沿った後の音符を前記対象音符とし、当該対象音符の音高に前記模範ボーカルの音高が遷移する音高遷移変化速度が早くなるように音声合成して出力する
ことを特徴とする請求項３又は請求項４に記載の音声合成装置。
【請求項６】
前記特徴データ取得手段は、
前記指定歌手が歌唱したボーカル音を含む楽曲データから、前記ボーカル音を表すボーカルデータを抽出するステップと、
前記楽曲を構成する複数の音符から構成される楽譜データを取得するステップと、
その取得した楽譜データを構成する各音符と、前記ボーカルデータとに基づいて、前記楽曲における歌唱旋律を構成する音符それぞれに対応する前記ボーカルデータの区間である音符ボーカルデータを特定して、各音符ボーカルデータにおける前記技巧特徴量を決定するステップと、
前記特定楽曲の楽譜を表す対象楽譜データを取得し、その取得した対象楽譜データに含まれる前記構成音符に、前記音符プロパティが一致する音符での技巧特徴量を対応付けることで、前記歌唱特徴データを生成するステップと
を実行することで生成された前記歌唱特徴データを取得する
ことを特徴とする請求項１から請求項５までのいずれか一項に記載の音声合成装置。
【請求項７】
楽曲を歌った音声である模範ボーカルを音声合成にて生成して出力する音声合成装置であって、
音高と音価との組み合わせからなる音符を複数有し、前記複数の音符のうちの少なくとも一部に歌詞が割り当てられた楽曲のうち、指定された１つの楽曲を特定楽曲とし、前記特定楽曲を構成する音符であって、前記歌詞が割り当てられた音符を構成音符とし、
指定された歌手である指定歌手が前記構成音符それぞれにて用いる歌唱技巧である特定技巧の特徴量を表す技巧特徴量を、前記構成音符の音高，音価、及び当該構成音符に割り当てられた歌詞の組み合わせである音符プロパティごとに対応付けた歌唱特徴データを取得する特徴データ取得手段と、
前記特定楽曲の演奏中に入力された音声データを解析し、前記音声データにて表現された前記構成音符それぞれでの歌唱技巧の特徴量を表す歌唱特徴量を算出する特徴量算出手段と、
前記特徴データ取得手段で取得した歌唱特徴データに含まれる技巧特徴量と、前記特徴量算出手段で算出された歌唱特徴量とを、互いに対応する構成音符ごとに比較する比較手段と、
前記比較手段での比較の結果、前記技巧特徴量と前記歌唱特徴量との差分である技巧差分が、予め規定された規定条件を満たしていなければ、当該構成音符の音符プロパティと同一の音符プロパティを有し、かつ、当該構成音符とは異なる構成音符である対象音符での前記技巧差分が前記規定条件を満たすように、前記対象音符に対する模範ボーカルを音声合成して出力する音声合成手段と
を備え、
前記特徴データ取得手段は、
前記指定歌手が歌唱したボーカル音を含む楽曲データから、前記ボーカル音を表すボーカルデータを抽出するステップと、
前記楽曲を構成する複数の音符から構成される楽譜データを取得するステップと、
その取得した楽譜データを構成する各音符と、前記ボーカルデータとに基づいて、前記楽曲における歌唱旋律を構成する音符それぞれに対応する前記ボーカルデータの区間である音符ボーカルデータを特定して、各音符ボーカルデータにおける前記技巧特徴量を決定するステップと、
前記特定楽曲の楽譜を表す対象楽譜データを取得し、その取得した対象楽譜データに含まれる前記構成音符に、前記音符プロパティが一致する音符での技巧特徴量を対応付けることで、前記歌唱特徴データを生成するステップと
を実行することで生成された前記歌唱特徴データを取得する
ことを特徴とする音声合成装置。
【請求項８】
楽曲を歌った音声である模範ボーカルを音声合成にて生成して出力する音声合成システムであって、
音高と音価との組み合わせからなる音符を複数有し、前記複数の音符のうちの少なくとも一部に歌詞が割り当てられた楽曲のうち、指定された１つの楽曲を特定楽曲とし、前記特定楽曲を構成する音符であって、前記歌詞が割り当てられた音符を構成音符とし、
指定された歌手である指定歌手が前記構成音符それぞれにて用いる歌唱技巧である特定技巧の特徴量を表す技巧特徴量を、前記構成音符の音高，音価、及び当該構成音符に割り当てられた歌詞の組み合わせである音符プロパティごとに対応付けた歌唱特徴データを取得する特徴データ取得手段と、
前記特定楽曲の演奏中に入力された音声データを解析し、前記音声データにて表現された前記構成音符それぞれでの歌唱技巧の特徴量を表す歌唱特徴量を算出する特徴量算出手段と、
前記特徴データ取得手段で取得した歌唱特徴データに含まれる技巧特徴量と、前記特徴量算出手段で算出された歌唱特徴量とを、互いに対応する構成音符ごとに比較する比較手段と、
前記比較手段での比較の結果、前記技巧特徴量と前記歌唱特徴量との差分である技巧差分が、予め規定された規定条件を満たしていなければ、当該構成音符の音符プロパティと同一の音符プロパティを有し、かつ、当該構成音符とは異なる構成音符である対象音符での前記技巧差分が前記規定条件を満たすように、前記対象音符に対する模範ボーカルを音声合成して出力する音声合成手段と
を備え、
前記歌唱技巧には、ビブラートを含み、
前記音声合成手段は、
前記比較手段での比較の結果、前記歌唱特徴量におけるビブラートの特徴量と、前記技巧特徴量におけるビブラートの特徴量との差分が、予め規定された第１閾値範囲を超えていれば、前記技巧差分が前記規定条件を満たしていないものとすることを特徴とする音声合成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱技巧の実現の成否を通知する技術に関する。
【背景技術】
【０００２】
従来、楽曲を構成する構成音それぞれの音高及び音長を表す楽曲データに従って、当該楽曲を演奏するカラオケ装置が知られている（特許文献１参照）。
特許文献１に記載されたカラオケ装置では、楽曲の演奏中に入力された音声を順次周波数解析した結果に従って特定した歌唱音高から、構成音の音高である基準音高を減算して特定音高差を導出する。これと共に、特許文献１に記載されたカラオケ装置では、基準音高を軸として歌唱音高と対称となるように、歌唱音高を特定音高差の２倍分シフトした音高の補助音を出力する。このとき、補助音の音量は、特定音高差が大きいほど大きく、特定音高差が「０」であれば「０（即ち、消音した状態）」となるように制御される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３１０７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されたカラオケ装置の利用者は、補助音が出力されている場合、歌唱音高と基準音高との間にズレが生じていることを認識できる。そして、歌唱音が補助音に引っ張られることで、歌唱音の音高を基準音高に近づけることができる。
【０００５】
しかしながら、特許文献１に記載されたカラオケ装置では、当該楽曲において用いられるべき歌唱技巧を利用者が実現できているか否かを、利用者に認識させることができず、その歌唱技巧を利用者に実現させることができないという課題がある。
【０００６】
つまり、従来の技術では、楽曲にて用いられるべき歌唱技巧の実現の成否を利用者に認識させることができず、かつ、その歌唱技巧を利用者に実現させることができないという課題がある。
【０００７】
そこで、本発明は、歌唱技巧の実現の成否を利用者に認識させ、その歌唱技巧を利用者に実現させることが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するためになされた本発明は、楽曲を歌った音声である模範ボーカルを音声合成にて生成して出力する音声合成装置に関する。
本発明においては、音高と音価との組み合わせからなる音符を複数有し、複数の音符のうちの少なくとも一部に歌詞が割り当てられた楽曲のうち、指定された１つの楽曲を特定楽曲とし、特定楽曲を構成する音符であって、歌詞が割り当てられた音符を構成音符とする。
【０００９】
本発明の音声合成装置は、特徴データ取得手段と、特徴量算出手段と、比較手段と、音声合成手段とを備えている。
このうち、特徴データ取得手段は、指定された歌手である指定歌手が構成音符それぞれにて用いる歌唱技巧である特定技巧の特徴量を表す技巧特徴量を、構成音符の音高，音価
、及び当該構成音符に割り当てられた歌詞の組み合わせである音符プロパティごとに対応付けた歌唱特徴データを取得する。特徴量算出手段は、特定楽曲の演奏中に入力された音声データを解析し、音声データにて表現された構成音符それぞれでの歌唱技巧の特徴量を表す歌唱特徴量を算出する。
【００１０】
さらに、比較手段は、特徴データ取得手段で取得した歌唱特徴データに含まれる技巧特徴量と、特徴量算出手段で算出された歌唱特徴量とを、互いに対応する構成音符ごとに比較する。そして、音声合成手段は、比較手段での比較の結果、技巧特徴量と歌唱特徴量との差分である技巧差分が、予め規定された規定条件を満たしていなければ、当該構成音符の音符プロパティと同一の音符プロパティを有し、かつ、当該構成音符とは異なる構成音符である対象音符での技巧差分が規定条件を満たすように、対象音符に対する模範ボーカルを音声合成して出力する。
【００１１】
このような音声合成装置によれば、技巧差分が規定条件を満たしていない構成音符の音符プロパティと同一の音符プロパティを有し、かつ、当該構成音符とは異なる構成音符（即ち、対象音符）に対する模範ボーカルを音声合成して出力できる。
【００１２】
この結果、音声合成装置の利用者は、特定楽曲を指定歌手が歌唱した場合に用いる歌唱技巧を、利用者自身が実現できているか否かを認識できる。
しかも、本発明の音声合成装置によれば、対象音符に対する模範ボーカルを、技巧差分が規定条件を満たすように音声合成している。そして、この模範ボーカルを聞いて歌唱した利用者は、歌唱した際の歌声が模範ボーカルに引っ張られるため、自身が歌唱した際の歌唱技巧を、指定歌手が歌唱した場合に用いる歌唱技巧に近づけることができる。
【００１３】
このような音声合成装置によれば、利用者自身の歌唱を指定歌手の歌唱態様に近づけることができる。
これらのことから、本発明の音声合成装置によれば、歌唱技巧の実現の成否を利用者に認識させ、その歌唱技巧を利用者が実現可能となる。
【００１４】
本発明の歌唱技巧には、「ビブラート」を含んでいても良い。この場合、本発明の音声合成手段は、比較手段での比較の結果、歌唱特徴量におけるビブラートの特徴量と、技巧特徴量におけるビブラートの特徴量との差分が、予め規定された第１規定閾値を超えていれば、技巧差分が規定条件を満たしていないものとすれば良い。
【００１５】
このような音声合成装置によれば、歌唱技巧としての「ビブラート」の成否を利用者に認識させることができる。
さらに、本発明の音声合成手段は、技巧差分が第１規定閾値を超えていれば、対象音符に対する模範ボーカルにおいて、周波数の最高値と周波数の最小値との差分が大きくなるように音声合成して出力しても良い。
【００１６】
請求項２に記載の音声合成装置において、技巧差分が規定条件を満たしていない場合とは、指定歌手が構成音符を「ビブラート」を用いて歌唱したにも関わらず、当該構成音符に対して利用者が「ビブラート」を用いて歌唱できなかった場合である。この場合、請求項３に記載された音声合成装置によれば、対象音符での模範ボーカルにおける「ビブラート」を深くすることができる。
【００１７】
このような模範ボーカルを出力することで、対象音符を利用者が歌唱する際に、「ビブラート」を実現しやすくできる。
また、本発明の歌唱技巧には、「しゃくり」を含んでも良い。「しゃくり」は、時間軸に沿って連続し、互いに異なる音高を有した２つの音符を含む音符群に対して発声音高を
変化させつつ連続して歌唱する歌唱技巧である。
【００１８】
この場合の音声合成手段は、比較手段での比較の結果、歌唱特徴量におけるしゃくりの特徴量と、技巧特徴量におけるしゃくりの特徴量との差分が予め規定された第２規定閾値を超えていれば、技巧差分が規定条件を満たしていないものとすれば良い。
【００１９】
このような音声合成装置によれば、歌唱技巧としての「しゃくり」の成否を利用者に認識させることができる。
また、本発明の音声合成手段は、技巧差分が第２規定閾値を超えていれば、音符群のうち時間軸に沿った後の音符を対象音符とし、当該対象音符の音高に模範ボーカルの音高が遷移する音高遷移変化速度が早くなるように音声合成して出力しても良い。
【００２０】
請求項４に記載の音声合成装置において、技巧差分が規定条件を満たしていない場合とは、指定歌手が構成音符を「しゃくり」を用いて歌唱したにも関わらず、利用者が「しゃくり」を実現できなかった場合である。この場合、音声合成装置によれば、対象音符の音高に模範ボーカルの音高が遷移する音高遷移変化速度を早くすることができる。
【００２１】
このような模範ボーカルを音声合成して出力することで、対象音符を利用者が歌唱する際に、「しゃくり」を実現しやすくすることができる。
さらに、本発明の特徴データ取得手段は、指定歌手が歌唱したボーカル音を含む楽曲データから、ボーカル音を表すボーカルデータを抽出するステップと、楽曲を構成する複数の音符から構成される楽譜データを取得するステップと、その取得した楽譜データを構成する各音符と、ボーカルデータとに基づいて、楽曲における歌唱旋律を構成する音符それぞれに対応するボーカルデータの区間である音符ボーカルデータを特定して、各音符ボーカルデータにおける技巧特徴量を決定するステップと、特定楽曲の楽譜を表す対象楽譜データを取得し、その取得した対象楽譜データに含まれる構成音符に、音符プロパティが一致する音符での技巧特徴量を対応付けることで、歌唱特徴データを生成するステップとを実行することで生成された歌唱特徴データを取得しても良い。
【００２２】
上述したステップの各々を実行することで、歌唱特徴データを確実に生成することができる。本発明の音声合成装置によれば、歌唱特徴データを取得できる。
本発明は、楽曲を歌った音声である模範ボーカルを音声合成にて生成して出力する音声合成システムであって、特徴データ取得手段と、特徴量算出手段と、比較手段と、音声合成手段とを備えた音声合成システムとしてなされていても良い。
【００２３】
このようなシステムであっても、請求項１に係る発明と同様の効果を得ることができる。
【図面の簡単な説明】
【００２４】
【図１】カラオケシステムの概略構成を示すブロック図である。
【図２】技巧特徴生成処理の処理手順を示すフローチャートである。
【図３】技巧特徴データの概要を説明する説明図である。
【図４】歌唱特徴生成処理の処理手順を示すフローチャートである。
【図５】歌唱特徴データの概要を説明する説明図である。
【図６】カラオケ演奏処理の処理手順を示すフローチャートである。
【図７】カラオケ演奏処理にて出力する模範ボーカルの概要を示す図である。
【図８】カラオケ演奏処理にて出力する模範ボーカルの概要を示す図である。
【発明を実施するための形態】
【００２５】
以下に本発明の実施形態を図面と共に説明する。
＜システム構成＞
図１に示すカラオケシステム１は、ユーザが指定した楽曲である特定楽曲を演奏すると共に、ユーザが指定した歌手である指定歌手が特定楽曲を歌唱した場合に用いられる歌唱技巧と、特定楽曲をユーザが歌唱した場合に用いる歌唱技巧とのズレを、音声合成で生成した模範ボーカルにて報知するシステムである。
【００２６】
このようなカラオケシステム１は、情報処理装置２と、情報処理サーバ１０と、カラオケ装置３０とを備えている。
情報処理装置２は、楽曲ごとに用意された楽曲データＷＤ及びＭＩＤＩ楽曲ＭＤに基づいて技巧特徴データＳＦを算出する。ここで言う技巧特徴データＳＦとは、歌手の歌い方における特徴を表すデータである。ここで言う歌手には、プロの歌手、及びアマチュアの歌手を含む。
【００２７】
情報処理サーバ１０には、情報処理装置２にて算出された技巧特徴データＳＦ及びＭＩＤＩ楽曲ＭＤに基づいて、特定楽曲を指定歌手が歌唱した場合の歌唱技巧の特徴量を表す歌唱特徴データＭＳを生成する。
【００２８】
カラオケ装置３０は、情報処理サーバ１０に記憶されたＭＩＤＩ楽曲ＭＤに従って特定楽曲を演奏すると共に、情報処理サーバ１０にて生成された歌唱特徴データＭＳに基づいて、模範ボーカルを生成して出力する。
＜楽曲データ＞
次に、楽曲データＷＤは、特定の楽曲ごとに予め用意されたものであり、楽曲に関する情報が記述された楽曲管理情報と、楽曲の演奏音を表す原盤波形データとを備えている。楽曲管理情報には、楽曲を識別する楽曲識別情報（以下、楽曲ＩＤと称す）と、当該楽曲を歌唱した歌手を識別する歌手識別情報（以下、歌手ＩＤと称す）とが含まれる。
【００２９】
本実施形態の原盤波形データは、複数の楽器の演奏音と、歌唱旋律を歌手が歌唱したボーカル音とを含む音声データである。この音声データは、非圧縮音声ファイルフォーマットの音声ファイルによって構成されたデータであっても良いし、音声圧縮フォーマットの音声ファイルによって構成されたデータであっても良い。
【００３０】
なお、以下では、原盤波形データに含まれる楽器の演奏音を表す音声波形データを伴奏データと称し、原盤波形データに含まれるボーカル音を表す音声波形データをボーカルデータと称す。
【００３１】
本実施形態の伴奏データに含まれる楽器の演奏音としては、打楽器（例えば、ドラム，太鼓，シンバルなど）の演奏音，弦楽器（例えば、ギター，ベースなど）の演奏音，打弦楽器（例えば、ピアノ）の演奏音，及び管楽器（例えば、トランペットやクラリネットなど）の演奏音がある。
＜ＭＩＤＩ楽曲＞
ＭＩＤＩ楽曲ＭＤは、楽曲ごとに予め用意されたものであり、楽曲管理情報と、演奏データと、歌詞データとを有している。
【００３２】
このうち、楽曲管理情報は、楽曲ＩＤと、歌手ＩＤとを含む。
演奏データは、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）規格によって、一つの楽曲の楽譜を表したデータである。この演奏データは、楽曲ＩＤと、当該楽曲にて用いられる楽器ごとの楽譜を表す楽譜トラックとを少なくとも有している。
【００３３】
そして、楽譜トラックには、ＭＩＤＩ音源から出力される個々の演奏音について、少な
くとも、音高（いわゆるノートナンバー）と、ＭＩＤＩ音源が演奏音を出力する期間（以下、音符長と称す）とが規定されている。楽譜トラックにおける音符長は、当該演奏音の出力を開始するまでの当該楽曲の演奏開始からの時間を表す演奏開始タイミング（いわゆるノートオンタイミング）と、当該演奏音の出力を終了するまでの当該楽曲の演奏開始からの時間を表す演奏終了タイミング（いわゆるノートオフタイミング）とによって規定されている。
【００３４】
すなわち、楽譜トラックでは、ノートナンバーと、ノートオンタイミング及びノートオフタイミングによって表される音符長とによって、１つの音符ＮＯが規定される。そして、楽譜トラックは、音符ＮＯが演奏順に配置されることによって、１つの楽譜として機能する。なお、楽譜トラックは、例えば、鍵盤楽器、弦楽器、打楽器、及び管楽器などの楽器ごとに用意されている。このうち、本実施形態では、特定の楽器（例えば、ヴィブラフォン）が、楽曲における歌唱旋律を担当する楽器として規定されている。
【００３５】
一方、歌詞データは、楽曲の歌詞に関するデータであり、歌詞テロップデータと、歌詞出力データとを備えている。歌詞テロップデータは、楽曲の歌詞を構成する文字（以下、歌詞構成文字とする）を表す。歌詞出力データは、歌詞構成文字の出力タイミングである歌詞出力タイミングを、演奏データの演奏と対応付けるタイミング対応関係が規定されたデータである。
【００３６】
具体的に、本実施形態におけるタイミング対応関係では、演奏データの演奏を開始するタイミングに、歌詞テロップデータの出力を開始するタイミングが対応付けられている。さらに、タイミング対応関係では、楽曲の時間軸に沿った各歌詞構成文字の歌詞出力タイミングが、演奏データの演奏開始からの経過時間によって規定されている。これにより、楽譜トラックに規定された個々の演奏音の音符ＮＯと、歌詞構成文字それぞれとが対応付けられる。
＜情報処理装置＞
情報処理装置２は、入力受付部３と、外部出力部４と、記憶部５と、制御部６とを備えた周知の情報処理装置（例えば、パーソナルコンピュータ）である。
【００３７】
入力受付部３は、外部からの情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、可搬型の記憶媒体（例えば、ＣＤやＤＶＤ、フラッシュメモリ）に記憶されたデータを読み取る読取ドライブ、通信網を介して情報を取得する通信ポートなどである。外部出力部４は、外部に情報を出力する出力装置である。ここでの出力装置とは、可搬型の記憶媒体にデータを書き込む書込ドライブや、通信網に情報を出力する通信ポートなどである。
【００３８】
記憶部５は、記憶内容を読み書き可能に構成された周知の記憶装置である。記憶部５には、少なくとも１つの楽曲データＷＤと、少なくとも１つのＭＩＤＩ楽曲ＭＤとが、共通する楽曲ごとに対応付けられて記憶されている。
【００３９】
制御部６は、ＲＯＭ７，ＲＡＭ８，ＣＰＵ９を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ７は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ８は、処理プログラムやデータを一時的に記憶する。ＣＰＵ９は、ＲＯＭ７やＲＡＭ８に記憶された処理プログラムに従って各処理を実行する。
【００４０】
本実施形態のＲＯＭ７には、技巧特徴生成処理を、制御部６が実行するための処理プログラムが記憶されている。技巧特徴生成処理は、記憶部５に記憶されている楽曲データＷＤ及びＭＩＤＩ楽曲ＭＤに基づいて、技巧特徴データＳＦを生成する処理である。
＜情報処理サーバ＞
情報処理サーバ１０は、通信部１２と、記憶部１４と、制御部１６とを備えている。
【００４１】
このうち、通信部１２は、通信網を介して、情報処理サーバ１０が外部との間で通信を行う。すなわち、情報処理サーバ１０は、通信網を介してカラオケ装置３０と接続されている。なお、ここで言う通信網は、有線による通信網であっても良いし、無線による通信網であっても良い。
【００４２】
記憶部１４は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部１４には、少なくとも１つのＭＩＤＩ楽曲ＭＤが記憶される。なお、図１に示す符号「ｎ」は、情報処理サーバ１０の記憶部１４に記憶されているＭＩＤＩ楽曲ＭＤを識別する識別子であり、１以上の自然数である。さらに、記憶部１４には、情報処理装置２がデータ生成処理を実行することで生成された技巧特徴データＳＦが記憶される。なお、図１に示す符号「ｍ」は、情報処理サーバ１０の記憶部１４に記憶されている技巧特徴データＳＦを識別する識別子であり、１以上の自然数である。
【００４３】
制御部１６は、ＲＯＭ１８，ＲＡＭ２０，ＣＰＵ２２を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ１８は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ２０は、処理プログラムやデータを一時的に記憶する。ＣＰＵ２２は、ＲＯＭ１８やＲＡＭ２０に記憶された処理プログラムに従って各処理を実行する。
【００４４】
制御部１６のＲＯＭ１８には、歌唱特徴生成処理を、制御部１６が実行するための処理プログラムが格納されている。歌唱特徴生成処理は、カラオケ装置３０のユーザが指定した楽曲（即ち、特定楽曲）を、そのユーザが模範とする人物として指定した指定歌手が歌唱した場合に表出する歌唱技巧の特徴を表す歌唱特徴データＭＳを生成する処理である。なお、指定歌手は、特定楽曲を歌唱した独自の（オリジナルな）歌手自身であっても良いし、特定楽曲を歌唱した独自の歌手とは異なる歌手であっても良い。
＜カラオケ装置＞
カラオケ装置３０は、通信部３２と、入力受付部３４と、楽曲再生部３６と、記憶部３８と、音声制御部４０と、映像制御部４６と、制御部５０とを備えている。
【００４５】
通信部３２は、通信網を介して、カラオケ装置３０が外部との間で通信を行う。入力受付部３４は、外部からの操作に従って情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、リモコンの受付部などである。楽曲再生部３６は、情報処理サーバ１０からダウンロードしたＭＩＤＩ楽曲ＭＤに基づく楽曲の演奏を実行する。
【００４６】
この楽曲再生部３６は、例えば、ＭＩＤＩ音源である。音声制御部４０は、音声の入出力を制御するデバイスであり、出力部４２と、マイク入力部４４とを備えている。マイク入力部４４には、マイク６２が接続される。これにより、マイク入力部４４は、マイク６２を介して入力された音声を取得する。出力部４２にはスピーカ６０が接続されている。出力部４２は、楽曲再生部３６によって再生される楽曲の音源信号、マイク入力部４４からの歌唱音の音源信号をスピーカ６０に出力する。スピーカ６０は、出力部４２から出力される音源信号を音に換えて出力する。
【００４７】
映像制御部４６は、制御部５０から送られてくる映像データに基づく映像または画像の出力を行う。映像制御部４６には、映像または画像を表示する表示部６４が接続されている。
【００４８】
制御部５０は、ＲＯＭ５２，ＲＡＭ５４，ＣＰＵ５６を少なくとも有した周知のコンピュータを中心に構成されている。ＲＯＭ５２は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ５４は、処理プログラムやデータを一時的に記憶する。ＣＰＵ５６は、ＲＯＭ５２やＲＡＭ５４に記憶された処理プログラムに従って各処理を実行する。
【００４９】
制御部５０のＲＯＭ５２には、カラオケ演奏処理を、制御部５０が実行するための処理プログラムが格納されている。カラオケ演奏処理は、ユーザが指定した特定楽曲を演奏すると共に、歌唱特徴データＭＳに基づいて、指定歌手の歌い方の特徴を再現した歌唱音声である模範ボーカルを音声生成にて生成して出力する処理である。
＜技巧特徴生成処理＞
次に、情報処理装置２の制御部６が実行する技巧特徴生成処理について説明する。
【００５０】
この技巧特徴生成処理は、処理プログラムを起動するための起動指令が、情報処理装置２の入力受付部３を介して入力されたタイミングで起動される。
そして、図２に示す技巧特徴生成処理が起動されると、まず、制御部６は、情報処理装置２の入力受付部（図示せず）を介して入力された歌手ＩＤを取得する（Ｓ１０５）。続いて、制御部６は、情報処理装置２の記憶部５に記憶されている全ての楽曲データＷＤの中から、Ｓ１０５にて取得した歌手ＩＤを含む一つの楽曲データＷＤを取得する（Ｓ１１０）。
【００５１】
さらに、技巧特徴生成処理では、制御部６は、情報処理装置２の記憶部５に記憶されている全てのＭＩＤＩ楽曲ＭＤの中から、Ｓ１１０で取得した楽曲データＷＤと同一の楽曲ＩＤが対応付けられた一つのＭＩＤＩ楽曲ＭＤを取得する（Ｓ１２０）。すなわち、Ｓ１１０及びＳ１２０では、制御部６は、同一の楽曲に対する楽曲データＷＤ及びＭＩＤＩ楽曲ＭＤを取得する。
【００５２】
続いて、制御部６は、Ｓ１１０にて取得した楽曲データＷＤ（以下、「取得楽曲データ」と称す）における各音符に対応する各音の再生時間に、Ｓ１２０で取得したＭＩＤＩ楽曲ＭＤ（以下、「取得ＭＩＤＩ」と称す）を構成する各音符の演奏タイミングが一致するように、その取得ＭＩＤＩを調整する（Ｓ１３０）。このＳ１３０における取得ＭＩＤＩを調整する手法として、周知の手法（例えば、特許第５３１０６７７号に記載の手法）を用いることが考えられる。特許第５３１０６７７号に記載の手法では、具体的には、制御部６は、取得ＭＩＤＩをレンダリングし、その取得ＭＩＤＩのレンダリング結果と取得楽曲データの原盤波形データとの双方を規定時間単位でスペクトルデータに変換する。そして、双方のスペクトルデータ上の時間が同期するように、各演奏音の演奏開始タイミング及び演奏終了タイミングを修正する。なお、スペクトルデータ上の時間が同期するように調整する際には、ＤＰマッチングを用いても良い。
【００５３】
技巧特徴生成処理では、制御部６は、取得楽曲データＷＤに含まれる原盤波形データを取得する（Ｓ１４０）。続いて、制御部６は、Ｓ１４０にて取得した原盤波形データから、ボーカルデータと伴奏データとを分離して抽出する（Ｓ１５０）。このＳ１５０における伴奏データとボーカルデータとの分離手法として、周知の手法（例えば、特開２００８−１３４６０６に記載された“ＰｒｅＦＥｓｔ”）を使って推定された音高および調波成分を利用する手法が考えられる。なお、ＰｒｅＦＥｓｔとは、原盤波形データにおいて最も優勢な音声波形をボーカルデータとみなしてボーカルの音高（即ち、基本周波数）および調波成分の大きさを推定する手法である。
【００５４】
さらに、制御部６は、Ｓ１３０にて時間調整が実施されたＭＩＤＩ楽曲ＭＤ（以下、「調整済ＭＩＤＩ」と称す）と、Ｓ１５０で抽出したボーカルデータとに基づいて、音符ボ
ーカルＶｏ（ａ，ｉ）を特定する（Ｓ１６０）。音符ボーカルＶｏ（ａ，ｉ）とは、ボーカルデータにおいて、歌唱旋律を構成する各音符ＮＯ（ａ，ｉ）に対応する区間である。Ｓ１６０においては、制御部６は、Ｓ１５０で抽出したボーカルデータに、調整済ＭＩＤＩにおける演奏開始タイミングｎｎｔ（ａ，ｉ）及び演奏終了タイミングｎｆｔ（ａ，ｉ）を照合することで、音符ボーカルＶｏ（ａ，ｉ）を特定する。なお、符号ａは、楽曲を識別する符号であり、符号ｉは、楽曲における歌唱旋律の音符ＮＯを識別する符号である。
【００５５】
さらに、技巧特徴生成処理では、制御部６は、各音符ボーカルＶｏ（ａ，ｉ）での歌唱技巧の特徴量を表す技巧特徴量Ｓ（ａ，ｉ）を決定する（Ｓ１７０）。ここで言う歌唱技巧には、少なくとも“ビブラート”，“しゃくり”を含む。なお、“しゃくり”とは、時間軸に沿って連続し、互いに異なる音高を有した２つの音符を含む音符群に対して発声音高を変化させつつ連続して歌唱する技巧である。
【００５６】
このうち、“ビブラート”についての技巧特徴量（以下、「ビブラート特徴量」と称す）ｖｉｂの算出では、制御部６は、まず、音符ボーカルＶｏ（ａ，ｉ）それぞれについて周波数解析（ＤＦＴ）を実施する。そして、制御部６は、下記（１）式に従って、ビブラート特徴量ｖｉｂを算出する。
【００５７】
ｖｉｂ（ａ，ｉ）＝ｖｉｂ＿ｐｅｒ（ａ，ｉ）×ｖｉｐ＿ｄｅｐ（ａ，ｉ）  （１）
ただし、上記（１）式におけるｖｉｂ＿ｐｅｒ（ａ，ｉ）は、各音符ボーカルＶｏ（ａ，ｉ）におけるスペクトルピークの突出精度を表す指標である。このｖｉｂ＿ｐｅｒは、周波数解析結果（即ち、振幅スペクトル）のピーク値を、周波数解析結果の平均値で除すことで求めれば良い。また、上記（１）式におけるｖｉｐ＿ｄｅｐは、各音符ボーカルＶｏ（ａ，ｉ）の標準偏差である。
【００５８】
“しゃくり”についての技巧特徴量（以下、「しゃくり特徴量」と称す）ｒｉｓｅ（ａ，ｉ）の算出では、制御部６は、まず、ボーカルデータの音高時間変化を微分した微分変化を算出する。続いて、制御部６は、各音符ＮＯ（ａ，ｉ）の演奏開始タイミングｎｎｔ（ａ，ｉ）以前で、微分変化が時間軸に沿って正の値となったタイミングを特定する。さらに、制御部６は、その特定した各タイミングから演奏開始タイミングｎｎｔ（ａ，ｉ）までの区間におけるボーカルデータの音高時間変化と予め規定された模範曲線との相互相関値を、しゃくり特徴量ｒｉｓｅ（ａ，ｉ）として算出する。
【００５９】
さらに、技巧特徴生成処理では、制御部６は、各音符ボーカルＶｏ（ａ，ｉ）の音声パラメータＰ（ａ，ｉ）を算出する（Ｓ１８０）。本実施形態のＳ１８０にて導出する音声パラメータＰには、少なくとも、基本周波数（ｆ０）、メル周波数ケプストラム（ＭＦＣＣ）、パワー、及びそれぞれの時間差分を含む。これらの基本周波数、ＭＦＣＣ、パワーの導出方法は、周知であるため、ここでの詳しい説明は省略するが、例えば、基本周波数であれば、音符ボーカルＶｏの時間軸に沿った自己相関、音符ボーカルＶｏの周波数スペクトルの自己相関、またはケプストラム法などの手法を用いて導出すれば良い。また、ＭＦＣＣであれば、音符ボーカルＶｏに対して時間分析窓を適用して、時間分析窓ごとに周波数解析（例えば、ＦＦＴ）をした結果について、周波数ごとの大きさを対数化した結果を、さらに、周波数解析することで導出すれば良い。パワーについては、音符ボーカルＶｏに対して時間分析窓を適用して振幅を二乗した結果を時間方向に積分することで導出すれば良い。
【００６０】
さらに、技巧特徴生成処理では、制御部６は、各音符ボーカルＶｏ（ａ，ｉ）に対応する音符ＮＯ（ａ，ｉ）の音符プロパティｐ（ａ，ｉ）を特定する（Ｓ１９０）。本実施形態のＳ１９０では、具体的には、制御部６は、取得ＭＩＤＩから、その取得ＭＩＤＩに規
定された各音符ＮＯ（ａ，ｉ）の情報を音符プロパティｐ（ａ，ｉ）として抽出して特定する。
【００６１】
ここで言う音符プロパティｐ（ａ，ｉ）には、特定音符属性と、前音符属性と、後音符属性とを含む。
特定音符属性とは、音符ＮＯ（ａ，ｉ）の属性を表す情報である。この特定音符属性には、音符ＮＯ（ａ，ｉ）の音階（音高）、音符長、歌詞の音節、及び歌詞の母音を含む。また、前音符属性とは、時間軸に沿って音符ＮＯ（ａ，ｉ）の一つ前の音符（以下、前音符と称す）ＮＯ（ａ，ｉ−１）の属性を表す情報である。この前音符属性には、前音符ＮＯ（ａ，ｉ）の音階（音高）、音符長、歌詞の音節、及び前音符ＮＯ（ａ，ｉ−１）と音符ＮＯ（ａ，ｉ）との間の時間長（即ち、無音期間）を含む。
【００６２】
さらに、後音符属性とは、時間軸に沿って特定音符ＮＯ（ａ，ｉ）の一つ後の音符（以下、後音符と称す）ＮＯ（ａ，ｉ＋１）の属性を表す情報である。この後音符属性には、音階（音高）、音符長、歌詞の音節、及び音符ＮＯ（ａ，ｉ）と後音符ＮＯ（ａ，ｉ＋１）との間の時間長（即ち、無音期間）を含む。
【００６３】
なお、音符プロパティｐ（ａ，ｉ）における音符長、及び音符間の時間長は、予め規定された階級へと量子化されたものでも良い。
技巧特徴生成処理では、続いて、制御部６は、Ｓ１９０で特定した各音符ＮＯ（ａ，ｉ）の音符プロパティｐ（ａ，ｉ）を、対応する音符ＮＯ（ａ，ｉ）の技巧特徴量Ｓ（ａ，ｉ）及び音声パラメータＰ（ａ，ｉ）と対応付ける（Ｓ２００）。
【００６４】
さらに、技巧特徴生成処理では、制御部６は、Ｓ１０５にて取得した歌手ＩＤが対応付けられた楽曲のうち、予め設定された設定条件を満たす全楽曲について、Ｓ１１０からＳ２００のステップを完了したか否かを判定する（Ｓ２１０）。ここで言う設定条件とは、Ｓ１０５にて取得した歌手ＩＤが対応付けられ、楽曲データＷＤとＭＩＤＩ楽曲ＭＤとの双方が用意されていることである。
【００６５】
このＳ２１０での判定の結果、設定条件を満たす全楽曲について、Ｓ１１０からＳ２００のステップを完了していなければ（Ｓ２１０：ＮＯ）、制御部６は、技巧特徴生成処理をＳ１１０へと戻す。そして、制御部６は、Ｓ１０５にて指定された歌手ＩＤが対応付けられた楽曲データＷＤの中から、新たな楽曲データＷＤを取得し（Ｓ１１０）、さらに、その楽曲データＷＤに対応するＭＩＤＩ楽曲ＭＤを取得して（Ｓ１２０）、Ｓ１３０からＳ２１０のステップを実行する。
【００６６】
一方、Ｓ２１０での判定の結果、全楽曲について、Ｓ１１０からＳ２００のステップを完了していれば（Ｓ２１０：ＹＥＳ）、制御部６は、技巧特徴生成処理をＳ２２０へと移行させる。
【００６７】
そのＳ２２０では、制御部６は、技巧特徴量Ｓ及び音声パラメータＰについて、対応付けられた音符プロパティｐが共通するものごとに代表値を算出する。
すなわち、本実施形態のＳ２２０では、制御部６は、特定音符属性と前音符属性と後音符属性との全てが共通する音符ＮＯごとに、それらの属性が共通する音符ＮＯにおける技巧特徴量Ｓ及び音声パラメータＰそれぞれの相加平均を、技巧特徴量Ｓの代表値として算出する。つまり、Ｓ２２０では、技巧特徴量Ｓの代表値として、音符プロパティｐごとに、ビブラート特徴量ｖｉｂの代表値と、しゃくり特徴量ｒｉｓｅの代表値とが算出される。また、Ｓ２２０では、音声パラメータＰの代表値として、音符プロパティｐごとに、基本周波数の代表値と、ＭＦＣＣの代表値と、パワーの代表値とが算出される。
【００６８】
このＳ２２０にて代表値として算出する相加平均は、技巧特徴量Ｓ（ａ，ｉ）及び音声パラメータＰ（ａ，ｉ）を算出した全ての楽曲の範囲内で実施する。なお、Ｓ２２０において算出する代表値は、相加平均の結果に限るものではなく、中央値や最頻値であっても良い。
【００６９】
続いて、制御部６は、Ｓ２２０にて算出された技巧特徴量Ｓの代表値及び音声パラメータＰの代表値を、対応する音符プロパティｐ及び歌手ＩＤと対応付けることで、技巧特徴データＳＦを生成して記憶部５に記憶する（Ｓ２３０）。
【００７０】
その後、制御部６は、本技巧特徴生成処理を終了する。
つまり、技巧特徴生成処理では、歌手の歌い方における特徴を表す技巧特徴データＳＦを歌手ごとに生成する。この技巧特徴生成処理にて生成される技巧特徴データＳＦは、図３に示すように、歌手の歌手ＩＤと、共通する音符プロパティｐにおける技巧特徴量Ｓの代表値及び音声パラメータＰの代表値と、その共通する音符プロパティｐとが対応付けられたものである。
【００７１】
なお、情報処理装置２の制御部６が技巧特徴生成処理を実行することで生成される技巧特徴データＳＦは、可搬型の記憶媒体を用いて情報処理サーバ１０の記憶部１４に記憶されても良い。情報処理装置２と情報処理サーバ１０とが通信網を介して接続されている場合には、情報処理装置２の記憶部５に記憶された技巧特徴データＳＦは、通信網を介して転送されることで、情報処理サーバ１０の記憶部１４に記憶されても良い。
＜歌唱特徴生成処理＞
次に、情報処理サーバ１０の制御部１６が実行する歌唱特徴生成処理について説明する。
【００７２】
図４に示す歌唱特徴生成処理が起動されると、制御部１６は、記憶部１４に記憶されている全てのＭＩＤＩ楽曲ＭＤの中から１つのＭＩＤＩ楽曲ＭＤを取得する（Ｓ３１０）。このＳ３１０にて制御部１６が取得する１つのＭＩＤＩ楽曲ＭＤは、カラオケ演奏処理のＳ５１０（詳しくは後述）にて指定された楽曲に対応するＭＩＤＩ楽曲ＭＤであっても良いし、情報処理サーバ１０に接続された入力装置（図示せず）を介して指定された楽曲に対応するＭＩＤＩ楽曲ＭＤであっても良い。
【００７３】
続いて、制御部１６は、Ｓ３１０にて取得したＭＩＤＩ楽曲ＭＤを分析し、そのＭＩＤＩ楽曲ＭＤにおける歌唱旋律を構成する各音符ＮＯ（ｂ，ｉ）の音符プロパティｐ（ｂ，ｉ）を特定する（Ｓ３２０）。ここでの符号ｂは、Ｓ３１０にて取得したＭＩＤＩ楽曲ＭＤに対応する楽曲を識別する符号である。
【００７４】
そして、歌唱特徴生成処理では、制御部１６は、記憶部１４に記憶されている全ての技巧特徴データＳＦの中から、１つの技巧特徴データＳＦを取得する（Ｓ３３０）。このＳ３３０にて制御部１６が取得する１つの技巧特徴データＳＦは、カラオケ演奏処理のＳ５２０（詳しくは後述）にて指定された歌手（即ち、指定歌手）に対応する技巧特徴データＳＦであっても良いし、情報処理サーバ１０に接続された入力装置（図示せず）を介して指定された歌手に対応する技巧特徴データＳＦであっても良い。
【００７５】
続いて、制御部１６は、歌唱特徴データＭＳを生成する（Ｓ３４０）。このＳ３４０での歌唱特徴データＭＳの生成は、Ｓ３２０での分析によって特定された各音符ＮＯ（ｂ，ｉ）に、Ｓ３３０にて取得した技巧特徴データＳＦに含まれる技巧特徴量Ｓ及び音声パラメータであり、かつ特定の条件を満たす技巧特徴量Ｓの代表値及び音声パラメータＰの代表値を割り当てることで実現する。なお、ここで言う特定の条件とは、各音符ＮＯ（ｂ，ｉ）における音符プロパティｐ（ｂ，ｉ）と一致する音符プロパティｐが対応付けられて
いることである。
【００７６】
ところで、技巧特徴量Ｓ及び音声パラメータＰの中に、特定の条件を満たす技巧特徴量Ｓ及び音声パラメータＰが存在しない場合も考えられる。この場合のＳ３４０では、制御部１６は、音符ＮＯ（ｂ，ｉ）の音符プロパティｐ（ｂ，ｉ）に近接する音符プロパティｐが対応付けられた技巧特徴量Ｓ及び音声パラメータＰの代表値を、その音符ＮＯ（ｂ，ｉ）に割り当てれば良い。ここで言う近接する音符プロパティｐとは、例えば、音階が１音違う、音符長が１階級違うことなどである。また、上記の方法とは別に、制御部１６は、時間及び周波数の２つの軸について、両隣の２つの音符ＮＯ（ｂ，ｉ−１），ＮＯ（ｂ，ｉ＋１）に対応する技巧特徴量Ｓ及び音声パラメータＰの代表値を平均した値を、その音符ＮＯ（ｂ，ｉ）に割り当てても良い。
【００７７】
さらに、Ｓ３４０では、制御部１６は、生成した歌唱特徴データＭＳに、Ｓ３１０にて取得したＭＩＤＩ楽曲ＭＤに含まれる楽曲ＩＤと、Ｓ３３０にて取得した技巧特徴データＳＦに含まれる歌手ＩＤ（即ち、指定歌手の歌手ＩＤ）とを付与して記憶部１４に記憶する。
【００７８】
その後、本歌唱特徴生成処理を終了する。
つまり、歌唱特徴生成処理では、図５に示すように、ＭＩＤＩ楽曲ＭＤにおける歌唱旋律を構成する各音符ＮＯ（ｂ，ｉ）に、その音符ＮＯ（ｂ，ｉ）の音符プロパティｐと共通する音符プロパティｐが対応付けられた技巧特徴量Ｓの代表値及び音声パラメータＰの代表値を割り当てる。これにより、情報処理サーバ１０の制御部１６は、歌唱特徴データＭＳを生成する。
＜カラオケ演奏処理＞
次に、カラオケ装置３０の制御部５０が実行するカラオケ演奏処理について説明する。
【００７９】
このカラオケ演奏処理は、カラオケ演奏処理を実行するための処理プログラムを起動する指令が入力されると起動される。
図６に示すカラオケ演奏処理では、起動されると、制御部５０は、まず、入力受付部３４を介して指定された楽曲（即ち、特定楽曲）に対応するＭＩＤＩ楽曲ＭＤを、情報処理サーバ１０の記憶部１４から取得する（Ｓ５１０）。続いて、制御部５０は、情報処理サーバ１０の記憶部１４に格納されている全ての歌唱特徴データＭＳの中から、入力受付部３４を介して指定された指定歌手が特定楽曲を歌唱した場合の歌唱技巧を表す歌唱特徴データＭＳを取得する（Ｓ５２０）。
【００８０】
さらに、カラオケ演奏処理では、制御部５０は、Ｓ５１０にて取得したＭＩＤＩ楽曲ＭＤ及びＳ５２０にて取得した歌唱特徴データＭＳに基づいて、技巧音符ＮＯを特定する（Ｓ５３０）。ここで言う技巧音符ＮＯとは、指定歌手が特定楽曲を歌唱する場合に、歌唱技巧が用いられる特定楽曲上の音符である。具体的に本実施形態においては、予め規定された閾値以上の技巧特徴量Ｓと対応付けられた音符ＮＯ（ｃ，ｉ）それぞれを技巧音符ＮＯ（ｃ，ｉ）として特定すれば良い。つまり、ＭＩＤＩ楽曲ＭＤの音符ＮＯ（ｃ，ｉ）において、その音符ＮＯ（ｃ，ｉ）に対応する“ビブラート特徴量ｖｉｂ”が第１閾値以上であれば、指定歌手が「ビブラート」を用いる技巧音符ＮＯ（ｃ，ｉ）であるものと特定する。また、歌唱特徴データＭＳの音符ＮＯ（ｃ，ｉ）において、その音符ＮＯ（ｃ，ｉ）に対応する“しゃくり特徴量ｒｉｓｅ”が第２閾値以上であれば、指定歌手が「しゃくり」を用いる技巧音符ＮＯ（ｃ，ｉ）であるものと特定する。
【００８１】
なお、ここでの符号ｃは、Ｓ５１０にて取得したＭＩＤＩ楽曲ＭＤに対応する楽曲を識別する符号である。
さらに、Ｓ５３０では、制御部５０は、技巧音符ＮＯ（ｃ，ｉ）のそれぞれにおける模
範ボーカルにて用いるべき歌唱技巧を表す技巧情報を初期値に設定する。ここで言う初期値とは、歌唱特徴データＭＳに表された音符ＮＯそれぞれの技巧特徴量Ｓである。
【００８２】
続いて、制御部５０は、Ｓ５１０にて取得したＭＩＤＩ楽曲ＭＤの演奏を開始し、歌詞を含む各種情報を表示部６４に表示する（Ｓ５４０）。具体的にＳ５４０におけるＭＩＤＩ楽曲ＭＤの演奏では、制御部５０は、楽曲再生部３６にＭＩＤＩ楽曲ＭＤを時間軸に沿って順次出力する。そのＭＩＤＩ楽曲ＭＤを取得した楽曲再生部３６は、楽曲の演奏を行う。そして、楽曲再生部３６によって演奏された楽曲の音源信号が、出力部４２を介してスピーカ６０へと出力される。すると、スピーカ６０は、音源信号を音に換えて出力する。
【００８３】
また、Ｓ５４０では、制御部５０は、各種情報を表す画像信号を映像制御部４６に出力する。その画像信号を取得した映像制御部４６は、楽曲再生部３６での特定楽曲の演奏に同期させて、各種情報を表示部６４に表示する。なお、表示部６４に表示される各種情報には、特定楽曲の各音符ＮＯにおける歌詞の他に、各技巧音符ＮＯ（ｃ，ｉ）において、カラオケ装置３０のユーザが歌唱技巧を再現できたか否かを表す成否情報を含む。
【００８４】
さらに、カラオケ演奏処理では、制御部５０は、模範ボーカルを音声合成にて生成する（Ｓ５５０）。Ｓ５７０での音声合成は、周知のフォルマント合成によって実現する。なお、本実施形態における模範ボーカルは、指定歌手の声質、歌唱技巧が再現されるように、音声パラメータＰを調整して音声合成されることで生成される。
【００８５】
そして、制御部５０は、Ｓ５５０にて音声合成することによって生成された模範ボーカルを出力部４２へと出力する（Ｓ５６０）。その出力部４２は、スピーカ６０から模範ボーカルを放音する。
【００８６】
続いて、カラオケ演奏処理では、制御部５０は、マイク６２及びマイク入力部４４を介して入力された音声を歌唱音声データとして取得する（Ｓ５７０）。そして、制御部５０は、Ｓ５３０にて取得した歌唱音声データを記憶部３８に記憶する（Ｓ５８０）。
【００８７】
続いて、カラオケ演奏処理では、制御部５０は、記憶部３８に記憶されている歌唱音声データに基づいて、楽曲における時間軸に沿った歌唱音声データから、音符歌唱データＶｏｓ（ｃ，ｉ）を抽出する（Ｓ５９０）。ここで言う音符歌唱データＶｏｓとは、現時点音符ＮＯ（ｃ，ｉ）を歌唱した歌唱波形である。この音符歌唱データの特定は、例えば、「ボーカルデータ」を「歌唱音声データ」へと読み替えた上で、技巧特徴生成処理におけるＳ１６０と同様の手法を用いれば良い。
【００８８】
続いて、カラオケ演奏処理では、制御部５０は、各音符歌唱データＶｏｓ（ｃ，ｉ）における歌唱技巧の特徴量を表す歌唱特徴量ＳＳ（ｃ，ｉ）を算出する（Ｓ６００）。ここで言う歌唱特徴量ＳＳ（ｃ，ｉ）には、歌声ビブラート特徴量Ｖｖｉｂ（ｃ，ｉ）と、歌声しゃくり特徴量Ｖｒｉｓｅ（ｃ，ｉ）とを含む。
【００８９】
このうち、歌声ビブラート特徴量Ｖｖｉｂ（ｃ，ｉ）は、音符歌唱データＶｏｓ（ｃ，ｉ）における“ビブラート”についての歌唱技巧量である。歌声しゃくり特徴量Ｖｒｉｓｅ（ｃ，ｉ）は、音符歌唱データＶｏｓ（ｃ，ｉ）における“しゃくり”についての歌唱技巧量である。これらの歌声ビブラート特徴量Ｖｖｉｂ（ｃ，ｉ）、歌声しゃくり特徴量Ｖｒｉｓｅ（ｃ，ｉ）の算出方法は、「ボーカルデータ」を「歌唱音声データ」へと、「音符ボーカル」を「音符歌唱データ」へと読み替えた上で、技巧特徴生成処理におけるＳ１７０と同様の手法を用いれば良い。
【００９０】
カラオケ演奏処理では、続いて、制御部５０は、Ｓ５２０にて取得した歌唱特徴データに含まれる技巧特徴量Ｓ（ｃ，ｉ）と、Ｓ６００にて算出した歌唱特徴量ＳＳ（ｃ，ｉ）とを、現時点音符ＮＯ（ｃ，ｉ）について比較する（Ｓ６１０）。そして、制御部５０は、Ｓ６１０での比較の結果、技巧特徴量Ｓ（ｃ，ｉ）と歌唱特徴量ＳＳ（ｃ，ｉ）との差分である技巧差分が、予め規定された規定条件を満たしているか否かを判定する（Ｓ６１０）。ここで言う規定条件とは、指定歌手が用いた歌唱技巧をユーザが再現できていることを表す条件である。規定条件として、技巧差分が、予め規定された閾値範囲内であることが考えられる。
【００９１】
例えば、技巧音符ＮＯ（ｃ，ｉ）において、ビブラート特徴量ｖｉｂ（ｃ，ｉ）から歌声ビブラート特徴量Ｖｖｉｂ（ｃ，ｉ）を減算した結果の絶対値が、予め規定された第１規定閾値未満であれば、技巧差分が規定条件を満たしているもの、即ち、指定歌手が用いた「ビブラート」をユーザが再現できていないものと判定すれば良い。また、技巧音符ＮＯ（ｃ，ｉ）において、しゃくり特徴量ｒｉｓｅ（ｃ，ｉ）から歌声しゃくり特徴量Ｖｒｉｓｅ（ｃ，ｉ）を減算した結果の絶対値が、予め規定された第２規定閾値未満であれば、技巧差分が規定条件を満たしているもの、即ち、指定歌手が用いた「しゃくり」をユーザが再現できていないものと判定すれば良い。
【００９２】
そして、Ｓ６１０での判定の結果、技巧差分が規定条件を満たしていれば（Ｓ６２０：ＹＥＳ）、制御部５０は、カラオケ演奏処理をＳ６３０へと移行させる。
そのＳ６３０では、制御部５０は、現時点音符ＮＯに対する成否情報を表示すると共に、その現時点音符ＮＯに対応する対象音符ＮＯでの模範ボーカルでの合成態様を標準態様に設定する。なお、対象音符ＮＯとは、現時点音符ＮＯ（ｃ，ｉ）の音符プロパティｐと同一の音符プロパティｐを有した音符ＮＯの中で、特定楽曲における時間軸に沿って現時点音符ＮＯ（ｃ，ｉ）よりも後に登場する音符ＮＯである。
【００９３】
すなわち、Ｓ６３０では、現時点音符ＮＯにおいて指定歌手が「ビブラート」または「しゃくり」を用いている場合にユーザが「ビブラート」または「しゃくり」を再現できていれば、現時点音符ＮＯに対して、「ビブラート」または「しゃくり」を再現できていることを意味する成功アイコンを成否情報として表示する。ここでの成功アイコンは、例えば、二重丸である。また、Ｓ６３０では、現時点音符ＮＯにおいて指定歌手が「ビブラート」または「しゃくり」を用いている場合にユーザが「ビブラート」または「しゃくり」を再現できていれば、現時点音符ＮＯ（ｃ，ｉ）に対応する全ての対象音符ＮＯにおける模範ボーカルでの歌唱技巧を初期値に維持することを、合成態様を標準態様に設定することとして実行する。
【００９４】
その後、制御部５０は、詳しくは後述するＳ６６０へとカラオケ演奏処理を移行させる。
一方、Ｓ６１０での比較の結果、技巧差分が規定条件を満たしていなければ（Ｓ６２０：ＮＯ）、制御部５０は、カラオケ演奏処理をＳ６４０へと移行させる。そのＳ６４０では、制御部５０は、技巧特徴量Ｓ（ｃ，ｉ）と歌唱特徴量ＳＳ（ｃ，ｉ）とのズレが、歌唱者強調を表しているか歌唱者不再現を表しているかを判定する。ここで言う歌唱者強調とは、指定歌手が用いる歌唱技巧に対して、ユーザが歌唱技巧を強調して歌唱し過ぎている状態である。一方、歌唱者不再現とは、指定歌手が用いる歌唱技巧をユーザが再現できていない状態である。
【００９５】
本実施形態においては、現時点音符ＮＯが技巧音符以外の音符ＮＯであり、かつ、歌唱特徴量ＳＳ（ｃ，ｉ）が、ユーザが歌唱技巧を実行したことを表している場合には、歌唱者強調であるものと判定する。具体的には、技巧特徴量Ｓから歌唱者特徴量ＳＳを減算した結果が、負の値であり、かつ、その絶対値が予め規定された第１規定閾値を上回ってい
れば、歌唱者強調であるものと判定する。
【００９６】
一方、本実施形態においては、現時点音符ＮＯが技巧音符であり、かつ、歌唱特徴量ＳＳ（ｃ，ｉ）が、ユーザが歌唱技巧を実行したことを表していない場合には、歌唱者強調でない（歌唱者不再現である）ものと判定する。具体的には、技巧特徴量Ｓから歌唱者特徴量ＳＳを減算した結果が、正の値であり、かつ、その絶対値が予め規定された第２規定閾値を上回っていれば、歌唱者不再現であるものと判定する。
【００９７】
そして、Ｓ６４０での判定の結果、歌唱者強調であれば（Ｓ６４０：ＹＥＳ）、制御部５０は、現時点音符ＮＯに対する成否情報を表示すると共に、その現時点音符ＮＯに対応する対象音符ＮＯでの模範ボーカルでの合成態様を抑制態様に設定する（Ｓ６５０）。
【００９８】
すなわち、Ｓ６５０では、現時点音符ＮＯにおいて指定歌手が「ビブラート」または「しゃくり」などの歌唱技巧を用いていない場合にユーザが「ビブラート」または「しゃくり」を用いて歌唱していれば、現時点音符ＮＯに対して、「ビブラート」または「しゃくり」が不要であることを意味する抑制アイコンを成否情報として表示する。また、Ｓ６５０では、現時点音符ＮＯに対応する全ての対象音符ＮＯでの模範ボーカルでの歌唱技巧を初期値に維持することを、合成態様を抑制態様に設定することとして実行する。
【００９９】
その後、制御部５０は、カラオケ演奏処理をＳ６７０へと移行させる。
一方、Ｓ６４０での判定の結果、歌唱者強調でなければ（即ち、歌唱者不再現であれば）（Ｓ６４０：ＮＯ）、制御部５０は、現時点音符ＮＯに対する成否情報を表示すると共に、その現時点音符ＮＯに対応する対象音符ＮＯでの模範ボーカルでの技巧情報を強調態様に設定する（Ｓ６６０）。
【０１００】
すなわち、Ｓ６６０では、図７に示すように、現時点音符ＮＯにおいて指定歌手が「ビブラート」または「しゃくり」などの歌唱技巧を用いている場合にユーザが「ビブラート」または「しゃくり」を用いて歌唱していなければ、現時点音符ＮＯに対して、「ビブラート」または「しゃくり」を用いるべきであることを意味する第１強調アイコンを表示する。ここでの第１強調アイコンは、例えば、「×印」である。
【０１０１】
また、Ｓ６６０では、現時点音符ＮＯに対応する全ての対象音符ＮＯでの模範ボーカルでの歌唱技巧が強調されるように音声パラメータＰを調整することを、それらの対象音符ＮＯに対する模範ボーカルでの合成態様を強調態様に設定することとして実行する。
【０１０２】
Ｓ６６０では具体的には、現時点音符ＮＯにおいて指定歌手が用いている歌唱技巧が「ビブラート」であれば、制御部５０は、図８（Ａ）に示すように、現時点音符ＮＯに対応する対象音符ＮＯにおける模範ボーカルでの「ビブラート」において、周波数の最高値と周波数の最小値との差分が大きくなるように音声パラメータＰを調整する。一方、現時点音符ＮＯにおいて指定歌手が用いている歌唱技巧が「しゃくり」であれば、制御部５０は、図８（Ｂ）に示すように、現時点音符ＮＯに対応する対象音符ＮＯにおける模範ボーカルでの「しゃくり」において、対象音符ＮＯの音高に模範ボーカルの音高が遷移する音高遷移変化速度が初期値よりも早くなるように音声パラメータＰを調整する。
【０１０３】
その後、制御部５０は、カラオケ演奏処理をＳ６７０へと移行させる。
そのＳ６７０では、制御部５０は、続いて、特定楽曲の演奏が終了したか否かを判定する。このＳ６７０での判定の結果、特定楽曲の演奏が終了していなければ（Ｓ６７０：ＮＯ）、制御部５０は、カラオケ演奏処理をＳ５４０へと戻す。そのＳ５４０では、制御部５０は、特定楽曲の続きを演奏すると共に、各種情報を表示する。続くＳ５５０では、制御部５０は、現時点音符ＮＯ（ｃ，ｉ）が対象音符ＮＯであれば、Ｓ６３０，Ｓ６５０，
Ｓ６６０のいずれかにて設定した合成態様に従って模範ボーカルを音声合成する。その後、Ｓ５７０からＳ６７０までのステップを繰り返す。
【０１０４】
一方、Ｓ６７０での判定の結果、特定楽曲の演奏が終了していれば（Ｓ６７０：ＹＥＳ）、制御部５０は、カラオケ演奏処理を終了する。
つまり、本実施形態のカラオケ演奏処理では、特定楽曲の演奏中に入力された音声データを解析し、その音声データにて表現された各音符（構成音符）ＮＯでの歌唱技巧の特徴量を表す歌唱特徴量ＳＳを算出する。その算出した歌唱特徴量Ｓと、歌唱特徴データＭＳに含まれる技巧特徴量Ｓとを、互いに対応する音符ＮＯごとに比較する。そして、比較の結果、技巧特徴量Ｓと歌唱特徴量ＳＳとの差分である技巧差分が、予め規定された規定条件を満たしていなければ、現時点音符ＮＯの音符プロパティｐと同一の音符プロパティｐを有し、かつ、現時点音符ＮＯとは異なる音符ＮＯである対象音符ＮＯにおいて、技巧差分が規定条件を満たすように、模範ボーカルを音声合成によって生成して出力する。
【０１０５】
その音声合成では、現時点音符ＮＯにおいて指定歌手が用いている歌唱技巧が「ビブラート」であれば、現時点音符ＮＯに対応する対象音符ＮＯにおける模範ボーカルでの「ビブラート」において、周波数の最高値と周波数の最小値との差分が大きくなるように、模範ボーカルを生成して出力する。一方、現時点音符ＮＯにおいて指定歌手が用いている歌唱技巧が「しゃくり」であれば、現時点音符ＮＯに対応する対象音符ＮＯにおける模範ボーカルでの「しゃくり」において、対象音符ＮＯの音高に模範ボーカルの音高が遷移する音高遷移変化速度が初期値よりも早くなるように、模範ボーカルを音声合成によって生成して出力する。
【０１０６】
なお、本実施形態のカラオケシステム１が、特許請求の範囲に記載された音声合成システムの一例であり、カラオケ装置３０が、特許請求の範囲に記載された音声合成装置の一例である。
［実施形態の効果］
以上説明したように、カラオケ演奏処理によれば、現時点音符ＮＯ（ｃ，ｉ）における技巧差分が規定条件を満たしていなければ、その現時点音符ＮＯ（ｃ，ｉ）に対応する対象音符ＮＯにおける模範ボーカルを、技巧差分が規定条件を満たすように音声合成している。
【０１０７】
この結果、音声合成装置の利用者は、特定楽曲を指定歌手が歌唱した場合に用いる歌唱技巧を、利用者自身が実現できているか否かを認識できる。
しかも、カラオケ演奏処理では、指定歌手が用いる歌唱技巧をユーザが再現できていなければ、音声合成によって生成する模範ボーカルを、その現時点音符ＮＯ（ｃ，ｉ）に対応する対象音符ＮＯにおける技巧差分が規定条件を満たすようにしている。
【０１０８】
そして、この模範ボーカルを聞いて歌唱したカラオケ装置３０のユーザは、ユーザ自身が歌唱した際の歌声が模範ボーカルに引っ張られるため、自身が歌唱した際の歌唱技巧を、指定歌手が歌唱した場合に用いる歌唱技巧に近づけることができる。
【０１０９】
このようなカラオケ装置３０によれば、利用者自身の歌唱を指定歌手の歌唱態様に近づけることができる。これらのことから、カラオケ装置３０によれば、歌唱技巧の実現の成否を利用者に認識させ、その歌唱技巧を利用者が実現可能となる。
【０１１０】
特に、カラオケ演奏処理においては、現時点音符ＮＯにおいて指定歌手が「ビブラート」を用いている場合にユーザが「ビブラート」を用いて歌唱していなければ、現時点音符ＮＯに対応する対象音符ＮＯにおける模範ボーカルでの「ビブラート」において、周波数の最高値と周波数の最小値との差分が大きくなるように音声パラメータＰを調整している
。これにより、カラオケ装置３０が出力する、対象音符での模範ボーカルにおける「ビブラート」を深くすることができる。
【０１１１】
このような模範ボーカルを出力することで、対象音符をユーザが歌唱する際に、「ビブラート」を実現しやすくできる。
また、カラオケ演奏処理においては、現時点音符ＮＯにおいて指定歌手が「しゃくり」を用いている場合にユーザが「しゃくり」を用いて歌唱していなければ、現時点音符ＮＯに対応する対象音符ＮＯにおける模範ボーカルでの「しゃくり」において、対象音符ＮＯの音高に模範ボーカルの音高が遷移する音高遷移変化速度が初期値よりも早くなるように音声パラメータＰを調整している。これにより、カラオケ装置３０が出力する、対象音符での模範ボーカルにおける「しゃくり」の音高遷移変化速度を速くすることができる。
【０１１２】
このような模範ボーカルを音声合成して出力することで、対象音符ＮＯをユーザが歌唱する際に、「しゃくり」を実現しやすくすることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【０１１３】
また、上記実施形態においては、歌唱特徴生成処理を情報処理サーバ１０が実行していたが、歌唱特徴生成処理を実行する装置は、情報処理サーバ１０に限るものではない。すなわち、歌唱特徴生成処理を実行する装置は、情報処理装置２であっても良いし、カラオケ装置３０であっても良い。
【０１１４】
なお、上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。
【０１１５】
また、本発明は、前述した音声合成装置の他、音声合成を実現するためにコンピュータが実行するプログラム、音声合成の方法等、種々の形態で実現することができる。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【０１１６】
カラオケ演奏処理のＳ５２０を実行することで実現される機能が、特許請求の範囲に記載された特徴データ取得手段の一例であり、Ｓ５６０〜Ｓ６００を実行することで実現される機能が、特許請求の範囲に記載された特徴量算出手段の一例である。また、カラオケ演奏処理のＳ６１０を実行することで得られる機能が、特許請求の範囲に記載された比較手段の一例であり、Ｓ６２０〜Ｓ６６０，Ｓ５４０，Ｓ５５０を実行することで得られる機能が、音声合成手段の一例である。
【符号の説明】
【０１１７】
１…音声合成システム  ２…情報処理装置  ３…入力受付部  ４…外部出力部  ５，１４，３８…記憶部  ６，１６，５０…制御部  ７，１８，５２…ＲＯＭ  ８，２０，５４…ＲＡＭ  ９，２２，５６…ＣＰＵ  １０…情報処理サーバ  １２，３２…通信部  ３０…カラオケ装置  ３４…入力受付部  ３６…楽曲再生部  ４０…音声制御部  ４２…出力部  ４４…マイク入力部  ４６…映像制御部  ６０…スピーカ  ６２…マイク  ６４…表示部
【図１】
0006281447.tif 000002
【図２】
0006281447.tif 000003
【図３】
0006281447.tif 000004
【図４】
0006281447.tif 000005
【図５】
0006281447.tif 000006
【図６】
0006281447.tif 000007
【図７】
0006281447.tif 000008
【図８】
0006281447.tif 000009