(57)【要約】【課題】歌唱力評価に適した信頼性の高い音程変化量抽出方法、ピッチの信頼性算出方法、信頼性の高いビブラート検出方法を提供すること。また、それらを応用した歌唱訓練プログラム及び高精度な歌唱力評価機能を持つカラオケ装置を提供すること。【解決手段】入力音声信号よりスペクトルを算出する。スペクトルのずらしマッチングにより信頼性の高いピッチ変化量Δｆｓを算出する（１４２）。同時に音声信号より抽出されたピッチｆ（ｔ）の差分としてピッチ変化量Δｆｐを算出する（１４１）。ΔｆｓとΔｆｐを比較することで、Δｆｐを算出する基になったピッチｆ（ｔ）の信頼性を逆算する。さらに、信頼性の高いピッチ変化量Δｆｓをビブラート検出に利用することにより、信頼性の高いビブラート検出を実現する。このようにして算出した音程変化量、ピッチの信頼性、ビブラート情報を歌唱訓練プログラムやカラオケ装置に利用する。【選択図】図１２
2008015212.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、
音声信号入力手段より入力された音声信号の周波数分析を実行させスペクトルを算出させるスペクトル算出ステップと、
当該スペクトル算出ステップを実行させて得られたスペクトルをスペクトル記憶手段に記憶させるスペクトル記憶ステップを実行させ、
前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出させることを特徴とする音程変化量抽出方法。
【請求項２】
前記スペクトル算出ステップは、
音声信号入力手段より入力された音声信号の自己相関分析または相互相関分析を実行させ相関関数を算出させる相関関数算出ステップと、
当該相関関数算出ステップを実行させて得られた相関関数を相関関数記憶手段に記憶させる相関関数記憶ステップと、
前記相関関数記憶手段から読み出された相関関数を複数の周波数帯域毎の部分相関関数に分割し、各帯域の部分相関関数を重ね合わせ合成することで高音域の周波数分解能を低音域の周波数分解能で補い、高音域の周波数分解能を向上させた合成相関関数を算出させる合成相関関数算出ステップとを実行させ、
当該合成相関関数算出ステップを実行させて得られた合成相関関数を前記スペクトルとして前記スペクトル記憶手段に記憶させることを特徴とする請求項１に記載の音程変化量抽出方法。
【請求項３】
コンピュータに、
音声信号入力手段より入力された音声信号からピッチを抽出させるピッチ抽出ステップと、
当該ピッチ抽出ステップを実行させて得られたピッチをピッチ記憶手段に記憶させるピッチ記憶ステップと、
前記ピッチ記憶手段より読み出された２つ以上のピッチの差分をとることにより音程変化量を算出させるピッチ差分算出ステップとを実行させて得られた音程変化量と、
請求項１または請求項２に記載の音程変化量抽出方法を実行させて得られた音程変化量とを比較して前記ピッチの信頼性を算出させることを特徴とするピッチの信頼性算出方法。
【請求項４】
コンピュータに、
請求項１または請求項２に記載の音程変化量抽出方法を実行させて音声信号入力手段より入力された音声信号から音程変化量を抽出させる音程変化量抽出ステップと、
当該音程変化量抽出ステップを実行させて得られた音程変化量を音程変化量記憶手段に順次記憶させる音程変化量記憶ステップと、
前記音程変化量記憶手段より複数の音程変化量を読み出し、読み出された複数の音程変化量により構成される一定区間長のフレームに対して自己相関分析または相互相関分析を行うことで相関関数を算出させる音程相関関数算出ステップと、
当該音程相関関数算出ステップを実行して得られた相関関数を音程相関関数記憶手段に記憶させる音程相関関数記憶ステップとを実行させ、
前記音程相関関数記憶手段より読み出された相関関数の特性を用いて入力音声中のビブラート区間を検出させることを特徴とするビブラート検出方法。
【請求項５】
請求項４に記載のビブラート検出方法において、
前記音程相関関数記憶手段より読み出された相関関数の特性として相関関数を構成する相関係数の一部（正位相の相関係数）と、当該相関係数に対する逆位相の相関係数を利用し、
前記正位相の相関係数と前記逆位相の相関係数を用いてビブラート検出を行うことを特徴とするビブラート検出方法。
【請求項６】
請求項５に記載のビブラート検出方法において、前記正位相の相関係数と前記逆位相の相関係数を合成した相関係数を用いてビブラート検出を行うことを特徴とするビブラート検出方法。
【請求項７】
請求項４乃至請求項６の何れかに記載のビブラート検出方法において、前記音程相関関数記憶手段より読み出された相関関数を構成する相関係数の一部が一定しきい値を超えたときに、ビブラートと判定することを特徴とするビブラート検出方法。
【請求項８】
請求項４乃至請求項７の何れかに記載のビブラート検出方法において、前記相関関数により算出される相関の強さをビブラートの美しさとして算出することを特徴とするビブラート検出方法。
【請求項９】
歌唱者が歌唱訓練を行うことを補助する歌唱訓練補助をコンピュータに実行させる歌唱訓練プログラムにおいて、
音声信号入力手段より入力された音声信号に周波数分析を行いスペクトルを算出するスペクトル算出ステップと、
当該スペクトル算出ステップを実行して得られたスペクトルをスペクトル記憶手段に記憶するスペクトル記憶ステップと、
前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出する音程変化量抽出ステップと、
当該音程変化量抽出ステップを実行して得られた音程変化量を音程変化量記憶手段に順次記憶する音程変化量記憶ステップと、
前記音程変化量記憶手段より複数の音程変化量を読み出し、読み出された複数の音程変化量により構成される一定区間長のフレームに対して自己相関分析または相互相関分析を行うことで相関関数を算出する音程相関関数算出ステップと、
当該音程相関関数算出ステップを実行して得られた相関関数を音程相関関数記憶手段に記憶する音程相関関数記憶ステップと、
前記音程相関関数記憶手段より読み出された相関関数の特性を用いて入力音声中のビブラート情報を抽出するビブラート検出ステップと、
当該ビブラート検出ステップを実行して得られたビブラート情報を表示手段に表示するビブラート表示ステップを備え、
歌唱者の歌声から抽出したビブラート情報を確認できるようにしたことを特徴とする歌唱訓練プログラム。
【請求項１０】
音声信号入力手段より入力された音声信号からピッチを抽出するピッチ抽出手段と、
当該ピッチ抽出手段を実施して得られたピッチを記憶するピッチ記憶手段と、
前記ピッチ記憶手段より読み出された２つ以上のピッチの差分をとることにより音程変化量を算出するピッチ差分算出手段と、
前記音声信号入力手段より入力された音声信号に周波数分析を行いスペクトルを算出するスペクトル算出手段と、
当該スペクトル算出手段により得られたスペクトルを記憶するスペクトル記憶手段と、
前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出する音程変化量抽出手段と、
当該音程変化量抽出手段により得られた音程変化量と、前記ピッチ差分算出手段により得られた音程変化量を比較して前記ピッチの信頼性を算出するピッチの信頼性計算手段を備えることを特徴とする歌唱力評価機能を有するカラオケ装置。
【請求項１１】
音声信号入力手段より入力された音声信号に周波数分析を行いスペクトルを算出するスペクトル算出手段と、
当該スペクトル算出手段を実施して得られたスペクトルを記憶するスペクトル記憶手段と、
前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出する音程変化量抽出手段と、
当該音程変化量抽出手段により得られた音程変化量を音程変化量記憶手段に順次記憶する音程変化量記憶手段と、
前記音程変化量記憶手段より複数の音程変化量を読み出し、読み出された複数の音程変化量により構成される一定区間長のフレームに対して自己相関分析または相互相関分析を行うことで相関関数を算出する音程相関関数算出手段と、
当該音程相関関数算出手段により得られた相関関数を記憶する音程相関関数記憶手段と、
前記音程相関関数記憶手段より読み出された相関関数の特性を用いて入力音声中のビブラート区間を検出するビブラート検出手段とを備えることを特徴とする歌唱力評価機能を有するカラオケ装置。
【請求項１２】
請求項１１に記載のカラオケ装置において、
前記音程相関関数記憶手段より読み出された相関関数の特性として相関関数を構成する相関係数の一部（正位相の相関係数）と、当該相関係数に対する逆位相の相関係数を利用し、
前記正位相の相関係数と前記逆位相の相関係数を用いて入力音声中のビブラート区間を検出するビブラート検出手段とを備えることを特徴とする歌唱力評価機能を有するカラオケ装置。
【請求項１３】
歌唱者の歌唱訓練を補助する歌唱訓練補助機能を搭載したカラオケ装置において、
音声信号入力手段より入力された音声信号に周波数分析を行いスペクトルを算出するスペクトル算出手段と、
当該スペクトル算出手段を実施して得られたスペクトルを記憶するスペクトル記憶手段と、
前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出する音程変化量抽出手段と、
当該音程変化量抽出手段により得られた音程変化量を音程変化量記憶手段に順次記憶する音程変化量記憶手段と、
前記音程変化量記憶手段より複数の音程変化量を読み出し、読み出された複数の音程変化量により構成される一定区間長のフレームに対して自己相関分析または相互相関分析を行うことで相関関数を算出する音程相関関数算出手段と、
当該音程相関関数算出手段により得られた相関関数を記憶する音程相関関数記憶手段と、
前記音程相関関数記憶手段より読み出された相関関数の特性を用いて入力音声中のビブラート区間を検出するビブラート検出手段と、
当該ビブラート検出手段により得られたビブラート情報を表示手段に表示するビブラート表示制御手段を備え、
歌唱者の歌声から抽出したビブラート情報を確認できるようにしたことを特徴とする歌唱訓練補助機能を搭載したカラオケ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音程変化量抽出方法、ピッチの信頼性算出方法、ビブラート検出方法、歌唱訓練プログラム及びカラオケ装置に関する。
【背景技術】
【０００２】
現在市販されている殆ど全てのカラオケ装置には、カラオケ採点機能が付いている。従来のカラオケ採点は、マイクから入力された歌唱者の歌声から抽出した音程（ピッチ）とガイドメロディの音程を比較して、その一致度に基づき得点を算出するというものである。
【０００３】
ガイドメロディーと歌唱者の音程（ピッチ）を比較して音程の採点を行うカラオケ採点法では、歌唱者が"ビブラート歌唱"を行った場合、得点が著しく低下する。無表情に直線的な音程で歌った場合の得点が高くなり、人間の主観と異なった採点結果となる。ビブラートとは、音程を上下に震わせて音に表情をつける技術で、上手な歌唱者はビブラートを使うことが多い。人間の主観に近い採点アルゴリズムを作るためにはビブラート検出・加点機能が必要である。この問題について顧みた結果、特許文献１〜特許文献３のビブラート検出機能・加点機能を備えたカラオケ採点装置が発明されている。これらの文献には、ビブラートは正弦波的な音程変化をすることを利用してビブラート判定を行うという概念・検出方法・ビブラート加点方法が記載されている。
【特許文献１】特開２００４−１０２１４６号公報
【特許文献２】特開２００４−１３８６３４号公報
【特許文献３】特開２００５−１０７０８７号公報
【０００４】
特許文献１には、歌声データから音程変化を算出し、音程変化波形のピーク値、半値幅、繰り返し周期などを基準としてビブラートか否かの判定を行うことが記載されている。特許文献２には、歌声の音程とガイドメロディの差分をとり、その差分が正負反転するタイミングなどから音高波形の１周期を推定し、それを基にしてビブラート判定を行うことが記載されている。特許文献３には、歌唱ピッチデータの振幅の中央をゼロ点として、ゼロクロス点の間隔から周期を求めている。その周期をもとにビブラート判定を行うことが記載されている。
【０００５】
しかし、これらの文献に記載されているビブラート検出方法には以下の問題がある。特許文献１〜特許文献３に示されるビブラート検出法は、ビブラート周期の判定基準として、歌唱者の音程ピッチまたはピッチの差分が一定時間内にピークをとった回数（特許文献１参照）や、正負反転した回数（特許文献２及び特許文献３参照）などの尺度を用いてビブラート判定を行っているが、これらの単純な尺度では、例えば入力音声信号に高調波ノイズなどの外乱が侵入し、ピッチ抽出誤りが発生した場合、歌唱者がビブラートをかけていない部分でも、ビブラートをかけていると判定してしまう危険がある。特にカラオケ装置は、ＡＭＰ・モニター・スピーカー・電源コードなどが密集したカラオケＢＯＸなどに設置されるため、これらの単純な評価尺度を用いたビブラート検出法ではビブラート検出回路が上手く動作せず採点結果に悪影響を与える問題がある。人間の主観評価と相関の強い採点ができるカラオケ採点装置を作るためには、より信頼性の高い音程変化量抽出方法・ビブラート検出方法が必要となる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は上記問題を解決するためになされたものであり、歌唱力採点に適した信頼性の高い音程変化量抽出方法、ピッチの信頼性算出方法、信頼性の高いビブラート検出方法、それらを応用した歌唱訓練プログラム及び人間の主観と相関の強い得点を算出できる歌唱力評価機能を持つカラオケ装置を提供する。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の請求項１に記載の音程変化量抽出方法は、コンピュータに、音声信号入力手段より入力された音声信号の周波数分析を実行させスペクトルを算出させるスペクトル算出ステップと、当該スペクトル算出ステップを実行させて得られたスペクトルをスペクトル記憶手段に記憶させるスペクトル記憶ステップを実行させ、前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出させることを特徴とする。
【０００８】
また、本発明の請求項２に記載の音程変化量抽出方法は、請求項１に記載の発明の構成に加え、前記スペクトル算出ステップは、音声信号入力手段より入力された音声信号の自己相関分析または相互相関分析を実行させ相関関数を算出させる相関関数算出ステップと、当該相関関数算出ステップを実行させて得られた相関関数を相関関数記憶手段に記憶させる相関関数記憶ステップと、前記相関関数記憶手段から読み出された相関関数を複数の周波数帯域毎の部分相関関数に分割し、各帯域の部分相関関数を重ね合わせ合成することで高音域の周波数分解能を低音域の周波数分解能で補い、高音域の周波数分解能を向上させた合成相関関数を算出させる合成相関関数算出ステップとを実行させ、当該合成相関関数算出ステップを実行させて得られた合成相関関数を前記スペクトルとして前記スペクトル記憶手段に記憶させることを特徴とする。
【０００９】
また、本発明の請求項３に記載のピッチの信頼性算出方法は、コンピュータに、音声信号入力手段より入力された音声信号からピッチを抽出させるピッチ抽出ステップと、当該ピッチ抽出ステップを実行させて得られたピッチをピッチ記憶手段に記憶させるピッチ記憶ステップと、前記ピッチ記憶手段より読み出された２つ以上のピッチの差分をとることにより音程変化量を算出させるピッチ差分算出ステップとを実行させて得られた音程変化量と、請求項１または請求項２に記載の音程変化量抽出方法を実行させて得られた音程変化量とを比較して前記ピッチの信頼性を算出させることを特徴とする。
【００１０】
また、本発明の請求項４に記載のビブラート検出方法は、コンピュータに、請求項１または請求項２に記載の音程変化量抽出方法を実行させて音声信号入力手段より入力された音声信号から音程変化量を抽出させる音程変化量抽出ステップと、当該音程変化量抽出ステップを実行させて得られた音程変化量を音程変化量記憶手段に順次記憶させる音程変化量記憶ステップと、前記音程変化量記憶手段より複数の音程変化量を読み出し、読み出された複数の音程変化量により構成される一定区間長のフレームに対して自己相関分析または相互相関分析を行うことで相関関数を算出させる音程相関関数算出ステップと、当該音程相関関数算出ステップを実行して得られた相関関数を音程相関関数記憶手段に記憶させる音程相関関数記憶ステップとを実行させ、前記音程相関関数記憶手段より読み出された相関関数の特性を用いて入力音声中のビブラート区間を検出させることを特徴とする。
【００１１】
また、本発明の請求項５に記載のビブラート検出方法は、請求項４に記載のビブラート検出方法において、前記音程相関関数記憶手段より読み出された相関関数の特性として相関関数を構成する相関係数の一部（正位相の相関係数）と、当該相関係数に対する逆位相の相関係数を利用し、前記正位相の相関係数と前記逆位相の相関係数を用いてビブラート検出を行うことを特徴とする。
【００１２】
また、本発明の請求項６に記載のビブラート検出方法は、請求項５に記載のビブラート検出方法において、前記正位相の相関係数と前記逆位相の相関係数を合成した相関係数を用いてビブラート検出を行うことを特徴とする。
【００１３】
また、本発明の請求項７に記載のビブラート検出方法は、請求項４乃至請求項６の何れかに記載のビブラート検出方法において、前記音程相関関数記憶手段より読み出された相関関数を構成する相関係数の一部が一定しきい値を超えたときに、ビブラートと判定することを特徴とする。
【００１４】
また、本発明の請求項８に記載のビブラート検出方法は、請求項４乃至請求項７の何れかに記載のビブラート検出方法において、前記相関関数により算出される相関の強さをビブラートの美しさとして算出することを特徴とする。
【００１５】
また、本発明の請求項９に記載の発明は、歌唱者が歌唱訓練を行うことを補助する歌唱訓練補助をコンピュータに実行させる歌唱訓練プログラムにおいて、音声信号入力手段より入力された音声信号に周波数分析を行いスペクトルを算出するスペクトル算出ステップと、当該スペクトル算出ステップを実行して得られたスペクトルをスペクトル記憶手段に記憶するスペクトル記憶ステップと、前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出する音程変化量抽出ステップと、当該音程変化量抽出ステップを実行して得られた音程変化量を音程変化量記憶手段に順次記憶する音程変化量記憶ステップと、前記音程変化量記憶手段より複数の音程変化量を読み出し、読み出された複数の音程変化量により構成される一定区間長のフレームに対して自己相関分析または相互相関分析を行うことで相関関数を算出する音程相関関数算出ステップと、当該音程相関関数算出ステップを実行して得られた相関関数を音程相関関数記憶手段に記憶する音程相関関数記憶ステップと、前記音程相関関数記憶手段より読み出された相関関数の特性を用いて入力音声中のビブラート情報を抽出するビブラート検出ステップと、当該ビブラート検出ステップを実行して得られたビブラート情報を表示手段に表示するビブラート表示ステップを備え、歌唱者の歌声から抽出したビブラート情報を確認できるようにしたことを特徴とする歌唱訓練プログラムである。
【００１６】
また、本発明の請求項１０に記載の歌唱力評価機能を有するカラオケ装置は、音声信号入力手段より入力された音声信号からピッチを抽出するピッチ抽出手段と、当該ピッチ抽出手段を実施して得られたピッチを記憶するピッチ記憶手段と、前記ピッチ記憶手段より読み出された２つ以上のピッチの差分をとることにより音程変化量を算出するピッチ差分算出手段と、前記音声信号入力手段より入力された音声信号に周波数分析を行いスペクトルを算出するスペクトル算出手段と、当該スペクトル算出手段により得られたスペクトルを記憶するスペクトル記憶手段と、前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出する音程変化量抽出手段と、当該音程変化量抽出手段により得られた音程変化量と、前記ピッチ差分算出手段により得られた音程変化量を比較して前記ピッチの信頼性を算出するピッチの信頼性計算手段を備えることを特徴とする。
【００１７】
また、本発明の請求項１１に記載の歌唱力評価機能を有するカラオケ装置は、音声信号入力手段より入力された音声信号に周波数分析を行いスペクトルを算出するスペクトル算出手段と、当該スペクトル算出手段を実施して得られたスペクトルを記憶するスペクトル記憶手段と、前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出する音程変化量抽出手段と、当該音程変化量抽出手段により得られた音程変化量を音程変化量記憶手段に順次記憶する音程変化量記憶手段と、前記音程変化量記憶手段より複数の音程変化量を読み出し、読み出された複数の音程変化量により構成される一定区間長のフレームに対して自己相関分析または相互相関分析を行うことで相関関数を算出する音程相関関数算出手段と、当該音程相関関数算出手段により得られた相関関数を記憶する音程相関関数記憶手段と、前記音程相関関数記憶手段より読み出された相関関数の特性を用いて入力音声中のビブラート区間を検出するビブラート検出手段とを備えることを特徴とする。
【００１８】
また、本発明の請求項１２に記載の歌唱力評価機能を有するカラオケ装置は、請求項１１に記載のカラオケ装置において、前記音程相関関数記憶手段より読み出された相関関数の特性として相関関数を構成する相関係数の一部（正位相の相関係数）と、当該相関係数に対する逆位相の相関係数を利用し、前記正位相の相関係数と前記逆位相の相関係数を用いて入力音声中のビブラート区間を検出するビブラート検出手段とを備えることを特徴とする。
【００１９】
また、本発明の請求項１３に記載の歌唱者の歌唱訓練を補助する歌唱訓練補助機能を搭載したカラオケ装置は、音声信号入力手段より入力された音声信号に周波数分析を行いスペクトルを算出するスペクトル算出手段と、当該スペクトル算出手段を実施して得られたスペクトルを記憶するスペクトル記憶手段と、前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出する音程変化量抽出手段と、当該音程変化量抽出手段により得られた音程変化量を音程変化量記憶手段に順次記憶する音程変化量記憶手段と、前記音程変化量記憶手段より複数の音程変化量を読み出し、読み出された複数の音程変化量により構成される一定区間長のフレームに対して自己相関分析または相互相関分析を行うことで相関関数を算出する音程相関関数算出手段と、当該音程相関関数算出手段により得られた相関関数を記憶する音程相関関数記憶手段と、前記音程相関関数記憶手段より読み出された相関関数の特性を用いて入力音声中のビブラート区間を検出するビブラート検出手段と、当該ビブラート検出手段により得られたビブラート情報を表示手段に表示するビブラート表示制御手段を備え、歌唱者の歌声から抽出したビブラート情報を確認できるようにしたことを特徴とする。
【発明の効果】
【００２０】
本発明の請求項１に記載の音程変化量抽出方法は、音程変化量の算出にスペクトルのずらしマッチングを利用することにより特に外乱の影響に強い環境でも安定して音程変化量を算出できる利点がある。この構成の音程変化量抽出方法は、例えばノイズや外乱の多いカラオケＢＯＸなどに設置される歌唱力評価装置への搭載に有効である。
【００２１】
また、本発明の請求項２に記載の発明は、音程変化量の算出にスペクトルのずらしマッチングを利用することにより特に外乱の影響に強い環境でも安定して音程変化量を算出できる利点がある。この構成の音程変化量抽出方法は、例えばノイズや外乱の多いカラオケＢＯＸなどに設置される歌唱力評価装置への搭載に有効である。
【００２２】
また、本発明の請求項３に記載のピッチの信頼性算出方法は、請求項１または請求項２に記載のスペクトルのずらしマッチングにより算出した信頼性の高い音程変化量と、ピッチの差分として算出した比較的信頼性の低い音程変化量を比較することで、ピッチの信頼性を逆算する方法を提供する。例えば本ピッチの信頼性算出方法を応用した歌唱力評価装置ではピッチの信頼性を算出し、信頼性の低いピッチを歌唱力評価に用いない構成とすることで、歌唱力評価精度を高めることができる。
【００２３】
また、本発明の請求項４に記載のビブラート検出方法は、請求項１または請求項２に記載のスペクトルのずらしマッチングを用いた信頼性の高い音程変化量抽出ステップを実行して入力音声信号を抽出し、抽出された複数の音程変化量により構成されるフレームに対して、さらに信頼性の高い自己相関分析または相互相関分析を行いビブラートを検出する構成である。この構成のビブラート検出方法は、二重に信頼性を高めた構成であるため例えばノイズや外乱の多い環境で使用される歌唱力評価装置への搭載に有効である。
【００２４】
また、本発明の請求項５に記載のビブラート検出方法は、請求項４に記載の発明の効果に加え、正位相の相関係数と逆位相の相関係数を用いることでさらに信頼性の高いビブラート検出を実現することができる。
【００２５】
また、本発明の請求項６に記載のビブラート検出方法は、請求項５に記載の発明の効果に加え、正位相の相関係数と逆位相の相関係数を合成することで相関係数から突発的なノイズを除去することができさらに外乱の影響に強い信頼性の高いビブラート検出を実現することができる。
【００２６】
また、本発明の請求項７に記載のビブラート検出方法は、請求項４乃至請求項６の何れかに記載のビブラート検出方法に加え、相関係数をしきい値と比較する簡単な回路構成でビブラート検出を行うことができる。
【００２７】
また、本発明の請求項８に記載のビブラート検出方法によれば、請求項４乃至請求項７の何れかに記載のビブラート検出方法の副産物として算出された相関関数の相関の強さをビブラートの美しさとして利用することができる。
【００２８】
また、本発明の請求項９記載の歌唱訓練プログラムは、スペクトルのずらしマッチングを用いた信頼性の高い音程変化量抽出ステップを実行して音程変化量を抽出し、抽出された複数の音程変化量により構成されるフレームに対して、さらに信頼性の高い自己相関分析によるビブラート検出を行うことで二重に信頼性を高めたビブラート検出方法を歌唱訓練プログラムに利用した構成である。特にノイズや外乱の多い環境でも歌唱訓練プログラムを安定して使用することができる。
【００２９】
また、本発明の請求項１０に記載のカラオケ装置は、スペクトルのずらしマッチングにより算出した信頼性の高い音程変化量と、ピッチの差分として算出した比較的信頼性の低い音程変化量を比較することで、ピッチの信頼性を検出する機能を備える。カラオケ装置に搭載される歌唱力評価機能は、ピッチの信頼性を算出し、例えば信頼性の低いピッチを歌唱力評価に用いない構成とすることで、歌唱力評価精度を高めることができる。
【００３０】
また、本発明の請求項１１に記載の歌唱力評価機能を有するカラオケ装置は、スペクトルのずらしマッチングを用いた信頼性の高い音程変化量抽出ステップを実行して音程変化量を抽出し、抽出された複数の音程変化量により構成されるフレームに対して、さらに信頼性の高い自己相関分析によるビブラート検出を行うことで二重に信頼性を高めたビブラート検出手段を採用した構成である。この構成のカラオケ装置は、特にノイズや外乱の多い環境に設置される場合でも安定して高精度なビブラート検出ができ、ビブラート歌唱に対応した高精度で信頼性の高い歌唱力評価が可能となる。
【００３１】
請求項１２に記載の歌唱力評価機能を有するカラオケ装置は、請求項１１に記載の発明の構成に加え、正位相の相関係数と逆位相の相関係数を用いたさらに信頼性の高いビブラート検出手段を搭載した構成である。この構成のカラオケ装置は、特にノイズや外乱の多い環境に設置される場合でも安定して高精度なビブラート検出ができ、ビブラート歌唱に対応した高精度で信頼性の高い歌唱力評価が可能となる。
【００３２】
また、本発明の請求項１３に記載の発明は、スペクトルのずらしマッチングを用いた信頼性の高い音程変化量抽出ステップを実行して音程変化量を抽出し、抽出された複数の音程変化量により構成されるフレームに対して、さらに信頼性の高い自己相関分析によるビブラート検出を行うことで二重に信頼性を高めたビブラート検出手段を応用して、歌唱力の向上を目指す歌唱者がビブラート歌唱を練習できる歌唱訓練補助機能を搭載したカラオケ装置である。本発明により歌唱者は、聴覚が鍛えられたミュージシャンや音楽の先生にしか分からなかった「自分の歌声にビブラートがかかっているか？」、「そのビブラートはきれいかどうか？」などを視覚的に確認することができる。
【発明を実施するための最良の形態】
【００３３】
次に本発明を適用した実施の形態について図面を参照して詳しく説明する。まず本発明の第一実施形態として、歌唱力評価装置を搭載したカラオケ装置について説明する。図１は第一実施形態におけるカラオケ採点装置の外観である。図１に示すように、カラオケ装置１にはマイク２、ディスプレイ３、ＡＭＰ４が接続されており、ＡＭＰ４にはスピーカ５が接続されている。
【００３４】
図２は、カラオケ装置１の内部構造について説明したブロック図である。図２に示すように、カラオケ装置はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１９を中心にした電子回路で構成される。ＣＰＵ１９はＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１８、ビデオコントローラ６、ミキサ７、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９、採点処理部１２に接続され、各機器の動作を制御する。マイク２は、カラオケ装置１内部のＡ／Ｄ変換部１７に接続される。Ａ／Ｄ変換部１７は、ＲＡＭ９とミキサ７に接続される。ミキサ７は演奏装置８に接続されており、ミキサ７の出力を演奏装置８を経由して外部のＡＭＰ４に伝える。ＲＡＭ９には、Ａ／Ｄ変換部１７、採点処理部１２、ＣＰＵ１９が接続されている。ＲＡＭ９にはＡ／Ｄ変換部１７によりＡ／Ｄ変換された音声信号、採点処理部１２により算出されたカラオケ採点結果などが記録される。
【００３５】
採点処理部１２は、ピッチ抽出部１３、ビブラート検出部１４、得点算出部１５から構成され、ピッチ抽出部１３とビブラート検出部１４の出力を基に、得点算出部１５で得点算出を行う構造になっている。
【００３６】
ＨＤＤ１８には、多数のカラオケ曲の背景映像、演奏データ、歌詞テロップ、その他の情報が蓄えられている。操作部１６は、パネルスイッチや、リモコン受信回路から成り、ユーザによる操作信号をＣＰＵ１９に伝える。歌い手が多数のカラオケ曲から特定の曲を選択し操作部１６より入力すると、ＣＰＵ１９は、その信号を受けてＨＤＤ１８より該当するカラオケ曲の演奏データを読み出し、ミキサに出力する。
【００３７】
一方、マイク２より入力された歌唱者の歌声は、Ａ／Ｄ変換部１７でサンプリングされ、ミキサ７に送られる。ミキサ７はマイク２から入力された歌唱者の歌声とＨＤＤ１８より読み出された演奏データを合成し、演奏装置８に出力する。合成された演奏データはＡＭＰ４を経由してスピーカ５から出力される。同時に、ＣＰＵ１９は背景映像および歌詞テロップをビデオコントローラ６に送る。歌詞テロップは、演奏と同期してディスプレイ３に表示され、現在演奏されている歌詞テロップの色が変化していく。歌唱者は歌詞テロップを見ながら伴奏に従って歌を歌う。この一連の動作制御はＣＰＵ１９が担当している。なお、ビデオコントローラ６が請求項に言う「表示制御手段」及び「ビブラート表示制御手段」に相当し、ディスプレイ３が請求項に言う「表示手段」に相当する。
【００３８】
次に、採点処理部１２の動作について説明する。カラオケ装置に付属するカラオケ採点機能を使用するかどうかは歌唱者の意思に委ねられる。カラオケ採点を希望する歌唱者は操作部１６を操作して、採点機能をＯＮにする。歌唱者のカラオケ歌唱が始まると、ＣＰＵ１９は採点処理部１２に採点開始指示を与える。採点開始指示を与えられた採点処理部１２はカラオケ採点を開始する。マイク２より入力された歌唱者の歌声は、Ａ／Ｄ変換部１７によりサンプリングされ、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）によりＲＡＭ９に音声信号として記録される。ピッチ抽出部１３はＲＡＭ９から音声信号を読み出し、ピッチを算出する。同時に、ビブラート検出部１４はＲＡＭ９から音声信号を読み出し、ビブラートを検出する。得点算出部１５はピッチ抽出部１３より検出されたピッチ情報と、ビブラート検出部１４により検出されたビブラート情報に基づき、得点を算出する。算出された得点は、採点結果としてＲＡＭ９に書き込まれる。なお、このＡ／Ｄ変換部１７が請求項に言う音声信号入力手段に相当する。
【００３９】
演奏終了後、ＣＰＵ１９が採点終了指示を採点処理部１２に与えると、カラオケ採点処理は終了する。ＣＰＵ１９はＲＡＭ９から読み出した採点結果をビデオコントローラ６に送る。採点結果はディスプレイ３に表示され、歌唱者は歌の採点結果を確認し一喜一憂する。なお、本実施形態では演奏終了後に得点をディスプレイ３に表示しているが、これに限らず歌唱者が歌い始めてから現時点までの中間得点を順次ディスプレイに表示していき歌唱者が歌いながら得点を確認できる構造にしても良い。
【００４０】
第一実施形態では、採点処理部１２は、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）と採点処理を行う採点専用ファームウェアによって構成される。通常のカラオケ採点装置ではＤＳＰはピッチ算出のみに用いられ、採点処理はＣＰＵが行う構成が多かったが、本実施形態では採点に関わる殆ど全ての処理をＤＳＰ（採点処理部）が担当する。この構成により、採点回路設計の自由度が格段に向上すると共に非常に詳細な分析が可能となる。
【００４１】
次に、ＲＡＭ９に設定される記憶領域について、図３を参照して説明する。音声信号記憶メモリ９Ａは、Ａ／Ｄ変換部１７によりＡ／Ｄ変換された音声信号を記憶する領域である。自己相関関数記憶メモリ９Ｂは、採点処理部１２内部にあるピッチ抽出部１３で算出される自己相関関数を記憶する領域である。合成自己相関関数記憶メモリ９Ｃは、ピッチ抽出部１３で算出される合成自己相関関数を記憶する領域である。有声・無声判定結果記憶メモリ９Ｄは、ＲＡＭ９より読み出された切り出し音声フレームが有声音か？無声音か？判定した結果を記憶する領域である。ピッチ記憶メモリ９Ｅは、ピッチ抽出部１３で算出されるピッチを記憶する領域である。ピッチ変化量Ｉ記憶メモリ９Ｆは、ビブラート検出部１４により算出されたピッチ変化量Ｉを記憶する領域である。ピッチ変化量ＩＩ記憶メモリ９Ｇは、ビブラート検出部１４により算出されたピッチ変化量ＩＩを記憶する領域である。ビブラート情報記憶メモリ９Ｈは、ビブラート検出部１４により算出されたビブラート情報を記憶する領域である。瞬時得点記憶メモリ９Ｉは、得点算出部１５により算出された瞬時得点を記憶する領域である。累積得点記憶メモリ９Ｊは、得点算出部１５により算出された累積得点を記憶する領域である。ビブラート比率記憶メモリ９Ｋは、採点におけるビブラートの寄与度を記憶する領域である。ワークメモリ９Ｗは、採点処理部が、採点処理の一時記憶などに使用する領域である。なお、この自己相関関数記憶メモリ９Ｂが請求項に言う「相関関数記憶手段」に相当する。また合成相関関数記憶メモリ９Ｃが請求項にいう「スペクトル記憶手段」及び「合成相関関数記憶手段」に相当する。また、ピッチ記憶メモリ９Ｅが請求項に言う「ピッチ記憶手段」に相当し、ビブラート情報記憶メモリ９Ｈが請求項にいう「ビブラート記憶手段」に相当する。また、ピッチ変化量Ｉ記憶メモリ９Ｆが請求項にいう「ピッチ差分記憶手段」に相当し、ピッチ変化量ＩＩ記憶メモリ９Ｇは請求項にいう「音程変化量記憶手段」に相当する。また、ワークメモリ９Ｗが請求項に言う「音程相関関数記憶手段」に相当する。
【００４２】
図４は、採点処理部１２で行われる採点動作手順について説明したフローチャート、図５は採点処理部１２のブロック図である。採点処理部１２の動作について、図３、図４、図５を参照して説明する。採点処理部１２は、ピッチ抽出部１３、ビブラート検出部１４、得点算出部１５より構成される。
【００４３】
まず、ピッチ抽出部１３の動作について図４に示すフローチャートを参照して説明する。自己相関関数算出モジュール１３１は、ＲＡＭ９の音声信号記憶メモリ９Ａより読み出された音声信号を基に自己相関関数を算出し、ＲＡＭ９の自己相関関数記憶メモリ９Ｂに書き込む（Ｓ１０）。合成自己相関関数算出モジュール１３２は、ＲＡＭ９の自己相関関数記憶メモリ９Ｂから読み出された自己相関関数を基に合成自己相関関数を算出し、ＲＡＭ９の合成自己相関関数記憶メモリ９Ｃに書き込む（Ｓ１１）。なお、合成自己相関関数の詳細については後述する。有声・無声判定モジュール１３３は、ＲＡＭ９の自己相関関数記憶メモリ９Ｂから読み出された自己相関関数を基に「入力音声が有声音か無声音か？」の判定を行い、判定結果をＲＡＭ９の有声・無声判定結果記憶領域９Ｄに書き込む（Ｓ１２）。ピッチ抽出モジュール１３４は、ＲＡＭ９の自己相関関数記憶メモリ９ＢとＲＡＭ９の合成自己相関関数記憶メモリ９Ｃから、自己相関関数と合成自己相関関数を読み出し、これらを基にピッチ抽出を行い、検出されたピッチをＲＡＭ９のピッチ記憶メモリ９Ｅに書き込む（Ｓ１３）。上述Ｓ１０〜Ｓ１３までの処理をピッチ抽出部１３が担当する。なお、上記Ｓ１０の処理が請求項に言う「相関関数算出ステップ」及び「相関関数記憶ステップ」に相当し、Ｓ１０の処理を実行する採点処理部（ＤＳＰ）１２が「相関関数算出手段」に相当する。また、上記Ｓ１１の処理が請求項に言う「スペクトル算出ステップ」、「スペクトル記憶ステップ」、「合成相関関数算出ステップ」及び「合成相関関数記憶ステップ」に相当し、Ｓ１１の処理を実行する採点処理部（ＤＳＰ）１２が「スペクトル算出手段」及び「合成相関関数算出手段」に相当する。また、上記Ｓ１３の処理が請求項に言う「ピッチ抽出ステップ」、「ピッチ記憶ステップ」に相当し、Ｓ１３の処理を実行する採点処理部（ＤＳＰ）１２が「ピッチ抽出手段」に相当する。
【００４４】
次に、ビブラート検出部１４の処理について説明する。ピッチ変化量Ｉ算出モジュール１４１は、ＲＡＭ９のピッチ記憶メモリ９Ｅより読み出されたピッチを基にピッチ変化量Ｉを算出しＲＡＭ９のピッチ変化量Ｉ記憶メモリ９Ｆに書き込む（Ｓ１４）。ピッチ変化量ＩＩ算出モジュール１４２は、ＲＡＭ９の合成自己相関関数記憶メモリ９Ｃより読み出された合成自己相関関数を基にピッチ変化量ＩＩを算出し、ＲＡＭ９のピッチ変化量ＩＩ記憶メモリ９Ｇに書き込む（Ｓ１５）。ビブラート検出モジュール１４３は、ＲＡＭ９のピッチ変化量ＩＩ記憶メモリ９Ｇより読み出されたピッチ変化量ＩＩを基にビブラート検出を行い、ビブラート検出結果をＲＡＭ９のビブラート情報記憶メモリに書き込む（Ｓ１６）。ビブラート検出モジュールの動作の詳細については後述する。上述Ｓ１４〜Ｓ１６までの処理をビブラート検出部１４が担当する。なお、上記Ｓ１４の処理が請求項に言う「ピッチ差分算出ステップ」及び「ピッチ差分記憶ステップ」に相当し、Ｓ１４の処理を実行する採点処理部（ＤＳＰ）１２が「ピッチ差分算出手段」に相当する。また、上記Ｓ１５の処理が請求項に言う「音程変化量抽出ステップ」及び「音程変化量記憶ステップ」に相当し、Ｓ１５の処理を実行する採点処理部（ＤＳＰ）１２が「音程変化量抽出手段」に相当する。また、上記Ｓ１６の処理が請求項に言う「ビブラート検出ステップ」及び「ビブラート記憶ステップ」に相当し、Ｓ１６の処理を実行する採点処理部（ＤＳＰ）１２が「ビブラート検出手段」に相当する。
【００４５】
得点算出部１５は、ＲＡＭ９の有声・無声判定結果記憶メモリ９Ｄ、ピッチ記憶メモリ９Ｅ、ピッチ変化量Ｉ記憶メモリ９Ｆ、ピッチ変化量ＩＩ記憶メモリ９Ｇ、ビブラート情報記憶メモリ９Ｈより、それぞれ有声・無声判定結果、ピッチ、ピッチ変化量Ｉ、ピッチ変化量ＩＩ、ビブラート検出結果を読み出し、これらを基に得点算出を行う（Ｓ１７）。処理Ｓ１７により得られた得点算出結果は、ＲＡＭ９の瞬時得点記憶メモリ９Ｉ、累積得点記憶メモリ９Ｊに書き込まれる。これら一連の採点処理は、ＣＰＵ１９から採点終了指示を受ける（Ｓ１８）ことで終了する。
【００４６】
以下、ピッチ抽出部１３、ビブラート検出部１４、得点算出部１５の動作とその物理的意味について詳細に説明する。ピッチ抽出部１３では、低音のピッチ抽出に有利な自己相関関数法を歌唱ピッチ抽出用に改良して用いる。
【００４７】
図６は自己相関関数によるピッチ抽出法について説明したものである。第一実施形態では、マイク２より入力された歌唱音声は、Ａ／Ｄ変換器１７によりサンプリング周波数  ４８［ｋＨｚ］でサンプリングされ、ＲＡＭ９の音声信号記憶メモリ９Ａに書き込まれる。採点処理部１２は、ＲＡＭ９の音声信号記憶メモリ９Ａから、１回の分析につき１４４０［ｐｏｉｎｔ］の分析フレームを切り出し分析を行う。自己相関関数法では、『分析フレーム：Ｆ０＝｛ｘ（１），ｘ（２），…，ｘ（Ｎ）｝』と『分析フレームをｉ［ｐｏｉｎｔ］ずらしたもの：Ｆｉ＝｛ｘ（ｉ），ｘ（１＋ｉ），…，ｘ（Ｎ＋ｉ）｝』の相関を求める。相関値Ｒ（０，ｉ）を計算する式の一例を数式１に示す。
【数１】
2008015212.tif 000003
【００４８】
自己相関関数法では、Ｆ０とＦｉのずれ量ｉを１〜Ｎ［ｐｏｉｎｔ］まで変化させ、相関値（類似度）Ｒ（０，ｉ）を順次算出していく。このようにして算出された自己相関関数Ｒ（０，ｉ）は、メモリ９の自己相関関数記憶メモリ９Ｂに書き込まれる。
【００４９】
通常の自己相関関数を用いたピッチ抽出法では、ピッチ（基本周波数）ｆは、相関値Ｒ（０，ｉ）を利用して数式２により算出される。数式２は、ずれ量ｉを順次変化させていったときの相関値  Ｒ（０，ｉ）が最大になるずれ量ａｒｇｍａｘｉ｛Ｒ（０，ｉ）｝を音声信号の基本周期として検出し、サンプリング周波数４８０００［Ｈｚ］を基本周期で割ったものをピッチとして算出するという意味である。
【数２】
2008015212.tif 000004
【００５０】
表１（ａ）〜表１（ｃ）は自己相関関数法において、基本周期ｉのときに計算されるピッチｆｉを示したものである。表１（ａ）〜表１（ｃ）が示すように、自己相関関数法は、低音域の音程分解能（周波数分解能）が細かくなり高音域の音程分解能が粗くなる特徴をもつ。
【表１】
2008015212.tif 000005
【００５１】
図７（ａ）は男性歌唱者が発声したＡ４（４４０［Ｈｚ］）の歌声に自己相関分析を行ったものである。自己相関関数は、周波数４４０［Ｈｚ］付近で最大値をとっている。一方、２２０［Ｈｚ］付近，１１０［Ｈｚ］付近，４４０［Ｈｚ］付近でも自己相関関数は極大値をとっている。これは、楽音（歌声）には"倍音"が存在するためである。例えば、Ａ２（１１０Ｈｚ）で発声した歌声は、Ａ３（２２０Ｈｚ）の倍音やＡ４（４４０Ｈｚ）の倍音を多く含む。
【００５２】
会話認識用途のピッチ抽出では、４４０［Ｈｚ］として検出すべきものを２２０［Ｈｚ］／８８０［Ｈｚ］と誤って検出する半ピッチ／倍ピッチ誤りが問題となるが、カラオケ採点用途のピッチ抽出では、半ピッチ／倍ピッチ誤りは大した問題ではないと考える。以下その理由について説明する。４４０［Ｈｚ］を音階で表すと"Ａ４"である。２２０［Ｈｚ］はＡ４より１オクターブ低い"Ａ３"、８８０［Ｈｚ］はＡ４より１オクターブ高い"Ａ５"で、何れもＡ（ラ）の音である。カラオケでは、女性が男性歌手の歌を１オクターブ高い音程で歌うことがある。さらに、ガイドメロディーのピッチは歌唱者に聞き取り易くするために原曲の１オクターブ上に設定してあることが多い。歌唱者のピッチとガイドメロディは１オクターブ異なることもあるし、同じ音程となることもある。従って、カラオケ採点にはオクターブ情報は不要である。歌唱者が発声した音程が"Ａ４（４４０［Ｈｚ］）なのか？"，"Ａ３（２２０［Ｈｚ］）なのか？"は問題では無く、音程がＡであることが分かれば十分である。
【００５３】
次に自己相関関数の音程分解能を向上させる方法について図７を参照して説明する。自己相関関数を用いて分析された約４オクターブの帯域を、〔１〕７０〜１５０［Ｈｚ］帯域、〔２〕１４０〜３００［Ｈｚ］帯域、〔３〕２８０〜６００［Ｈｚ］帯域、〔４〕５６０〜１２００［Ｈｚ］帯域の４帯域（それぞれ１オクターブ強の帯域）に分割する（図７（ａ）参照）。次に、〔１〕，〔２〕，〔３〕，〔４〕の各帯域の自己相関関数を加算・合成する（図７（ｂ）参照）。図７（ｂ）の一部を拡大したものが図７（ｃ）である。〔１〕の帯域では自己相関関数のポイント数が多く、〔４〕の範囲ではポイント数が少ない。〔２〕〜〔４〕に、線形補間を行うことで、ポイント数の格差を無くしてから合成する。この方法は、高音域（例えば〔４〕）のポイント数を、低音域（〔１〕）のポイント数で補うことになるため、高音域でピッチ抽出時の音程分解能が粗くなる問題を解消できる。さらに、自己相関関数を"補強"するため、突発的なノイズに強いピッチ抽出が可能となる。この合成した自己相関関数（以下、合成自己相関関数と記す）が最大値（または、極大値・極小値・極値）をとる周波数（音程）をピッチ周波数ｆとして検出する。なお、この合成処理によって生成された合成自己相関関数は１オクターブ強の周波数帯域を持つスペクトルとなる。従って、本実施形態における合成自己相関関数からは１オクターブ強の帯域に整理されたピッチが抽出される。
【００５４】
図７（ｂ）に示す合成自己相関関数は音階毎の音声パワーの強さを示したものと考えることができる。図７（ｂ）の例では、パワーは"Ａ"と"Ｇ＃"の中間で最大値をとり、歌唱者は『Ａ（ラ）より微妙に低い音程』で発声していることが分かる。合成自己相関関数を用いることで、音程分解能の高い歌唱力評価用のピッチ抽出を実現できる。
【００５５】
しかし、前述の合成自己相関関数が最大値（または、極大値・極小値・極値）をとる周波数（音程）をピッチとする方法では、フォルマント（声道の共振特性）の影響によりピッチの誤検出が起きる場合がある。この現象について説明する。図８（ａ）は男性低音系歌唱者の歌声から自己相関関数を算出した例である。この音程はＡ２＃で、自己相関関数法により正しくピッチを求めることができる。一方、図８（ｂ）は合成自己相関関数と〔１〕７０〜１５０［Ｈｚ］帯域の自己相関関数を重ね書きしたものである。自己相関関数を合成することにより、フォルマント（声道の共振特性）の影響を受け、誤ったピッチ（Ｄ）を検出していることが分かる。
【００５６】
声が低い場合や声に厚みがある（倍音が多い）場合はフォルマントの影響によりピッチの誤検出が起き易くなる。図８（ｂ）には、この問題を回避する方法についても説明している。（ａ）自己相関関数からピッチｆを求めた後、（ｂ）合成自己相関関数が最大となる周波数をｆ±Δの範囲で最探索し、ピッチｆ’として求め直す『２段探索』を用いてピッチ抽出する。２段探索を用いることで、フォルマントの影響によるピッチ誤検出を回避できる。第一実施形態では、このようにして計算されたピッチｆがＲＡＭ９のピッチ記憶メモリ９Ｅに書き込まれる。同様に合成自己相関関数はＲＡＭ９の合成自己相関関数記憶メモリ９Ｃに書き込まれる。
【００５７】
図９には、合成自己相関関数をピッチ抽出に用いたときの音程分解能を示す。比較のため、自己相関関数法と高速フーリエ変換法の音程分解能も示す。合成自己相関関数は、（ｙ）半音階の１／１０の音程分解能境界よりさらに細かい音程分解能を持ち、半音階を１８〜３７等分することができる。従来のピッチ抽出法との検出精度の違いを例を用いて説明する。例えば、高速フーリエ変換法では、歌唱者が１００［Ｈｚ］付近の低い音程で歌った場合、音程分解能は３００［ｃｅｎｔ］程度となる。１００［ｃｅｎｔ］は半音の差で、例えば『ド』と『ド＃』の違いである。３００［ｃｅｎｔ］は半音階の３倍である。つまり、高速フーリエ変換によるピッチ抽出では、低音系男性歌唱者が『ド』で歌っているのか『ド＃』で歌っているのかさえ判別できない。これに対し、本実施形態で示す合成自己相関関数は周波数帯域に関わらず、半音階を最低１８分割して分析することが可能である。『微妙に高いド＃』とか『微妙に低いド＃』を表現できる。
【００５８】
次に、歌唱者の歌声が有声音か無声音か判別する方法について簡単に説明する。人間の声には有声音と無声音があるが、一般的に無声音からはピッチを算出することはできないことが知られている。このため、ピッチを算出する前に有声音・無声音判定を行う必要がある。有声・無声は、数式１で使用する自己相関関数の比Ｒ（０，ｉｍａｘ）／Ｒ（０，０）を用いて簡単に判定できる。Ｒ（０，ｉｍａｘ）／Ｒ（０，０）が一定しきい値より大きければ有声音、一定しきい値より小さければ無声音と判定する。本実施形態では、無声音はピッチの信頼度が低いため歌唱力評価には用いない。また、有声・無声判定法としては、自己相関関数の比に限らずゼロクロス法などの他の公知な有声・無声判定技術を用いることもできる。
【００５９】
なお、本実施形態では、自己相関関数で分析する周波数帯域をカラオケ採点で必要と考えられる４オクターブ（７０［Ｈｚ］〜１２００［Ｈｚ］）の範囲とし、〔１〕７０〜１５０［Ｈｚ］帯域、〔２〕１４０〜３００［Ｈｚ］帯域、〔３〕２８０〜６００［Ｈｚ］帯域、〔４〕５６０〜１２００［Ｈｚ］帯域の４帯域（それぞれ１オクターブ強の帯域）に分割しているが、これに限らず、分析帯域は必要に応じて自由に変更することができる。
【００６０】
例えば、世界屈指のアカペラグループのベースヴォーカルはＡ１（５５Ｈｚ）を発声することができ、高音域を得意とする一部の女性ヴォーカルはＡ６（１７６０Ｈｚ）付近の高音を含む旋律を歌うという事実もある。これらを考慮に入れて、５０［Ｈｚ］〜１７６０［Ｈｚ］の帯域を分析する特別仕様の歌唱力評価システムを作ることもできる。この場合、例えば人間の発声する音程を５０［Ｈｚ］〜１７００［Ｈｚ］の約５オクターブとして各分析帯域を、〔１〕５０〜１２０［Ｈｚ］帯域、〔２〕１００〜２４０［Ｈｚ］帯域、〔３〕２００〜４８０［Ｈｚ］帯域、〔４〕４００〜９６０［Ｈｚ］帯域、〔５〕８００〜１９２０［Ｈｚ］帯域の５帯域に分割する。この方法では分析帯域を広げられるだけではなく、音程分解能が飛躍的に向上する利点がある。図１０は、分析帯域を５０［Ｈｚ］〜１７６０［Ｈｚ］としたときの音程分解能と、分析帯域を７０［Ｈｚ］〜１２００［Ｈｚ］としたときの音程分解能を比較したものを示す。最低分析周波数を７０［Ｈｚ］から５０［Ｈｚ］まで下げると音程分解能は２．５［ｃｅｎｔ］から１．８［ｃｅｎｔ］に改善され、より細かい分析ができるようになる。
【００６１】
また、本実施形態ではサンプリング周波数４８０００［Ｈｚ］のＡ／Ｄ変換器１７を使用した例を示しているが、例えばサンプリング周波数を９６０００［Ｈｚ］に変更しても音程分解能を向上させることができる。例えば、プロ志向の歌唱者の歌声を分析する場合には、最低分析周波数を下げる、サンプリング周波数を向上させるなどの調整をすることが好ましい。ただし、最低分析周波数を下げたり、サンプリング周波数を上げたりすると分析時間が長くかかることから、これらのパラメータはハードウェアの性能と、分析する歌唱者のレベルを考慮に入れて適宜決定する必要がある。
【００６２】
なお、本実施形態では数式１に示した自己相関関数を用いてピッチ抽出を行っているが、これに限らず、例えば数式１を数式３に置き換えることも可能である。数式３はユークリッド距離と呼ばれる尺度である。数式１を用いた実施形態では、「相関値Ｒ（０，ｉ）が最大値（または極大値）をとるずれ量」を分析フレームの基本周期と判定しピッチ抽出を行っていたが、これを数式３に置き換えた場合は「ユークリッド距離Ｒ（０，ｉ）が最小値（または極小値）をとるずれ量」を分析フレームの基本周期と判定しピッチ抽出を行うことができる。ここでいう相関関数は、数式１に限らず「切り出しフレーム同士のずらし量を変化させて２フレームの相関（類似度）または距離（非類似度）を調べる関数」のことである。
【数３】
2008015212.tif 000006
【００６３】
また、本ピッチ抽出法の実施形態では、周波数帯域毎に分割した自己相関関数の重ね合わせにより音程分解能の細かいピッチ抽出法を実現したが、これは例えば隣り合うフレーム同士の相関を算出する相互相関関数の重ね合わせでも実現できることは言うまでもない。
【００６４】
これまで説明してきた、合成自己相関によるピッチ抽出手順の全貌を図１１に示す。採点処理部１２は、ＲＡＭ９の音声信号記憶メモリ９Ａより音声信号を読み出す（図１１（ａ）参照）。次に、読み出した音声信号から約３０［ｍｓ］のフレームを切り出す（図１１（ｂ）参照）。図１１（ｃ）が切り出した音声信号フレームから算出された自己相関関数である。図１１（ｄ）では、自己相関関数を４つの帯域に分割しこれらを重ね合わせることで合成自己相関関数を求めている。図１１（ｅ）は合成自己相関関数の時系列データを９０度回転させて（図１１（ｆ）参照）音程毎のパワーの強さを色の濃さとして表現したものである。これは一種のソナグラムで音程毎のパワーの強さが時間の経過と共に変化していく様子を観察するのに適している。図１１（ｇ）は合成自己相関関数から求めたピッチ周波数（音階）である。本手法により、音程分解能が非常に細かい歌唱力評価用のピッチ抽出が実現する。
【００６５】
次に、ピッチ変化量算出方法について図１２を参照して説明する。ピッチ抽出部１３はピッチと合成自己相関関数を算出し、結果をＲＡＭ９に書き込む。ピッチ変化量は、ピッチの差分として求める方法と合成自己相関関数のずらしマッチングを用いて求める方法の２通りがある。ピッチ変化量Ｉ算出モジュール１４１では、ＲＡＭ９のピッチ記憶メモリ９Ｅより読み出されたピッチを２フレーム分バッファリングし、現在のピッチｆ（ｔ＋１）と一分析フレーム過去のピッチｆ（ｔ）を用いて、数式４によりピッチ変化量Ｉ（Δｆｐ）を算出し、ピッチ変化量Ｉ記憶メモリ９Ｆに書き込む。
【数４】
2008015212.tif 000007
【００６６】
しかし、ピッチｆ（ｔ）（スカラー）は突発的なノイズの影響を受け易いため、数式４で算出されたピッチ変化量Ｉ（Δｆｐ）は外乱の多い実環境に対応できない可能性がある。より信頼性の高いピッチ変化量算出法として、合成自己相関パターン（ベクトル）のずらしマッチングを用いたピッチ変化量ＩＩ算出も算出する。ピッチ変化量ＩＩ算出モジュール１４２は、ＲＡＭ９の合成自己相関関数記憶メモリ９Ｃより読み出された合成自己相関関数を２フレーム分バッファリングし、現在の合成自己相関関数と一分析フレーム過去の合成自己相関関数を用いてピッチ変化量ＩＩ（Δｆｓ）を算出し、ピッチ変化量ＩＩ記憶メモリ９Ｇに書き込む。
【００６７】
合成自己相関関数のずらしマッチングによるピッチ変化量算出法について具体例を示したのが図１３である。図１３（ａ），（ｂ）では、歌声波形から合成自己相関関数を算出している。
【００６８】
図１３（ｃ）では、合成自己相関関数の隣り合う２フレームｃｏｒ（ｔ，ｉ），ｃｏｒ（ｔ＋１，ｉ）を切り出し、ずらしマッチングを行っている。ずらしマッチングでは、類似度が最大となるずれ量Δｔｓを２フレーム間のピッチ（音程）変化量として数式５により求める。
【数５】
2008015212.tif 000008
数式６により、ずれ量Δｔｓをピッチ変化量Δｆｓに変換する。
【数６】
2008015212.tif 000009
【００６９】
図１３（ｄ）は合成自己相関関数のずらしマッチングにより求めたずれ量Δｔｓである。音程変化の算出に、合成自己相関関数ｃｏｒ（ｔ，ｉ）のずらしマッチングを用いることで突発的なノイズに影響され難い信頼性の高いピッチ変化量Δｆｓの算出が可能となる。
【００７０】
図１４は、数式４により算出した（比較的信頼性の低い）ピッチ変化量Ｉである。図１４と図１３（ｄ）はほぼ同じ変化をしているが、図１４では突発的に変化量の大きい部分（信頼性の低い部分）が出てくることがある。信頼性の高いピッチ変化量ＩＩ（Δｆｓ）と通常のピッチ変化量Ｉ（Δｆｐ＝ｆ（ｔ）−ｆ（ｔ＋１））の差Ｄｆを用いてピッチｆ（ｔ），ｆ（ｔ＋１）の信頼性を逆算することもできる（数式７参照）。
【数７】
2008015212.tif 000010
例えばＤｆが一定しきい値より大きいとき、ピッチ変化量Ｉ（Δｆｐ）を算出する基となった信頼性の低いピッチｆ（ｔ），ｆ（ｔ＋１）を採点対象から除外するという使い方ができる。
【００７１】
なお、数式５ではずらしマッチングの評価関数としてユークリッド距離を用いているが、これに限らず、評価関数は２つのベクトルの類似度または非類似度（距離）を表す他の関数で置き換えることができる。例えば数式５のユークリッド距離の式を相互相関関数におきかえても良い。
【００７２】
次に、ビブラート検出モジュール１４３の動作について図１５と図１６を参照して説明する。図１５は、第一実施形態におけるビブラート検出手順を示すフローチャート、図１６は第一実施形態におけるビブラート検出手順を示すブロック図である。ビブラート検出モジュール１４３は、ピッチ変化量Δｆを入力として、ビブラート判定結果を出力する。入力に用いるピッチ変化量Δｆは、ピッチ変化量Ｉ（Δｆｐ）としても良いし、ピッチ変化量ＩＩ（Δｆｓ）としても良い。例えば、よりビブラート検出の信頼性を高めたい場合はピッチ変化量ＩＩを用い、演算速度を優先したい場合はピッチ変化量Ｉを用いることもできる。
【００７３】
ビブラート判定を行うためには、複数フレーム分のピッチ変化量Δｆが必要になる。例えば、フレーム周期が１０［ｍｓ］の場合、ピッチ変化量は１０［ｍｓ］毎に１つ算出される。人間の歌声のビブラート周期は１４０［ｍｓ］〜３００［ｍｓ］であることから、ビブラート算出には合計５００［ｍｓ］分程度のピッチ変化量が必要である。周期性算出モジュール１４３Ａは、ＲＡＭ９のピッチ変化量ＩＩ記憶メモリ９Ｇ（またはピッチ変化量Ｉ記憶メモリ９Ｆ）より読み出されたピッチ変化量信号５０フレーム分（５００［ｍｓ］）のピッチ変化量Δｆをリングバッファに蓄えておき、蓄えられた音程変化量Δｆから、正位相の相関係数、逆位相の相関係数、分散を算出しＲＡＭ９のワークメモリ９Ｗに記録する（Ｓ１６１、Ｓ１６２、Ｓ１６３）。なお、上記Ｓ１６１の処理及びＳ１６２の処理が請求項に言う「音程相関関数算出ステップ」及び「音程相関関数記憶ステップ」に相当し、Ｓ１６１及びＳ１６２を実行する採点処理部（ＤＳＰ）１２が「音程相関関数算出手段」に相当する。
【００７４】
正位相・逆位相合成モジュール１４３Ｂは、ワークメモリ９Ｗより正位相の相関係数と逆位相の相関係数を読み出し、これらを合成した相関係数をワークメモリ９Ｗに書き込む（Ｓ１６４）。ビブラート尺度算出モジュール１４３Ｃは、正位相・逆位相合成した相関係数と分散をワークメモリ９Ｗから読み出し、正位相・逆位相合成した相関係数と分散からビブラート判定結果とビブラートの美しさを算出し、ＲＡＭ９のビブラート情報記憶メモリ９Ｋに書き込む（Ｓ１６５）。
【００７５】
次に、ピッチ変化量からビブラートを検出する手段について実データを用いて詳細に説明する。図１７は、サンプリング周波数４８０００［Ｈｚ］で標本化された歌声波形である。図１７に示す歌声波形からピッチ周波数を算出したものが図１８である。この歌声波形にはピッチ周波数が正弦波状に変化しているビブラート区間と、それ以外の区間が存在する。図１８のピッチの差分をとったものが図１９に示す音程変化波形である。以下、図１９に示すビブラートなし区間Ａとビブラートあり区間Ｂを使ってビブラート検出の考え方を説明する。
【００７６】
図２０はビブラートがかかっていない区間Ａの切り出し波形とその自己相関関数について示したものである。自己相関関数は信号の周期性を調べるのに適している関数で、例えば次式で算出される。
【数８】
2008015212.tif 000011
図２０の例で説明すると、区間Ａの切り出し波形ｘ（ｔｎ）とＡの切り出し波形をτずらしたものｘ（ｔｎ＋τ）の積和をとったものが自己相関関数ｃ（τ）である。区間Ａはビブラート区間ではなく周期性が弱いため、相関関数ｃ（τ）は弱い相関を示す。
【００７７】
一方、図２１は周期性のあるビブラート区間Ｂの切り出し波形について自己相関関数を求めた例である。自己相関関数はビブラート周期に相当するずれ量τ＝１７のとき、強い正の相関を示す。一方、τ＝１７の逆位相に相当するτ＝２５では強い負の相関が現れている。負の相関は、ビブラート周期の半分の周期τ＝８付近にも現れる。τ＝８もτ＝１７の逆位相に相当する。
【００７８】
図２２は図１９に示す音程変化波形の全切り出し区間について求めた正位相の自己相関係数と、その相関係数の逆位相に相当する相関係数を示したものである。正位相の自己相関係数は、１４０［ｍｓ］〜３００［ｍｓ］（１４〜３０［ｐｏｉｎｔ］）の範囲でずらし量を変化させたときの自己相関関数の最大値  Ｃｍａｘとして求め、そのときのずれ量をＰとする。音程変化に周期性がある場合、Ｐの半分のずれ量Ｐ／２（逆位相）では負の相関が現れるはずである。そこで、ずれ量Ｐ／２のときの自己相関係数Ｃｎｅｇを求める。ビブラート区間では、正位相の相関係数は大きな値をとり、逆位相の相関係数は小さな値をとることが分かる。自己相関関数に現れる正位相・逆位相の相関係数の特徴を用いて高精度なビブラート検出を実現できる。
【００７９】
図２３は、正位相の相関係数Ｃｍａｘと逆位相の相関係数Ｃｎｅｇを合成したものである。合成により、ビブラート区間とそれ以外の区間の差がますます顕著になる。図２３の相関係数が一定しきい値を超えるフレームをビブラートとして判定することができる。本手法により、精度の高いビブラート検出が可能である。ビブラートがきれいな周期性を持っていれば、相関係数が大きくなるため、相関係数の大きさをビブラートの美しさとして取り出し、後段の採点処理で利用することもできる。
【００８０】
さらに、各フレーム毎の音程変化量の差分信号について分散・標準偏差などの振幅情報を算出し、「振幅が小さいフレームはビブラート区間と見なさない」などの判定条件を加えることで、より信頼度の高いビブラート判定が実現できる。なお、ビブラート検出は、正位相・逆位相の相関係数を合成したものを使って行っても良いし、正位相の相関係数、逆位相の相関係数を単独で用いても良い。
【００８１】
なお、ここでいう自己相関関数は数式８に限らず、「切り出しフレーム同士のずらし量を変化させて２フレームの相関（類似度）または距離（非類似度）を調べる関数」のことである。例えば、自己相関関数として数式８の代わりに数式９のユークリッド距離を採用しても良い。
【数９】
2008015212.tif 000012
【００８２】
数式８はビブラート周期に相当するずれ量τで最大値をとる関数であるが、数式９はビブラート周期に相当するずれ量τで最小値をとる関数である。同様に、ピッチ変化量の算出には、数式５（ユークリッド距離）を評価関数として合成自己相関関数のずらしマッチングを行う例を示したが、評価関数はユークリッド距離の代わりに自己相関関数を用いることもできる。
【００８３】
なお、本実施の形態においては、ピッチの差分をとった音程変化波形から相関係数を算出しているが、これに限らずピッチ波形から直接自己相関関数を算出することもできる。その場合数式１０に示すような形の自己相関関数を利用することが好ましい。
【数１０】
2008015212.tif 000013
【００８４】
本実施形態で、ピッチの差分を用いているのは、ピッチ波形から直流分の影響を打ち消すためである。数式１０では、ピッチの差分波形を用いる代わりに、ピッチ波形から平均値を差し引いて相関関数を算出することにより、直流分（≒平均値）の影響を打ち消している。
【００８５】
さらに、本実施の形態では、自己相関関数を用いてビブラート検出法を説明したが、例えば同一フレーム同士から算出する自己相関係数の代わりに、隣り合うフレーム同士の相関を求める相互相関関数を用いることもできる。
【００８６】
本ビブラート検出法では、１つのフレームがビブラート区間に属するかどうか？を５０ポイントの切り出し波形を用いて算出しているため、ビブラート検出精度が非常に高い。
【００８７】
次に、得点算出部１５にの動作について詳細に説明する。第一実施形態では、入力音声信号を表２に示す（ｉ）〜（ｉｖ）の４つの区間に分類する。（ｉ）無声区間と（ｉｉｉ）ピッチの変化が激しい区間（音程変化量が大きい区間）は得点算出には用いず、（ｉｉ）ビブラート区間と（ｉｖ）通常歌唱区間について得点算出を行う。
【表２】
2008015212.tif 000014
【００８８】
図２４は、第一実施形態における得点算出部１５の得点算出手順を示すフローチャート、図２５は、得点算出部１５のブロック図である。信頼性算出モジュール１５１は、ＲＡＭ９の有声・無声判定結果記憶メモリ９Ｄ、ピッチ変化量Ｉ記憶メモリ９Ｆ及びピッチ変化量ＩＩ記憶メモリ９Ｆよりそれぞれ有声・無声判定結果、ピッチ変化量Ｉ、ピッチ変化量ＩＩを読み出し、これらを基にピッチの信頼性を算出し、算出されたピッチの信頼性をＲＡＭ９のワーク領域９Ｗに書き込む（Ｓ１７１）。瞬時得点算出モジュール１５２は、ＲＡＭ９のピッチ記憶メモリ９Ｅ、ビブラート情報記憶メモリ９Ｈ、ビブラート比率記憶メモリ９Ｋ、ワーク領域９Ｗよりそれぞれピッチ、ビブラート判定結果、ビブラート比率、ピッチの信頼性を読み出し、歌唱者の歌声１分析フレーム分の瞬時得点を算出し、算出した瞬時得点をＲＡＭ９の瞬時得点記憶メモリ９Ｉに書き込む（Ｓ１７２）。なお、上記Ｓ１７１の処理が請求項に言う「ピッチの信頼性算出ステップ」に相当し、Ｓ１７１を実行する採点処理部（ＤＳＰ）１２が「ピッチの信頼性算出手段」に相当する。
【００８９】
ここで、ＲＡＭ９のビブラート比率記憶メモリ９Ｋに書き込まれるビブラート比率とは得点におけるビブラートの寄与度を決定する係数で、例えばカラオケＢＯＸのオーナが好みにより調整することができるパラメータである。得点累積モジュール１５３は、ＲＡＭ９の瞬時得点記憶メモリ９Ｉより読み出された瞬時得点を累積し、カラオケ採点が始まってから現在に至るまでの累積得点を算出し、ＲＡＭ９の累積得点記憶メモリ９Ｊに記録する（Ｓ１７３）。
【００９０】
カラオケ採点終了後、累積得点記憶メモリ９Ｊに記録された累積得点は、ＲＡＭ９より読み出され、ビデオコントローラ６を経由して、ディスプレイ３に表示される。歌唱者は、ディスプレイ３に表示された採点結果を見て一喜一憂する。なお、得点は累積得点をそのままディスプレイに表示しても良いし、得点変換関数や変換テーブルを通して変換をかけたものを表示しても良い。これらの変換テーブルや変換関数は事前に得点分布の統計調査を行った上で、例えば１００点が算出される確率が全体の５％以下になるように設計した変換テーブルや変換関数を用いる。
【００９１】
以下、得点算出部１５の得点算出原理について詳細に説明する。本発明の第一実施形態に示すピッチ抽出部１３では、非常に音程分解能の高いピッチ（半音の幅を１８〜３８分割して分析）を算出することができる。音程分解能が細かいため、従来のピッチ抽出法では困難であった"音程が微妙に上ずっている"・"微妙に低い"ということを識別できる。
【００９２】
図２６は、上手な歌唱者が歌った歌声について分析した結果である。図２７は同一の曲を下手な歌唱者が歌ったものを分析した結果である。上手い人は音程が正確に１２音階に乗っているが、下手な人では音程は１２音階から離れてくることが観察できる。
【００９３】
本実施形態に示す採点処理では、「歌唱者の歌声が１２音階に乗っているかどうか？」だけを判定する。カラオケで再生されるＭＩＤＩ伴奏は平均率音階（１２音階）に乗った音の集合である。歌声が心地よく聴こえるためには、少なくとも歌声はＭＩＤＩ伴奏と同じ平均率音階（１２音階）に乗っていなければならない。本採点法では、ＭＩＤＩデータを参照せずに"音程が１２音階に乗っているかどうか？"だけを定量化するため、アドリブやフェイクの入った歌でも採点できる。歌の音程が１２音階に乗っていれば、ガイドメロディの通りの音調でなくても「上手い」と考える。この採点法では歌唱者が不協和音で歌った場合でも、音程が１２音階にさえ乗っていれば「上手い」と判定する。不協和音を１２音階にしっかり乗せることは、声楽的には非常に高度な技術である。それが出来る人は並外れた技術を持った歌唱者（実は相当上手い）と仮定している。
【００９４】
しかし、音階に乗っているかどうかだけでは歌唱力を十分に評価できない。人間の感性に近い歌唱力評価をするためにはビブラート部分の評価も重要となってくる。図２８は、図２６・図２７と同じ曲のフレーズをプロの歌手が歌ったときのピッチ変化である。歌が上手い歌唱者はビブラートを多用することもある。ビブラート歌唱区間では、通常歌唱区間と異なる採点方法が必要である。
【００９５】
また、音声認識の分野では、入力音声が無声音の場合はピッチを正確に算出することができないことが知られている。本発明の第一実施形態に示す採点では、入力音声信号に対し有声・無声判定を行い、無声音と判定された区間は得点算出に用いないこととする。
【００９６】
ピッチの変化が激しい区間についても考慮する必要がある。例えば音符と音符の境目、しゃくり上げ部分、しゃくり下げ部分では、ピッチの変化が激しいため、歌の上手い下手に関わらず音程が１２音階に乗りにくくなる。したがって、ビブラート区間以外でピッチの変化量が一定しきい値を超える区間は得点算出に用いないこととする。
【００９７】
図２９に得点算出の基本的な考え方を示す。入力音声信号を通常歌唱区間とビブラート区間に分け、通常歌唱区間の得点Ｄｐ（ｔｎ）と、ビブラート区間の得点Ｄｒ（ｔｎ）をそれぞれ算出する。ピッチの信頼性の低い区間と、ビブラート区間以外でピッチの変化量が激しい区間は得点算出に用いない。
【００９８】
通常歌唱区間（ビブラート以外の区間）の得点算出法について詳細に説明する。"ピッチが平均率音階からどのくらい離れているか？"を示す尺度ｄｐ（ｔｉ）を数式１１で定義する。図３０は数式１１の意味を図示したものである。ｄｐ（ｔｉ）は、分析時刻ｔにおける歌唱者のピッチｆ（ｔｉ）  と１２音階のうち最も近い音との距離を示す。歌唱者の歌声ピッチが正確であれば、尺度ｄｐ（ｔｉ）は小さい値となる（尺度ｄｐ（ｔｉ）が小さい→得点が高い）。なお、数式１１では歌唱者の歌声から抽出したピッチｆ（ｔｉ）と１オクターブに整理された平均率音階（１２音階）ＭＦの比較を行っている。これは本実施形態の前段におけるピッチ抽出手段より出力されるピッチが１オクターブ範囲内に整理されているからである（図７参照）。本実施形態では１オクターブ範囲内のピッチを比較することで、人間の全歌唱音域の音程と平均率音階を比較していることになる。しかし、これに限らず、例えばピッチ抽出手段は４オクターブ帯域のピッチを出力する構成として、数式１１はそれに対応する４オクターブ帯域の全音域の平均率音階上の音との比較をしても良い。また、ピッチ抽出手段は５オクターブ帯域のピッチを出力する構成として、数式１１はそれに対応する５オクターブ帯域の全音域の平均率音階上の音との比較するものとすることも容易にできる。
【数１１】
2008015212.tif 000015
【００９９】
現在、歌唱者が歌っている状態を想定して考える。歌唱者が歌い始めて、カラオケ採点が開始されてから現在に至るまでにビブラート区間と判定された区間長の合計をｎｒで表す。次に、ビブラート区間以外で、ピッチの変化量が激しくなく、ピッチの信頼性があると判定された区間を通常歌唱区間と呼ぶことにする。カラオケ採点が開始されてから現在に至るまでに通常歌唱区間と判定された区間長の合計をｎｐで表す。ビブラート累積区間長ｎｒと通常歌唱累積区間長ｎｐの合計を累積区間長ｎとすると、ｎ，ｎｐ，ｎｒは数式１２の関係を満たす。
【数１２】
2008015212.tif 000016
【０１００】
カラオケ採点が開始されてから現在に至るまでの歌唱時間の合計ｔｎは、分析フレーム周期Δｔと累積区間長ｎを用いて数式１３で表現できる。なお、本実施形態ではΔｔ＝１０［ｍｓ］である。
【数１３】
2008015212.tif 000017
ｄｐ（ｔｉ）は、"時刻ｔｉにおけるピッチｆ（ｔｉ）  が平均率音階からどのくらい離れているか？"を示す尺度で"瞬時得点"である。瞬時得点は、長時間に渡って累積平均をとることにより信頼性のある得点となる。時刻ｔｎにおける累積平均距離（累積平均得点）Ｄｐ（ｔｎ）を数式１４により算出する。Ｄｐ（ｔｎ）が通常歌唱区間における音程の正確さを示す式である。
【数１４】
2008015212.tif 000018
【０１０１】
次に、ビブラート区間の平均得点を算出する。時刻ｔｉにおけるビブラート区間の距離ｄｒ（ｔｉ）  は、採点開始時点から時刻ｔｉに至るまでの音階−ピッチ間の平累積距離Ｄｐ（ｔｉ）に係数αを乗じたものとして、数式１５で計算する。ビブラート区間の平均累積距離Ｄｒ（ｔｎ）は数式１６で計算する。αは０〜１．０の範囲の実数である。数式１５の意味は以下の通りである。
【０１０２】
「時刻ｔｉにおいて歌唱者がビブラートをかけている場合、時刻ｔｉにおける歌唱者の瞬時得点ｄｒ（ｔｉ）は、通常歌唱区間の累積平均点Ｄｐ（ｔｉ）より若干高い得点αＤｐ（ｔｉ）で置き換える。」
【数１５】
2008015212.tif 000019
【数１６】
2008015212.tif 000020
【０１０３】
ビブラート得点に通常歌唱区間の平均点ｄｐ（ｔ）・Ｄｐ（ｔ）を反映させることで、下手な人がビブラートを多用しても高得点にはならないように調整している。この方法により、音程の不正確な人がビブラートを使った場合は、音程の正確な人がビブラートを使った場合より低い得点となる。係数αは採点におけるビブラートの寄与度を調整する係数で、カラオケＢＯＸオーナーの好みで調整することもできる。例えば演歌が好きなオーナーはαを小さめに設定して、ビブラートの寄与度を高くすることができる。
【０１０４】
総合的な累積距離Ｄ（ｔ）は、通常歌唱区間の平均距離Ｄｐ（ｔ）とビブラート区間の平均距離Ｄｒ（ｔ）の平均値として数式１７で算出する。累積距離Ｄ（ｔ）は人間が主観的に付けた得点と強い相関を持つ。この採点法は、周波数分解能が高い高精度なピッチ抽出と外乱に強い高精度なビブラート検出法があってはじめて効果を発揮する。
【数１７】
2008015212.tif 000021
【０１０５】
次に、本実施形態で算出した尺度Ｄ（ｔ）と人間が主観でつけた得点との相関を調べ、採点アルゴリズムの評価を行った結果を示す。まず、２０名の歌唱者が同一の曲を歌った場合について、本採点法の評価を行った。歌唱者（男性１０名・女性１０名）が歌った有名な歌謡曲を歌唱者以外の３４名の被験者に聞き比べてもらい、プリファレンススコアを作成した。プリファレンススコアとは、対比較においてその歌声がどの程度の支持率であったかを示す数値である。歌唱データから後半の１フレーズを切り出したものを対比較評価用データとする。なお、女性歌唱者データにはプロの歌手１名に依頼して採取した歌声を追加・混入した。これと同時に本実施形態により計算した得点Ｄ（ｔ）を算出し、プリファレンススコアと得点Ｄ（ｔ）の相関図を作成した。
【０１０６】
図３１は、女性のデータについて求めたプリファレンススコアと尺度Ｄの相関図である。プリファレンススコアと尺度Ｄの間には強い相関が見られる。尺度Ｄが最も小さく音程が最も正確なのは、プロの歌手の歌声である。しかし声が低く、原曲と歌い方が異なるため、人間の主観評価（プリファレンススコア）では２位になっていると考えられる。主観評価で１位となった歌唱者は通常より高めのキーで歌ったため、被験者に与えるインパクトが強かったと推測される。
【０１０７】
図３２は男性の歌声から算出した相関図である。男性データでも、距離Ｄ（ｔ）とプリファレンススコアの相関がみられる。プリファレンススコア約４０点の被験者が最も１２音階からの距離が小さくなっている。この被験者の歌声を聴くと、音程は正確でビブラートも上手にかかっており、技術的には上手な歌唱者である。しかし、歌詞の譜割りなどが演歌調で原曲と異なり、歌い方に癖があるため主観評価の点数が低下したと推測される。これらの図から、例えば「Ｄ（ｔ）が２０［ｃｅｎｔ］を切る人はそこそこ上手い」と判断できる。図３１・図３２より、Ｄ（ｔ）は人間の主観得点と相関の強い尺度となっていることが分かる。
【０１０８】
次に、歌唱者が異なる曲を歌った場合について本採点法の評価を行った結果を示す。データの採取方法を図３３に示す。５〜６名の歌唱者のグループを募集した。１グループ：５〜６名の歌唱者に交代で歌って頂き歌唱データを採取した。歌っている歌唱者以外について、次に歌う歌唱者は歌う曲の選曲、それ以外の歌唱者は現在歌っている歌唱者の得点を記録した。なお歌唱者には、歌の途中ではキー変更や、演奏停止をしないで、歌唱曲の歌える範囲でできる限り多くのジャンルの曲を歌って頂けるようお願いした。得点は満点を１００点とし、採点者の主観で記入して頂いた。採点者全員がつけた平均得点を主観評価の得点とする。
【０１０９】
２日間評価を行った結果について説明する。図３４は１日目の採取データから求めた相関図である。この日の参加者は６人、歌唱者１人の歌声に対し残りの５人で採点を行ったときの平均点数を主観評価の点数としてグラフにプロットした。距離Ｄ（ｔ）と主観評価の点数には強い相関があることが分かる。
【０１１０】
図３５は、２日目の採取データから求めた相関図である。参加者は４０〜６０代の女性５人である。歌唱者１人の歌声に対し３人で採点を行い残り１人は次に歌う曲を選ぶという分担で採点を行った。この日歌われた曲のほとんどは演歌である。距離Ｄ（ｔ）と主観評価の点数には相関が見られる。図３４と比べて少し相関が弱い原因としては、採点者が５人から３人に減少したためと考えられる。
【０１１１】
図３１、図３２、図３４、図３５より、Ｄ（ｔ）は人間の主観得点と相関の強い尺度となっていることが分かる。従って、例えば尺度Ｄ（ｔ）を線形変換すれば、人間の主観評価と相関の強い得点を算出することができる。実際のカラオケ装置における採点では、１００点の出現確率を減少させるなどの工夫が必要となるため、Ｄ（ｔ）［ｃｅｎｔ］に非線形変換を行い得点に変換することも考えられる。
【０１１２】
なお、本実施形態ではガイドメロディ情報を一切使わずにカラオケ採点を行う例を示した。しかし、これに限らずガイドメロディと歌唱者の歌声を比較する従来の採点法も併用した採点システムを構築することも可能である。例えば、ガイドメロディと歌唱者のピッチを比較して歌の忠実度を算出し、本実施形態で示した採点法で尺度Ｄ（ｔ）を算出した後、２つの得点を合成して歌唱者の歌の得点とすることもできる。また、２つの得点の高い方を選んで最終的な得点とすることも容易に考えられる。
【０１１３】
また大抵の場合、カラオケ装置で演奏されるＭＩＤＩ楽曲は平均率音階の集合であるため、本実施形態では、歌唱者の歌声から抽出したピッチと平均率音階を比較して歌の得点を算出する例を示した。しかし、これに限らず、ピッチと純正率音階を比較するのが好ましい場合もある。カラオケ装置の伴奏には、生バンドの曲を録音したスタジオ録音曲やプロのアカペラグループが演奏したものを録音したアカペラ伴奏曲も存在する。特にアカペラ伴奏曲などでは、歌唱者の歌声から抽出した純正率音階を比較した方がより精度の高い歌唱力評価ができることもある。また、生のピアノ演奏を録音したスタジオ録音曲では、平均率音階をピアノ調律曲線を用いて補正した音階と歌唱者の歌声から抽出したピッチを比較する方法が好ましい場合もある。これらの音階は、カラオケ楽曲の属性により、適宜選択するようにカラオケ採点装置を構成することも考えられる。本明細書に記載の平均率音階とは、ピアノの調律曲線などにより補正された後の平均率音階を含むこととする。
【０１１４】
また、本発明の第一実施形態におけるビブラート検出法では、合成自己相関関数のずらしマッチングを用いて音程の変化量を算出していた。これと同様に、入力歌声信号から合成自己相関関数の代わりにＬＰＣスペクトル、ＦＦＴスペクトル、群遅延スペクトル、ＬＰＣケプストラム、自己相関関数などのスペクトル特徴を抽出し、スペクトルのずらしマッチングを用いて外乱に強いピッチ変化量算出・ビブラート検出ができる。一例として、図３６にＬＰＣ（Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅ  Ｃｏｄｉｎｇ）スペクトルを用いた音程変化量算出法を示す。図３６（ａ）の音声信号に対して線形予測分析を行いＬＰＣスペクトルを求めたものが図３６（ｂ）である。ＬＰＣスペクトルを観察しても、ビブラートはきれいに現れていることがわかる。例えば、ＬＰＣスペクトルの周波数帯域５００［Ｈｚ］〜１０００［Ｈｚ］を切り出し（図３６（ｃ））、切り出した帯域のＬＰＣスペクトルのずらしマッチングを用いて音程変化量を算出することができる。
【０１１５】
この場合、音声信号記憶メモリ９Ａから読み出された音声信号に線形予測分析を行い、ＬＰＣスペクトルを求め、メモリ９の所定の位置に記憶する。ずらしマッチングの式は、数式１８で示される。メモリ９より読み出した隣り合う２フレームのＬＰＣスペクトルｌｐｃ（ｔ，ｉ），ｌｐｃ（ｔ＋１，ｉ）のずれ量を算出する。ずれ量の単位は［Ｈｚ］で算出される。さらにＬＰＣスペクトルの周波数軸を対数スケールに変換した後、ずらしマッチングを行うようにすれば、全分析周波数帯域の音程分解能が均等になり、より高精度な分析ができる。ここで算出されたピッチ変化量Δｆｓを入力としてビブラート検出を行うことは容易である。
【数１８】
2008015212.tif 000022
【０１１６】
さらに、数式１８により算出されたピッチ変化量は、数式５と数式６により算出されたピッチ変化量と同様、信頼性の高いものとなる。数式１８により算出された信頼性の高いピッチ変化量ＩＩ（Δｆｓ）とピッチの差分により算出されたピッチ変化量Ｉ（Δｆｐ）の差Ｄｆを用いてピッチｆ（ｔ），ｆ（ｔ＋１）の信頼性を逆算することもできる（数式１９参照）。数式１９は、数式７と同じ形となっている。
【数１９】
2008015212.tif 000023
【０１１７】
次に、本発明における第二の実施形態について図３７〜図３９を参照して説明する。第二実施形態は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）上で動作する歌唱訓練／採点ソフトウェアである。
【０１１８】
図３７に示すように、第二実施形態の歌唱訓練／採点装置を構成するＰＣ５０は、周知のパーソナルコンピュータの一般的な構成からなり、文字や各種の操作指令などを入力するためのキーボード６１やマウス５９、入力された結果等を表示するモニタ６５を備えている。また、ＰＣ５０には、ＣＤ−ＲＯＭ６３の内容を読み取るＣＤ−ＲＯＭドライブ６２が搭載されている。
【０１１９】
また、ＰＣ５０は、中央演算処理装置としてのＣＰＵ５１を中心にバスにより相互に接続されたＲＯＭ５２、ＲＡＭ５３、表示画像メモリ５４、マウスインターフェース５８、キーボードインターフェース６０、ビデオコントローラ６４、及びＡ／Ｄ変換器６６を備えている。そして、マウスインターフェース５８にはマウス５９が接続され、キーボードインターフェース６０にはキーボード６１が接続され、ビデオコントローラ６４にはモニタ６５が接続されている。さらに、Ａ／Ｄ変換器６６には、マイク６７が接続されている。
【０１２０】
ＲＯＭ５２は、ＢＩＯＳ等の内蔵されている各種プログラム等を記憶する読み出し専用のメモリである。ＲＡＭ５３は、実行中のプログラムを一時的に記憶したり、各種データ等を記憶する読み出し・書き込み可能なメモリである。表示画像メモリ５４は、モニタ６５に表示する画像の画像データを記憶するメモリである。マウスインターフェース５８は、マウス５９とのデータ等のやりとりを司るインターフェースである。キーボードインターフェース６０は、キーボード６１からのキー入力を司るインターフェースである。ビデオコントローラ６４は、表示画像メモリ５４に記憶される表示画像データに基づいてモニタ６５における画像の表示を制御するコントローラである。Ａ／Ｄ変換器６６は、マイク６７より入力された音声信号をサンプリングしてＰＣ５０内に採り込む装置である。なお、このＡ／Ｄ変換器６６が請求項に言う音声信号入力手段に相当する。
【０１２１】
ＰＣ５０のオペレーティングシステム（ＯＳ）５６は、ハードディスクドライブ（ＨＤＤ）５５に記憶されており、ＰＣ５０に電源を投入すると、ＨＤＤ５５のブートブロックに書き込まれたローダに従ってＲＡＭ５３の所定の領域にロードされる。また、ＨＤＤ５５には、歌唱訓練／採点ソフトウェア５７が記憶されており、歌唱訓練／採点ソフトウェア５７が起動され、ＲＡＭ５３に読み込まれ、これをＣＰＵ５１が実行することにより、歌唱訓練処理や歌唱採点処理が行われる。尚、本実施形態においては歌唱訓練／採点ソフトウェア５７はＨＤＤ５５に記憶されているが、ＲＯＭ５２に記憶されていてもよいし、ＣＤ−ＲＯＭ６３に記憶され、ＣＤ−ＲＯＭドライブ６２から読み込まれて実行されるように構成してもよい。さらに、ＰＣ５０をネットワークに接続し、ネットワーク上のサーバから歌唱訓練／採点ソフトウェア５７をダウンロードして実行するようにしてもよい。
【０１２２】
マイク６７をコンピュータ５０に接続し、歌唱訓練／採点ソフトウェアを起動すると、歌唱訓練処理／歌唱採点処理が開始される。第二実施形態に示すソフトウェアは音程訓練モードと歌唱採点モードの２つのモードを持っており、歌唱者は２つのモードのうち１つを選択することができる。歌唱者は、マウス５９やキーボード６１などの入力装置を用いて音程訓練モードと歌唱採点モードどちらかを選択する。
【０１２３】
音程訓練モードでは、マイク６７より入力された歌唱者の音声はＡ／Ｄ変換器６６によりサンプリング周波数４８［ｋＨｚ］でサンプリングされ、ＲＡＭ５３に書き込まれる。ＲＡＭ５３の記憶領域は、第一実施形態におけるＲＡＭ９の記憶領域に加え、歌唱訓練／採点ソフトウェアが格納される記憶領域が存在する。ＲＡＭ５３に書き込まれた音声信号より合成相関関数が算出され、ＲＡＭ５３の合成自己相関関数記憶メモリに書き込まれる。次に、ＲＡＭ５３の合成自己相関関数記憶メモリと自己相関関数記憶メモリより合成自己相関関数と自己相関関数が読み出されピッチが計算され、算出されたピッチはＲＡＭ５３のピッチ記憶メモリに記憶される。これら合成自己相関関数及びピッチの算出手順は第一実施形態における図４〜図１１に示したものと全く同じであるので、図４〜図１１の説明を援用する。
【０１２４】
このようにして歌唱者の歌声から算出したピッチは、ＲＡＭ５３から読み出され、ＰＣ５０のモニタ６５に平均率音階と共に表示される。図３８は、歌唱者が音程訓練モードを利用して音程訓練を行っているときのモニタ６５の様子を示したものである。図３８において、トンボが歌唱者の音程（ピッチ）の高さ、水平方向に引かれた直線が平均率音階を示している。音程訓練モードでは、歌唱者の歌声から抽出されたピッチと平均率音階をリアルタイムで表示することで、音程の正確さを歌唱者にフィードバックすることができる。歌唱者は、Ａ４（４４０Ｈｚ）で歌った後、Ｅ５（６６０Ｈｚ）の音程で歌っている。歌唱者は音階に乗ったピッチで歌っているつもりでも、パソコンのディスプレイに表示してみるとＥ５の音程が微妙に低いことが分かる。
【０１２５】
このソフトウェアは第一実施形態の図１０に示した最低分析周波数５０［Ｈｚ］の合成自己相関関数を採用することで、５０［Ｈｚ］〜１７００［Ｈｚ］の約５オクターブ帯域のピッチを検出、表示することができる。合成自己相関関数を用いたピッチ抽出法は、音程分解能が高く、非常に細かな音程のずれを分析できる。聴覚が鍛えられたミュージシャンや音楽の先生にしか分からなかった"微妙に高い"，"微妙に低い"という違いを視覚的に表現することができる。これは合唱の音程訓練、バンドのヴォーカルの個人練習にも利用でき、歌唱者の歌の上達を補助することができる。単に歌唱者のピッチを表示するだけのシンプルなものでも、音程訓練用途としては十分役に立つ。
【０１２６】
本ソフトウェアを合唱・声楽のトレーニング用途として利用する場合は、基準となる音階はＡ４＝４４０［Ｈｚ］に合わせるのが好ましいときもあり、Ａ４＝４４２［Ｈｚ］に合わせるのが好ましいときもある。通常オーケストラなどで用いる基準音は伴奏に用いる楽器の構成によって変わってくる。また、ピアノ伴奏に合わせて歌うときのトレーニングでは、理論的な平均率音階とピアノの調律音階の差を埋めるために、ピアノの調律曲線を用いて歌唱者の歌声ピッチや基準となる音階を補正し、表示するのが良い場合もある。また、人の歌声だけで演奏するアカペラ曲の場合、平均率音階ではなく、純正率音階を基準線として用いるのが好ましい場合もある。本実施形態に示す音程訓練ソフトウェアの音程訓練モードは、これらの基準となる音階を適宜選択できるメニュー画面を持つ。メニュー画面はモニタ６５に表示され、音程訓練を行う歌唱者は、マウス５９やキーボード６１などの入力装置を用いて基準となる音階を選択できる。
【０１２７】
次に、歌唱採点モードでは、マイク６７より入力された歌唱者の音声はＡ／Ｄ変換器６６によりサンプリング周波数４８［ｋＨｚ］でサンプリングされ、ＲＡＭ５３に書き込まれる。ＲＡＭ５３の記憶領域は、第一実施形態におけるＲＡＭ９の記憶領域に加え、歌唱訓練／採点ソフトウェアが格納される記憶領域が存在する。ＲＡＭ５３に書き込まれた音声信号より合成相関関数が算出され、ＲＡＭ５３の合成自己相関関数記憶メモリに書き込まれる。本発明の第一実施形態に示したものと全く同じ手順で自己相関関数、合成自己相関関数、有声・無声判定結果、ピッチ、ピッチ変化量Ｉ、ピッチ変化量ＩＩ、ビブラート情報、瞬時得点、累積得点などが算出され、ＲＡＭ５３に書き込まれる。本ソフトウェアでは、第一実施形態で採点処理部（採点ＤＳＰ）１２が行っていた処理をＣＰＵ５１が担当する。採点処理手順は第一実施形態における図４〜図３５に示したものと全く同じであるので、図４〜図３５の説明を援用する。なお第二実施形態では、ＲＡＭ５３が請求項に言う「相関関数記憶手段」、「スペクトル記憶手段」、「合成相関関数記憶手段」、「ピッチ記憶手段」、「ビブラート記憶手段」、「ピッチ差分記憶手段」、「音程変化量記憶手段」及び「音程相関関数記憶手段」に相当する。また、図４におけるＳ１０の処理が請求項に言う「相関関数算出ステップ」及び「相関関数記憶ステップ」に相当し、Ｓ１０の処理を実行するＣＰＵ５１が「相関関数算出手段」に相当する。また、図４におけるＳ１１の処理が請求項に言う「スペクトル算出ステップ」、「スペクトル記憶ステップ」、「合成相関関数算出ステップ」及び「合成相関関数記憶ステップ」に相当し、Ｓ１１の処理を実行するＣＰＵ５１が「スペクトル算出手段」及び「合成相関関数算出手段」に相当する。また、図４におけるＳ１３の処理が請求項に言う「ピッチ抽出ステップ」、「ピッチ記憶ステップ」に相当し、Ｓ１３の処理を実行するＣＰＵ５１が「ピッチ抽出手段」に相当する。また、図４におけるＳ１４の処理が請求項に言う「ピッチ差分算出ステップ」及び「ピッチ差分記憶ステップ」に相当し、Ｓ１４の処理を実行するＣＰＵ５１が「ピッチ差分算出手段」に相当する。また、図４におけるＳ１５の処理が請求項に言う「音程変化量抽出ステップ」及び「音程変化量記憶ステップ」に相当し、Ｓ１５の処理を実行するＣＰＵ５１が「音程変化量抽出手段」に相当する。また、図４におけるＳ１６の処理が請求項に言う「ビブラート検出ステップ」及び「ビブラート記憶ステップ」に相当し、Ｓ１６の処理を実行するＣＰＵ５１が「ビブラート検出手段」に相当する。また、図１５におけるＳ１６１の処理及びＳ１６２の処理が請求項に言う「音程相関関数算出ステップ」及び「音程相関関数記憶ステップ」に相当し、Ｓ１６１及びＳ１６２を実行するＣＰＵ５１が「音程相関関数算出手段」に相当する。
【０１２８】
図３９は、本歌唱訓練／採点ソフトウェアの歌唱採点モードの実行画面である。このアプリケーションは、得点を算出するのと同時に歌声から抽出したピッチ波形（ＰＩＴＣＨ）とビブラート波形（ＴＲＥＭＯＬＯ）をリアルタイムで表示でき、さらにビブラートの美しさ、ビブラート回数などをリアルタイムで算出して表示する。なお、これら「ビブラート波形」、「ビブラートの美しさ」、「ビブラート回数」などをコンピュータに表示させる処理が請求項にいうビブラート表示ステップに相当する。ここで表示しているビブラート波形は、第一実施形態で説明した音程変化量Ｉまたは音程変化量ＩＩのことである。また、ビブラートの美しさとは第一実施形態の図２２・図２３で説明した相関係数の大きさである。
【０１２９】
本ソフトウェアを使用することで、歌唱者は歌の得点を知ると同時に、現在歌っているフレーズのビブラート形状とビブラートの美しさを目視で確認することができる。この機能を利用して歌唱者はビブラートの練習が可能である。以上の説明より、カラオケ装置上で動作するビブラート訓練装置やパソコン上で動作するビブラート訓練装置は容易に実現できることがわかる。なお、本実施例ではビデオコントローラ６が請求項に言う「表示制御手段」及び「ビブラート表示制御手段」に相当し、ディスプレイ３が請求項に言う「表示手段」に相当する。
【０１３０】
なお、これらの音程訓練機能・ビブラート訓練機能は本発明の第一実施形態におけるカラオケ装置の"練習モード"などにも応用できることは言うまでもない。カラオケ装置では、例えば、プロの歌手の歌声から抽出したピッチと歌唱者が歌ったときのピッチを同時に表示して、カラオケを練習する歌唱者の手助けをする練習ソフトを作ることもできる。また、前述のビブラート検出法によりプロの歌声から検出されたビブラート波形と、カラオケを歌っている歌唱者の歌声から検出されたビブラートを同時にモニタに表示するビブラート練習機能付きカラオケ装置なども容易に実現できる。
【産業上の利用可能性】
【０１３１】
本発明は、カラオケ装置に搭載されるカラオケ採点装置、合唱・声楽などのトレーニング用途としての歌唱訓練装置、及び歌唱力評価装置に利用することができる。
【図面の簡単な説明】
【０１３２】
【図１】本発明の第一実施形態におけるカラオケ装置の外観である。
【図２】本発明の第一実施形態におけるカラオケ装置のブロック図である。
【図３】ＲＡＭ９に確保される記憶領域を示す図である。
【図４】同カラオケ装置の採点処理部の動作を示すフローチャートである。
【図５】採点処理部１２のブロック図である。
【図６】自己相関関数の算出法を説明する図である。
【図７】自己相関関数を帯域毎に分割・合成することで音程分解能（周波数分解能）を向上させる方法を示す図である。
【図８】本ピッチ抽出法におけるピッチの２段探索法を示す図である。
【図９】合成自己相関関数法によるピッチ抽出における音程分解能と従来のピッチ抽出法における音程分解能を比較したものを示す図である。
【図１０】合成自己相関関数の最低分析周波数を７０［Ｈｚ］から５０［Ｈｚ］まで下げることにより音程分解能が向上することを示す図である。
【図１１】合成自己相関関数を用いたピッチ抽出手順の全貌を示す図である。
【図１２】本発明の実施形態における音程変化量（２通り）の算出手順を示すブロック図である。
【図１３】合成自己相関関数のずらしマッチングを用いた信頼性の高いピッチ変化量（音程変化量）算出法を示す図である。
【図１４】ピッチ差分から求めた（比較的信頼性の低い）ピッチ変化量を示す図である。
【図１５】本発明の実施形態におけるビブラート検出手順を示すフローチャートである。
【図１６】本発明の実施形態におけるビブラート判定手順を示すブロック図である。
【図１７】ビブラート歌唱区間とそれ以外の歌唱区間を含む歌声波形の図である。
【図１８】図１７の歌声波形から抽出したピッチ（音程）を示す図である。
【図１９】図１８のピッチの差分をとり算出した音程変化量波形の図である
【図２０】図１９のビブラートがかかっていない区間（区間Ａ）の切り出し波形から算出した自己相関関数を示す図である。
【図２１】図１９のビブラートがかかっている区間（区間Ｂ）の切り出し波形から算出した自己相関関数を示す図である
【図２２】図１９のピッチ変化量から算出した「正位相の相関係数」と「逆位相の相関係数」を示した図である。
【図２３】図２２の「正位相の相関係数」と「逆位相の相関係数」を合成したものを示す図を示す図である。
【図２４】本発明の実施形態における得点算出手順を示すフローチャートである。
【図２５】本発明の実施形態における得点算出手順を示すブロック図である。
【図２６】上手な人の歌声（プリファレンススコア：９６点）から抽出した音程を示す図である。
【図２７】下手な人の歌声（プリファレンススコア：２３点）から抽出した音程を示す図である。
【図２８】プロの歌手の歌声（プリファレンススコア：１２２点）から抽出した音程を示す図である。
【図２９】ビブラート歌唱区間とそれ以外の歌唱区間を分離して採点する本採点法の概念を示す図である。
【図３０】歌唱ピッチと平均率音階（１２音階）からの最小距離を示す図である。
【図３１】女性の歌声データから求めたプリファレンススコア（主観評価得点）と、本発明の実施形態で提供する距離尺度Ｄ（ｔ）の相関図である。
【図３２】男性の歌声データから求めたプリファレンススコア（主観評価得点）と、本発明の実施形態で提供する距離尺度Ｄ（ｔ）の相関図である。
【図３３】カラオケ音声データと人の主観による得点の採取手順を示す図である。
【図３４】距離尺度Ｄ（ｔ）と人の主観評価の平均点（データ採取：１日目）を示す図である。
【図３５】距離尺度Ｄ（ｔ）と人の主観評価の平均点（データ採取：２日目）を示す図である。
【図３６】ＬＰＣスペクトルのずらしマッチングを用いた音程変化量（ピッチ変化量）の算出方法を示す図である。
【図３７】本発明の第二実施形態における歌唱訓練／採点装置の概略構成を示すブロック図である。
【図３８】パソコン上で動作するピッチトレーニングソフトの表示画面の図である。
【図３９】ピッチ表示機能、ビブラート表示機能、ビブラートの美しさ算出機能を有するカラオケ採点ソフトウェアの表示画面の図である。
【符号の説明】
【０１３３】
１    カラオケ装置
２    マイク
３    ディスプレイ
４    ＡＭＰ
５    スピーカ
６    ビデオコントローラ
７    ミキサ（エフェクタ）
８    演奏装置
９    ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）
１２  採点処理部（採点ＤＳＰ）
１３  ピッチ抽出部
１４  ビブラート検出部
１５  得点算出部
１６  操作部
１７  Ａ／Ｄ変換部
１８  ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）
１９  ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）
５０  ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）
５１  ＣＰＵ
５２  ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）
５３  ＲＡＭ
５４  表示画像メモリ
５５  ＨＤＤ
５６  ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）
５７  歌唱訓練／採点ソフトウェア
５８  マウスインターフェース
５９  マウス
６０  キーボードインターフェース
６１  キーボード
６２  ＣＤ−ＲＯＭドライブ
６３  ＣＤ
６４  ビデオコントローラ
６５  モニタ
６６  Ａ／Ｄ変換器
６７  マイク
１３１    自己相関関数算出モジュール
１３２    合成自己相関関数算出モジュール
１３３    有声・無声判定モジュール
１３４    ピッチ抽出モジュール
１４１    ピッチ変化量Ｉ算出モジュール
１４２    ピッチ変化量ＩＩ算出モジュール
１４３    ビブラート検出モジュール
１４３Ａ  周期性算出モジュール
１４３Ｂ  正位相・逆位相合成モジュール
１４３Ｃ  ビブラート尺度算出モジュール
１５１    信頼性算出モジュール
１５２    瞬時得点算出モジュール
１５３    得点累積モジュール
【図１】
2008015212.tif 000024
【図２】
2008015212.tif 000025
【図３】
2008015212.tif 000026
【図４】
2008015212.tif 000027
【図５】
2008015212.tif 000028
【図６】
2008015212.tif 000029
【図７】
2008015212.tif 000030
【図８】
2008015212.tif 000031
【図９】
2008015212.tif 000032
【図１０】
2008015212.tif 000033
【図１２】
2008015212.tif 000034
【図１４】
2008015212.tif 000035
【図１５】
2008015212.tif 000036
【図１６】
2008015212.tif 000037
【図１８】
2008015212.tif 000038
【図１９】
2008015212.tif 000039
【図２０】
2008015212.tif 000040
【図２１】
2008015212.tif 000041
【図２２】
2008015212.tif 000042
【図２３】
2008015212.tif 000043
【図２４】
2008015212.tif 000044
【図２５】
2008015212.tif 000045
【図２６】
2008015212.tif 000046
【図２７】
2008015212.tif 000047
【図２９】
2008015212.tif 000048
【図３０】
2008015212.tif 000049
【図３１】
2008015212.tif 000050
【図３２】
2008015212.tif 000051
【図３３】
2008015212.tif 000052
【図３４】
2008015212.tif 000053
【図３５】
2008015212.tif 000054
【図３７】
2008015212.tif 000055
【図１１】
2008015212.tif 000056
【図１３】
2008015212.tif 000057
【図１７】
2008015212.tif 000058
【図２８】
2008015212.tif 000059
【図３６】
2008015212.tif 000060
【図３８】
2008015212.tif 000061
【図３９】
2008015212.tif 000062
【手続補正書】
【提出日】平成19年3月19日(2007.3.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータに、
音声信号入力手段より入力された音声信号の周波数分析を実行させスペクトルを算出さ
せるスペクトル算出ステップと、
当該スペクトル算出ステップを実行させて得られたスペクトルを順次スペクトル記憶手段に記憶させるスペクトル記憶ステップとを実行させ、
前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上
のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出さ
せることを特徴とする音程変化量抽出方法。
【請求項２】
前記スペクトル算出ステップでは、
音声信号入力手段より入力された音声信号の自己相関分析または相互相関分析を実行さ
せ相関関数を算出させる相関関数算出ステップと、
当該相関関数算出ステップを実行させて得られた相関関数を相関関数記憶手段に記憶さ
せる相関関数記憶ステップと、
前記相関関数記憶手段から読み出された相関関数を複数の周波数帯域毎の部分相関関数
に分割し、各帯域の部分相関関数を重ね合わせ合成することで高音域の周波数分解能を低
音域の周波数分解能で補い、高音域の周波数分解能を向上させた合成相関関数を算出させ
る合成相関関数算出ステップとを実行させ、
前記スペクトル記憶ステップでは、前記合成相関関数算出ステップを実行させて得られた合成相関関数を前記スペクトルとして前記スペクトル記憶手段に記憶させることを特徴とする請求項１に記載の音程変化量抽出方法。
【請求項３】
コンピュータに、
音声信号入力手段より入力された音声信号からピッチを抽出させるピッチ抽出ステップ
と、
当該ピッチ抽出ステップを実行させて得られたピッチを順次ピッチ記憶手段に記憶させるピッチ記憶ステップと、
前記ピッチ記憶手段より２つ以上のピッチを読み出し読み出された２つ以上のピッチの差分をとることにより音程変化量を算出させるピッチ差分算出ステップと、
前記ピッチ差分算出ステップを実行させて得られた音程変化量と請求項１または請求項２に記載の音程変化量抽出方法を実行させて得られた音程変化量とを比較して前記ピッチの信頼性を算出させるピッチの信頼性算出ステップとを実行させることを特徴とするピッチの信頼性算出方法。
【請求項４】
コンピュータに、
請求項１または請求項２に記載の音程変化量抽出方法を実行させて音声信号入力手段よ
り入力された音声信号から音程変化量を抽出させる音程変化量抽出ステップと、
当該音程変化量抽出ステップを実行させて得られた音程変化量を音程変化量記憶手段に
順次記憶させる音程変化量記憶ステップと、
前記音程変化量記憶手段より複数の音程変化量を読み出し、読み出された複数の音程変
化量により構成される一定区間長のフレームに対して自己相関分析または相互相関分析を
行うことで相関関数を算出させる音程相関関数算出ステップと、
当該音程相関関数算出ステップを実行して得られた相関関数を音程相関関数記憶手段に
記憶させる音程相関関数記憶ステップとを実行させ、
前記音程相関関数記憶手段より読み出された相関関数の特性を用いて入力音声中のビブ
ラート区間を検出させることを特徴とするビブラート検出方法。
【請求項５】
請求項４に記載のビブラート検出方法において、
前記音程相関関数記憶手段より読み出された相関関数の特性として相関関数を構成する
相関係数の一部（正位相の相関係数）と、当該相関係数に対する逆位相の相関係数とを利用し、
前記正位相の相関係数と前記逆位相の相関係数とを用いてビブラート検出を行うことを特徴とするビブラート検出方法。
【請求項６】
請求項５に記載のビブラート検出方法において、前記正位相の相関係数と前記逆位相の
相関係数を合成した相関係数を用いてビブラート検出を行うことを特徴とするビブラート
検出方法。
【請求項７】
請求項４乃至請求項６の何れかに記載のビブラート検出方法において、前記音程相関関
数記憶手段より読み出された相関関数を構成する相関係数の一部が一定しきい値を超えた
ときに、ビブラートと判定することを特徴とするビブラート検出方法。
【請求項８】
請求項４乃至請求項７の何れかに記載のビブラート検出方法において、前記相関関数に
より算出される相関の強さをビブラートの美しさとして算出することを特徴とするビブラ
ート検出方法。
【請求項９】
歌唱者が歌唱訓練を行うことを補助する歌唱訓練補助をコンピュータに実行させる歌唱
訓練プログラムにおいて、
音声信号入力手段より入力された音声信号に周波数分析を行いスペクトルを算出するス
ペクトル算出ステップと、
当該スペクトル算出ステップを実行して得られたスペクトルを順次スペクトル記憶手段に記憶するスペクトル記憶ステップと、
前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上
のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出す
る音程変化量抽出ステップと、
当該音程変化量抽出ステップを実行して得られた音程変化量を音程変化量記憶手段に順
次記憶する音程変化量記憶ステップと、
前記音程変化量記憶手段より複数の音程変化量を読み出し、読み出された複数の音程変
化量により構成される一定区間長のフレームに対して自己相関分析または相互相関分析を
行うことで相関関数を算出する音程相関関数算出ステップと、
当該音程相関関数算出ステップを実行して得られた相関関数を音程相関関数記憶手段に
記憶する音程相関関数記憶ステップと、
前記音程相関関数記憶手段より読み出された相関関数の特性を用いて入力音声中のビブ
ラート情報を抽出するビブラート検出ステップと、
当該ビブラート検出ステップを実行して得られたビブラート情報を表示手段に表示する
ビブラート表示ステップとを備え、
歌唱者の歌声から抽出したビブラート情報を確認できるようにしたことを特徴とする歌
唱訓練プログラム。
【請求項１０】
音声信号入力手段より入力された音声信号からピッチを抽出するピッチ抽出手段と、
当該ピッチ抽出手段を実施して得られたピッチを記憶するピッチ記憶手段と、
前記ピッチ記憶手段より２つ以上のピッチを読み出し読み出された２つ以上のピッチの差分をとることにより音程変化量を算出するピッチ差分算出手段と、
前記音声信号入力手段より入力された音声信号に周波数分析を行いスペクトルを算出す
るスペクトル算出手段と、
当該スペクトル算出手段により得られたスペクトルを記憶するスペクトル記憶手段と、
前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上
のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出す
る音程変化量抽出手段と、
当該音程変化量抽出手段により得られた音程変化量と、前記ピッチ差分算出手段により
得られた音程変化量とを比較して前記ピッチの信頼性を算出するピッチの信頼性計算手段とを備えることを特徴とする歌唱力評価機能を有するカラオケ装置。
【請求項１１】
音声信号入力手段より入力された音声信号に周波数分析を行いスペクトルを算出するス
ペクトル算出手段と、
当該スペクトル算出手段を実施して得られたスペクトルを記憶するスペクトル記憶手段
と、
前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上
のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出す
る音程変化量抽出手段と、
当該音程変化量抽出手段により得られた音程変化量を音程変化量記憶手段に順次記憶す
る音程変化量記憶手段と、
前記音程変化量記憶手段より複数の音程変化量を読み出し、読み出された複数の音程変
化量により構成される一定区間長のフレームに対して自己相関分析または相互相関分析を
行うことで相関関数を算出する音程相関関数算出手段と、
当該音程相関関数算出手段により得られた相関関数を記憶する音程相関関数記憶手段と
、
前記音程相関関数記憶手段より読み出された相関関数の特性を用いて入力音声中のビブ
ラート区間を検出するビブラート検出手段とを備えることを特徴とする歌唱力評価機能を
有するカラオケ装置。
【請求項１２】
請求項１１に記載のカラオケ装置において、
前記音程相関関数記憶手段より読み出された相関関数の特性として相関関数を構成する
相関係数の一部（正位相の相関係数）と、当該相関係数に対する逆位相の相関係数を利用
し、
前記正位相の相関係数と前記逆位相の相関係数を用いて入力音声中のビブラート区間を
検出するビブラート検出手段とを備えることを特徴とする歌唱力評価機能を有するカラオ
ケ装置。
【請求項１３】
歌唱者の歌唱訓練を補助する歌唱訓練補助機能を搭載したカラオケ装置において、
音声信号入力手段より入力された音声信号に周波数分析を行いスペクトルを算出するス
ペクトル算出手段と、
当該スペクトル算出手段を実施して得られたスペクトルを記憶するスペクトル記憶手段
と、
前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上
のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出す
る音程変化量抽出手段と、
当該音程変化量抽出手段により得られた音程変化量を音程変化量記憶手段に順次記憶す
る音程変化量記憶手段と、
前記音程変化量記憶手段より複数の音程変化量を読み出し、読み出された複数の音程変
化量により構成される一定区間長のフレームに対して自己相関分析または相互相関分析を
行うことで相関関数を算出する音程相関関数算出手段と、
当該音程相関関数算出手段により得られた相関関数を記憶する音程相関関数記憶手段と
、
前記音程相関関数記憶手段より読み出された相関関数の特性を用いて入力音声中のビブ
ラート区間を検出するビブラート検出手段と、
当該ビブラート検出手段により得られたビブラート情報を表示手段に表示するビブラー
ト表示制御手段とを備え、
歌唱者の歌声から抽出したビブラート情報を確認できるようにしたことを特徴とする歌
唱訓練補助機能を搭載したカラオケ装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音程変化量抽出方法、ピッチの信頼性算出方法、ビブラート検出方法、歌唱
訓練プログラム及びカラオケ装置に関する。
【背景技術】
【０００２】
現在市販されている殆ど全てのカラオケ装置には、カラオケ採点機能が付いている。従
来のカラオケ採点は、マイクから入力された歌唱者の歌声から抽出した音程（ピッチ）と
ガイドメロディの音程を比較して、その一致度に基づき得点を算出するというものである
。
【０００３】
ガイドメロディーと歌唱者の音程（ピッチ）を比較して音程の採点を行うカラオケ採点
法では、歌唱者が"ビブラート歌唱"を行った場合、得点が著しく低下する。無表情に直線
的な音程で歌った場合の得点が高くなり、人間の主観と異なった採点結果となる。ビブラ
ートとは、音程を上下に震わせて音に表情をつける技術で、上手な歌唱者はビブラートを
使うことが多い。人間の主観に近い採点アルゴリズムを作るためにはビブラート検出・加
点機能が必要である。この問題について顧みた結果、特許文献１〜特許文献３のビブラー
ト検出機能・加点機能を備えたカラオケ採点装置が発明されている。これらの文献には、
ビブラートは正弦波的な音程変化をすることを利用してビブラート判定を行うという概念
・検出方法・ビブラート加点方法が記載されている。
【特許文献１】特開２００４−１０２１４６号公報
【特許文献２】特開２００４−１３８６３４号公報
【特許文献３】特開２００５−１０７０８７号公報
【０００４】
特許文献１には、歌声データから音程変化を算出し、音程変化波形のピーク値、半値幅
、繰り返し周期などを基準としてビブラートか否かの判定を行うことが記載されている。
特許文献２には、歌声の音程とガイドメロディの差分をとり、その差分が正負反転するタ
イミングなどから音高波形の１周期を推定し、それを基にしてビブラート判定を行うこと
が記載されている。特許文献３には、歌唱ピッチデータの振幅の中央をゼロ点として、ゼ
ロクロス点の間隔から周期を求めている。その周期をもとにビブラート判定を行うことが
記載されている。
【０００５】
しかし、これらの文献に記載されているビブラート検出方法には以下の問題がある。特
許文献１〜特許文献３に示されるビブラート検出法は、ビブラート周期の判定基準として
、歌唱者の音程ピッチまたはピッチの差分が一定時間内にピークをとった回数（特許文献
１参照）や、正負反転した回数（特許文献２及び特許文献３参照）などの尺度を用いてビ
ブラート判定を行っているが、これらの単純な尺度では、例えば入力音声信号に高調波ノ
イズなどの外乱が侵入し、ピッチ抽出誤りが発生した場合、歌唱者がビブラートをかけて
いない部分でも、ビブラートをかけていると判定してしまう危険がある。特にカラオケ装
置は、ＡＭＰ・モニター・スピーカー・電源コードなどが密集したカラオケＢＯＸなどに
設置されるため、これらの単純な評価尺度を用いたビブラート検出法ではビブラート検出
回路が上手く動作せず採点結果に悪影響を与える問題がある。人間の主観評価と相関の強
い採点ができるカラオケ採点装置を作るためには、より信頼性の高い音程変化量抽出方法
・ビブラート検出方法が必要となる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は上記問題を解決するためになされたものであり、歌唱力採点に適した信頼性の
高い音程変化量抽出方法、ピッチの信頼性算出方法、信頼性の高いビブラート検出方法、
それらを応用した歌唱訓練プログラム及び人間の主観と相関の強い得点を算出できる歌唱
力評価機能を持つカラオケ装置を提供する。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の請求項１に記載の音程変化量抽出方法は、コンピ
ュータに、音声信号入力手段より入力された音声信号の周波数分析を実行させスペクトル
を算出させるスペクトル算出ステップと、当該スペクトル算出ステップを実行させて得ら
れたスペクトルを順次スペクトル記憶手段に記憶させるスペクトル記憶ステップとを実行させ、前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出させることを特徴とする。
【０００８】
また、本発明の請求項２に記載の音程変化量抽出方法は、請求項１に記載の発明の構成
に加え、前記スペクトル算出ステップでは、音声信号入力手段より入力された音声信号の自己相関分析または相互相関分析を実行させ相関関数を算出させる相関関数算出ステップと、当該相関関数算出ステップを実行させて得られた相関関数を相関関数記憶手段に記憶させる相関関数記憶ステップと、前記相関関数記憶手段から読み出された相関関数を複数の周波数帯域毎の部分相関関数に分割し、各帯域の部分相関関数を重ね合わせ合成することで高音域の周波数分解能を低音域の周波数分解能で補い、高音域の周波数分解能を向上させた合成相関関数を算出させる合成相関関数算出ステップとを実行させ、前記スペクトル記憶ステップでは、前記合成相関関数算出ステップを実行させて得られた合成相関関数を前記スペクトルとして前記スペクトル記憶手段に記憶させることを特徴とする。
【０００９】
また、本発明の請求項３に記載のピッチの信頼性算出方法は、コンピュータに、音声信
号入力手段より入力された音声信号からピッチを抽出させるピッチ抽出ステップと、当該
ピッチ抽出ステップを実行させて得られたピッチを順次ピッチ記憶手段に記憶させるピッチ記憶ステップと、前記ピッチ記憶手段より２つ以上のピッチを読み出し読み出された２つ以上のピッチの差分をとることにより音程変化量を算出させるピッチ差分算出ステップと、前記ピッチ差分算出ステップを実行させて得られた音程変化量と請求項１または請求項２に記載の音程変化量抽出方法を実行させて得られた音程変化量とを比較して前記ピッチの信頼性を算出させるピッチの信頼性算出ステップとを実行させることを特徴とする。
【００１０】
また、本発明の請求項４に記載のビブラート検出方法は、コンピュータに、請求項１ま
たは請求項２に記載の音程変化量抽出方法を実行させて音声信号入力手段より入力された
音声信号から音程変化量を抽出させる音程変化量抽出ステップと、当該音程変化量抽出ス
テップを実行させて得られた音程変化量を音程変化量記憶手段に順次記憶させる音程変化
量記憶ステップと、前記音程変化量記憶手段より複数の音程変化量を読み出し、読み出さ
れた複数の音程変化量により構成される一定区間長のフレームに対して自己相関分析また
は相互相関分析を行うことで相関関数を算出させる音程相関関数算出ステップと、当該音
程相関関数算出ステップを実行して得られた相関関数を音程相関関数記憶手段に記憶させ
る音程相関関数記憶ステップとを実行させ、前記音程相関関数記憶手段より読み出された
相関関数の特性を用いて入力音声中のビブラート区間を検出させることを特徴とする。
【００１１】
また、本発明の請求項５に記載のビブラート検出方法は、請求項４に記載のビブラート
検出方法において、前記音程相関関数記憶手段より読み出された相関関数の特性として相
関関数を構成する相関係数の一部（正位相の相関係数）と、当該相関係数に対する逆位相
の相関係数を利用し、前記正位相の相関係数と前記逆位相の相関係数を用いてビブラート
検出を行うことを特徴とする。
【００１２】
また、本発明の請求項６に記載のビブラート検出方法は、請求項５に記載のビブラート
検出方法において、前記正位相の相関係数と前記逆位相の相関係数を合成した相関係数を
用いてビブラート検出を行うことを特徴とする。
【００１３】
また、本発明の請求項７に記載のビブラート検出方法は、請求項４乃至請求項６の何れ
かに記載のビブラート検出方法において、前記音程相関関数記憶手段より読み出された相
関関数を構成する相関係数の一部が一定しきい値を超えたときに、ビブラートと判定する
ことを特徴とする。
【００１４】
また、本発明の請求項８に記載のビブラート検出方法は、請求項４乃至請求項７の何れ
かに記載のビブラート検出方法において、前記相関関数により算出される相関の強さをビ
ブラートの美しさとして算出することを特徴とする。
【００１５】
また、本発明の請求項９に記載の発明は、歌唱者が歌唱訓練を行うことを補助する歌唱
訓練補助をコンピュータに実行させる歌唱訓練プログラムにおいて、音声信号入力手段よ
り入力された音声信号に周波数分析を行いスペクトルを算出するスペクトル算出ステップ
と、当該スペクトル算出ステップを実行して得られたスペクトルを順次スペクトル記憶手段に記憶するスペクトル記憶ステップと、前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出する音程変化量抽出ステップと、当該音程変化量抽出ステップを実行して得られた音程変化量を音程変化量記憶手段に順次記憶する音程変化量記憶ステップと、前記音程変化量記憶手段より複数の音程変化量を読み出し、読み出された複数の音程変化量により構成される一定区間長のフレームに対して自己相関分析または相互相関分析を行うことで相関関数を算出する音程相関関数算出ステップと、当該音程相関関数算出ステップを実行して得られた相関関数を音程相関関数記憶手段に記憶する音程相関関数記憶ステップと、前記音程相関関数記憶手段より読み出された相関関数の特性を用いて入力音声中のビブラート情報を抽出するビブラート検出ステップと、当該ビブラート検出ステップを実行して得られたビブラート情報を表示手段に表示するビブラート表示ステップとを備え、歌唱者の歌声から抽出したビブラート情報を確認できるようにしたことを特徴とする歌唱訓練プログラムである。
【００１６】
また、本発明の請求項１０に記載の歌唱力評価機能を有するカラオケ装置は、音声信号入力手段より入力された音声信号からピッチを抽出するピッチ抽出手段と、当該ピッチ抽出手段を実施して得られたピッチを記憶するピッチ記憶手段と、前記ピッチ記憶手段より２つ以上のピッチを読み出し読み出された２つ以上のピッチの差分をとることにより音程変化量を算出するピッチ差分算出手段と、前記音声信号入力手段より入力された音声信号に周波数分析を行いスペクトルを算出するスペクトル算出手段と、当該スペクトル算出手段により得られたスペクトルを記憶するスペクトル記憶手段と、前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出された２つ以上のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化量を抽出する音程変化量抽出手段と、当該音程変化量抽出手段により得られた音程変化量と、前記ピッチ差分算出手段により得られた音程変化量とを比較して前記ピッチの信頼性を算出するピッチの信頼性計算手段とを備えることを特徴とする。
【００１７】
また、本発明の請求項１１に記載の歌唱力評価機能を有するカラオケ装置は、音声信号
入力手段より入力された音声信号に周波数分析を行いスペクトルを算出するスペクトル算
出手段と、当該スペクトル算出手段を実施して得られたスペクトルを記憶するスペクトル
記憶手段と、前記スペクトル記憶手段より２つ以上のスペクトルを読み出し、読み出され
た２つ以上のスペクトルをずらしながらマッチングするずらしマッチングにより音程変化
量を抽出する音程変化量抽出手段と、当該音程変化量抽出手段により得られた音程変化量
を音程変化量記憶手段に順次記憶する音程変化量記憶手段と、前記音程変化量記憶手段よ
り複数の音程変化量を読み出し、読み出された複数の音程変化量により構成される一定区
間長のフレームに対して自己相関分析または相互相関分析を行うことで相関関数を算出す
る音程相関関数算出手段と、当該音程相関関数算出手段により得られた相関関数を記憶す
る音程相関関数記憶手段と、前記音程相関関数記憶手段より読み出された相関関数の特性
を用いて入力音声中のビブラート区間を検出するビブラート検出手段とを備えることを特
徴とする。
【００１８】
また、本発明の請求項１２に記載の歌唱力評価機能を有するカラオケ装置は、請求項１
１に記載のカラオケ装置において、前記音程相関関数記憶手段より読み出された相関関数
の特性として相関関数を構成する相関係数の一部（正位相の相関係数）と、当該相関係数
に対する逆位相の相関係数を利用し、前記正位相の相関係数と前記逆位相の相関係数を用
いて入力音声中のビブラート区間を検出するビブラート検出手段とを備えることを特徴と
する。
【００１９】
また、本発明の請求項１３に記載の歌唱者の歌唱訓練を補助する歌唱訓練補助機能を搭
載したカラオケ装置は、音声信号入力手段より入力された音声信号に周波数分析を行いス
ペクトルを算出するスペクトル算出手段と、当該スペクトル算出手段を実施して得られた
スペクトルを記憶するスペクトル記憶手段と、前記スペクトル記憶手段より２つ以上のス
ペクトルを読み出し、読み出された２つ以上のスペクトルをずらしながらマッチングする
ずらしマッチングにより音程変化量を抽出する音程変化量抽出手段と、当該音程変化量抽
出手段により得られた音程変化量を音程変化量記憶手段に順次記憶する音程変化量記憶手
段と、前記音程変化量記憶手段より複数の音程変化量を読み出し、読み出された複数の音
程変化量により構成される一定区間長のフレームに対して自己相関分析または相互相関分
析を行うことで相関関数を算出する音程相関関数算出手段と、当該音程相関関数算出手段
により得られた相関関数を記憶する音程相関関数記憶手段と、前記音程相関関数記憶手段
より読み出された相関関数の特性を用いて入力音声中のビブラート区間を検出するビブラ
ート検出手段と、当該ビブラート検出手段により得られたビブラート情報を表示手段に表
示するビブラート表示制御手段とを備え、歌唱者の歌声から抽出したビブラート情報を確認できるようにしたことを特徴とする。
【発明の効果】
【００２０】
本発明の請求項１に記載の音程変化量抽出方法は、音程変化量の算出にスペクトルのず
らしマッチングを利用することにより特に外乱の影響に強い環境でも安定して音程変化量
を算出できる利点がある。この構成の音程変化量抽出方法は、例えばノイズや外乱の多い
カラオケＢＯＸなどに設置される歌唱力評価装置への搭載に有効である。
【００２１】
また、本発明の請求項２に記載の発明は、音程変化量の算出にスペクトルのずらしマッ
チングを利用することにより特に外乱の影響に強い環境でも安定して音程変化量を算出で
きる利点がある。この構成の音程変化量抽出方法は、例えばノイズや外乱の多いカラオケ
ＢＯＸなどに設置される歌唱力評価装置への搭載に有効である。
【００２２】
また、本発明の請求項３に記載のピッチの信頼性算出方法は、請求項１または請求項２
に記載のスペクトルのずらしマッチングにより算出した信頼性の高い音程変化量と、ピッ
チの差分として算出した比較的信頼性の低い音程変化量を比較することで、ピッチの信頼
性を逆算する方法を提供する。例えば本ピッチの信頼性算出方法を応用した歌唱力評価装
置ではピッチの信頼性を算出し、信頼性の低いピッチを歌唱力評価に用いない構成とする
ことで、歌唱力評価精度を高めることができる。
【００２３】
また、本発明の請求項４に記載のビブラート検出方法は、請求項１または請求項２に記
載のスペクトルのずらしマッチングを用いた信頼性の高い音程変化量抽出ステップを実行
して入力音声信号を抽出し、抽出された複数の音程変化量により構成されるフレームに対
して、さらに信頼性の高い自己相関分析または相互相関分析を行いビブラートを検出する
構成である。この構成のビブラート検出方法は、二重に信頼性を高めた構成であるため例
えばノイズや外乱の多い環境で使用される歌唱力評価装置への搭載に有効である。
【００２４】
また、本発明の請求項５に記載のビブラート検出方法は、請求項４に記載の発明の効果
に加え、正位相の相関係数と逆位相の相関係数とを用いることでさらに信頼性の高いビブラート検出を実現することができる。
【００２５】
また、本発明の請求項６に記載のビブラート検出方法は、請求項５に記載の発明の効果
に加え、正位相の相関係数と逆位相の相関係数を合成することで相関係数から突発的なノ
イズを除去することができさらに外乱の影響に強い信頼性の高いビブラート検出を実現す
ることができる。
【００２６】
また、本発明の請求項７に記載のビブラート検出方法は、請求項４乃至請求項６の何れ
かに記載のビブラート検出方法に加え、相関係数をしきい値と比較する簡単な回路構成で
ビブラート検出を行うことができる。
【００２７】
また、本発明の請求項８に記載のビブラート検出方法によれば、請求項４乃至請求項７
の何れかに記載のビブラート検出方法の副産物として算出された相関関数の相関の強さを
ビブラートの美しさとして利用することができる。
【００２８】
また、本発明の請求項９記載の歌唱訓練プログラムは、スペクトルのずらしマッチング
を用いた信頼性の高い音程変化量抽出ステップを実行して音程変化量を抽出し、抽出され
た複数の音程変化量により構成されるフレームに対して、さらに信頼性の高い自己相関分
析によるビブラート検出を行うことで二重に信頼性を高めたビブラート検出方法を歌唱訓
練プログラムに利用した構成である。特にノイズや外乱の多い環境でも歌唱訓練プログラ
ムを安定して使用することができる。
【００２９】
また、本発明の請求項１０に記載のカラオケ装置は、スペクトルのずらしマッチングに
より算出した信頼性の高い音程変化量と、ピッチの差分として算出した比較的信頼性の低
い音程変化量を比較することで、ピッチの信頼性を検出する機能を備える。カラオケ装置
に搭載される歌唱力評価機能は、ピッチの信頼性を算出し、例えば信頼性の低いピッチを
歌唱力評価に用いない構成とすることで、歌唱力評価精度を高めることができる。
【００３０】
また、本発明の請求項１１に記載の歌唱力評価機能を有するカラオケ装置は、スペクト
ルのずらしマッチングを用いた信頼性の高い音程変化量抽出ステップを実行して音程変化
量を抽出し、抽出された複数の音程変化量により構成されるフレームに対して、さらに信
頼性の高い自己相関分析によるビブラート検出を行うことで二重に信頼性を高めたビブラ
ート検出手段を採用した構成である。この構成のカラオケ装置は、特にノイズや外乱の多
い環境に設置される場合でも安定して高精度なビブラート検出ができ、ビブラート歌唱に
対応した高精度で信頼性の高い歌唱力評価が可能となる。
【００３１】
請求項１２に記載の歌唱力評価機能を有するカラオケ装置は、請求項１１に記載の発明
の構成に加え、正位相の相関係数と逆位相の相関係数を用いたさらに信頼性の高いビブラ
ート検出手段を搭載した構成である。この構成のカラオケ装置は、特にノイズや外乱の多
い環境に設置される場合でも安定して高精度なビブラート検出ができ、ビブラート歌唱に
対応した高精度で信頼性の高い歌唱力評価が可能となる。
【００３２】
また、本発明の請求項１３に記載の発明は、スペクトルのずらしマッチングを用いた信
頼性の高い音程変化量抽出ステップを実行して音程変化量を抽出し、抽出された複数の音
程変化量により構成されるフレームに対して、さらに信頼性の高い自己相関分析によるビ
ブラート検出を行うことで二重に信頼性を高めたビブラート検出手段を応用して、歌唱力
の向上を目指す歌唱者がビブラート歌唱を練習できる歌唱訓練補助機能を搭載したカラオ
ケ装置である。本発明により歌唱者は、聴覚が鍛えられたミュージシャンや音楽の先生に
しか分からなかった「自分の歌声にビブラートがかかっているか？」、「そのビブラート
はきれいかどうか？」などを視覚的に確認することができる。
【発明を実施するための最良の形態】
【００３３】
次に本発明を適用した実施の形態について図面を参照して詳しく説明する。まず本発明
の第一実施形態として、歌唱力評価装置を搭載したカラオケ装置について説明する。図１
は第一実施形態におけるカラオケ採点装置の外観である。図１に示すように、カラオケ装
置１にはマイク２、ディスプレイ３、ＡＭＰ４が接続されており、ＡＭＰ４にはスピーカ
５が接続されている。
【００３４】
図２は、カラオケ装置１の内部構造について説明したブロック図である。図２に示すよ
うに、カラオケ装置はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１９
を中心にした電子回路で構成される。ＣＰＵ１９はＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉ
ｖｅ）１８、ビデオコントローラ６、ミキサ７、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  
Ｍｅｍｏｒｙ）９、採点処理部１２に接続され、各機器の動作を制御する。マイク２は、
カラオケ装置１内部のＡ／Ｄ変換部１７に接続される。Ａ／Ｄ変換部１７は、ＲＡＭ９と
ミキサ７に接続される。ミキサ７は演奏装置８に接続されており、ミキサ７の出力を演奏
装置８を経由して外部のＡＭＰ４に伝える。ＲＡＭ９には、Ａ／Ｄ変換部１７、採点処理
部１２、ＣＰＵ１９が接続されている。ＲＡＭ９にはＡ／Ｄ変換部１７によりＡ／Ｄ変換
された音声信号、採点処理部１２により算出されたカラオケ採点結果などが記録される。
【００３５】
採点処理部１２は、ピッチ抽出部１３、ビブラート検出部１４、得点算出部１５から構
成され、ピッチ抽出部１３とビブラート検出部１４の出力を基に、得点算出部１５で得点
算出を行う構造になっている。
【００３６】
ＨＤＤ１８には、多数のカラオケ曲の背景映像、演奏データ、歌詞テロップ、その他の
情報が蓄えられている。操作部１６は、パネルスイッチや、リモコン受信回路から成り、
ユーザによる操作信号をＣＰＵ１９に伝える。歌い手が多数のカラオケ曲から特定の曲を
選択し操作部１６より入力すると、ＣＰＵ１９は、その信号を受けてＨＤＤ１８より該当
するカラオケ曲の演奏データを読み出し、ミキサに出力する。
【００３７】
一方、マイク２より入力された歌唱者の歌声は、Ａ／Ｄ変換部１７でサンプリングされ
、ミキサ７に送られる。ミキサ７はマイク２から入力された歌唱者の歌声とＨＤＤ１８よ
り読み出された演奏データを合成し、演奏装置８に出力する。合成された演奏データはＡ
ＭＰ４を経由してスピーカ５から出力される。同時に、ＣＰＵ１９は背景映像および歌詞
テロップをビデオコントローラ６に送る。歌詞テロップは、演奏と同期してディスプレイ
３に表示され、現在演奏されている歌詞テロップの色が変化していく。歌唱者は歌詞テロ
ップを見ながら伴奏に従って歌を歌う。この一連の動作制御はＣＰＵ１９が担当している
。なお、ビデオコントローラ６が請求項に言う「表示制御手段」及び「ビブラート表示制
御手段」に相当し、ディスプレイ３が請求項に言う「表示手段」に相当する。
【００３８】
次に、採点処理部１２の動作について説明する。カラオケ装置に付属するカラオケ採点
機能を使用するかどうかは歌唱者の意思に委ねられる。カラオケ採点を希望する歌唱者は
操作部１６を操作して、採点機能をＯＮにする。歌唱者のカラオケ歌唱が始まると、ＣＰ
Ｕ１９は採点処理部１２に採点開始指示を与える。採点開始指示を与えられた採点処理部
１２はカラオケ採点を開始する。マイク２より入力された歌唱者の歌声は、Ａ／Ｄ変換部
１７によりサンプリングされ、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）に
よりＲＡＭ９に音声信号として記録される。ピッチ抽出部１３はＲＡＭ９から音声信号を
読み出し、ピッチを算出する。同時に、ビブラート検出部１４はＲＡＭ９から音声信号を
読み出し、ビブラートを検出する。得点算出部１５はピッチ抽出部１３より検出されたピ
ッチ情報と、ビブラート検出部１４により検出されたビブラート情報に基づき、得点を算
出する。算出された得点は、採点結果としてＲＡＭ９に書き込まれる。なお、このＡ／Ｄ
変換部１７が請求項に言う音声信号入力手段に相当する。
【００３９】
演奏終了後、ＣＰＵ１９が採点終了指示を採点処理部１２に与えると、カラオケ採点処
理は終了する。ＣＰＵ１９はＲＡＭ９から読み出した採点結果をビデオコントローラ６に
送る。採点結果はディスプレイ３に表示され、歌唱者は歌の採点結果を確認し一喜一憂す
る。なお、本実施形態では演奏終了後に得点をディスプレイ３に表示しているが、これに
限らず歌唱者が歌い始めてから現時点までの中間得点を順次ディスプレイに表示していき
歌唱者が歌いながら得点を確認できる構造にしても良い。
【００４０】
第一実施形態では、採点処理部１２は、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒ
ｏｃｅｓｓｏｒ）と採点処理を行う採点専用ファームウェアによって構成される。通常の
カラオケ採点装置ではＤＳＰはピッチ算出のみに用いられ、採点処理はＣＰＵが行う構成
が多かったが、本実施形態では採点に関わる殆ど全ての処理をＤＳＰ（採点処理部）が担
当する。この構成により、採点回路設計の自由度が格段に向上すると共に非常に詳細な分
析が可能となる。
【００４１】
次に、ＲＡＭ９に設定される記憶領域について、図３を参照して説明する。音声信号記
憶メモリ９Ａは、Ａ／Ｄ変換部１７によりＡ／Ｄ変換された音声信号を記憶する領域であ
る。自己相関関数記憶メモリ９Ｂは、採点処理部１２内部にあるピッチ抽出部１３で算出
される自己相関関数を記憶する領域である。合成自己相関関数記憶メモリ９Ｃは、ピッチ
抽出部１３で算出される合成自己相関関数を記憶する領域である。有声・無声判定結果記
憶メモリ９Ｄは、ＲＡＭ９より読み出された切り出し音声フレームが有声音か？無声音か
？判定した結果を記憶する領域である。ピッチ記憶メモリ９Ｅは、ピッチ抽出部１３で算
出されるピッチを記憶する領域である。ピッチ変化量Ｉ記憶メモリ９Ｆは、ビブラート検
出部１４により算出されたピッチ変化量Ｉを記憶する領域である。ピッチ変化量ＩＩ記憶
メモリ９Ｇは、ビブラート検出部１４により算出されたピッチ変化量ＩＩを記憶する領域
である。ビブラート情報記憶メモリ９Ｈは、ビブラート検出部１４により算出されたビブ
ラート情報を記憶する領域である。瞬時得点記憶メモリ９Ｉは、得点算出部１５により算
出された瞬時得点を記憶する領域である。累積得点記憶メモリ９Ｊは、得点算出部１５に
より算出された累積得点を記憶する領域である。ビブラート比率記憶メモリ９Ｋは、採点
におけるビブラートの寄与度を記憶する領域である。ワークメモリ９Ｗは、採点処理部が
、採点処理の一時記憶などに使用する領域である。なお、この自己相関関数記憶メモリ９
Ｂが請求項に言う「相関関数記憶手段」に相当する。また合成相関関数記憶メモリ９Ｃが
請求項にいう「スペクトル記憶手段」及び「合成相関関数記憶手段」に相当する。また、
ピッチ記憶メモリ９Ｅが請求項に言う「ピッチ記憶手段」に相当し、ビブラート情報記憶
メモリ９Ｈが請求項にいう「ビブラート記憶手段」に相当する。また、ピッチ変化量Ｉ記
憶メモリ９Ｆが請求項にいう「ピッチ差分記憶手段」に相当し、ピッチ変化量ＩＩ記憶メ
モリ９Ｇは請求項にいう「音程変化量記憶手段」に相当する。また、ワークメモリ９Ｗが
請求項に言う「音程相関関数記憶手段」に相当する。
【００４２】
図４は、採点処理部１２で行われる採点動作手順について説明したフローチャート、図
５は採点処理部１２のブロック図である。採点処理部１２の動作について、図３、図４、
図５を参照して説明する。採点処理部１２は、ピッチ抽出部１３、ビブラート検出部１４
、得点算出部１５より構成される。
【００４３】
まず、ピッチ抽出部１３の動作について図４に示すフローチャートを参照して説明する
。自己相関関数算出モジュール１３１は、ＲＡＭ９の音声信号記憶メモリ９Ａより読み出
された音声信号を基に自己相関関数を算出し、ＲＡＭ９の自己相関関数記憶メモリ９Ｂに
書き込む（Ｓ１０）。合成自己相関関数算出モジュール１３２は、ＲＡＭ９の自己相関関
数記憶メモリ９Ｂから読み出された自己相関関数を基に合成自己相関関数を算出し、ＲＡ
Ｍ９の合成自己相関関数記憶メモリ９Ｃに書き込む（Ｓ１１）。なお、合成自己相関関数
の詳細については後述する。有声・無声判定モジュール１３３は、ＲＡＭ９の自己相関関
数記憶メモリ９Ｂから読み出された自己相関関数を基に「入力音声が有声音か無声音か？
」の判定を行い、判定結果をＲＡＭ９の有声・無声判定結果記憶領域９Ｄに書き込む（Ｓ
１２）。ピッチ抽出モジュール１３４は、ＲＡＭ９の自己相関関数記憶メモリ９ＢとＲＡ
Ｍ９の合成自己相関関数記憶メモリ９Ｃから、自己相関関数と合成自己相関関数を読み出
し、これらを基にピッチ抽出を行い、検出されたピッチをＲＡＭ９のピッチ記憶メモリ９
Ｅに書き込む（Ｓ１３）。上述Ｓ１０〜Ｓ１３までの処理をピッチ抽出部１３が担当する
。なお、上記Ｓ１０の処理が請求項に言う「相関関数算出ステップ」及び「相関関数記憶
ステップ」に相当し、Ｓ１０の処理を実行する採点処理部（ＤＳＰ）１２が「相関関数算
出手段」に相当する。また、上記Ｓ１１の処理が請求項に言う「スペクトル算出ステップ
」、「スペクトル記憶ステップ」、「合成相関関数算出ステップ」及び「合成相関関数記
憶ステップ」に相当し、Ｓ１１の処理を実行する採点処理部（ＤＳＰ）１２が「スペクト
ル算出手段」及び「合成相関関数算出手段」に相当する。また、上記Ｓ１３の処理が請求
項に言う「ピッチ抽出ステップ」、「ピッチ記憶ステップ」に相当し、Ｓ１３の処理を実
行する採点処理部（ＤＳＰ）１２が「ピッチ抽出手段」に相当する。
【００４４】
次に、ビブラート検出部１４の処理について説明する。ピッチ変化量Ｉ算出モジュール
１４１は、ＲＡＭ９のピッチ記憶メモリ９Ｅより読み出されたピッチを基にピッチ変化量
Ｉを算出しＲＡＭ９のピッチ変化量Ｉ記憶メモリ９Ｆに書き込む（Ｓ１４）。ピッチ変化
量ＩＩ算出モジュール１４２は、ＲＡＭ９の合成自己相関関数記憶メモリ９Ｃより読み出
された合成自己相関関数を基にピッチ変化量ＩＩを算出し、ＲＡＭ９のピッチ変化量ＩＩ
記憶メモリ９Ｇに書き込む（Ｓ１５）。ビブラート検出モジュール１４３は、ＲＡＭ９の
ピッチ変化量ＩＩ記憶メモリ９Ｇより読み出されたピッチ変化量ＩＩを基にビブラート検
出を行い、ビブラート検出結果をＲＡＭ９のビブラート情報記憶メモリに書き込む（Ｓ１
６）。ビブラート検出モジュールの動作の詳細については後述する。上述Ｓ１４〜Ｓ１６
までの処理をビブラート検出部１４が担当する。なお、上記Ｓ１４の処理が請求項に言う
「ピッチ差分算出ステップ」及び「ピッチ差分記憶ステップ」に相当し、Ｓ１４の処理を
実行する採点処理部（ＤＳＰ）１２が「ピッチ差分算出手段」に相当する。また、上記Ｓ
１５の処理が請求項に言う「音程変化量抽出ステップ」及び「音程変化量記憶ステップ」
に相当し、Ｓ１５の処理を実行する採点処理部（ＤＳＰ）１２が「音程変化量抽出手段」
に相当する。また、上記Ｓ１６の処理が請求項に言う「ビブラート検出ステップ」及び「
ビブラート記憶ステップ」に相当し、Ｓ１６の処理を実行する採点処理部（ＤＳＰ）１２
が「ビブラート検出手段」に相当する。
【００４５】
得点算出部１５は、ＲＡＭ９の有声・無声判定結果記憶メモリ９Ｄ、ピッチ記憶メモリ
９Ｅ、ピッチ変化量Ｉ記憶メモリ９Ｆ、ピッチ変化量ＩＩ記憶メモリ９Ｇ、ビブラート情
報記憶メモリ９Ｈより、それぞれ有声・無声判定結果、ピッチ、ピッチ変化量Ｉ、ピッチ
変化量ＩＩ、ビブラート検出結果を読み出し、これらを基に得点算出を行う（Ｓ１７）。
処理Ｓ１７により得られた得点算出結果は、ＲＡＭ９の瞬時得点記憶メモリ９Ｉ、累積得
点記憶メモリ９Ｊに書き込まれる。これら一連の採点処理は、ＣＰＵ１９から採点終了指
示を受ける（Ｓ１８）ことで終了する。
【００４６】
以下、ピッチ抽出部１３、ビブラート検出部１４、得点算出部１５の動作とその物理的
意味について詳細に説明する。ピッチ抽出部１３では、低音のピッチ抽出に有利な自己相
関関数法を歌唱ピッチ抽出用に改良して用いる。
【００４７】
図６は自己相関関数によるピッチ抽出法について説明したものである。第一実施形態で
は、マイク２より入力された歌唱音声は、Ａ／Ｄ変換器１７によりサンプリング周波数  
４８［ｋＨｚ］でサンプリングされ、ＲＡＭ９の音声信号記憶メモリ９Ａに書き込まれる
。採点処理部１２は、ＲＡＭ９の音声信号記憶メモリ９Ａから、１回の分析につき１４４
０［ｐｏｉｎｔ］の分析フレームを切り出し分析を行う。自己相関関数法では、『分析フ
レーム：Ｆ０＝｛ｘ（１），ｘ（２），…，ｘ（Ｎ）｝』と『分析フレームをｉ［ｐｏｉ
ｎｔ］ずらしたもの：Ｆｉ＝｛ｘ（ｉ），ｘ（１＋ｉ），…，ｘ（Ｎ＋ｉ）｝』の相関を
求める。相関値Ｒ（０，ｉ）を計算する式の一例を数式１に示す。
【数１】
2008015212.tif 000063
【００４８】
自己相関関数法では、Ｆ０とＦｉのずれ量ｉを１〜Ｎ［ｐｏｉｎｔ］まで変化させ、相
関値（類似度）Ｒ（０，ｉ）を順次算出していく。このようにして算出された自己相関関
数Ｒ（０，ｉ）は、メモリ９の自己相関関数記憶メモリ９Ｂに書き込まれる。
【００４９】
通常の自己相関関数を用いたピッチ抽出法では、ピッチ（基本周波数）ｆは、相関値Ｒ
（０，ｉ）を利用して数式２により算出される。数式２は、ずれ量ｉを順次変化させてい
ったときの相関値  Ｒ（０，ｉ）が最大になるずれ量ａｒｇｍａｘｉ｛Ｒ（０，ｉ）｝を
音声信号の基本周期として検出し、サンプリング周波数４８０００［Ｈｚ］を基本周期で
割ったものをピッチとして算出するという意味である。
【数２】
2008015212.tif 000064
【００５０】
表１（ａ）〜表１（ｃ）は自己相関関数法において、基本周期ｉのときに計算されるピ
ッチｆｉを示したものである。表１（ａ）〜表１（ｃ）が示すように、自己相関関数法は
、低音域の音程分解能（周波数分解能）が細かくなり高音域の音程分解能が粗くなる特徴
をもつ。
【表１】
2008015212.tif 000065
【００５１】
図７（ａ）は男性歌唱者が発声したＡ４（４４０［Ｈｚ］）の歌声に自己相関分析を行
ったものである。自己相関関数は、周波数４４０［Ｈｚ］付近で最大値をとっている。一
方、２２０［Ｈｚ］付近，１１０［Ｈｚ］付近，４４０［Ｈｚ］付近でも自己相関関数は
極大値をとっている。これは、楽音（歌声）には"倍音"が存在するためである。例えば、
Ａ２（１１０Ｈｚ）で発声した歌声は、Ａ３（２２０Ｈｚ）の倍音やＡ４（４４０Ｈｚ）
の倍音を多く含む。
【００５２】
会話認識用途のピッチ抽出では、４４０［Ｈｚ］として検出すべきものを２２０［Ｈｚ
］／８８０［Ｈｚ］と誤って検出する半ピッチ／倍ピッチ誤りが問題となるが、カラオケ
採点用途のピッチ抽出では、半ピッチ／倍ピッチ誤りは大した問題ではないと考える。以
下その理由について説明する。４４０［Ｈｚ］を音階で表すと"Ａ４"である。２２０［Ｈ
ｚ］はＡ４より１オクターブ低い"Ａ３"、８８０［Ｈｚ］はＡ４より１オクターブ高い"
Ａ５"で、何れもＡ（ラ）の音である。カラオケでは、女性が男性歌手の歌を１オクター
ブ高い音程で歌うことがある。さらに、ガイドメロディーのピッチは歌唱者に聞き取り易
くするために原曲の１オクターブ上に設定してあることが多い。歌唱者のピッチとガイド
メロディは１オクターブ異なることもあるし、同じ音程となることもある。従って、カラ
オケ採点にはオクターブ情報は不要である。歌唱者が発声した音程が"Ａ４（４４０［Ｈ
ｚ］）なのか？"，"Ａ３（２２０［Ｈｚ］）なのか？"は問題では無く、音程がＡである
ことが分かれば十分である。
【００５３】
次に自己相関関数の音程分解能を向上させる方法について図７を参照して説明する。自
己相関関数を用いて分析された約４オクターブの帯域を、〔１〕７０〜１５０［Ｈｚ］帯
域、〔２〕１４０〜３００［Ｈｚ］帯域、〔３〕２８０〜６００［Ｈｚ］帯域、〔４〕５
６０〜１２００［Ｈｚ］帯域の４帯域（それぞれ１オクターブ強の帯域）に分割する（図
７（ａ）参照）。次に、〔１〕，〔２〕，〔３〕，〔４〕の各帯域の自己相関関数を加算
・合成する（図７（ｂ）参照）。図７（ｂ）の一部を拡大したものが図７（ｃ）である。
〔１〕の帯域では自己相関関数のポイント数が多く、〔４〕の範囲ではポイント数が少な
い。〔２〕〜〔４〕に、線形補間を行うことで、ポイント数の格差を無くしてから合成す
る。この方法は、高音域（例えば〔４〕）のポイント数を、低音域（〔１〕）のポイント
数で補うことになるため、高音域でピッチ抽出時の音程分解能が粗くなる問題を解消でき
る。さらに、自己相関関数を"補強"するため、突発的なノイズに強いピッチ抽出が可能と
なる。この合成した自己相関関数（以下、合成自己相関関数と記す）が最大値（または、
極大値・極小値・極値）をとる周波数（音程）をピッチ周波数ｆとして検出する。なお、
この合成処理によって生成された合成自己相関関数は１オクターブ強の周波数帯域を持つ
スペクトルとなる。従って、本実施形態における合成自己相関関数からは１オクターブ強
の帯域に整理されたピッチが抽出される。
【００５４】
図７（ｂ）に示す合成自己相関関数は音階毎の音声パワーの強さを示したものと考える
ことができる。図７（ｂ）の例では、パワーは"Ａ"と"Ｇ＃"の中間で最大値をとり、歌唱
者は『Ａ（ラ）より微妙に低い音程』で発声していることが分かる。合成自己相関関数を
用いることで、音程分解能の高い歌唱力評価用のピッチ抽出を実現できる。
【００５５】
しかし、前述の合成自己相関関数が最大値（または、極大値・極小値・極値）をとる周
波数（音程）をピッチとする方法では、フォルマント（声道の共振特性）の影響によりピ
ッチの誤検出が起きる場合がある。この現象について説明する。図８（ａ）は男性低音系
歌唱者の歌声から自己相関関数を算出した例である。この音程はＡ２＃で、自己相関関数
法により正しくピッチを求めることができる。一方、図８（ｂ）は合成自己相関関数と〔
１〕７０〜１５０［Ｈｚ］帯域の自己相関関数を重ね書きしたものである。自己相関関数
を合成することにより、フォルマント（声道の共振特性）の影響を受け、誤ったピッチ（
Ｄ）を検出していることが分かる。
【００５６】
声が低い場合や声に厚みがある（倍音が多い）場合はフォルマントの影響によりピッチ
の誤検出が起き易くなる。図８（ｂ）には、この問題を回避する方法についても説明して
いる。（ａ）自己相関関数からピッチｆを求めた後、（ｂ）合成自己相関関数が最大とな
る周波数をｆ±Δの範囲で最探索し、ピッチｆ’として求め直す『２段探索』を用いてピ
ッチ抽出する。２段探索を用いることで、フォルマントの影響によるピッチ誤検出を回避
できる。第一実施形態では、このようにして計算されたピッチｆがＲＡＭ９のピッチ記憶
メモリ９Ｅに書き込まれる。同様に合成自己相関関数はＲＡＭ９の合成自己相関関数記憶
メモリ９Ｃに書き込まれる。
【００５７】
図９には、合成自己相関関数をピッチ抽出に用いたときの音程分解能を示す。比較のた
め、自己相関関数法と高速フーリエ変換法の音程分解能も示す。合成自己相関関数は、（
ｙ）半音階の１／１０の音程分解能境界よりさらに細かい音程分解能を持ち、半音階を１
８〜３７等分することができる。従来のピッチ抽出法との検出精度の違いを例を用いて説
明する。例えば、高速フーリエ変換法では、歌唱者が１００［Ｈｚ］付近の低い音程で歌
った場合、音程分解能は３００［ｃｅｎｔ］程度となる。１００［ｃｅｎｔ］は半音の差
で、例えば『ド』と『ド＃』の違いである。３００［ｃｅｎｔ］は半音階の３倍である。
つまり、高速フーリエ変換によるピッチ抽出では、低音系男性歌唱者が『ド』で歌ってい
るのか『ド＃』で歌っているのかさえ判別できない。これに対し、本実施形態で示す合成
自己相関関数は周波数帯域に関わらず、半音階を最低１８分割して分析することが可能で
ある。『微妙に高いド＃』とか『微妙に低いド＃』を表現できる。
【００５８】
次に、歌唱者の歌声が有声音か無声音か判別する方法について簡単に説明する。人間の
声には有声音と無声音があるが、一般的に無声音からはピッチを算出することはできない
ことが知られている。このため、ピッチを算出する前に有声音・無声音判定を行う必要が
ある。有声・無声は、数式１で使用する自己相関関数の比Ｒ（０，ｉｍａｘ）／Ｒ（０，
０）を用いて簡単に判定できる。Ｒ（０，ｉｍａｘ）／Ｒ（０，０）が一定しきい値より
大きければ有声音、一定しきい値より小さければ無声音と判定する。本実施形態では、無
声音はピッチの信頼度が低いため歌唱力評価には用いない。また、有声・無声判定法とし
ては、自己相関関数の比に限らずゼロクロス法などの他の公知な有声・無声判定技術を用
いることもできる。
【００５９】
なお、本実施形態では、自己相関関数で分析する周波数帯域をカラオケ採点で必要と考
えられる４オクターブ（７０［Ｈｚ］〜１２００［Ｈｚ］）の範囲とし、〔１〕７０〜１
５０［Ｈｚ］帯域、〔２〕１４０〜３００［Ｈｚ］帯域、〔３〕２８０〜６００［Ｈｚ］
帯域、〔４〕５６０〜１２００［Ｈｚ］帯域の４帯域（それぞれ１オクターブ強の帯域）
に分割しているが、これに限らず、分析帯域は必要に応じて自由に変更することができる
。
【００６０】
例えば、世界屈指のアカペラグループのベースヴォーカルはＡ１（５５Ｈｚ）を発声す
ることができ、高音域を得意とする一部の女性ヴォーカルはＡ６（１７６０Ｈｚ）付近の
高音を含む旋律を歌うという事実もある。これらを考慮に入れて、５０［Ｈｚ］〜１７６
０［Ｈｚ］の帯域を分析する特別仕様の歌唱力評価システムを作ることもできる。この場
合、例えば人間の発声する音程を５０［Ｈｚ］〜１７００［Ｈｚ］の約５オクターブとし
て各分析帯域を、〔１〕５０〜１２０［Ｈｚ］帯域、〔２〕１００〜２４０［Ｈｚ］帯域
、〔３〕２００〜４８０［Ｈｚ］帯域、〔４〕４００〜９６０［Ｈｚ］帯域、〔５〕８０
０〜１９２０［Ｈｚ］帯域の５帯域に分割する。この方法では分析帯域を広げられるだけ
ではなく、音程分解能が飛躍的に向上する利点がある。図１０は、分析帯域を５０［Ｈｚ
］〜１７６０［Ｈｚ］としたときの音程分解能と、分析帯域を７０［Ｈｚ］〜１２００［
Ｈｚ］としたときの音程分解能を比較したものを示す。最低分析周波数を７０［Ｈｚ］か
ら５０［Ｈｚ］まで下げると音程分解能は２．５［ｃｅｎｔ］から１．８［ｃｅｎｔ］に
改善され、より細かい分析ができるようになる。
【００６１】
また、本実施形態ではサンプリング周波数４８０００［Ｈｚ］のＡ／Ｄ変換器１７を使
用した例を示しているが、例えばサンプリング周波数を９６０００［Ｈｚ］に変更しても
音程分解能を向上させることができる。例えば、プロ志向の歌唱者の歌声を分析する場合
には、最低分析周波数を下げる、サンプリング周波数を向上させるなどの調整をすること
が好ましい。ただし、最低分析周波数を下げたり、サンプリング周波数を上げたりすると
分析時間が長くかかることから、これらのパラメータはハードウェアの性能と、分析する
歌唱者のレベルを考慮に入れて適宜決定する必要がある。
【００６２】
なお、本実施形態では数式１に示した自己相関関数を用いてピッチ抽出を行っているが
、これに限らず、例えば数式１を数式３に置き換えることも可能である。数式３はユーク
リッド距離と呼ばれる尺度である。数式１を用いた実施形態では、「相関値Ｒ（０，ｉ）
が最大値（または極大値）をとるずれ量」を分析フレームの基本周期と判定しピッチ抽出
を行っていたが、これを数式３に置き換えた場合は「ユークリッド距離Ｒ（０，ｉ）が最
小値（または極小値）をとるずれ量」を分析フレームの基本周期と判定しピッチ抽出を行
うことができる。ここでいう相関関数は、数式１に限らず「切り出しフレーム同士のずら
し量を変化させて２フレームの相関（類似度）または距離（非類似度）を調べる関数」の
ことである。
【数３】
2008015212.tif 000066
【００６３】
また、本ピッチ抽出法の実施形態では、周波数帯域毎に分割した自己相関関数の重ね合
わせにより音程分解能の細かいピッチ抽出法を実現したが、これは例えば隣り合うフレー
ム同士の相関を算出する相互相関関数の重ね合わせでも実現できることは言うまでもない
。
【００６４】
これまで説明してきた、合成自己相関によるピッチ抽出手順の全貌を図１１に示す。採
点処理部１２は、ＲＡＭ９の音声信号記憶メモリ９Ａより音声信号を読み出す（図１１（
ａ）参照）。次に、読み出した音声信号から約３０［ｍｓ］のフレームを切り出す（図１
１（ｂ）参照）。図１１（ｃ）が切り出した音声信号フレームから算出された自己相関関
数である。図１１（ｄ）では、自己相関関数を４つの帯域に分割しこれらを重ね合わせる
ことで合成自己相関関数を求めている。図１１（ｅ）は合成自己相関関数の時系列データ
を９０度回転させて（図１１（ｆ）参照）音程毎のパワーの強さを色の濃さとして表現し
たものである。これは一種のソナグラムで音程毎のパワーの強さが時間の経過と共に変化
していく様子を観察するのに適している。図１１（ｇ）は合成自己相関関数から求めたピ
ッチ周波数（音階）である。本手法により、音程分解能が非常に細かい歌唱力評価用のピ
ッチ抽出が実現する。
【００６５】
次に、ピッチ変化量算出方法について図１２を参照して説明する。ピッチ抽出部１３は
ピッチと合成自己相関関数を算出し、結果をＲＡＭ９に書き込む。ピッチ変化量は、ピッ
チの差分として求める方法と合成自己相関関数のずらしマッチングを用いて求める方法の
２通りがある。ピッチ変化量Ｉ算出モジュール１４１では、ＲＡＭ９のピッチ記憶メモリ
９Ｅより読み出されたピッチを２フレーム分バッファリングし、現在のピッチｆ（ｔ＋１
）と一分析フレーム過去のピッチｆ（ｔ）を用いて、数式４によりピッチ変化量Ｉ（Δｆ
ｐ）を算出し、ピッチ変化量Ｉ記憶メモリ９Ｆに書き込む。
【数４】
2008015212.tif 000067
【００６６】
しかし、ピッチｆ（ｔ）（スカラー）は突発的なノイズの影響を受け易いため、数式４
で算出されたピッチ変化量Ｉ（Δｆｐ）は外乱の多い実環境に対応できない可能性がある
。より信頼性の高いピッチ変化量算出法として、合成自己相関パターン（ベクトル）のず
らしマッチングを用いたピッチ変化量ＩＩも算出する。ピッチ変化量ＩＩ算出モジュ
ール１４２は、ＲＡＭ９の合成自己相関関数記憶メモリ９Ｃより読み出された合成自己相
関関数を２フレーム分バッファリングし、現在の合成自己相関関数と一分析フレーム過去
の合成自己相関関数を用いてピッチ変化量ＩＩ（Δｆｓ）を算出し、ピッチ変化量ＩＩ記
憶メモリ９Ｇに書き込む。
【００６７】
合成自己相関関数のずらしマッチングによるピッチ変化量算出法について具体例を示し
たのが図１３である。図１３（ａ），（ｂ）では、歌声波形から合成自己相関関数を算出
している。
【００６８】
図１３（ｃ）では、合成自己相関関数の隣り合う２フレームｃｏｒ（ｔ，ｉ），ｃｏｒ
（ｔ＋１，ｉ）を切り出し、ずらしマッチングを行っている。ずらしマッチングでは、類
似度が最大となるずれ量Δｔｓを２フレーム間のピッチ（音程）変化量として数式５によ
り求める。
【数５】
2008015212.tif 000068
数式６により、ずれ量Δｔｓをピッチ変化量Δｆｓに変換する。
【数６】
2008015212.tif 000069
【００６９】
図１３（ｄ）は合成自己相関関数のずらしマッチングにより求めたずれ量Δｔｓである
。音程変化の算出に、合成自己相関関数ｃｏｒ（ｔ，ｉ）のずらしマッチングを用いるこ
とで突発的なノイズに影響され難い信頼性の高いピッチ変化量Δｆｓの算出が可能となる
。
【００７０】
図１４は、数式４により算出した（比較的信頼性の低い）ピッチ変化量Ｉである。図１
４と図１３（ｄ）はほぼ同じ変化をしているが、図１４では突発的に変化量の大きい部分
（信頼性の低い部分）が出てくることがある。信頼性の高いピッチ変化量ＩＩ（Δｆｓ）
と通常のピッチ変化量Ｉ（Δｆｐ＝ｆ（ｔ）−ｆ（ｔ＋１））の差Ｄｆを用いてピッチｆ
（ｔ），ｆ（ｔ＋１）の信頼性を逆算することもできる（数式７参照）。
【数７】
2008015212.tif 000070
例えばＤｆが一定しきい値より大きいとき、ピッチ変化量Ｉ（Δｆｐ）を算出する基とな
った信頼性の低いピッチｆ（ｔ），ｆ（ｔ＋１）を採点対象から除外するという使い方が
できる。
【００７１】
なお、数式５ではずらしマッチングの評価関数としてユークリッド距離を用いているが
、これに限らず、評価関数は２つのベクトルの類似度または非類似度（距離）を表す他の
関数で置き換えることができる。例えば数式５のユークリッド距離の式を相互相関関数に
おきかえても良い。
【００７２】
次に、ビブラート検出モジュール１４３の動作について図１５と図１６を参照して説明
する。図１５は、第一実施形態におけるビブラート検出手順を示すフローチャート、図１
６は第一実施形態におけるビブラート検出手順を示すブロック図である。ビブラート検出
モジュール１４３は、ピッチ変化量Δｆを入力として、ビブラート判定結果を出力する。
入力に用いるピッチ変化量Δｆは、ピッチ変化量Ｉ（Δｆｐ）としても良いし、ピッチ変
化量ＩＩ（Δｆｓ）としても良い。例えば、よりビブラート検出の信頼性を高めたい場合
はピッチ変化量ＩＩを用い、演算速度を優先したい場合はピッチ変化量Ｉを用いることも
できる。
【００７３】
ビブラート判定を行うためには、複数フレーム分のピッチ変化量Δｆが必要になる。例
えば、フレーム周期が１０［ｍｓ］の場合、ピッチ変化量は１０［ｍｓ］毎に１つ算出さ
れる。人間の歌声のビブラート周期は１４０［ｍｓ］〜３００［ｍｓ］であることから、
ビブラート算出には合計５００［ｍｓ］分程度のピッチ変化量が必要である。周期性算出
モジュール１４３Ａは、ＲＡＭ９のピッチ変化量ＩＩ記憶メモリ９Ｇ（またはピッチ変化
量Ｉ記憶メモリ９Ｆ）より読み出されたピッチ変化量信号５０フレーム分（５００［ｍｓ
］）のピッチ変化量Δｆをリングバッファに蓄えておき、蓄えられた音程変化量Δｆから
、正位相の相関係数、逆位相の相関係数、分散を算出しＲＡＭ９のワークメモリ９Ｗに記
録する（Ｓ１６１、Ｓ１６２、Ｓ１６３）。なお、上記Ｓ１６１の処理及びＳ１６２の処
理が請求項に言う「音程相関関数算出ステップ」及び「音程相関関数記憶ステップ」に相
当し、Ｓ１６１及びＳ１６２を実行する採点処理部（ＤＳＰ）１２が「音程相関関数算出
手段」に相当する。
【００７４】
正位相・逆位相合成モジュール１４３Ｂは、ワークメモリ９Ｗより正位相の相関係数と
逆位相の相関係数を読み出し、これらを合成した相関係数をワークメモリ９Ｗに書き込む
（Ｓ１６４）。ビブラート尺度算出モジュール１４３Ｃは、正位相・逆位相合成した相関
係数と分散をワークメモリ９Ｗから読み出し、正位相・逆位相合成した相関係数と分散か
らビブラート判定結果とビブラートの美しさを算出し、ＲＡＭ９のビブラート情報記憶メ
モリ９Ｋに書き込む（Ｓ１６５）。
【００７５】
次に、ピッチ変化量からビブラートを検出する手段について実データを用いて詳細に説
明する。図１７は、サンプリング周波数４８０００［Ｈｚ］で標本化された歌声波形であ
る。図１７に示す歌声波形からピッチ周波数を算出したものが図１８である。この歌声波
形にはピッチ周波数が正弦波状に変化しているビブラート区間と、それ以外の区間が存在
する。図１８のピッチの差分をとったものが図１９に示す音程変化波形である。以下、図
１９に示すビブラートなし区間Ａとビブラートあり区間Ｂを使ってビブラート検出の考え
方を説明する。
【００７６】
図２０はビブラートがかかっていない区間Ａの切り出し波形とその自己相関関数につい
て示したものである。自己相関関数は信号の周期性を調べるのに適している関数で、例え
ば次式で算出される。
【数８】
2008015212.tif 000071
図２０の例で説明すると、区間Ａの切り出し波形ｘ（ｔｎ）とＡの切り出し波形をτずら
したものｘ（ｔｎ＋τ）の積和をとったものが自己相関関数ｃ（τ）である。区間Ａはビ
ブラート区間ではなく周期性が弱いため、相関関数ｃ（τ）は弱い相関を示す。
【００７７】
一方、図２１は周期性のあるビブラート区間Ｂの切り出し波形について自己相関関数を
求めた例である。自己相関関数はビブラート周期に相当するずれ量τ＝１７のとき、強い
正の相関を示す。一方、τ＝１７の逆位相に相当するτ＝２５では強い負の相関が現れて
いる。負の相関は、ビブラート周期の半分の周期τ＝８付近にも現れる。τ＝８もτ＝１
７の逆位相に相当する。
【００７８】
図２２は図１９に示す音程変化波形の全切り出し区間について求めた正位相の自己相関
係数と、その相関係数の逆位相に相当する相関係数を示したものである。正位相の自己相
関係数は、１４０［ｍｓ］〜３００［ｍｓ］（１４〜３０［ｐｏｉｎｔ］）の範囲でずら
し量を変化させたときの自己相関関数の最大値  Ｃｍａｘとして求め、そのときのずれ量
をＰとする。音程変化に周期性がある場合、Ｐの半分のずれ量Ｐ／２（逆位相）では負の
相関が現れるはずである。そこで、ずれ量Ｐ／２のときの自己相関係数Ｃｎｅｇを求める
。ビブラート区間では、正位相の相関係数は大きな値をとり、逆位相の相関係数は小さな
値をとることが分かる。自己相関関数に現れる正位相・逆位相の相関係数の特徴を用いて
高精度なビブラート検出を実現できる。
【００７９】
図２３は、正位相の相関係数Ｃｍａｘと逆位相の相関係数Ｃｎｅｇを合成したものであ
る。合成により、ビブラート区間とそれ以外の区間の差がますます顕著になる。図２３の
相関係数が一定しきい値を超えるフレームをビブラートとして判定することができる。本
手法により、精度の高いビブラート検出が可能である。ビブラートがきれいな周期性を持
っていれば、相関係数が大きくなるため、相関係数の大きさをビブラートの美しさとして
取り出し、後段の採点処理で利用することもできる。
【００８０】
さらに、各フレーム毎の音程変化量の差分信号について分散・標準偏差などの振幅情報
を算出し、「振幅が小さいフレームはビブラート区間と見なさない」などの判定条件を加
えることで、より信頼度の高いビブラート判定が実現できる。なお、ビブラート検出は、
正位相・逆位相の相関係数を合成したものを使って行っても良いし、正位相の相関係数、
逆位相の相関係数を単独で用いても良い。
【００８１】
なお、ここでいう自己相関関数は数式８に限らず、「切り出しフレーム同士のずらし量
を変化させて２フレームの相関（類似度）または距離（非類似度）を調べる関数」のこと
である。例えば、自己相関関数として数式８の代わりに数式９のユークリッド距離を採用
しても良い。
【数９】
2008015212.tif 000072
【００８２】
数式８はビブラート周期に相当するずれ量τで最大値をとる関数であるが、数式９はビ
ブラート周期に相当するずれ量τで最小値をとる関数である。同様に、ピッチ変化量の算
出には、数式５（ユークリッド距離）を評価関数として合成自己相関関数のずらしマッチ
ングを行う例を示したが、評価関数はユークリッド距離の代わりに自己相関関数を用いる
こともできる。
【００８３】
なお、本実施の形態においては、ピッチの差分をとった音程変化波形から相関係数を算
出しているが、これに限らずピッチ波形から直接自己相関関数を算出することもできる。
その場合数式１０に示すような形の自己相関関数を利用することが好ましい。
【数１０】
2008015212.tif 000073
【００８４】
本実施形態で、ピッチの差分を用いているのは、ピッチ波形から直流分の影響を打ち消
すためである。数式１０では、ピッチの差分波形を用いる代わりに、ピッチ波形から平均
値を差し引いて相関関数を算出することにより、直流分（≒平均値）の影響を打ち消して
いる。
【００８５】
さらに、本実施の形態では、自己相関関数を用いてビブラート検出法を説明したが、例
えば同一フレーム同士から算出する自己相関係数の代わりに、隣り合うフレーム同士の相
関を求める相互相関関数を用いることもできる。
【００８６】
本ビブラート検出法では、１つのフレームがビブラート区間に属するかどうか？を５０
ポイントの切り出し波形を用いて算出しているため、ビブラート検出精度が非常に高い。
【００８７】
次に、得点算出部１５の動作について詳細に説明する。第一実施形態では、入力音声
信号を表２に示す（ｉ）〜（ｉｖ）の４つの区間に分類する。（ｉ）無声区間と（ｉｉｉ
）ピッチの変化が激しい区間（音程変化量が大きい区間）は得点算出には用いず、（ｉｉ
）ビブラート区間と（ｉｖ）通常歌唱区間について得点算出を行う。
【表２】
2008015212.tif 000074
【００８８】
図２４は、第一実施形態における得点算出部１５の得点算出手順を示すフローチャート
、図２５は、得点算出部１５のブロック図である。信頼性算出モジュール１５１は、ＲＡ
Ｍ９の有声・無声判定結果記憶メモリ９Ｄ、ピッチ変化量Ｉ記憶メモリ９Ｆ及びピッチ変
化量ＩＩ記憶メモリ９Ｆよりそれぞれ有声・無声判定結果、ピッチ変化量Ｉ、ピッチ変化
量ＩＩを読み出し、これらを基にピッチの信頼性を算出し、算出されたピッチの信頼性を
ＲＡＭ９のワーク領域９Ｗに書き込む（Ｓ１７１）。瞬時得点算出モジュール１５２は、
ＲＡＭ９のピッチ記憶メモリ９Ｅ、ビブラート情報記憶メモリ９Ｈ、ビブラート比率記憶
メモリ９Ｋ、ワーク領域９Ｗよりそれぞれピッチ、ビブラート判定結果、ビブラート比率
、ピッチの信頼性を読み出し、歌唱者の歌声１分析フレーム分の瞬時得点を算出し、算出
した瞬時得点をＲＡＭ９の瞬時得点記憶メモリ９Ｉに書き込む（Ｓ１７２）。なお、上記
Ｓ１７１の処理が請求項に言う「ピッチの信頼性算出ステップ」に相当し、Ｓ１７１を実
行する採点処理部（ＤＳＰ）１２が「ピッチの信頼性算出手段」に相当する。
【００８９】
ここで、ＲＡＭ９のビブラート比率記憶メモリ９Ｋに書き込まれるビブラート比率とは
得点におけるビブラートの寄与度を決定する係数で、例えばカラオケＢＯＸのオーナが好
みにより調整することができるパラメータである。得点累積モジュール１５３は、ＲＡＭ
９の瞬時得点記憶メモリ９Ｉより読み出された瞬時得点を累積し、カラオケ採点が始まっ
てから現在に至るまでの累積得点を算出し、ＲＡＭ９の累積得点記憶メモリ９Ｊに記録す
る（Ｓ１７３）。
【００９０】
カラオケ採点終了後、累積得点記憶メモリ９Ｊに記録された累積得点は、ＲＡＭ９より
読み出され、ビデオコントローラ６を経由して、ディスプレイ３に表示される。歌唱者は
、ディスプレイ３に表示された採点結果を見て一喜一憂する。なお、得点は累積得点をそ
のままディスプレイに表示しても良いし、得点変換関数や変換テーブルを通して変換をか
けたものを表示しても良い。これらの変換テーブルや変換関数は事前に得点分布の統計調
査を行った上で、例えば１００点が算出される確率が全体の５％以下になるように設計し
た変換テーブルや変換関数を用いる。
【００９１】
以下、得点算出部１５の得点算出原理について詳細に説明する。本発明の第一実施形態
に示すピッチ抽出部１３では、非常に音程分解能の高いピッチ（半音の幅を１８〜３８分
割して分析）を算出することができる。音程分解能が細かいため、従来のピッチ抽出法で
は困難であった"音程が微妙に上ずっている"・"微妙に低い"ということを識別できる。
【００９２】
図２６は、上手な歌唱者が歌った歌声について分析した結果である。図２７は同一の曲
を下手な歌唱者が歌ったものを分析した結果である。上手い人は音程が正確に１２音階に
乗っているが、下手な人では音程は１２音階から離れてくることが観察できる。
【００９３】
本実施形態に示す採点処理では、「歌唱者の歌声が１２音階に乗っているかどうか？」
だけを判定する。カラオケで再生されるＭＩＤＩ伴奏は平均律音階（１２音階）に乗った
音の集合である。歌声が心地よく聴こえるためには、少なくとも歌声はＭＩＤＩ伴奏と同
じ平均律音階（１２音階）に乗っていなければならない。本採点法では、ＭＩＤＩデータ
を参照せずに"音程が１２音階に乗っているかどうか？"だけを定量化するため、アドリブ
やフェイクの入った歌でも採点できる。歌の音程が１２音階に乗っていれば、ガイドメロ
ディの通りの音調でなくても「上手い」と考える。この採点法では歌唱者が不協和音で歌
った場合でも、音程が１２音階にさえ乗っていれば「上手い」と判定する。不協和音を１
２音階にしっかり乗せることは、声楽的には非常に高度な技術である。それが出来る人は
並外れた技術を持った歌唱者（実は相当上手い）と仮定している。
【００９４】
しかし、音階に乗っているかどうかだけでは歌唱力を十分に評価できない。人間の感性
に近い歌唱力評価をするためにはビブラート部分の評価も重要となってくる。図２８は、
図２６・図２７と同じ曲のフレーズをプロの歌手が歌ったときのピッチ変化である。歌が
上手い歌唱者はビブラートを多用することもある。ビブラート歌唱区間では、通常歌唱区
間と異なる採点方法が必要である。
【００９５】
また、音声認識の分野では、入力音声が無声音の場合はピッチを正確に算出することが
できないことが知られている。本発明の第一実施形態に示す採点では、入力音声信号に対
し有声・無声判定を行い、無声音と判定された区間は得点算出に用いないこととする。
【００９６】
ピッチの変化が激しい区間についても考慮する必要がある。例えば音符と音符の境目、
しゃくり上げ部分、しゃくり下げ部分では、ピッチの変化が激しいため、歌の上手い下手
に関わらず音程が１２音階に乗りにくくなる。したがって、ビブラート区間以外でピッチ
の変化量が一定しきい値を超える区間は得点算出に用いないこととする。
【００９７】
図２９に得点算出の基本的な考え方を示す。入力音声信号を通常歌唱区間とビブラート
区間に分け、通常歌唱区間の得点Ｄｐ（ｔｎ）と、ビブラート区間の得点Ｄｒ（ｔｎ）を
それぞれ算出する。ピッチの信頼性の低い区間と、ビブラート区間以外でピッチの変化量
が激しい区間は得点算出に用いない。
【００９８】
通常歌唱区間（ビブラート以外の区間）の得点算出法について詳細に説明する。"ピッ
チが平均律音階からどのくらい離れているか？"を示す尺度ｄｐ（ｔｉ）を数式１１で定
義する。図３０は数式１１の意味を図示したものである。ｄｐ（ｔｉ）は、分析時刻ｔに
おける歌唱者のピッチｆ（ｔｉ）  と１２音階のうち最も近い音との距離を示す。歌唱者
の歌声ピッチが正確であれば、尺度ｄｐ（ｔｉ）は小さい値となる（尺度ｄｐ（ｔｉ）が
小さい→得点が高い）。なお、数式１１では歌唱者の歌声から抽出したピッチｆ（ｔｉ）
と１オクターブに整理された平均律音階（１２音階）ＭＦの比較を行っている。これは本
実施形態の前段におけるピッチ抽出手段より出力されるピッチが１オクターブ範囲内に整
理されているからである（図７参照）。本実施形態では１オクターブ範囲内のピッチを比
較することで、人間の全歌唱音域の音程と平均律音階を比較していることになる。しかし
、これに限らず、例えばピッチ抽出手段は４オクターブ帯域のピッチを出力する構成とし
て、数式１１はそれに対応する４オクターブ帯域の全音域の平均律音階上の音との比較を
しても良い。また、ピッチ抽出手段は５オクターブ帯域のピッチを出力する構成として、
数式１１はそれに対応する５オクターブ帯域の全音域の平均律音階上の音との比較するも
のとすることも容易にできる。
【数１１】
2008015212.tif 000075
【００９９】
現在、歌唱者が歌っている状態を想定して考える。歌唱者が歌い始めて、カラオケ採点
が開始されてから現在に至るまでにビブラート区間と判定された区間長の合計をｎｒで表
す。次に、ビブラート区間以外で、ピッチの変化量が激しくなく、ピッチの信頼性がある
と判定された区間を通常歌唱区間と呼ぶことにする。カラオケ採点が開始されてから現在
に至るまでに通常歌唱区間と判定された区間長の合計をｎｐで表す。ビブラート累積区間
長ｎｒと通常歌唱累積区間長ｎｐの合計を累積区間長ｎとすると、ｎ，ｎｐ，ｎｒは数式
１２の関係を満たす。
【数１２】
2008015212.tif 000076
【０１００】
カラオケ採点が開始されてから現在に至るまでの歌唱時間の合計ｔｎは、分析フレーム
周期Δｔと累積区間長ｎを用いて数式１３で表現できる。なお、本実施形態ではΔｔ＝１
０［ｍｓ］である。
【数１３】
2008015212.tif 000077
ｄｐ（ｔｉ）は、"時刻ｔｉにおけるピッチｆ（ｔｉ）  が平均律音階からどのくらい離
れているか？"を示す尺度で"瞬時得点"である。瞬時得点は、長時間に渡って累積平均を
とることにより信頼性のある得点となる。時刻ｔｎにおける累積平均距離（累積平均得点
）Ｄｐ（ｔｎ）を数式１４により算出する。Ｄｐ（ｔｎ）が通常歌唱区間における音程の
正確さを示す式である。
【数１４】
2008015212.tif 000078
【０１０１】
次に、ビブラート区間の平均得点を算出する。時刻ｔｉにおけるビブラート区間の距離
ｄｒ（ｔｉ）  は、採点開始時点から時刻ｔｉに至るまでの音階−ピッチ間の平累積距離
Ｄｐ（ｔｉ）に係数αを乗じたものとして、数式１５で計算する。ビブラート区間の平均
累積距離Ｄｒ（ｔｎ）は数式１６で計算する。αは０〜１．０の範囲の実数である。数式
１５の意味は以下の通りである。
【０１０２】
「時刻ｔｉにおいて歌唱者がビブラートをかけている場合、時刻ｔｉにおける歌唱者の
瞬時得点ｄｒ（ｔｉ）は、通常歌唱区間の累積平均点Ｄｐ（ｔｉ）より若干高い得点αＤ
ｐ（ｔｉ）で置き換える。」
【数１５】
2008015212.tif 000079
【数１６】
2008015212.tif 000080
【０１０３】
ビブラート得点に通常歌唱区間の平均点ｄｐ（ｔ）・Ｄｐ（ｔ）を反映させることで、
下手な人がビブラートを多用しても高得点にはならないように調整している。この方法に
より、音程の不正確な人がビブラートを使った場合は、音程の正確な人がビブラートを使
った場合より低い得点となる。係数αは採点におけるビブラートの寄与度を調整する係数
で、カラオケＢＯＸオーナーの好みで調整することもできる。例えば演歌が好きなオーナ
ーはαを小さめに設定して、ビブラートの寄与度を高くすることができる。
【０１０４】
総合的な累積距離Ｄ（ｔ）は、通常歌唱区間の平均距離Ｄｐ（ｔ）とビブラート区間の
平均距離Ｄｒ（ｔ）の平均値として数式１７で算出する。累積距離Ｄ（ｔ）は人間が主観
的に付けた得点と強い相関を持つ。この採点法は、周波数分解能が高い高精度なピッチ抽
出と外乱に強い高精度なビブラート検出法があってはじめて効果を発揮する。
【数１７】
2008015212.tif 000081
【０１０５】
次に、本実施形態で算出した尺度Ｄ（ｔ）と人間が主観でつけた得点との相関を調べ、
採点アルゴリズムの評価を行った結果を示す。まず、２０名の歌唱者が同一の曲を歌った
場合について、本採点法の評価を行った。歌唱者（男性１０名・女性１０名）が歌った有
名な歌謡曲を歌唱者以外の３４名の被験者に聞き比べてもらい、プリファレンススコアを
作成した。プリファレンススコアとは、対比較においてその歌声がどの程度の支持率であ
ったかを示す数値である。歌唱データから後半の１フレーズを切り出したものを対比較評
価用データとする。なお、女性歌唱者データにはプロの歌手１名に依頼して採取した歌声
を追加・混入した。これと同時に本実施形態により計算した得点Ｄ（ｔ）を算出し、プリ
ファレンススコアと得点Ｄ（ｔ）の相関図を作成した。
【０１０６】
図３１は、女性のデータについて求めたプリファレンススコアと尺度Ｄの相関図である
。プリファレンススコアと尺度Ｄの間には強い相関が見られる。尺度Ｄが最も小さく音程
が最も正確なのは、プロの歌手の歌声である。しかし声が低く、原曲と歌い方が異なるた
め、人間の主観評価（プリファレンススコア）では２位になっていると考えられる。主観
評価で１位となった歌唱者は通常より高めのキーで歌ったため、被験者に与えるインパク
トが強かったと推測される。
【０１０７】
図３２は男性の歌声から算出した相関図である。男性データでも、距離Ｄ（ｔ）とプリ
ファレンススコアの相関がみられる。プリファレンススコア約４０点の被験者が最も１２
音階からの距離が小さくなっている。この被験者の歌声を聴くと、音程は正確でビブラー
トも上手にかかっており、技術的には上手な歌唱者である。しかし、歌詞の譜割りなどが
演歌調で原曲と異なり、歌い方に癖があるため主観評価の点数が低下したと推測される。
これらの図から、例えば「Ｄ（ｔ）が２０［ｃｅｎｔ］を切る人はそこそこ上手い」と判
断できる。図３１・図３２より、Ｄ（ｔ）は人間の主観得点と相関の強い尺度となってい
ることが分かる。
【０１０８】
次に、歌唱者が異なる曲を歌った場合について本採点法の評価を行った結果を示す。デ
ータの採取方法を図３３に示す。５〜６名の歌唱者のグループを募集した。１グループ：
５〜６名の歌唱者に交代で歌って頂き歌唱データを採取した。歌っている歌唱者以外につ
いて、次に歌う歌唱者は歌う曲の選曲、それ以外の歌唱者は現在歌っている歌唱者の得点
を記録した。なお歌唱者には、歌の途中ではキー変更や、演奏停止をしないで、歌唱曲の
歌える範囲でできる限り多くのジャンルの曲を歌って頂けるようお願いした。得点は満点
を１００点とし、採点者の主観で記入して頂いた。採点者全員がつけた平均得点を主観評
価の得点とする。
【０１０９】
２日間評価を行った結果について説明する。図３４は１日目の採取データから求めた相
関図である。この日の参加者は６人、歌唱者１人の歌声に対し残りの５人で採点を行った
ときの平均点数を主観評価の点数としてグラフにプロットした。距離Ｄ（ｔ）と主観評価
の点数には強い相関があることが分かる。
【０１１０】
図３５は、２日目の採取データから求めた相関図である。参加者は４０〜６０代の女性
５人である。歌唱者１人の歌声に対し３人で採点を行い残り１人は次に歌う曲を選ぶとい
う分担で採点を行った。この日歌われた曲のほとんどは演歌である。距離Ｄ（ｔ）と主観
評価の点数には相関が見られる。図３４と比べて少し相関が弱い原因としては、採点者が
５人から３人に減少したためと考えられる。
【０１１１】
図３１、図３２、図３４、図３５より、Ｄ（ｔ）は人間の主観得点と相関の強い尺度と
なっていることが分かる。従って、例えば尺度Ｄ（ｔ）を線形変換すれば、人間の主観評
価と相関の強い得点を算出することができる。実際のカラオケ装置における採点では、１
００点の出現確率を減少させるなどの工夫が必要となるため、Ｄ（ｔ）［ｃｅｎｔ］に非
線形変換を行い得点に変換することも考えられる。
【０１１２】
なお、本実施形態ではガイドメロディ情報を一切使わずにカラオケ採点を行う例を示し
た。しかし、これに限らずガイドメロディと歌唱者の歌声を比較する従来の採点法も併用
した採点システムを構築することも可能である。例えば、ガイドメロディと歌唱者のピッ
チを比較して歌の忠実度を算出し、本実施形態で示した採点法で尺度Ｄ（ｔ）を算出した
後、２つの得点を合成して歌唱者の歌の得点とすることもできる。また、２つの得点の高
い方を選んで最終的な得点とすることも容易に考えられる。
【０１１３】
また大抵の場合、カラオケ装置で演奏されるＭＩＤＩ楽曲は平均律音階の集合であるた
め、本実施形態では、歌唱者の歌声から抽出したピッチと平均律音階を比較して歌の得点
を算出する例を示した。しかし、これに限らず、ピッチと純正律音階を比較するのが好ま
しい場合もある。カラオケ装置の伴奏には、生バンドの曲を録音したスタジオ録音曲やプ
ロのアカペラグループが演奏したものを録音したアカペラ伴奏曲も存在する。特にアカペ
ラ伴奏曲などでは、歌唱者の歌声から抽出した純正律音階を比較した方がより精度の高い
歌唱力評価ができることもある。また、生のピアノ演奏を録音したスタジオ録音曲では、
平均律音階をピアノ調律曲線を用いて補正した音階と歌唱者の歌声から抽出したピッチを
比較する方法が好ましい場合もある。これらの音階は、カラオケ楽曲の属性により、適宜
選択するようにカラオケ採点装置を構成することも考えられる。本明細書に記載の平均律
音階とは、ピアノの調律曲線などにより補正された後の平均律音階を含むこととする。
【０１１４】
また、本発明の第一実施形態におけるビブラート検出法では、合成自己相関関数のずら
しマッチングを用いて音程の変化量を算出していた。これと同様に、入力歌声信号から合
成自己相関関数の代わりにＬＰＣスペクトル、ＦＦＴスペクトル、群遅延スペクトル、Ｌ
ＰＣケプストラム、自己相関関数などのスペクトル特徴を抽出し、スペクトルのずらしマ
ッチングを用いて外乱に強いピッチ変化量算出・ビブラート検出ができる。一例として、
図３６にＬＰＣ（Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅ  Ｃｏｄｉｎｇ）スペクトルを用
いた音程変化量算出法を示す。図３６（ａ）の音声信号に対して線形予測分析を行いＬＰ
Ｃスペクトルを求めたものが図３６（ｂ）である。ＬＰＣスペクトルを観察しても、ビブ
ラートはきれいに現れていることがわかる。例えば、ＬＰＣスペクトルの周波数帯域５０
０［Ｈｚ］〜１０００［Ｈｚ］を切り出し（図３６（ｃ））、切り出した帯域のＬＰＣス
ペクトルのずらしマッチングを用いて音程変化量を算出することができる。
【０１１５】
この場合、音声信号記憶メモリ９Ａから読み出された音声信号に線形予測分析を行い、
ＬＰＣスペクトルを求め、メモリ９の所定の位置に記憶する。ずらしマッチングの式は、
数式１８で示される。メモリ９より読み出した隣り合う２フレームのＬＰＣスペクトルｌ
ｐｃ（ｔ，ｉ），ｌｐｃ（ｔ＋１，ｉ）のずれ量を算出する。ずれ量の単位は［Ｈｚ］で
算出される。さらにＬＰＣスペクトルの周波数軸を対数スケールに変換した後、ずらしマ
ッチングを行うようにすれば、全分析周波数帯域の音程分解能が均等になり、より高精度
な分析ができる。ここで算出されたピッチ変化量Δｆｓを入力としてビブラート検出を行
うことは容易である。
【数１８】
2008015212.tif 000082
【０１１６】
さらに、数式１８により算出されたピッチ変化量は、数式５と数式６により算出された
ピッチ変化量と同様、信頼性の高いものとなる。数式１８により算出された信頼性の高い
ピッチ変化量ＩＩ（Δｆｓ）とピッチの差分により算出されたピッチ変化量Ｉ（Δｆｐ）
の差Ｄｆを用いてピッチｆ（ｔ），ｆ（ｔ＋１）の信頼性を逆算することもできる（数式
１９参照）。数式１９は、数式７と同じ形となっている。
【数１９】
2008015212.tif 000083
【０１１７】
次に、本発明における第二の実施形態について図３７〜図３９を参照して説明する。第
二実施形態は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）上で動作する歌唱訓練／採
点ソフトウェアである。
【０１１８】
図３７に示すように、第二実施形態の歌唱訓練／採点装置を構成するＰＣ５０は、周知
のパーソナルコンピュータの一般的な構成からなり、文字や各種の操作指令などを入力す
るためのキーボード６１やマウス５９、入力された結果等を表示するモニタ６５を備えて
いる。また、ＰＣ５０には、ＣＤ−ＲＯＭ６３の内容を読み取るＣＤ−ＲＯＭドライブ６
２が搭載されている。
【０１１９】
また、ＰＣ５０は、中央演算処理装置としてのＣＰＵ５１を中心にバスにより相互に接
続されたＲＯＭ５２、ＲＡＭ５３、表示画像メモリ５４、マウスインターフェース５８、
キーボードインターフェース６０、ビデオコントローラ６４、及びＡ／Ｄ変換器６６を備
えている。そして、マウスインターフェース５８にはマウス５９が接続され、キーボード
インターフェース６０にはキーボード６１が接続され、ビデオコントローラ６４にはモニ
タ６５が接続されている。さらに、Ａ／Ｄ変換器６６には、マイク６７が接続されている
。
【０１２０】
ＲＯＭ５２は、ＢＩＯＳ等の内蔵されている各種プログラム等を記憶する読み出し専用
のメモリである。ＲＡＭ５３は、実行中のプログラムを一時的に記憶したり、各種データ
等を記憶する読み出し・書き込み可能なメモリである。表示画像メモリ５４は、モニタ６
５に表示する画像の画像データを記憶するメモリである。マウスインターフェース５８は
、マウス５９とのデータ等のやりとりを司るインターフェースである。キーボードインタ
ーフェース６０は、キーボード６１からのキー入力を司るインターフェースである。ビデ
オコントローラ６４は、表示画像メモリ５４に記憶される表示画像データに基づいてモニ
タ６５における画像の表示を制御するコントローラである。Ａ／Ｄ変換器６６は、マイク
６７より入力された音声信号をサンプリングしてＰＣ５０内に採り込む装置である。なお
、このＡ／Ｄ変換器６６が請求項に言う音声信号入力手段に相当する。
【０１２１】
ＰＣ５０のオペレーティングシステム（ＯＳ）５６は、ハードディスクドライブ（ＨＤ
Ｄ）５５に記憶されており、ＰＣ５０に電源を投入すると、ＨＤＤ５５のブートブロック
に書き込まれたローダに従ってＲＡＭ５３の所定の領域にロードされる。また、ＨＤＤ５
５には、歌唱訓練／採点ソフトウェア５７が記憶されており、歌唱訓練／採点ソフトウェ
ア５７が起動され、ＲＡＭ５３に読み込まれ、これをＣＰＵ５１が実行することにより、
歌唱訓練処理や歌唱採点処理が行われる。尚、本実施形態においては歌唱訓練／採点ソフ
トウェア５７はＨＤＤ５５に記憶されているが、ＲＯＭ５２に記憶されていてもよいし、
ＣＤ−ＲＯＭ６３に記憶され、ＣＤ−ＲＯＭドライブ６２から読み込まれて実行されるよ
うに構成してもよい。さらに、ＰＣ５０をネットワークに接続し、ネットワーク上のサー
バから歌唱訓練／採点ソフトウェア５７をダウンロードして実行するようにしてもよい。
【０１２２】
マイク６７をコンピュータ５０に接続し、歌唱訓練／採点ソフトウェアを起動すると、
歌唱訓練処理／歌唱採点処理が開始される。第二実施形態に示すソフトウェアは音程訓練
モードと歌唱採点モードの２つのモードを持っており、歌唱者は２つのモードのうち１つ
を選択することができる。歌唱者は、マウス５９やキーボード６１などの入力装置を用い
て音程訓練モードと歌唱採点モードどちらかを選択する。
【０１２３】
音程訓練モードでは、マイク６７より入力された歌唱者の音声はＡ／Ｄ変換器６６によ
りサンプリング周波数４８［ｋＨｚ］でサンプリングされ、ＲＡＭ５３に書き込まれる。
ＲＡＭ５３の記憶領域は、第一実施形態におけるＲＡＭ９の記憶領域に加え、歌唱訓練／
採点ソフトウェアが格納される記憶領域が存在する。ＲＡＭ５３に書き込まれた音声信号
より合成相関関数が算出され、ＲＡＭ５３の合成自己相関関数記憶メモリに書き込まれる
。次に、ＲＡＭ５３の合成自己相関関数記憶メモリと自己相関関数記憶メモリより合成自
己相関関数と自己相関関数が読み出されピッチが計算され、算出されたピッチはＲＡＭ５
３のピッチ記憶メモリに記憶される。これら合成自己相関関数及びピッチの算出手順は第
一実施形態における図４〜図１１に示したものと全く同じであるので、図４〜図１１の説
明を援用する。
【０１２４】
このようにして歌唱者の歌声から算出したピッチは、ＲＡＭ５３から読み出され、ＰＣ
５０のモニタ６５に平均律音階と共に表示される。図３８は、歌唱者が音程訓練モードを
利用して音程訓練を行っているときのモニタ６５の様子を示したものである。図３８にお
いて、トンボが歌唱者の音程（ピッチ）の高さ、水平方向に引かれた直線が平均律音階を
示している。音程訓練モードでは、歌唱者の歌声から抽出されたピッチと平均律音階をリ
アルタイムで表示することで、音程の正確さを歌唱者にフィードバックすることができる
。歌唱者は、Ａ４（４４０Ｈｚ）で歌った後、Ｅ５（６６０Ｈｚ）の音程で歌っている。
歌唱者は音階に乗ったピッチで歌っているつもりでも、パソコンのディスプレイに表示し
てみるとＥ５の音程が微妙に低いことが分かる。
【０１２５】
このソフトウェアは第一実施形態の図１０に示した最低分析周波数５０［Ｈｚ］の合成
自己相関関数を採用することで、５０［Ｈｚ］〜１７００［Ｈｚ］の約５オクターブ帯域
のピッチを検出、表示することができる。合成自己相関関数を用いたピッチ抽出法は、音
程分解能が高く、非常に細かな音程のずれを分析できる。聴覚が鍛えられたミュージシャ
ンや音楽の先生にしか分からなかった"微妙に高い"，"微妙に低い"という違いを視覚的に
表現することができる。これは合唱の音程訓練、バンドのヴォーカルの個人練習にも利用
でき、歌唱者の歌の上達を補助することができる。単に歌唱者のピッチを表示するだけの
シンプルなものでも、音程訓練用途としては十分役に立つ。
【０１２６】
本ソフトウェアを合唱・声楽のトレーニング用途として利用する場合は、基準となる音
階はＡ４＝４４０［Ｈｚ］に合わせるのが好ましいときもあり、Ａ４＝４４２［Ｈｚ］に
合わせるのが好ましいときもある。通常オーケストラなどで用いる基準音は伴奏に用いる
楽器の構成によって変わってくる。また、ピアノ伴奏に合わせて歌うときのトレーニング
では、理論的な平均律音階とピアノの調律音階の差を埋めるために、ピアノの調律曲線を
用いて歌唱者の歌声ピッチや基準となる音階を補正し、表示するのが良い場合もある。ま
た、人の歌声だけで演奏するアカペラ曲の場合、平均律音階ではなく、純正律音階を基準
線として用いるのが好ましい場合もある。本実施形態に示す音程訓練ソフトウェアの音程
訓練モードは、これらの基準となる音階を適宜選択できるメニュー画面を持つ。メニュー
画面はモニタ６５に表示され、音程訓練を行う歌唱者は、マウス５９やキーボード６１な
どの入力装置を用いて基準となる音階を選択できる。
【０１２７】
次に、歌唱採点モードでは、マイク６７より入力された歌唱者の音声はＡ／Ｄ変換器６
６によりサンプリング周波数４８［ｋＨｚ］でサンプリングされ、ＲＡＭ５３に書き込ま
れる。ＲＡＭ５３の記憶領域は、第一実施形態におけるＲＡＭ９の記憶領域に加え、歌唱
訓練／採点ソフトウェアが格納される記憶領域が存在する。ＲＡＭ５３に書き込まれた音
声信号より合成相関関数が算出され、ＲＡＭ５３の合成自己相関関数記憶メモリに書き込
まれる。本発明の第一実施形態に示したものと全く同じ手順で自己相関関数、合成自己相
関関数、有声・無声判定結果、ピッチ、ピッチ変化量Ｉ、ピッチ変化量ＩＩ、ビブラート
情報、瞬時得点、累積得点などが算出され、ＲＡＭ５３に書き込まれる。本ソフトウェア
では、第一実施形態で採点処理部（採点ＤＳＰ）１２が行っていた処理をＣＰＵ５１が担
当する。採点処理手順は第一実施形態における図４〜図３５に示したものと全く同じであ
るので、図４〜図３５の説明を援用する。なお第二実施形態では、ＲＡＭ５３が請求項に
言う「相関関数記憶手段」、「スペクトル記憶手段」、「合成相関関数記憶手段」、「ピ
ッチ記憶手段」、「ビブラート記憶手段」、「ピッチ差分記憶手段」、「音程変化量記憶
手段」及び「音程相関関数記憶手段」に相当する。また、図４におけるＳ１０の処理が請
求項に言う「相関関数算出ステップ」及び「相関関数記憶ステップ」に相当し、Ｓ１０の
処理を実行するＣＰＵ５１が「相関関数算出手段」に相当する。また、図４におけるＳ１
１の処理が請求項に言う「スペクトル算出ステップ」、「スペクトル記憶ステップ」、「
合成相関関数算出ステップ」及び「合成相関関数記憶ステップ」に相当し、Ｓ１１の処理
を実行するＣＰＵ５１が「スペクトル算出手段」及び「合成相関関数算出手段」に相当す
る。また、図４におけるＳ１３の処理が請求項に言う「ピッチ抽出ステップ」、「ピッチ
記憶ステップ」に相当し、Ｓ１３の処理を実行するＣＰＵ５１が「ピッチ抽出手段」に相
当する。また、図４におけるＳ１４の処理が請求項に言う「ピッチ差分算出ステップ」及
び「ピッチ差分記憶ステップ」に相当し、Ｓ１４の処理を実行するＣＰＵ５１が「ピッチ
差分算出手段」に相当する。また、図４におけるＳ１５の処理が請求項に言う「音程変化
量抽出ステップ」及び「音程変化量記憶ステップ」に相当し、Ｓ１５の処理を実行するＣ
ＰＵ５１が「音程変化量抽出手段」に相当する。また、図４におけるＳ１６の処理が請求
項に言う「ビブラート検出ステップ」及び「ビブラート記憶ステップ」に相当し、Ｓ１６
の処理を実行するＣＰＵ５１が「ビブラート検出手段」に相当する。また、図１５におけ
るＳ１６１の処理及びＳ１６２の処理が請求項に言う「音程相関関数算出ステップ」及び
「音程相関関数記憶ステップ」に相当し、Ｓ１６１及びＳ１６２を実行するＣＰＵ５１が
「音程相関関数算出手段」に相当する。
【０１２８】
図３９は、本歌唱訓練／採点ソフトウェアの歌唱採点モードの実行画面である。このア
プリケーションは、得点を算出するのと同時に歌声から抽出したピッチ波形（ＰＩＴＣＨ
）とビブラート波形（ＴＲＥＭＯＬＯ）をリアルタイムで表示でき、さらにビブラートの
美しさ、ビブラート回数などをリアルタイムで算出して表示する。なお、これら「ビブラ
ート波形」、「ビブラートの美しさ」、「ビブラート回数」などをコンピュータに表示さ
せる処理が請求項にいうビブラート表示ステップに相当する。ここで表示しているビブラ
ート波形は、第一実施形態で説明した音程変化量Ｉまたは音程変化量ＩＩのことである。
また、ビブラートの美しさとは第一実施形態の図２２・図２３で説明した相関係数の大き
さである。
【０１２９】
本ソフトウェアを使用することで、歌唱者は歌の得点を知ると同時に、現在歌っている
フレーズのビブラート形状とビブラートの美しさを目視で確認することができる。この機
能を利用して歌唱者はビブラートの練習が可能である。以上の説明より、カラオケ装置上
で動作するビブラート訓練装置やパソコン上で動作するビブラート訓練装置は容易に実現
できることがわかる。なお、本実施例ではビデオコントローラ６が請求項に言う「表示制
御手段」及び「ビブラート表示制御手段」に相当し、ディスプレイ３が請求項に言う「表
示手段」に相当する。
【０１３０】
なお、これらの音程訓練機能・ビブラート訓練機能は本発明の第一実施形態におけるカ
ラオケ装置の"練習モード"などにも応用できることは言うまでもない。カラオケ装置では
、例えば、プロの歌手の歌声から抽出したピッチと歌唱者が歌ったときのピッチを同時に
表示して、カラオケを練習する歌唱者の手助けをする練習ソフトを作ることもできる。ま
た、前述のビブラート検出法によりプロの歌声から検出されたビブラート波形と、カラオ
ケを歌っている歌唱者の歌声から検出されたビブラートを同時にモニタに表示するビブラ
ート練習機能付きカラオケ装置なども容易に実現できる。
【産業上の利用可能性】
【０１３１】
本発明は、カラオケ装置に搭載されるカラオケ採点装置、合唱・声楽などのトレーニン
グ用途としての歌唱訓練装置、及び歌唱力評価装置に利用することができる。
【図面の簡単な説明】
【０１３２】
【図１】本発明の第一実施形態におけるカラオケ装置の外観である。
【図２】本発明の第一実施形態におけるカラオケ装置のブロック図である。
【図３】ＲＡＭ９に確保される記憶領域を示す図である。
【図４】同カラオケ装置の採点処理部の動作を示すフローチャートである。
【図５】採点処理部１２のブロック図である。
【図６】自己相関関数の算出法を説明する図である。
【図７】自己相関関数を帯域毎に分割・合成することで音程分解能（周波数分解能）を向上させる方法を示す図である。
【図８】本ピッチ抽出法におけるピッチの２段探索法を示す図である。
【図９】合成自己相関関数法によるピッチ抽出における音程分解能と従来のピッチ抽出法における音程分解能を比較したものを示す図である。
【図１０】合成自己相関関数の最低分析周波数を７０［Ｈｚ］から５０［Ｈｚ］まで下げることにより音程分解能が向上することを示す図である。
【図１１】合成自己相関関数を用いたピッチ抽出手順の全貌を示す図である。
【図１２】本発明の実施形態における音程変化量（２通り）の算出手順を示すブロック図である。
【図１３】合成自己相関関数のずらしマッチングを用いた信頼性の高いピッチ変化量（音程変化量）算出法を示す図である。
【図１４】ピッチ差分から求めた（比較的信頼性の低い）ピッチ変化量を示す図である。
【図１５】本発明の実施形態におけるビブラート検出手順を示すフローチャートである。
【図１６】本発明の実施形態におけるビブラート判定手順を示すブロック図である。
【図１７】ビブラート歌唱区間とそれ以外の歌唱区間を含む歌声波形の図である。
【図１８】図１７の歌声波形から抽出したピッチ（音程）を示す図である。
【図１９】図１８のピッチの差分をとり算出した音程変化量波形の図である
【図２０】図１９のビブラートがかかっていない区間（区間Ａ）の切り出し波形から算出した自己相関関数を示す図である。
【図２１】図１９のビブラートがかかっている区間（区間Ｂ）の切り出し波形から算出した自己相関関数を示す図である
【図２２】図１９のピッチ変化量から算出した「正位相の相関係数」と「逆位相の相関係数」を示した図である。
【図２３】図２２の「正位相の相関係数」と「逆位相の相関係数」を合成したものを示す図を示す図である。
【図２４】本発明の実施形態における得点算出手順を示すフローチャートである。
【図２５】本発明の実施形態における得点算出手順を示すブロック図である。
【図２６】上手な人の歌声（プリファレンススコア：９６点）から抽出した音程を示す図である。
【図２７】下手な人の歌声（プリファレンススコア：２３点）から抽出した音程を示す図である。
【図２８】プロの歌手の歌声（プリファレンススコア：１２２点）から抽出した音程を示す図である。
【図２９】ビブラート歌唱区間とそれ以外の歌唱区間を分離して採点する本採点法の概念を示す図である。
【図３０】歌唱ピッチと平均律音階（１２音階）からの最小距離を示す図である。
【図３１】女性の歌声データから求めたプリファレンススコア（主観評価得点）と、本発明の実施形態で提供する距離尺度Ｄ（ｔ）の相関図である。
【図３２】男性の歌声データから求めたプリファレンススコア（主観評価得点）と、本発明の実施形態で提供する距離尺度Ｄ（ｔ）の相関図である。
【図３３】カラオケ音声データと人の主観による得点の採取手順を示す図である。
【図３４】距離尺度Ｄ（ｔ）と人の主観評価の平均点（データ採取：１日目）を示す図である。
【図３５】距離尺度Ｄ（ｔ）と人の主観評価の平均点（データ採取：２日目）を示す図である。
【図３６】ＬＰＣスペクトルのずらしマッチングを用いた音程変化量（ピッチ変化量）の算出方法を示す図である。
【図３７】本発明の第二実施形態における歌唱訓練／採点装置の概略構成を示すブロック図である。
【図３８】パソコン上で動作するピッチトレーニングソフトの表示画面の図である。
【図３９】ピッチ表示機能、ビブラート表示機能、ビブラートの美しさ算出機能を有するカラオケ採点ソフトウェアの表示画面の図である。
【符号の説明】
【０１３３】
１    カラオケ装置
２    マイク
３    ディスプレイ
４    ＡＭＰ
５    スピーカ
６    ビデオコントローラ
７    ミキサ（エフェクタ）
８    演奏装置
９    ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）
１２  採点処理部（採点ＤＳＰ）
１３  ピッチ抽出部
１４  ビブラート検出部
１５  得点算出部
１６  操作部
１７  Ａ／Ｄ変換部
１８  ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）
１９  ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）
５０  ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）
５１  ＣＰＵ
５２  ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）
５３  ＲＡＭ
５４  表示画像メモリ
５５  ＨＤＤ
５６  ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）
５７  歌唱訓練／採点ソフトウェア
５８  マウスインターフェース
５９  マウス
６０  キーボードインターフェース
６１  キーボード
６２  ＣＤ−ＲＯＭドライブ
６３  ＣＤ
６４  ビデオコントローラ
６５  モニタ
６６  Ａ／Ｄ変換器
６７  マイク
１３１    自己相関関数算出モジュール
１３２    合成自己相関関数算出モジュール
１３３    有声・無声判定モジュール
１３４    ピッチ抽出モジュール
１４１    ピッチ変化量Ｉ算出モジュール
１４２    ピッチ変化量ＩＩ算出モジュール
１４３    ビブラート検出モジュール
１４３Ａ  周期性算出モジュール
１４３Ｂ  正位相・逆位相合成モジュール
１４３Ｃ  ビブラート尺度算出モジュール
１５１    信頼性算出モジュール
１５２    瞬時得点算出モジュール
１５３    得点累積モジュール