(57)【特許請求の範囲】
【請求項１】
入力音声を音符列のいずれかの音符と対応付ける音声信号処理装置であって、時間列で記述された音符列情報を記憶する音符列記憶手段と、
フレーム単位で入力される音声信号から少なくともピッチを表すパラメータを含む特徴パラメータを取得するパラメータ取得手段と、
音声信号の代表的な特徴パラメータを特徴ベクトルとしてシンボルにクラスタ化した符号帳と、各音符毎に状態数、状態遷移確率および前記シンボルの観測確率とを記憶した認識用音符情報記憶手段と、
前記認識用音符情報記憶手段を参照することにより、前記パラメータ取得手段により取得された特徴パラメータから前記入力音声の観測シンボルを取得し、該観測シンボルの観測確率を取得する観測確率取得手段と、
前記認識用音符情報記憶手段に記憶された状態数および状態遷移確率に基づいて、前記音符列情報記憶手段に記憶された前記音符列の各状態を有限状態ネットワーク上で隠れマルコフモデルによって形成する状態形成手段と、
前記観測確率取得手段によって取得された観測確率と、前記状態形成手段により形成された前記隠れマルコフモデルとにしたがって状態遷移を決定する状態遷移決定手段と、
前記状態遷移決定手段によって決定された状態遷移に基づいて、前記入力音声信号の各フレームと前記音符列情報とを対応付ける対応付け手段と
を具備し、
前記状態形成手段は、ピッチの有る音、ピッチの無い音、無音に応じて３種類のleft-to-right型の隠れマルコフモデルを形成し、前記ピッチの有る音およびピッチの無い音を３状態のモデルとして形成し、前記無音を１状態のモデルとして形成する
ことを特徴とする音声信号処理装置。
【請求項２】
前記対応付け手段による対応付け結果に基づいて、現在の入力音声が前記音符列情報のどの部分であるかを表示する表示手段をさらに具備する
ことを特徴とする請求項１に記載の音声信号処理装置。
【請求項３】
前記パラメータ取得手段は、入力される音声信号から少なくともエネルギー、デルタエネルギー、ゼロクロス、ピッチ、デルタピッチおよびピッチエラーを特徴パラメータとして取得する
ことを特徴とする請求項１または２に記載の音声信号処理装置。
【請求項４】
前記認識用音符情報記憶手段に記憶されたエネルギー、デルタエネルギー、ゼロクロス、デルタピッチおよびピッチエラーの５種の観測確率は、ガウス分布を用いた観測関数を用いて算出されており、
前記認識用音符情報記憶手段に記憶されたピッチの観測確率は、ガウス分布を用いた観測関数とステップ観測確率関数とを用いて算出されており、このピッチの観測確率を算出する際に、前記ピッチの有無に応じて前記ガウス分布を用いた観測関数と前記ステップ観測関数とを使い分けるようにした
ことを特徴とする請求項３に記載の音声信号処理装置。
【請求項５】
前記状態形成手段は、前記ピッチの有る音の隠れマルコフモデルを形成する際、前音符とスラーで接続された音符と単音符とを別のモデルとして形成することを特徴とする請求項１ないし４のいずれかに記載の音声信号処理装置。
【請求項６】
学習用楽音波形データと該楽音波形を音符化した学習用音符列データとを入力する入力手段と、
前記入力手段から入力される学習用音符列データの音符毎に有限ネットワーク上で隠れマルコフモデルを形成する学習用モデル形成手段と、
学習時に、前記学習用モデル形成手段により形成されたモデルの尤度が最大となるパラメータをｋ平均アルゴリズムにより推定するパラメータ推定手段とをさらに備え、
前記認識用音符情報記憶手段は、前記パラメータ推定手段によって推定されたパラメータにより求められた各音符における特徴ベクトルの状態遷移確率および観測確率を記憶する
ことを特徴とする請求項１ないし５のいずれかに記載の音声信号処理装置。
【請求項７】
前記状態遷移決定手段は、ビタービアルゴリズムによって状態遷移を決定することを特徴とする請求項１ないし６のいずれかに記載の音声信号処理装置。
【請求項８】
前記音符列記憶手段は、前記音符列に対応する持続時間データを記憶しており、
前記状態遷移決定手段は、前記音符列記憶手段に記憶された持続時間データを用いたビタービアルゴリズムによって状態遷移を決定する
ことを特徴とする請求項７に記載の音声信号処理装置。
【請求項９】
入力音声を予め記憶された音符列のいずれかの音符と対応付ける音声信号処理方法であって、
フレーム単位で入力される音声信号から少なくともピッチを表すパラメータを含む特徴パラメータを取得するパラメータ取得ステップと、
予め記憶された音声信号の代表的な特徴パラメータを特徴ベクトルとしてシンボルにクラスタ化した符号帳と、各音符毎に状態数、状態遷移確率および前記シンボルの観測確率とを参照することにより、前記パラメータ取得ステップにより取得された特徴パラメータから前記入力音声の観測シンボルを取得し、該観測シンボルの観測確率を取得する観測確率取得ステップと、
予め記憶された状態数および状態遷移確率に基づいて、予め記憶された音符列の各状態を有限状態ネットワーク上で隠れマルコフモデルによって形成する状態形成ステップと、
前記観測確率取得ステップによって取得された観測確率と、前記状態形成ステップにより形成された前記隠れマルコフモデルとにしたがって状態遷移を決定する状態遷移決定ステップと、
前記状態遷移決定ステップによって決定された状態遷移に基づいて、前記入力音声信号の各フレームと前記音符列情報とを対応付ける対応付けステップと
を具備し、
前記状態形成ステップでは、ピッチの有る音、ピッチの無い音、無音に応じて３種類のleft-to-right型の隠れマルコフモデルを形成し、前記ピッチの有る音およびピッチの無い音を３状態のモデルとして形成し、前記無音を１状態のモデルとして形成する
ことを特徴とする音声信号処理方法。
【請求項１０】
前記対応付けステップによる対応付け結果に基づいて、現在の入力音声が前記音符列情報のどの部分であるかを表示する表示ステップをさらに具備する
ことを特徴とする請求項９に記載の音声信号処理方法。
【請求項１１】
前記パラメータ取得ステップでは、入力される音声信号から少なくともエネルギー、デルタエネルギー、ゼロクロス、ピッチ、デルタピッチおよびピッチエラーを特徴パラメータとして取得する
ことを特徴とする請求項９または１０に記載の音声信号処理方法。
【請求項１２】
前記エネルギー、デルタエネルギー、ゼロクロス、デルタピッチおよびピッチエラーの５種の観測確率を、ガウス分布を用いた観測関数を用いて算出して記憶する第１の観測確率算出ステップと、
前記ピッチの観測確率を、ガウス分布を用いた観測関数とステップ観測確率関数とを用い、前記ピッチの有無に応じて前記ガウス分布を用いた観測関数と前記ステップ観測関数とを使い分けて算出して記憶する第２の観測確率算出ステップとをさらに具備し、
前記観測確率取得ステップでは、前記第１および第２の観測確率算出ステップで記憶された観測確率を参照することにより観測確率を取得する
ことを特徴とする請求項１１に記載の音声信号処理方法。
【請求項１３】
前記状態形成ステップでは、前記ピッチの有る音の隠れマルコフモデルを形成する際、前音符とスラーで接続された音符と単音符とを別のモデルとして形成する
ことを特徴とする請求項９ないし１２のいずれかに記載の音声信号処理方法。
【請求項１４】
学習用楽音波形データと該楽音波形を音符化した学習用音符列データとを入力する入力ステップと、
前記入力ステップで入力される学習用音符列データの音符毎に有限ネットワーク上で隠れマルコフモデルを形成する学習用モデル形成ステップと、
学習時に、前記学習用モデル形成手段により形成されたモデルの尤度が最大となるパラメータをｋ平均アルゴリズムにより推定するパラメータ推定ステップと、
前記パラメータ推定ステップによって推定されたパラメータにより求められた各音符における特徴ベクトルの状態遷移確率および観測確率を記憶する確率記憶ステップとを備え、
前記観測確率取得ステップでは、前記確率記憶ステップにより記憶された観測確率を参照することにより観測確率を取得し、
前記状態形成ステップでは、前記確率記憶ステップにより記憶された状態遷移確率に基づいて、予め記憶された音符列の各状態を有限状態ネットワーク上で隠れマルコフモデルによって形成する
ことを特徴とする請求項９ないし１３のいずれかに記載の音声信号処理方法。
【請求項１５】
前記状態遷移決定ステップは、ビタービアルゴリズムによって状態遷移を決定する
ことを特徴とする請求項９ないし１４のいずれかに記載の音声信号処理方法。
【請求項１６】
前記状態遷移決定ステップでは、予め記憶された音符列に対応する持続時間データを用いたビタービアルゴリズムによって状態遷移を決定する
ことを特徴とする請求項１５に記載の音声信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、予め記憶された音符列と入力音声とを時系列で対応付ける音声信号処理装置および音声信号処理方法に関する。
【０００２】
【従来の技術】
従来より、楽器音のピッチや発音時間を検出することによって、現時点で楽器音譜面のどの位置にいるかを追従するための方法が考えられている（例えば、 "An On-Line Algorithm for Real-time Accompanmient"（R. Dannenberg. Proceedings of the ICMC 1984）や、"The Synthetic performer in the Context of Live Musical Performance"（B. Vercoe. Proceedings of the ICMC 1984.）などに記載された方法）。
【０００３】
【発明が解決しようとする課題】
しかし、実際の演奏や歌声は、完全に譜面通りに進行するとは限らず、微妙なテンポ、タイミングピッチのずれや、揺らぎなどの不確定な要素が悪影響を与え、上述した従来の手法では、楽器音や歌声を譜面のどこにいるかを正確に検出することができない場合がある。
【０００４】
本発明は、上記の事情を考慮してなされたものであり、入力される歌声や楽器音などの音声が譜面のどの位置にいるかをより正確に検出することが可能な音声信号処理装置、および音声信号処理方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、本発明の請求項１に記載の音声信号処理装置は、入力音声を音符列のいずれかの音符と対応付ける音声信号処理装置であって、時間列で記述された音符列情報を記憶する音符列記憶手段と、フレーム単位で入力される音声信号から少なくともピッチを表すパラメータを含む特徴パラメータを取得するパラメータ取得手段と、音声信号の代表的な特徴パラメータを特徴ベクトルとしてシンボルにクラスタ化した符号帳と、各音符毎に状態数、状態遷移確率および前記シンボルの観測確率とを記憶した認識用音符情報記憶手段と、前記認識用音符情報記憶手段を参照することにより、前記パラメータ取得手段により取得された特徴パラメータから前記入力音声の観測シンボルを取得し、該観測シンボルの観測確率を取得する観測確率取得手段と、前記認識用音符情報記憶手段に記憶された状態数および状態遷移確率に基づいて、前記音符列情報記憶手段に記憶された前記音符列の各状態を有限状態ネットワーク上で隠れマルコフモデルによって形成する状態形成手段と、前記観測確率取得手段によって取得された観測確率と、前記状態形成手段により形成された前記隠れマルコフモデルとにしたがって状態遷移を決定する状態遷移決定手段と、前記状態遷移決定手段によって決定された状態遷移に基づいて、前記入力音声信号の各フレームと前記音符列情報とを対応付ける対応付け手段とを具備し、前記状態形成手段は、ピッチの有る音、ピッチの無い音、無音に応じて３種類のleft-to-right型の隠れマルコフモデルを形成し、前記ピッチの有る音およびピッチの無い音を３状態のモデルとして形成し、前記無音を１状態のモデルとして形成することを特徴としている。
【０００６】
また、請求項２に記載の音声信号処理装置は、請求項１に記載の音声信号処理装置において、前記対応付け手段による対応付け結果に基づいて、現在の入力音声が前記音符列情報のどの部分であるかを表示する表示手段をさらに具備することを特徴としている。
【０００７】
また、請求項３に記載の音声信号処理装置は、請求項１または２に記載の音声信号処理装置において、前記パラメータ取得手段は、入力される音声信号から少なくともエネルギー、デルタエネルギー、ゼロクロス、ピッチ、デルタピッチおよびピッチエラーを特徴パラメータとして取得することを特徴としている。
【０００８】
また、請求項４に記載の音声信号処理装置は、請求項３に記載の音声信号処理装置において、前記認識用音符情報記憶手段に記憶されたエネルギー、デルタエネルギー、ゼロクロス、デルタピッチおよびピッチエラーの５種の観測確率は、ガウス分布を用いた観測関数を用いて算出されており、
前記認識用音符情報記憶手段に記憶されたピッチの観測確率は、ガウス分布を用いた観測関数とステップ観測確率関数とを用いて算出されており、このピッチの観測確率を算出する際に、前記ピッチの有無に応じて前記ガウス分布を用いた観測関数と前記ステップ観測関数とを使い分けるようにしたことを特徴としている。
【００１０】
また、請求項５に記載の音声信号処理装置は、請求項１ないし４のいずれかに記載の音声信号処理装置において、前記状態形成手段は、前記ピッチの有る音の隠れマルコフモデルを形成する際、前音符とスラーで接続された音符と単音符とを別のモデルとして形成することを特徴としている。
【００１１】
また、請求項６に記載の音声信号処理装置は、請求項１ないし５のいずれかに記載の音声信号処理装置において、学習用楽音波形データと該楽音波形を音符化した学習用音符列データとを入力する入力手段と、前記入力手段から入力される学習用音符列データの音符毎に有限ネットワーク上で隠れマルコフモデルを形成する学習用モデル形成手段と、学習時に、前記学習用モデル形成手段により形成されたモデルの尤度が最大となるパラメータをｋ平均アルゴリズムにより推定するパラメータ推定手段とをさらに備え、前記認識用音符情報記憶手段は、前記パラメータ推定手段によって推定されたパラメータにより求められた各音符における特徴ベクトルの状態遷移確率および観測確率を記憶することを特徴としている。
【００１２】
また、請求項７に記載の音声信号処理装置は、請求項１ないし６のいずれかに記載の音声信号処理装置において、前記状態遷移決定手段は、ビタービアルゴリズムによって状態遷移を決定することを特徴としている。
【００１３】
また、請求項８に記載の音声信号処理装置は、請求項７に記載の音声信号処理装置において、前記音符列記憶手段は、前記音符列に対応する持続時間データを記憶しており、前記状態遷移決定手段は、前記音符列記憶手段に記憶された持続時間データを用いたビタービアルゴリズムによって状態遷移を決定することを特徴としている。
【００１４】
また、請求項９に記載の音声信号処理方法は、入力音声を予め記憶された音符列のいずれかの音符と対応付ける音声信号処理方法であって、フレーム単位で入力される音声信号から少なくともピッチを表すパラメータを含む特徴パラメータを取得するパラメータ取得ステップと、予め記憶された音声信号の代表的な特徴パラメータを特徴ベクトルとしてシンボルにクラスタ化した符号帳と、各音符毎に状態数、状態遷移確率および前記シンボルの観測確率とを参照することにより、前記パラメータ取得ステップにより取得された特徴パラメータから前記入力音声の観測シンボルを取得し、該観測シンボルの観測確率を取得する観測確率取得ステップと、予め記憶された状態数および状態遷移確率に基づいて、予め記憶された音符列の各状態を有限状態ネットワーク上で隠れマルコフモデルによって形成する状態形成ステップと、前記観測確率取得ステップによって取得された観測確率と、前記状態形成ステップにより形成された前記隠れマルコフモデルとにしたがって状態遷移を決定する状態遷移決定ステップと、前記状態遷移決定ステップによって決定された状態遷移に基づいて、前記入力音声信号の各フレームと前記音符列情報とを対応付ける対応付けステップとを具備し、前記状態形成ステップでは、ピッチの有る音、ピッチの無い音、無音に応じて３種類のleft-to-right型の隠れマルコフモデルを形成し、前記ピッチの有る音およびピッチの無い音を３状態のモデルとして形成し、前記無音を１状態のモデルとして形成することを特徴としている。
【００１５】
また、請求項１０に記載の音声信号処理方法は、請求項９に記載の音声信号処理方法において、前記対応付けステップによる対応付け結果に基づいて、現在の入力音声が前記音符列情報のどの部分であるかを表示する表示ステップをさらに具備することを特徴としている。
【００１６】
また、請求項１１に記載の音声信号処理方法は、請求項９または１０に記載の音声信号処理方法において、前記パラメータ取得ステップでは、入力される音声信号から少なくともエネルギー、デルタエネルギー、ゼロクロス、ピッチ、デルタピッチおよびピッチエラーを特徴パラメータとして取得することを特徴としている。
【００１７】
また、請求項１２に記載の音声信号処理方法は、請求項１１に記載の音声信号処理方法において、前記エネルギー、デルタエネルギー、ゼロクロス、デルタピッチおよびピッチエラーの５種の観測確率を、ガウス分布を用いた観測関数を用いて算出して記憶する第１の観測確率算出ステップと、前記ピッチの観測確率を、ガウス分布を用いた観測関数とステップ観測確率関数とを用い、前記ピッチの有無に応じて前記ガウス分布を用いた観測関数と前記ステップ観測関数とを使い分けて算出して記憶する第２の観測確率算出ステップとをさらに具備し、前記観測確率取得ステップでは、前記第１および第２の観測確率算出ステップで記憶された観測確率を参照することにより観測確率を取得することを特徴としている。
【００１９】
また、請求項１３に記載の音声信号処理方法は、請求項９ないし１２のいずれかに記載の音声信号処理方法において、前記状態形成ステップでは、前記ピッチの有る音の隠れマルコフモデルを形成する際、前音符とスラーで接続された音符と単音符とを別のモデルとして形成することを特徴としている。
【００２０】
また、請求項１４に記載の音声信号処理方法は、請求項９ないし１３のいずれかに記載の音声信号処理方法において、学習用楽音波形データと該楽音波形を音符化した学習用音符列データとを入力する入力ステップと、前記入力ステップで入力される学習用音符列データの音符毎に有限ネットワーク上で隠れマルコフモデルを形成する学習用モデル形成ステップと、学習時に、前記学習用モデル形成手段により形成されたモデルの尤度が最大となるパラメータをｋ平均アルゴリズムにより推定するパラメータ推定ステップと、前記パラメータ推定ステップによって推定されたパラメータにより求められた各音符における特徴ベクトルの状態遷移確率および観測確率を記憶する確率記憶ステップとを備え、前記観測確率取得ステップでは、前記確率記憶ステップにより記憶された観測確率を参照することにより観測確率を取得し、前記状態形成ステップでは、前記確率記憶ステップにより記憶された状態遷移確率に基づいて、予め記憶された音符列の各状態を有限状態ネットワーク上で隠れマルコフモデルによって形成することを特徴としている。
【００２１】
また、請求項１５に記載の音声信号処理方法は、請求項９ないし１４のいずれかに記載の音声信号処理方法において、前記状態遷移決定ステップは、ビタービアルゴリズムによって状態遷移を決定することを特徴としている。
【００２２】
また、請求項１６に記載の音声信号処理方法は、請求項１５に記載の音声信号処理方法において、前記状態遷移決定ステップでは、予め記憶された音符列に対応する持続時間データを用いたビタービアルゴリズムによって状態遷移を決定することを特徴としている。
【００２３】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
Ａ．実施形態の構成
Ａ−１．全体構成
まず、図１は本発明の一実施形態に係る音声信号処理装置の構成を示す図である。同図において、符号１はマイクであり、歌唱者の歌声や楽器音などの音を収集し、入力音声信号Ｓｖとして入力音声信号切出部３に出力する。符号２は分析窓生成部であり、分析窓生成部２は前回のフレームで検出したピッチの周期の固定倍の周期を有する分析窓（例えば、ハミング窓）ＡＷを生成し、入力音声信号切出部３に出力する。なお、初期状態もしくは前回のフレームが無音の場合には、予め設定した固定周期の分析窓を分析窓ＡＷとして入力音声信号切出部３に出力する。
【００２４】
入力音声信号切出部３は、入力された分析窓ＡＷと入力音声信号Ｓｖとを掛け合わせ、入力音声信号Ｓｖをフレーム単位で切り出し、フレーム音声信号ＦＳｖとして高速フーリエ変換部４に出力する。高速フーリエ変換部４は、フレーム音声信号ＦＳｖから周波数スペクトルを求め、特徴パラメータ分析部５に出力する。
【００２５】
特徴パラメータ分析部５は、入力音声のスペクトル特性を特徴づける特徴パラメータを抽出し、シンボル量子化部７に出力する。本実施形態では、特徴パラメータとして後に説明する６種類（エネルギー、デルタエネルギー、ゼロクロス率、ピッチ周波数、デルタピッチおよびトータルエラー）の特徴ベクトルを用いている。認識用音符情報記憶部６は、後に詳しく説明するように、符号帳６ａと、各音符における特徴ベクトルの状態数および状態遷移確率とシンボル観測確率とを示す確率データを記憶した音符辞書６ｂとを備えている。
【００２６】
シンボル量子化部７は、認識用音符情報記憶部６に記憶された符号帳６ａを参照して、そのフレームにおける最大尤度をもつ特徴シンボルを選び出し、選び出した特徴シンボルの観測確率を音符列状態形成部８に出力する。
【００２７】
音符列状態形成部８は、上記認識用音符情報記憶部６と後述する音符列情報記憶部１１とを参照することにより、隠れマルコフモデル（ＨＭＭ）によって音符列情報記憶部１１に記述された音符列状態を形成する。状態遷移決定部９は、シンボル量子化部７から出力される入力音声から得られたフレーム単位の特徴シンボルの観測確率を用いて、後述するビタービアルゴリズムにしたがって状態遷移を決定する。これにより、入力音声の音符をフレーム単位の各時刻において特定できる。
【００２８】
マッチング部１０は、特定された入力音声のフレーム単位の音符により、入力音声のフレーム単位の各時刻と、音符列情報記憶部１１に記憶された音符列のいずれの位置であるかを特定し、入力音声と音符列との対応付けを行う。表示装置１２は、マッチング部１０による入力音声と音符列との対応付け結果を表示する。
【００２９】
Ａ−２．認識用音符情報記憶部
次に、上記認識用音符情報記憶部６に記憶される符号帳６ａおよび音符辞書６ｂについて説明する。符号帳６ａは、音声信号の代表的な特徴パラメータを特徴ベクトルとして所定数のシンボルにクラスタ化されている。
【００３０】
Ａ−２−１．特徴ベクトル
まず、符号帳６ａについて説明する前に、本実施形態で用いる６種類の特徴ベクトルについて説明する。
【００３１】
▲１▼エネルギー
エネルギーは音の強さを表す係数であり、次式により特徴ベクトルにパラメータ化される。
【数１】
0004302837.tif 000002
▲２▼デルタエネルギー
デルタエネルギーは音の強さを差分として表す係数であり、次式により特徴ベクトルにパラメータ化される。
【数２】
0004302837.tif 000003
▲３▼ゼロクロス率
ゼロクロス率は、有声音であるほどゼロクロス率が低くなる特徴を有するものであり、次式により特徴ベクトルにパラメータ化される。
【数３】
0004302837.tif 000004
▲４▼ピッチ周波数
ピッチ周波数は、"Fundamental Frequency Estimation in the SMS Analysis"(P. Cano. DAFX Proceedings 1998.)に記載されたTwo-Way Mismatch法により求めることができる。
【００３２】
▲５▼デルタピッチ
デルタピッチは、次式により特徴ベクトルにパラメータ化される。
【数４】
0004302837.tif 000005
▲６▼トータルエラー
トータルエラーは、予測ピッチの測定ピッチとのエラー、および測定ピッチの予測ピッチのエラーの２方向からのミスマッチを求めることにより有声音らしさを示すものである。
まず、予測ピッチ（p）の測定ピッチ（m）とのピッチエラーは次式により表される。
【数５】
0004302837.tif 000006
上記式において、ｆkはｋ番目の予測ピーク周波数、Δｆkはｋ番目の予測ピーク周波数と測定ピッチの周波数差、ａkはｋ番目の予測アンプリチュード、Ａmaxはアンプリチュードの最大値を示す。
一方、測定ピッチ（m）から予測ピッチ（p）へのピッチエラーは、次式で表される。
【数６】
0004302837.tif 000007
上記式において、ｆkはｋ番目の予測ピーク周波数、Δｆkはｋ番目の予測ピーク周波数と測定ピッチの周波数差、ａkはｋ番目の予測アンプリチュード、Ａmaxはアンプリチュードの最大値を示す。
【００３３】
従って、トータルエラーは、次式のようになる。
【数７】
0004302837.tif 000008
Ａ−２−２．音符辞書
音符辞書６ｂには、各音符毎にleft-to-right型の隠れマルコフモデルが記憶されている。ここで、音符辞書６ｂには入力音声の物理的特性に応じて３種類のモデルが用意されている。具体的には、ピッチ有り音、ピッチ無し音および無音の３種類毎にモデルが用意されている。また、ピッチ有り音としては、各音程（Ｃ０、Ｃ＃０、Ｄ０、Ｄ＃０、Ｅ０、Ｆ０、Ｆ＃０、Ｇ０、Ｇ＃０……）毎にモデル、つまり状態数および状態遷移確率が記憶されている（図２および図３参照）。また、後述するように予めガウス分布等にしたがって算出された各特徴ベクトルのシンボルに対する観測確率の値が記憶されている。ここで、ピッチ有り音の場合には、状態数は３であり、それぞれ発音の立ち上がり（アタック）、定常状態（ステディー）、リリース状態の３つの状態を擬似的に表している。
【００３４】
また、本実施形態ではピッチ無し音として、破裂音（/p/,/b/……）や摩擦音（/s/,/sh/……）毎に１モデルが用意されている。本実施形態では、このピッチ無し音のモデルでも状態数がアタック、ステディー、リリースの３状態に設定されており、これにより呼気音、破裂音、摩擦音等の細かなニュアンスを再現できるようにしている。また、無音（SILENCE）の場合は、状態数は１に設定されている。なお、ピッチ有り音の場合、スラーで全音と接続された音符に関しては、単音符とは異なるモデルを用意するようにすれば、より精度のよい入力音声と音符との対応付けが可能となる。
Ａ−２−３．符号帳
符号帳６ａは、上記６種の特徴ベクトルのうち、▲１▼エネルギー、▲２▼Δエネルギー、▲３▼ゼロクロス率、▲５▼デルタピッチ、および▲６▼トータルエラーの５種類により生成され、クラスタ分けされている。各クラスタには、各シンボルを表す典型的なベクトル集合が入っている。（図４参照）。本実施形態では、符号帳６ａの作成の際に、公知のＬＢＧアルゴリズムを使用している。
また、符号帳６ａの作成は、次式で示されるガウス分布の連続密度関数にしたがってなされる。
【数８】
0004302837.tif 000009
ここで、Ｃjmは状態ｊにおける成分ｍの混合重み係数を示している。また、Ｎ（ｊ；μ，Σj）は平均ベクトルμと共分散行列Σの多次元ガウス分布を示しているが、このままでは多次元であることにより学習パラメータの数が膨大になるため、本実施形態ではＮ（ｊ；μ，Σj）を一定の関数としている。
【００３５】
このようなガウス分布にしたがった符号帳６ａを作成するため、フレームにおける量子化ベクトルＮlの観測系列ｙt〜lは部分集合Ｍlとなる。ここで、Ｍlは作成する符号帳の混合要素の数である。そして、符号帳６ａ作成の際には、以下のような演算でパラメータが推定されることになる。
【数９】
0004302837.tif 000010
【数１０】
0004302837.tif 000011
混合重み係数Ｃjmは、量子化ベクトルＮlmが符号帳のｍ番目に混合されるときに用いられ、以下の式のように表される。
【数１１】
0004302837.tif 000012
次に、本実施形態では、上記５種類以外の特徴ベクトルである▲４▼ピッチ周波数については、その観測確率を算出する際に用いる関数は、ピッチ有り音と、ピッチ無し音又は無音の場合の２通りに分けられている。ここで、図５（ａ）はピッチ有り音の場合の観測確率ｂ（y）を算出するためのステップ関数を示し、図５（ｂ）はピッチ無し音又は無音の場合の観測確率ｂ（y）を算出するためのステップ関数を示す。同図に示すように、ピッチ有り音の場合、ピッチＦ0＝０、つまりピッチが検出されないときには、算出される観測確率は定数となる。一方、ピッチが検出された場合、つまりＦ0＝０でない場合には、観測確率ｂ’（y）を算出する関数（図５（ａ）中右上に示すグラフ参照）としてガウス分布にしたがった連続密度関数に置き換えられる。そして、この算出の際に用いられるピッチＦ0Devは以下の式で算出される。
【数１２】
0004302837.tif 000013
上記式において、ＦPerfect0は、本来演奏されるべきピッチ周波数を示す。例えば、平均率Ａ４＝４４０Ｈｚの場合には、各音程において観測確率算出の際に用いられるＦPerfect0は以下の数値である。
Ｃ３………２６１．６２６Ｈｚ
Ｄ３………２９３．６６Ｈｚ
Ｅ３………３２９．６２８Ｈｚ
このようにガウス分布の連続密度関数等にしたがって６種類の特徴ベクトルに対する観測確率は算出され、音符辞書６ｂに記憶されており、また符号帳６ａもこのガウス分布にしたがった形で作成されている。
【００３６】
Ａ−３．音符列情報記憶部
次に、音符列情報記憶部１１について説明する。図６に示すように、音符列情報記憶部１１は、楽曲などの音符列が時系列に記述されている。また、本実施形態では、上記音符列の各音符毎にその持続時間情報が記憶されている。従って、図６（ａ）に示すような譜面で示される楽曲の音符列を記憶する場合には、図６（ｂ）に示すような音符列情報と持続時間情報が記憶されることになる。ここで、持続時間情報は、以下のように表されている。
【００３７】
ピッチ有り音又はピッチ無し音の場合、
Ｓ１：全音符
Ｓ２：２分音符
Ｓ３：４分音符
Ｓ４：８分音符
といったように表される。
【００３８】
一方、無音（休符）の場合、
Ｕ１：全休符
Ｕ２：２分休符
Ｕ３：４分休符
Ｕ４：８分休符
といったように表される。
【００３９】
従って、上記持続時間の実時間は、楽譜面の速度表記や設定テンポによって決定される。
【００４０】
Ｂ．実施形態の動作
次に、上記構成を有する音声信号処理装置の動作について説明する。
Ｂ−１．概要動作
最初に、この音声信号処理装置の概要動作について図７に示すフローチャートを参照しながら説明する。まず、マイク１により入力音声信号が生成されると、この音声信号に対してフレーム単位で高速フーリエ変換して周波数スペクトルを取得する。そして、取得した周波数スペクトルから特徴パラメータ解析を行って上述した６種類の特徴パラメータを取得する（ステップＳ１）。
【００４１】
次に、認識用音符情報記憶部６を参照することにより、シンボル量子化部７によって取得した６種類の特徴パラメータのシンボル量子化が行われる（ステップＳ２）。そして、シンボル量子化部７は音符辞書６ｂを参照することにより、シンボル量子化したシンボルの観測確率を取得する。
【００４２】
この後、音符列情報記憶部１１に記憶された音符列情報および音符辞書６ｂを参照することにより、音符列状態形成部８によって音符列の状態がＨＭＭモデルにより構成される（ステップＳ３）。そして、上述したようにシンボル量子化部７によって取得されたシンボル観測確率と、音符列状態形成部８によって形成されたＨＭＭモデルとに基づき、状態遷移決定部９がビタービアルゴリズムを用いて状態遷移を決定する（ステップＳ４）。ＨＭＭモデルおよびビタービアルゴリズムについては後述する。そして、状態遷移決定部９により決定された状態遷移に基づいて、マッチング部１０が入力音声と音符列との時間的な対応付けを行われ（ステップＳ５）、この対応付け結果が表示装置１２に表示される（ステップＳ６）。
【００４３】
Ｂ−２．動作の詳細
次に、概要動作においてふれた各処理について詳細に説明する。
【００４４】
Ｂ−２−１．特徴パラメータ分析およびシンボル量子化
図８は、マイク１により生成される入力音声信号から特徴パラメータを取得してシンボル量子化する処理を説明するための図である。同図に示すように、入力された音声信号は、フレーム単位で高速フーリエ変換によって周波数スペクトルに変換される。この周波数スペクトルには、特徴パラメータ分析が行われる。そして、各特徴ベクトル毎に、認識用音符情報記憶部６の符号帳６ａから最大尤度のシンボルを見つけだし、音符辞書６ｂを参照して見つけだしたシンボルについての観測確率を取得する。
【００４５】
Ｂ−２−２．隠れマルコフモデル
次に、図９を参照しながら、隠れマルコフモデル（ＨＭＭ）について説明する。なお、音声の状態は一方向へ遷移するので、本実施形態では、上述したようにLeft-to-right型のモデルを用いている。
【００４６】
時刻ｔにおいて、状態ｉからｊへ遷移する確率（状態遷移確率）をａijと表す。図９に示す例では、状態▲１▼にとどまる確率をａ11と表し、状態▲１▼から状態▲２▼へ遷移する確率をａ12と表している。このような状態遷移確率が上述したように音符辞書６ｂには音符毎に記憶されている（図３参照）。また、本実施形態において、ピッチ有り音およびピッチ無し音では、状態▲１▼はアタック、状態▲２▼はステディー、状態▲３▼はリリースを示す。
【００４７】
各状態の中には特徴ベクトルがそれぞれ存在し、各々に異なる観測シンボルがある。これをＹ＝｛ｙ1、ｙ2、……、ｙt｝と表す。
そして、時刻ｔにおいて状態がｊである時に特徴ベクトルのシンボルｙtを発生させる確率（シンボル観測確率）をｂj（ｙt）と表す。
ここで、図示のモデルをＭとした場合、観測シンボル系列ｙが状態▲１▼、▲２▼、▲３▼と推移する確率をＹとすると、ＸとＹが同時に起こる確率は、次の式で表せる。
【数１３】
0004302837.tif 000014
本実施形態では、音符列情報記憶部１１に記憶された音符列情報に基づいて、図９に示すようなＦＳＮ（有限状態ネットワーク）を音符単位で形成する。例えば、図６（ｂ）に示すような情報が記憶されている場合には、音符辞書６ｂに記憶された音程「Ｅ３」、「Ｇ３」、「無音」……の状態数および状態遷移確率に基づいて隠れマルコフモデルを形成する。
【００４８】
Ｂ−２−３．状態遷移決定
本実施形態では、音符列情報記憶部１１に記憶された音符列情報に基づいて上記のように形成された隠れマルコフモデルと、シンボル量子化部７が取得した特徴シンボルと、このシンボルの観測確率とから、ビタービアルゴリズムにしたがって入力音声の状態遷移を決定するが、その概要を簡単に説明する。
ビタービアルゴリズムは、モデルＭが観測シンボル系列ｙを出力するときの最も可能性の高い観測状態列を導くためのものである。
Φj（ｔ）を時刻ｔで状態にあるときの、観測ベクトルｙ1〜ｙtに遷移する際の最も高い確率であるとすると、このときの部分的尤度は次の帰納式で表される。
【数１４】
0004302837.tif 000015
上記式において、ａijは状態ｉからｊへの状態遷移率（つまり、音符列情報記憶部１１に記憶された音符列により決定される）、ｂj（ｙt）は特徴ベクトルの各々の時刻ｔにおけるシンボル観測確率であり、入力される音声の特徴ベクトルと上述した認識用音符情報記憶部６等とに基づいて決定されるものである。
【００４９】
また、Φ1（１）＝１、Φj（１）＝ａ1jｂj（ｙ1）とすると、１＜ｊ＜Ｎについて、最大尤度確率Ｐ’（Ｙ｜Ｍ）は、次の式で表される。
【数１５】
0004302837.tif 000016
このようにして状態ｊへの最大の確率を再帰的に求めることにより、最適なパス、つまり最も高い確率の観測状態列が導かれ、状態遷移が決定される。
【００５０】
さらに、本実施形態では、音符列情報記憶部１１に音符列の各音符に対応した持続時間情報が記憶されており、上述の最適パス算出のためのビタービアルゴリズムにこの持続時間情報を含めた以下に示すようなアルゴリズムを使用している。
【００５１】
このアルゴリズムでは、各々の音符ｎ、時間ｔでの持続時間の経過を保持し、時間ｔの状態から時間ｔ＋１の状態ｊに推移する際の罰則関数Ｐを導入している。
【数１６】
0004302837.tif 000017
このような罰則関数Ｐの導入に関しての詳細は、"Robust Parametric Modeling of Durations in HMMs"（D. Burshtein. ICASSP Proceedings 1995）に記載されている。
【００５２】
上記罰則関数Ｐにおいて、ΔＤ（ｔ）は対象となる本来演奏されるべき音の持続時間と、実際の音の持続時間との差を示している。つまり、ΔＤ（t）＝Ｄ（t）−Ｄｎとなる。ここで、Ｄ（ｔ）は実際の音の持続時間であり、Ｄｎは本来演奏されるべき音の持続時間で、音符列中では持続時間を示すシンボルで表される（Ｓ１，Ｓ２等、図６（ｂ）参照）。上述したように持続時間の実時間長は、楽譜面の速度表記や設定テンポによって決定される。例えば、図６に示す楽譜において、持続時間情報が「Ｓ３」、つまり四分音符の場合には、Ｄｎ＝６０／１２０＝５００msecとなる。
また、上記罰則関数において、ｌ（u）＝logp（u）を示している。
ここで、ｐ（u）はΔＤの確率密度であり、ガウス混合密度でモデル化されたものである。
【００５３】
このような罰則関数Ｐを上記ビタービアルゴリズムに含めるために、モデルパラメータの対数をとると、帰納式は次のように表される。
【数１７】
0004302837.tif 000018
この式により、音韻の持続時間が考慮された最適なパスを決定することができる。
【００５４】
図１０に示す例では、上記式によって計算された確率を○あるいは△で示している（○＞△）。例えば、時刻ｔｍ１〜時刻ｔｍ３（時刻ｔｍ１等はフレーム単位の時刻を示す）までの観測をふまえ、状態「Silence」から状態「Ｃ1」へのパスが形成される確率は、状態「Silence」から状態「Silence」へのパスが形成される確率よりも高く、時刻ｔｍ３におけるベスト確率となり、図中太線で示すように状態遷移が決定される。このような演算を入力音声の各フレームに対応する時刻（ｔｍ１、ｔｍ２、ｔｍ３、……）毎に行うことによって、図１０に示す例では、図中太線で示すような遷移したように決定される。これにより入力音声の音符を各フレーム単位の各時刻において特定できるようになる。図１０に示す場合には、時刻ｔｍ１、ｔｍ２が「Silence」、ｔｍ３〜ｔｍ１０までが「Ｃ１」、ｔｍ１１〜が「Ｄ０」といった具合に特定できる。
【００５５】
このようにしてフレーム単位の時刻で特定した入力音声の音符と、音符列情報記憶部１１に記憶された音符列を構成する各音符との対応付けが可能となる。これにより、入力音声と音符列の各音符とを対応付けた結果を表示装置１２に表示することができる。ここで、表示装置１２の表示方法としては、図１０に示すように、楽譜面を表示し、現時点での入力音声がこの楽譜面のどの位置にいるかを矢印等で指し示すようにしてもよいし、現在の入力音声に相当する音符を他の音符と色を変えて表示し、現在の入力音声が音符列のどの位置にあるかを表示してもよいし、任意である。
【００５６】
Ｃ．変形例
なお、上述した実施形態では、認識用音符情報記憶部６の音符辞書６ｂには予め算出した遷移確率やシンボル観測確率等を記述するようにしていたが、随時学習データ（楽音や歌声の波形データと、これに対応する音符列を示すデータとのセット）を入力して、これらのパラメータを推定して書き換えるようにしてもよい。この場合、学習データの音符列を表記したデータを用いて、各音符について隠れマルコフモデルをＦＳＮに拡張したものを生成する。そして、入力される学習データの尤度を最大にするために各々の音符モデルのパラメータを推定することにより求める。
ここでは、公知のＫ平均法を用いてパラメータを推定する方法について簡単に説明する。
【００５７】
▲１▼初期化
まず、学習データの波形データを音符列表記の音符毎に分割する。
【００５８】
▲２▼推定
次に、遷移に要する時間をカウントし、それを状態の遷移時間で割ることで遷移確率を算出する。つまり、次式で遷移確率が算出される。
【数１８】
0004302837.tif 000019
この過程では、学習時間中の各々の遷移状態と出力シンボルを追跡するために、カウンタの管理を行う必要がある。
【００５９】
そして、ピッチ周波数以外の５種類の特徴ベクトルの観測確率に使用されるガウス分布の連続密度関数における混合重み係数は、各々の状態ｉについて次の式で推定される。
【数１９】
0004302837.tif 000020
また、残りの特徴ベクトルであるピッチ周波数についての確率関数は、次に示すものを使用する。
【数２０】
0004302837.tif 000021
また、上述したようにピッチ周波数についてピッチ音ありの場合は、他の５種類の特徴ベクトルと同様にガウス分布の連続密度関数が用いられるので、この場合には、上記５種類の特徴ベクトルと同様にして推定される。
【００６０】
▲３▼セグメント分け
上記▲２▼に示した推定過程において、推定されたパラメータを用いて、あらためてセグメント分けを行う。
【００６１】
▲４▼反復
上記▲２▼と▲３▼とを収束するまで繰り返す。
【００６２】
このように学習を行うことにより、より正確なパラメータを推定して音符辞書６ｂに記述することができる。すなわち、音符辞書６ｂを参照して行われる状態遷移の決定の正確性を向上させることができ、入力音声が音符列のどの位置にいるかをより正確に検出することができるようになる。
【００６３】
【発明の効果】
以上説明したように、本発明によれば、入力される歌声や楽器音などの音声が譜面のどの位置にいるかをより正確に検出することが可能となる。
【図面の簡単な説明】
【図１】  本発明の一実施形態に係る音声信号処理装置の構成を示すブロック図である。
【図２】  前記音声信号処理装置の構成要素である音符辞書を説明するための図である。
【図３】  前記音声信号処理装置の構成要素である音符辞書を説明するための図である。
【図４】  前記音声信号処理装置の構成要素である符号帳を説明するための図である。
【図５】  前記音符辞書に記述されたシンボルの観測確率を算出するための関数を説明するための図である。
【図６】  前記音声信号処理装置の構成要素である音符列情報記憶部を説明するための図である。
【図７】  前記音声信号処理装置の動作を説明するためのフローチャートである。
【図８】  入力音声から特徴ベクトルを取得する過程について説明する図である。
【図９】  前記音声信号処理装置で使用される隠れマルコフモデルを説明するための図である。
【図１０】  入力音声と音符列との対応付けを説明するための図である。
【図１１】  入力音声と音符列との対応付け結果の表示例を説明するための図である。
【符号の説明】
１……マイク、２……分析窓生成部、４……高速フーリエ変換部、５……特徴パラメータ分析部、６……認識用音符情報記憶部、６ａ……符号帳、６ｂ……音符辞書、８……音符列状態形成部、９……状態遷移決定部、１１……音符列情報記憶部、１２……表示装置
【図１】
0004302837.tif 000022
【図２】
0004302837.tif 000023
【図３】
0004302837.tif 000024
【図４】
0004302837.tif 000025
【図５】
0004302837.tif 000026
【図６】
0004302837.tif 000027
【図７】
0004302837.tif 000028
【図８】
0004302837.tif 000029
【図９】
0004302837.tif 000030
【図１０】
0004302837.tif 000031
【図１１】
0004302837.tif 000032