(57)【特許請求の範囲】
【請求項１】
隠れマルコフモデルを用いて不特定話者の音声認識を行う音声認識装置であって、
入力音声の特徴パラメータを検出する検出手段と、
所定の複数の各単語について、所定の複数種類の隠れマルコフモデルで表現し、このように表現された各隠れマルコフモデルに予め設定されている前記特徴パラメータを引数とする出力確率関数と遷移確率を予め格納する認識用データ格納手段と、
前記検出手段で検出された特徴パラメータと前記各隠れマルコフモデルとを参照して、前記特徴パラメータの系列が生起する生起確率を求める認識手段とを備え、
前記認識手段は、前記生起確率を求める過程で、前記各単語について前記複数種類の隠れマルコフモデルに共通の１つの隠れマルコフモデルの状態系列を持つようにし、
かつ、前記認識手段は、前記共通の１つの隠れマルコフモデルの各状態の確率を、前記認識用データ格納手段に格納される出力確率関数と遷移確率のうち、予め組み合わせが設定されている複数組の出力確率関数値と遷移確率を乗算し、この乗算値のうち最大のものを選択して求めるようになっており、さらに、その選択した最大の乗算値に基づいて前記生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行うようになっていることを特徴とする音声認識装置。
【請求項２】
隠れマルコフモデルを用いて不特定話者の音声認識を行う音声認識装置であって、
入力音声の特徴パラメータを検出する検出手段と、
所定の複数の各単語について、所定の複数種類の隠れマルコフモデルで表現し、このように表現された各隠れマルコフモデルに予め設定されている前記特徴パラメータを引数とする出力確率関数と遷移確率を予め格納する認識用データ格納手段と、
前記検出手段で検出された特徴パラメータと前記各隠れマルコフモデルとを参照して、前記特徴パラメータの系列が生起する生起確率を求める認識手段とを備え、
前記認識手段は、前記生起確率を求める過程で、前記各単語について前記複数種類の隠れマルコフモデルに共通の１つの隠れマルコフモデルの状態系列を持つようにし、
前記認識用データ格納手段に格納される前記隠れマルコフモデルの各状態に対する遷移確率を、前記複数種類の隠れマルコフモデルに共通にし、
かつ、前記認識手段は、前記認識用データ格納手段に格納される前記複数種類の隠れマルコフモデルの各状態に対する出力確率関数から求めた出力確率関数値のうち最大のものを選択し、当該選択した出力確率関数値と前記共通にした遷移確率との乗算値に基づいて前記生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行うようになっていることを特徴とする音声認識装置。
【請求項３】
前記所定の複数種類の隠れマルコフモデルは、男女別の隠れマルコフモデル、年齢別の複数の隠れマルコフモデル、および互いに異なる種類の雑音を含む音声データに基づく複数の隠れマルコフモデルのうち、少なくとも２つ以上からなることを特徴とする請求の範囲第１項または第２項に記載の音声認識装置。
【請求項４】
隠れマルコフモデルを用いて不特定話者の音声認識を行う音声認識装置であって、
入力音声の特徴パラメータを検出する検出手段と、
所定の複数の各単語についてそれぞれ１つの隠れマルコフモデルで表現し、かつ、前記単語のうち複数の発話を許す単語については、その発話に差異のある部分について部分的に複数の隠れマルコフモデルで表現するとともに、全体として１つの隠れマルコフモデルで表現し、このように表現された各隠れマルコフモデルに予め設定されている前記特徴パラメータを引数とする出力確率関数と遷移確率を予め格納する認識用データ格納手段と、
前記検出手段で検出された特徴パラメータと前記各隠れマルコフモデルとを参照して、前記特徴パラメータの系列が生起する生起確率を求める認識手段とを備え、
前記認識手段は、前記生起確率を求める過程で、前記部分的に表現される複数の隠れマルコフモデルについて共通の１つの隠れマルコフモデルの状態系列を持つようにし、
かつ、前記認識手段は、前記共通の１つの隠れマルコフモデルの各状態の確率を、前記部分的に表現される複数の隠れマルコフモデルに予め設定されている出力確率関数と遷移確率のうち、予め組み合わせが設定されている複数組の出力確率関数値と遷移確率を乗算し、この乗算値のうち最大のものを選択して求めるようになっており、さらに、その選択した最大の乗算値を使用して前記生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行うようになっていることを特徴とする音声認識装置。
【請求項５】
所定の複数の各単語について、所定の複数種類の隠れマルコフモデルで表現し、その各隠れマルコフモデルに予め設定されている前記特徴パラメータを引数とする出力確率関数と遷移確率を予めメモリに格納しておき、
音声認識のときに、入力音声の特徴パラメータを検出し、この検出された特徴パラメータと前記各隠れマルコフモデルとを参照して、前記特徴パラメータの系列が生起する生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行う音声認識方法であって、
前記生起確率を求める過程で、前記各単語について前記複数種類の隠れマルコフモデルに共通の１つの隠れマルコフモデルの状態系列を持つようにし、
かつ、前記共通の隠れマルコフモデルの各状態の確率を、前記メモリに格納されている出力確率関数と遷移確率のうち、予め組み合わせが設定されている複数組の出力確率関数値と遷移確率を乗算し、この乗算値のうち最大のものを選択することにより求め、
さらに、その選択した最大の乗算値に基づいて前記生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行うようにしたことを特徴とする音声認識方法。
【請求項６】
所定の複数の各単語について、所定の複数種類の隠れマルコフモデルで表現し、その各隠れマルコフモデルに予め設定されている前記特徴パラメータを引数とする出力確率関数と遷移確率を予めメモリに格納しておき、
音声認識のときに、入力音声の特徴パラメータを検出し、この検出された特徴パラメータと前記各隠れマルコフモデルとを参照して、前記特徴パラメータの系列が生起する生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行う音声認識方法であって、
前記生起確率を求める過程で、前記各単語について前記複数種類の隠れマルコフモデルに共通の１つの隠れマルコフモデルの状態系列を持つようにし、
前記メモリに格納されている前記隠れマルコフモデルの各状態に対する遷移確率を、前記複数種類の隠れマルコフモデルに共通にし、
かつ、前記メモリに格納される前記複数種類の隠れマルコフモデルの各状態に対する出力確率関数から求めた出力確率関数値のうち最大のものを選択し、当該選択した出力確率関数値と前記共通にした遷移確率との乗算値に基づいて前記生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行うようになっていることを特徴とする音声認識方法。
【請求項７】
前記所定の複数種類の隠れマルコフモデルは、男女別の隠れマルコフモデル、年齢別の隠れマルコフモデル、および互いに異なる種類の雑音を含む音声データに基づく複数の隠れマルコフモデルのうち、少なくとも２つ以上からなることを特徴とする請求の範囲第５項または第６項に記載の音声認識方法。
【請求項８】
所定の複数の各単語についてそれぞれ１つの隠れマルコフモデルで表現し、かつ、前記単語のうち複数の発話を許す単語については、その発話に差異のある部分について部分的に複数の隠れマルコフモデルで表現するとともに、全体として１つの隠れマルコフモデルで表現し、このように表現された各隠れマルコフモデルに予め設定されている前記特徴パラメータを引数とする出力確率関数と遷移確率を予めメモリに格納しておき、
音声認識のときに、入力音声の特徴パラメータを検出し、この検出された特徴パラメータと前記各隠れマルコフモデルとを参照して、前記特徴パラメータの系列が生起する生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行う音声認識方法であって、
前記生起確率を求める過程で、前記部分的に表現される複数の隠れマルコフモデルについて共通の１つの隠れマルコフモデルの状態系列を持つようにし、
かつ、前記共通の１つの隠れマルコフモデルの各状態の確率を、前記部分的に表現される複数の隠れマルコフモデルに予め設定されている出力確率関数と遷移確率のうち、予め組み合わせが設定されている複数組の出力確率関数値と遷移確率を乗算し、この乗算値のうち最大のものを選択して求めるようにし、
さらに、その選択した最大の乗算値を使用して前記生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行うようにしたことを特徴とする音声認識方法。
【発明の詳細な説明】
【０００１】
技術分野
本発明は、隠れマルコフモデル（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ、ＨＭＭ）を用いて音声認識を行う音声認識装置および音声認識方法に関し、特に、語彙リストに含まれる単語を、話者の年齢や性別に起因して音声の特徴が異なる場合や、口語表現などの１つの語彙に対して発声のしかたが複数存在する場合でも、高い精度で音声認識し、それに必要なメモリ容量を低減することを可能にしたものである。
【０００２】
背景技術
一般に、不特定の話者に共通の固定語を認識する技術を不特定話者音声認識と呼んでいる。この不特定話者音声認識においては、不特定の話者に共通の固定語の特徴パラメータに関する情報があらかじめＲＯＭのような記憶装置に蓄積されている。
また、音声サンプルをある特徴パラメータの系列に変換する方法としては、ケプストラム分析や線形予測分析などが知られている。さらに、不特定の話者に共通の固定語の特徴パラメータに関する情報（データ）の作成、およびその情報と入力された音声から変換された特徴パラメータの系列との比較には、隠れマルコフモデルによる方法が一般に使用されている。
【０００３】
隠れマルコフモデルによる不特定話者音声認識については、「音声・音情報のディジタル信号処理」（鹿野清宏、中村哲、伊勢史郎共著、（株）昭晃堂）に詳しく述べられている。
例えば、日本語の場合には、音声単位を上記の「音声・音情報のディジタル信号処理」の第２章に記載されている音韻のセットとし、各音韻が隠れマルコフモデルによりモデル化されているとする。図６に音韻のセットのラベルの一覧を示す。この時、例えば「ほっかいどう」という単語は、図７（Ａ）に示すように、話者に共通の音韻ラベルのネットワーク（固定語ラベル系列）でモデル化することができる。
【０００４】
そして、図７（Ａ）に示す固定語ラベル系列と、これに対応する図７（Ｂ）に示すような隠れマルコフモデルによる音韻モデルのデータとを用意すれば、上記の「音声・音情報のディジタル信号処理」の第４章に記載されているビタビアルゴリズムにより、当業者は不特定話者音声認識装置を容易に構成することができる。
ここで、図７（Ｂ）中のａ（Ｉ、Ｊ）は、状態Ｉから状態Ｊへの遷移確率を示し、例えば図中のａ（１、１）は、状態１から状態１への遷移確率を示す。また、ｂ（Ｉ、ｘ）は、音響パラメータ（特徴パラメータ）ｘが得られたときの状態Ｉにおける出力確率を示し、図中のｂ（１、ｘ）は、音響パラメータｘが得られたときの状態１の出力確率を示している。
【０００５】
さらに、図７（Ｂ）中のｐＩは状態Ｉの確率を示し、次の（１）式に基づき更新される。
ｐＩ＝ｍａｘ（ｐ（Ｉ−１）×ａ（Ｉ−１、Ｉ）、ｐＩ×ａ（Ｉ、Ｉ））×ｂ（Ｉ、Ｘ）  …（１）
なお、（１）式中の右辺は、ｍａｘ（  ）中の乗算値のうちの最大値を選択することを意味し、このような意味は以下でも同様である。
【０００６】
次に、以上のような男女兼用の隠れマルコフモデルを使用した音声認識の全体の流れについて、図８を参照して説明する。
まず音声信号から特徴パラメータの検出（抽出）を行う。次に、その検出した特徴パラメータと、予め求めてある男女共用の隠れマルコフモデル（単語）Ｍ１、Ｍ２…Ｍｎとを参照して、その特徴パラメータの系列が生起する確率を（１）式を用いて計算する。さらに、その求めた生起確率のうちから最大確率を選択し、最大確率を与える音韻レベル系列を入力音声の認識結果とする。
【０００７】
ところで、一般に、成人の男性と女性では、声道長の違いなどによって、音響状態が異なることから、音声認識率を向上するために、男性の音声データと女性の音声データとを用いて男性用音響用モデルと女性用音響用モデルを図９（Ａ）に示すように別々に作成し、音声認識する語彙を構成する隠れマルコフモデルの状態系列を、図９（Ｂ）に示すように、男性用と女性用をそれぞれ用意する方法（マルチテンプレート）が用いられることもある。
【０００８】
ここで、図９（Ｂ）中のａ（Ｉ、Ｊ）は、女性モデルの状態Ｉから状態Ｊへの遷移確率を示し、Ａ（Ｉ、Ｊ）は、男性モデルの状態Ｉから状態Ｊへの遷移確率を示す。また、ｂ（Ｉ、ｘ）は、女性モデルの音響パラメータｘが得られたときの状態Ｉにおける出力確率を示し、Ｂ（Ｉ、ｘ）は、男性モデルの音響パラメータｘが得られたときの状態Ｉにおける出力確率を示す。
【０００９】
また、図９（Ｂ）中のｐＩは女性モデルの状態Ｉの確率を示し、次の（２）式に基づき更新される。
ｐＩ＝ｍａｘ（ｐ（Ｉ−１）×ａ（Ｉ−１、Ｉ）、ｐＩ×ａ（Ｉ、Ｉ））×ｂ（Ｉ、Ｘ）  …（２）
さらに、図９（Ｂ）中のＰＩは男性モデルの状態Ｉの確率を示し、次の（３）式に基づき更新される。
ＰＩ＝ｍａｘ（Ｐ（Ｉ−１）×Ａ（Ｉ−１、Ｉ）、ＰＩ×Ａ（Ｉ、Ｉ））×Ｂ（Ｉ、Ｘ）  …（３）
【００１０】
次に、以上のような男性用と女性用の２種類の隠れマルコフモデルを使用した音声認識の全体の流れについて、図１０を参照しながら説明する。
まず音声信号から特徴パラメータの検出（抽出）を行う。次に、その検出した特徴パラメータ、予め求めてある男性用の隠れマルコフモデル（単語）Ｍａ１、Ｍａ２…Ｍａｎ、および予め求めてある女性用の隠れマルコフモデル（単語）Ｍｂ１、Ｍｂ２…Ｍｂｎを参照して、その特徴パラメータの系列が生起する確率を（２）（３）式を用いて計算する。さらに、その求めた生起確率のうちから最大確率を選択し、最大確率を与える音韻ラベル系列を入力音声の認識結果とする。
【００１１】
この場合には、男性の音声データと女性の音声データとを用いて１つの音響モデル（隠れマルコフモデル）を作成した場合に比べて音声認識率は向上するが、語彙を構成するためのメモリは男女共用モデルを用いた場合に比べてその容量が２倍になる。また、各状態の確率などの情報を保持するためのメモリの容量も増大する。
上述のように、不特定話者の音声認識を行うにあたり、男女別の音響モデルでマルチテンプレートを用いた場合には、男性の音声データと女性の音声データを用いて１つの音響モデルを作成した場合に比べて音声認識率は向上するが、マルチテンプレートにするために、実質的に語彙数が２倍になり、使用するメモリの容量が増加してしまう。
【００１２】
一方、近年、アプリケーションプログラムでの音声認識の要求は広まり、その使用年齢層も幅広くなり、年齢層によらずに高い音声認識率が望まれている。このため、今後は、男性用、女性用、小学生以下の子供用、老人用の音響モデルを用いるような場合も考えられる。この場合には、語彙数が実質的に４倍になり、必要なメモリの容量はさらに増加することになる。
この必要なメモリの容量の増加は、大きな語彙になればなるほど深刻となり、例えば携帯電話などに組み込む場合には、コスト（制作費用）上の大きな不都合となる。従って、複数の音響モデルを使用することにより音声認識率を向上させたいが、必要なメモリの容量の増加を抑制してその制作費用を抑制させることが望まれる。
【００１３】
ところで、男女共用音響モデルを用いた場合でも、ある語彙（単語）に対する口語表現が異なる場合には、語彙は２通りになる。例えば、「北海道」という語彙は、「ほっかいどう」と「ほっかいどお」の２通りの発話の可能性が存在する。この場合には、図１１に示すように、ビタビアルゴリズムを用いて解決できる。
ここで、図１１（Ｂ）中のａｕ（Ｉ、Ｊ）は、音韻ｕの状態Ｉから状態Ｊへの遷移確率を示し、ａｏ（Ｉ、Ｊ）は、音韻ｏの状態Ｉから状態Ｊへの遷移確率を示す。また、ｂｕ（Ｉ、ｘ）は、音韻ｕの音響パラメータｘが得られたときの状態Ｉにおける出力確率を示し、ｂｏ（Ｉ、ｘ）は、音韻ｏの音響パラメータｘが得られたときの状態Ｉにおける出力確率を示す。
【００１４】
また、図１１（Ｂ）中のｕＩは音韻ｕの状態Ｉの確率を示し、次の（４）式に基づき更新される。
ｕＩ＝ｍａｘ（ｕ（Ｉ−１）×ａｕ（Ｉ−１、Ｉ）、ｕＩ×ａｕ（Ｉ、Ｉ））×ｂｕ（Ｉ、Ｘ）…（４）
さらに、図１１（Ｂ）中のｏＩは音韻ｏの状態Ｉの確率を示し、次の（５）式に基づき更新される。
ｏＩ＝ｍａｘ（ｏ（Ｉ−１）×ａｏ（Ｉ−１、Ｉ）、ｏＩ×ａｏ（Ｉ、Ｉ））×ｂｏ（Ｉ、Ｘ）…（５）
【００１５】
しかし、この場合にも、上記の男女別の音響モデルでマルチテンプレートを用いた場合と同様に必要なメモリの容量は増加する。
そこで、本発明の目的は、音声認識の作業用のメモリなどのメモリ容量を増加させることなく、音声認識率の精度を向上させることができるようにした音声認識装置および音声認識方法を提供することにある。
【００１６】
発明の開示
本発明は、隠れマルコフモデルを用いて不特定話者の音声認識を行う音声認識装置であって、入力音声の特徴パラメータを検出する検出手段と、所定の複数の各単語について、所定の複数種類の隠れマルコフモデルで表現し、このように表現された各隠れマルコフモデルに予め設定されている前記特徴パラメータを引数とする出力確率関数と遷移確率を予め格納する認識用データ格納手段と、前記検出手段で検出された特徴パラメータと前記各隠れマルコフモデルとを参照して、前記特徴パラメータの系列が生起する生起確率を求める認識手段とを備え、前記認識手段は、前記生起確率を求める過程で、前記各単語について前記複数種類の隠れマルコフモデルに共通の１つの隠れマルコフモデルの状態系列を持つようにし、かつ、前記認識手段は、前記共通の１つの隠れマルコフモデルの各状態の確率を、前記認識用データ格納手段に格納される出力確率関数と遷移確率のうち、予め組み合わせが設定されている複数組の出力確率関数値と遷移確率を乗算し、この乗算値のうち最大のものを選択して求めるようになっており、さらに、その選択した最大の乗算値に基づいて前記生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行うようになっていることを特徴とする音声認識装置を提供する。
【００１７】
本発明は、隠れマルコフモデルを用いて不特定話者の音声認識を行う音声認識装置であって、入力音声の特徴パラメータを検出する検出手段と、所定の複数の各単語について、所定の複数種類の隠れマルコフモデルで表現し、このように表現された各隠れマルコフモデルに予め設定されている前記特徴パラメータを引数とする出力確率関数と遷移確率を予め格納する認識用データ格納手段と、前記検出手段で検出された特徴パラメータと前記各隠れマルコフモデルとを参照して、前記特徴パラメータの系列が生起する生起確率を求める認識手段とを備え、前記認識手段は、前記生起確率を求める過程で、前記各単語について前記複数種類の隠れマルコフモデルに共通の１つの隠れマルコフモデルの状態系列を持つようにし、前記認識用データ格納手段に格納される前記隠れマルコフモデルの各状態に対する遷移確率を、前記複数種類の隠れマルコフモデルに共通にし、かつ、前記認識手段は、前記認識用データ格納手段に格納される前記複数種類の隠れマルコフモデルの各状態に対する出力確率関数から求めた出力確率関数値のうち最大のものを選択し、当該選択した出力確率関数値と前記共通にした遷移確率との乗算値に基づいて前記生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行うようになっていることを特徴とする音声認識装置を提供する。
【００１８】
本発明の音声認識装置の実施態様として、前記所定の複数種類の隠れマルコフモデルは、男女別の隠れマルコフモデル、年齢別の複数の隠れマルコフモデル、および互いに異なる種類の雑音を含む音声データに基づく複数の隠れマルコフモデル等のうち、少なくとも２つ以上からなることを特徴とする音声認識装置が挙げられる。
【００１９】
本発明は、隠れマルコフモデルを用いて不特定話者の音声認識を行う音声認識装置であって、入力音声の特徴パラメータを検出する検出手段と、所定の複数の各単語についてそれぞれ１つの隠れマルコフモデルで表現し、かつ、前記単語のうち複数の発話を許す単語については、その発話に差異のある部分について部分的に複数の隠れマルコフモデルで表現するとともに、全体として１つの隠れマルコフモデルで表現し、このように表現された各隠れマルコフモデルに予め設定されている前記特徴パラメータを引数とする出力確率関数と遷移確率を予め格納する認識用データ格納手段と、前記検出手段で検出された特徴パラメータと前記各隠れマルコフモデルとを参照して、前記特徴パラメータの系列が生起する生起確率を求める認識手段とを備え、前記認識手段は、前記生起確率を求める過程で、前記部分的に表現される複数の隠れマルコフモデルについて共通の１つの隠れマルコフモデルの状態系列を持つようにし、かつ、前記認識手段は、前記共通の１つの隠れマルコフモデルの各状態の確率を、前記部分的に表現される複数の隠れマルコフモデルに予め設定されている出力確率関数と遷移確率のうち、予め組み合わせが設定されている複数組の出力確率関数値と遷移確率を乗算し、この乗算値のうち最大のものを選択して求めるようになっており、さらに、その選択した最大の乗算値を使用して前記生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行うようになっていることを特徴とする音声認識装置を提供する。
【００２０】
また、本発明は、所定の複数の各単語について、所定の複数種類の隠れマルコフモデルで表現し、その各隠れマルコフモデルに予め設定されている前記特徴パラメータを引数とする出力確率関数と遷移確率を予めメモリに格納しておき、音声認識のときに、入力音声の特徴パラメータを検出し、この検出された特徴パラメータと前記各隠れマルコフモデルとを参照して、前記特徴パラメータの系列が生起する生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行う音声認識方法であって、前記生起確率を求める過程で、前記各単語について前記複数種類の隠れマルコフモデルに共通の１つの隠れマルコフモデルの状態系列を持つようにし、かつ、前記共通の隠れマルコフモデルの各状態の確率を、前記メモリに格納されている出力確率関数と遷移確率のうち、予め組み合わせが設定されている複数組の出力確率関数値と遷移確率を乗算し、この乗算値のうち最大のものを選択することにより求め、さらに、その選択した最大の乗算値に基づいて前記生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行うようにしたことを特徴とする音声認識方法を提供する。
【００２１】
本発明は、所定の複数の各単語について、所定の複数種類の隠れマルコフモデルで表現し、その各隠れマルコフモデルに予め設定されている前記特徴パラメータを引数とする出力確率関数と遷移確率を予めメモリに格納しておき、音声認識のときに、入力音声の特徴パラメータを検出し、この検出された特徴パラメータと前記各隠れマルコフモデルとを参照して、前記特徴パラメータの系列が生起する生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行う音声認識方法であって、前記生起確率を求める過程で、前記各単語について前記複数種類の隠れマルコフモデルに共通の１つの隠れマルコフモデルの状態系列を持つようにし、前記メモリに格納されている前記隠れマルコフモデルの各状態に対する遷移確率を、前記複数種類の隠れマルコフモデルに共通にし、かつ、前記メモリに格納される前記複数種類の隠れマルコフモデルの各状態に対する出力確率関数から求めた出力確率関数値のうち最大のものを選択し、当該選択した出力確率関数値と前記共通にした遷移確率との乗算値に基づいて前記生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行うようになっていることを特徴とする音声認識方法を提供する。
【００２２】
本発明の音声認識方法の実施態様として、前記所定の複数種類の隠れマルコフモデルは、男女別の隠れマルコフモデル、年齢別の隠れマルコフモデル、および互いに異なる種類の雑音を含む音声データに基づく複数の隠れマルコフモデル等のうち、少なくとも２つ以上からなることを特徴とする音声認識方法が挙げられる。
【００２３】
また、本発明は、所定の複数の各単語についてそれぞれ１つの隠れマルコフモデルで表現し、かつ、前記単語のうち複数の発話を許す単語については、その発話に差異のある部分について部分的に複数の隠れマルコフモデルで表現するとともに、全体として１つの隠れマルコフモデルで表現し、このように表現された各隠れマルコフモデルに予め設定されている前記特徴パラメータを引数とする出力確率関数と遷移確率を予めメモリに格納しておき、音声認識のときに、入力音声の特徴パラメータを検出し、この検出された特徴パラメータと前記各隠れマルコフモデルとを参照して、前記特徴パラメータの系列が生起する生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行う音声認識方法であって、前記生起確率を求める過程で、前記部分的に表現される複数の隠れマルコフモデルについて共通の１つの隠れマルコフモデルの状態系列を持つようにし、かつ、前記共通の１つの隠れマルコフモデルの各状態の確率を、前記部分的に表現される複数の隠れマルコフモデルに予め設定されている出力確率関数と遷移確率のうち、予め組み合わせが設定されている複数組の出力確率関数値と遷移確率を乗算し、この乗算値のうち最大のものを選択して求めるようにし、さらに、その選択した最大の乗算値を使用して前記生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行うようにしたことを特徴とする音声認識方法を提供する。
【００２４】
このように本発明では、複数種類の隠れマルコフモデル（音響モデル）を用いるが、音声認識の際には、語彙（単語）をマルチテンプレートせずに行うようにした。このため、音声認識の作業用のメモリなどのメモリ容量を増加させることなく、音声認識率の精度を向上させることができる。
また、本発明によれば、１種類の隠れマルコフモデルを使用して、口語表現など、１つの語彙に対して複数の発話に対応しなければならない場合にも、音声認識の作業用のメモリなどのメモリ容量を増加させることなく、音声認識率の精度を向上させることができる。
【００２５】
発明を実施するための最良の形態
以下、本発明の実施形態について図面を参照して説明する。
本発明の音声認識装置の実施形態について、図１〜図３を参照して説明する。
この実施形態にかかる音声認識装置は、図１に示すように、マイクロフォン１と、Ａ／Ｄ変換器２と、特徴量検出部３と、音声認識部４と、出力部５と、ＲＯＭ６と、ＲＡＭ７とを少なくとも備えている。
【００２６】
マイクロフォン１は、音声をその音声に対応するアナログの電気信号に変換するものである。Ａ／Ｄ変換器２は、そのアナログ信号をデジタル信号に変換するものである。特徴量検出部３は、そのデジタル信号に基づいて特徴パラメタータを求め、この求めた特徴パラメータを時系列に変換するものである。
音声認識部４は、隠れマルコフモデルを用いて後述のような手順により、入力される不特定の話者の音声によりその音声の認識を行うものであり、その認識の手順の詳細は後述する。出力部５は、音声認識部４の認識結果を出力するものであり、例えば表示装置などである。
【００２７】
ＲＯＭは、読み出し専用のリード・オンリ・メモリであり、後述の音声認識の手順、後述の女性用の隠れマルコフモデルに関する確率データ、および後述の男性用の隠れマルコフモデルに関する確率データなどを予め格納させておく。
ＲＡＭは、読み書き自在なランダム・アクセス・メモリであり、後述のように音声認識を行うときに作業用メモリとして使用し、例えば、音声認識の過程で必要なデータとその結果のデータを一時的に格納しておく。
【００２８】
次に、このような構成からなる実施形態に係る音声認識装置の音声認識動作について、図面を参照して説明する。
この実施形態では、不特定話者の音声認識の対象となる「ほっかいどう」、「あおもり」、「あきた」…などの各単語（語彙）に対応する隠れマルコフモデルを、男性用と女性用の２種類あからじめ作成しておくとともに、その各隠れマルコフモデルの各状態の複数組の遷移確率と出力確率関数を形成するための定数を予め設定しておき、これらの確率データをＲＯＭ６に予め格納しておく。
【００２９】
いま、例えば大人の話者（男女を問わない）によりマイクロフォン１により音声「ほっかいどう」が入力されたものとする。すると、その音声はマイクロフォン１により、アナログの電気信号に変換されたのち、Ａ／Ｄ変換器２でデジタル信号に変換される。特徴量検出部３では、そのデジタル信号に基づいて特徴パラメタータが求められ、これが時系列の特徴パラメータに変換される。
音声認識部４は、ＲＯＭ６に格納される男性用と女性用の隠れマルコフモデルの遷移確率と出力確率関数、およびその変換された時系列の特徴パラメータ（音響パラメータ）を参照し、その特徴パラメータの系列が生起する確率を図２に示すようなビタビアルゴリズムにより求め、この求めた生起確率に基づいて入力された音声の音声認識を行う。
【００３０】
図２（Ａ）は、男女共用の音韻系列を示し、図２（Ｂ）はそれに対応する各音韻の隠れマルコフモデルの状態系列を示す。
図２（Ｂ）中のａ（Ｉ、Ｊ）は、女性モデルの状態Ｉから状態Ｊへの遷移確率を示し、Ａ（Ｉ、Ｊ）は、男性モデルの状態Ｉから状態Ｊへの遷移確率を示す。また、ｂ（Ｉ、ｘ）は、女性モデルの音響パラメータｘが得られたときの状態Ｉにおける出力確率を示し、Ｂ（Ｉ、ｘ）は、男性モデルの音響パラメータｘが得られたときの状態Ｉにおける出力確率を示す。
【００３１】
また、図中のｐＩは男女共用の状態系列における状態Ｉにおける確率を示し、次の（６）式に基づき更新される。
ｐＩ＝ｍａｘ（ｐ（Ｉ−１）×ＰｅｎｔｅｒＩ、ｐＩ×ＰｓｅｌｆＩ）…（６）
ここで、確率ＰｓｅｌｆＩ、確率ＰｅｎｔｅｒＩは、次の（７）式と（８）式とで表される。
ＰｓｅｌｆＩ＝ｍａｘ（ａ（Ｉ、Ｉ）×ｂ（Ｉ、Ｘ）、Ａ（Ｉ、Ｉ）×Ｂ（Ｉ、Ｘ））  …（７）
ＰｅｎｔｅｒＩ＝ｍａｘ（ａ（Ｉ−１、Ｉ）×ｂ（Ｉ、Ｘ）、Ａ（Ｉ−１、Ｉ）×Ｂ（Ｉ、Ｘ））  …（８）
【００３２】
すなわち、この音声認識部４では、男性用と女性用の両隠れマルコフモデルに共通な１つの語彙（単語）、例えば「ほっかいどう」、「あおもり」…に対して共通の１つの隠れマルコフモデルの状態系列を持つようにする。
そして、各単語について共通の１つの隠れマルコフモデルの各状態の確率を求めるが、その各状態の確率を求める際には、与えられた特徴パラメータを引数（入力）として男性用の隠れマルコフモデルに予め設定されている出力確率関数値と遷移確率とを乗算し、同時に、その与えられた特徴パラメータを引数として女性用の隠れマルコフモデルに予め設定されている出力確率関数値と遷移確率とを乗算し、その求めた２つの確率（乗算値）のうち大きな方の確率を選択する（（７）式、（８）式参照）。
【００３３】
これらの操作を、隠れマルコフモデルの各状態遷移について行い、最終的に状態の確率を求める。この結果、例えば「ほっかいどう」、「あおもり」…に対して１つの隠れマルコフモデルの状態系列がそれぞれ作成され、この各状態系列中には、男性用の隠れマルコフモデルにかかる確率データの乗算値と女性用の隠れマルコフモデルにかかる確率データの乗算値とが混在することになる。
【００３４】
次に、この実施形態に係る音声認識装置の音声認識部４の全体のデータ処理の流れについてまとめると、図３に示すようになる。
図３に示すように、まず音声信号から特徴パラメータの検出（抽出）を行う。次に、その検出した特徴パラメータ、予め求めてある男性用の隠れマルコフモデル（単語）Ｍａ１、Ｍａ２…Ｍａｎ、および予め求めてある女性用の隠れマルコフモデル（単語）Ｍｂ１、Ｍｂ２…Ｍｂｎを参照して、その特徴パラメータの系列が生起する確率を、（７）（８）式を用いて計算する。
【００３５】
すなわち、その各単語について共通の１つの隠れマルコフモデル（男女兼用の隠れマルコフモデル）の各状態の確率を求めるには、その与えられた特徴パラメータを引数として男性用の隠れマルコフモデルに予め設定されている出力確率関数値と遷移確率とを乗算し、同時に、その与えられた特徴パラメータを引数として女性用の隠れマルコフモデルに予め設定されている出力確率関数値と遷移確率とを乗算し、その求めた２つの確率（乗算値）のうち大きな方の確率を選択する。
【００３６】
そして、その選択した各乗算値を加算することにより、その特徴パラメータの系列の生起確率を求め、その求めた各生起確率のうちから最大確率を選択し、最大確率を与える音韻ラベル系列を入力音声の認識結果とする。
以上述べたように、この実施形態によれば、男性用と女性用の両隠れマルコフモデルに共通な語彙に対して共通の隠れマルコフモデルの状態系列を持つようにし、その共通な隠れマルコフモデルの各状態の確率を求めるが、その各状態の確率を求める際には、与えられた特徴パラメータを引数として男性用の隠れマルコフモデルに予め設定されている出力確率関数値と遷移確率とを乗算し、同時に、その与えられた特徴パラメータを引数として女性用の隠れマルコフモデルに予め設定されている出力確率関数値と遷移確率とを乗算し、その求めた２つの確率のうち大きな方の確率を選択するようにした。
【００３７】
このため、この実施形態では、複数の隠れマルコフモデルを用いて性別や年齢などの違いに対して認識率を向上できる。
また、この実施形態では、音声認識の際に、各単語について男性用と女性用の両隠れマルコフモデルに共通な隠れマルコフモデルを持つようにした。このため、この実施形態によれば、計算の対象となる状態の数に依存したメモリの容量を、図９及び図１０の場合のアルゴリズムの場合に比べて半分に減少できる。
【００３８】
なお、上記の実施形態では、女性モデルの各状態の遷移確率と男性モデルの各状態の遷移確率とを共通にせずに、男女共用の状態系列における確率を（６）式から（８）式に基づいて求めるようにした。
しかし、本発明では、女性モデルの状態の遷移確率と男性モデルの各状態の遷移確率とを共通化するようにしても良い。このようにした場合には、男女共用の状態系列における確率を求める際に、まず、最大の出力確率を選択し、この選択した出力確率とその共通の遷移確率の乗算を行うことになる。
【００３９】
次に、本発明の他の実施形態に係る音声認識装置について、以下に説明する。
この他の実施形態に係る音声認識装置は、１つの隠れマルコフモデルを持ち、口語表現など、１つの語彙に複数の発話に対応するようにしたものである。
この他の実施形態に係る音声認識装置の構成は、図１に示す音声認識装置の構成と共通部分を有し、ＲＯＭ６に後述の確率データおよび後述のような認識手順とを予め格納する点と、そのＲＯＭ６に格納される音声認識部４の認識手順が後述のようになる点などが異なるので、その異なる部分について説明する。
【００４０】
すなわち、この他の実施形態は、認識対象となる各単語についてそれぞれ１つの隠れマルコフモデルで表現し、かつ、その単語のうち複数の発話を許す単語については、その発話に差異のある部分について部分的に複数の隠れマルコフモデルで表現するとともに、全体として１つの隠れマルコフモデルで表現し、このように表現された各隠れマルコフモデルに予め設定されている特徴パラメータを引数とする出力確率関数を形成するための定数と遷移確率を、予めＲＯＭ６に格納しておくようにした。
【００４１】
音声認識部４は、音声認識のときに、特徴量検出部３からの特徴パラメータとその各隠れマルコフモデルとを参照して、特徴パラメータの系列が生起する生起確率を後述のように求め、この求めた生起確率に基づいて入力音声の認識を行うようにした。
また、音声認識部４は、上記の生起確率を求める過程で、上記のように部分的に表現される複数の隠れマルコフモデルについて共通の１つの隠れマルコフモデルの状態系列を持つようにした。
【００４２】
さらに、音声認識部４は、その共通の１つの隠れマルコフモデルの各状態の確率を、上記のように部分的に表現される複数の隠れマルコフモデルに予め設定されている出力確率関数と遷移確率のうち、後述のように予め組み合わせが設定されている複数組の出力確率関数値と遷移確率を乗算し、この乗算値のうち最大のものを選択して求めるようになっている。
さらにまた、音声認識部４は、その選択した最大の乗算値を使用して上記の生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行うようになっている。
【００４３】
図４は、他の実施形態に係る音声認識装置に用いられるビタビアルゴリズムの一例を示す。図４（Ａ）は、例えば、語彙「北海道」に対し、「ほっかいどう」と「ほっかいどお」という両方の発話を許す場合の音韻状態系列を示し、図４（Ｂ）は両者の差の部分である最終音韻の隠れマルコフモデルの状態を示す。
ここで、図４（Ｂ）中のａｕ（Ｉ、Ｊ）は、音韻ｕの状態Ｉから状態Ｊへの遷移確率を示し、ａｏ（Ｉ、Ｊ）は、音韻ｏの状態Ｉから状態Ｊへの遷移確率を示す。また、ｂｕ（Ｉ、ｘ）は、音韻ｕの音響パラメータｘが得られたときの状態Ｉにおける出力確率を示し、ｂｏ（Ｉ、ｘ）は、音韻ｏの音響パラメータｘが得られたときの状態Ｉにおける出力確率を示す。
【００４４】
また、図４（Ｂ）中のｐＩは音韻ｕ／ｏの状態系列における状態Ｉの確率を示し、次の（９）式に基づき更新される。
ｐＩ＝ｍａｘ（ｐ（Ｉ−１）×ＰｅｎｔｅｒＩ、ｐＩ×ＰｓｅｌｆＩ）  …（９）
ここで、確率ＰｓｅｌｆＩ、確率ＰｅｎｔｅｒＩは、次の（１０）式と（１１）式とで表される。
ＰｓｅｌｆＩ＝ｍａｘ（ａｕ（Ｉ、Ｉ）×ｂｕ（Ｉ、Ｘ）、ａｏ（Ｉ、Ｉ）×ｂｏ（Ｉ、Ｘ））  …（１０）
ＰｅｎｔｅｒＩ＝ｍａｘ（ａｕ（Ｉ−１、Ｉ）×ｂｕ（Ｉ、Ｘ）、ａｏ（Ｉ−１、Ｉ）×ｂｏ（Ｉ、Ｘ））  …（１１）
【００４５】
この他の実施形態にかかるビタビアルゴリズムでは、音声認識部４が、音韻ｕと音韻ｏについて共通の隠れマルコフモデルの状態系列を持つようにする。そして、その共通の隠れマルコフモデルの各状態の確率を求めるが、音韻ｕと音韻ｏの各状態の確率を求める際には、与えられた特徴パラメータから隠れマルコフモデルの音韻ｕにかかる出力確率と遷移確率とを乗算し、同時に、その与えられた特徴パラメータから隠れマルコフモデルの音韻ｏにかかる出力確率と遷移確率とを乗算し、その求めた２つの確率（乗算値）のうち大きな方の確率を選択する。
以上説明したように、この他の実施形態によれば、音韻ｕと音韻ｏについて共通の隠れマルコフモデルの状態系列を持つようにしたので、認識の計算にかかるメモリの容量を図１１のアルゴリズムの場合に比べて減少できる。
【００４６】
次に、桁数を限定しない連続日本語数字認識において、男性１０人、女性１０人の計２０人の音声に展示会で採集された雑音を加えた（Ｓ／Ｎ比１０ｄＢ）評価データを用い、男女共用音響モデルを用いた場合、男性用および女性用の音響モデルを持ち、マルチテンプレートを用いた場合、本発明の実施例（図１〜図３に対応）の場合について認識率、必要メモリ量を測定した。また、男女共通モデルにおける全状態の約８割程度が隠れマルコフモデルの状態を保持できるように、ビタビ処理における枝刈り値を設定した。この場合の各認識方法の認識率と必要メモリ量の比較表を図５に示す。
【００４７】
図５からわかるように、「男女共用音響モデルを用いた場合」に比べ、本発明の実施例では、「男女共用音響モデルでマルチテンプレートを用いた場合」と同様に平均認識率が向上しており、また、認識率が６０％未満の人の数も、「男女共用音響モデルでマルチテンプレートを用いた場合」と同様に少なくなっている。これは、「男女共用音響モデルを用いた場合」に見られる、声の音響的特性がより男性的な声の持ち主や、より女性的な声の持ち主の認識率の低下が、男女別のモデルを用いることにより、改善されていると考えられる。
【００４８】
さらに、本発明の実施例では、隠れマルコフモデルの状態に関する情報を保持するための作業用メモリや語彙保存用メモリは、「男女共用音響モデルを用いた場合」と同じ結果が得られた。
なお、上記の実施形態（図１〜図３）では、音声認識となる各単語について、男性用と女性用の２種類の隠れマルコフモデルで表現し、このように表現された各隠れマルコフモデルに予め設定されている出力確率関数と遷移確率を予めＲＯＭ６に格納しておくようにした。
【００４９】
そして、音声認識部４は、音声認識のときに、特徴量検出部３からの特徴パラメータと各隠れマルコフモデルとを参照して、特徴パラメータの系列が生起する生起確率を求め、この求めた生起確率に基づいて入力音声の認識を行う。
さらに、音声認識部４は、上記の生起確率を求める過程で、各単語についてその２種類の隠れマルコフモデルに共通の１つの隠れマルコフモデルの状態系列を持つようにした。また、その共通な隠れマルコフモデルの各状態の確率を求めるが、その各状態の確率を求める際には、与えられた特徴パラメータから男性用の隠れマルコフモデルに予め設定されている出力確率関数値と遷移確率とを乗算し、同時に、その与えられた特徴パラメータから女性用の隠れマルコフモデルに予め設定されている出力確率関数値と遷移確率とを乗算し、その求めた２つの確率のうち大きな方の確率を選択するようにした。
【００５０】
しかし、本発明では、上記のように、音声認識の対象となる各単語について、男性用と女性用の２種類の隠れマルコフモデルで表現する以外に、必要に応じて以下の３つの場合について有効である。
第１の場合は、音声認識の対象となる各単語について、大人用と小人（子供）用の２種類の隠れマルコフモデルで表現する場合である。
【００５１】
第２の場合は、男性用、女性用、子供用、および老人用の４種類の隠れマルコフモデルで表現、または年齢別に複数の隠れマルコフモデルで表現する場合である。
第３の場合は、音声認識の対象となる各単語について、雑音をあまり含まない音声データに基づく隠れマルコフモデルと、雑音を多く含む音声データに基づく隠れマルコフモデルとで表現する場合である。
【００５２】
例えば、自動車内で音声認識装置を使用する場合、走行していない状態では非常に雑音が少ないが、走行速度を上げるにしたがって、あるいはカーステレオの音量を上げるにしたがって雑音は増加し、音声と雑音の比率（Ｓ／Ｎ比）が−１０ｄＢに達することもある。
これに対し、Ｓ／Ｎ比が２０ｄＢ程度の雑音の少ない音声データに基づく隠れマルコフモデルを用いると、雑音が増えるにつれて次第に認識性能は低下し、０ｄＢ以下では実用に耐えなくなる。
【００５３】
反対に、Ｓ／Ｎ比が−１０ｄＢ程度と多くの雑音を重畳した音声データに基づく隠れマルコフモデルを用いると、Ｓ／Ｎ比が−１０〜０ｄＢでの認識性能は良いが、０ｄＢ以上の静かな環境での認識性能は実用に耐えないほど下がってしまう。
そこで、この第３の場合として、Ｓ／Ｎ比が２０ｄＢの音声データに基づく隠れマルコフモデルと、Ｓ／Ｎ比が−１０ｄＢの音声データに基づく隠れマルコフモデルの２種類で表現した。この場合には、Ｓ／Ｎ比が−１０ｄＢの大きな雑音環境から２０ｄＢを超える非常に静かな雑音環境まで、幅広く高い音声認識性能が維持される。
【００５４】
なお、雑音といっても、上記のような自動車の走行中の雑音、繁華街の雑踏、ＢＧＭの音楽、オフィス、工場などの各場所において各種のものがある。また、そのＳ／Ｎ比も大きく変化する。したがって、例えば、比較的静かなオフィスの雑音を重畳した隠れマルコフモデルと、騒音の大きな自動車の走行中の雑音を重畳して作成した隠れマルコフモデルとを組み合わせるようにしても良い。
なお、第１〜第３の場合には、上記の２種類の隠れマルコフモデルの表現の差異以外は、上記の実施形態と同様の手順により音声認識を行うので、その手順の説明は省略する。
【００５５】
また、上記の実施形態では、音声認識の対象となる各単語について、男性用と女性用の２種類の隠れマルコフモデルで表現した場合、および第１から第３場合のように表現した場合についてそれぞれ説明した。
しかし、本発明では、例えば、音声認識の対象となる各単語について、男女別の隠れマルコフモデル、および互いにに異なる種類の雑音を含む音声データに基づく２つの隠れマルコフモデルなど４種類で表現するようにしても良い。
なお、話者の声道の長さや太さなどの形状、口の開け方、声の高さ、速さ、抑揚、なまり、あるいは使用環境で変化する音響特性など特徴の異なる複数のグループに分割した音声データを基にして隠れマルコフモデルを作成するようにすることも可能である。
【００５６】
産業上の利用可能性
以上述べたように、このように本発明では、複数種類の隠れマルコフモデル（音響モデル）を用いるが、音声認識の際には、語彙（単語）をマルチテンプレートせずに行うようにした。このため、音声認識の作業用のメモリなどのメモリ容量を増加させることなく、音声認識率の精度を向上させることができる。
また、本発明によれば、１種類の隠れマルコフモデルを使用して、口語表現など、１つの語彙に対して複数の発話に対応しなければならない場合にも、音声認識の作業用のメモリなどのメモリ容量を増加させることなく、音声認識率の精度を向上させることができる。
【００５７】
【図面の簡単な説明】
【図１】本発明の音声認識装置の実施形態の構成例を示すブロック図である。
【図２】本発明の実施形態によるビタビアルゴリズムを説明する説明図である。
【図３】本発明の実施形態の認識動作の全体の流れを説明する説明図である。
【図４】本発明の他の実施形態によるビタビアルゴリズムを説明する説明図である。
【図５】本発明の実施例と従来例との比較例を示す図である。
【図６】音韻のセットのラベルの一覧を示す図である。
【図７】従来の男女共用の隠れマルコフモデルを使用したビタビアルゴリズムの一例を示す図である。
【図８】従来の男女共用の隠れマルコフモデルを使用した認識動作の全体の流れを示す図である。
【図９】従来の男女別の隠れマルコフモデルでマルチテンプレートを使用した場合のビタビアルゴリズムの一例を示す図である。
【図１０】従来の男女別の隠れマルコフモデルでマルチテンプレートを使用した認識動作の全体の流れを示す図である。
【図１１】男女共用の隠れマルコフモデルを用いた場合であって、ある語彙に２つの発話が可能な場合のビタビアルゴリズムの従来例を示す図である。
【図１】
0003888543.tif 000002
【図２】
0003888543.tif 000003
【図３】
0003888543.tif 000004
【図４】
0003888543.tif 000005
【図５】
0003888543.tif 000006
【図６】
0003888543.tif 000007
【図７】
0003888543.tif 000008
【図８】
0003888543.tif 000009
【図９】
0003888543.tif 000010
【図１０】
0003888543.tif 000011
【図１１】
0003888543.tif 000012