(57)【特許請求の範囲】
【請求項１】
文音声認識を行う音声認識装置であって、
音声を音響分析し、その特徴パラメータを抽出する抽出手段と、
前記抽出手段より出力される前記特徴パラメータに基づいて前記音声の認識を行い、複数の認識結果候補と、それぞれの尤度とを求める認識結果候補算出手段と、
複数の用例を記憶している用例記憶手段と、
前記複数の認識結果候補それぞれと、前記用例記憶手段に記憶されている用例それぞれとの類似度を、言語的な正しさを表す言語的類似度として計算する言語的類似度計算手段と、
前記複数の認識結果候補それぞれと、前記用例記憶手段に記憶されている用例それぞれとの総合的な類似度である総合類似度を、前記言語的類似度および尤度に基づいて計算する総合類似度計算手段と、
前記総合類似度を最も高くする前記用例を選択する選択手段と、
前記選択手段により選択された前記用例に基づいて、前記音声の認識結果を求める認識結果算出手段と
を備えることを特徴とする音声認識装置。
【請求項２】
前記総合類似度計算手段は、前記言語的類似度と尤度とを、所定の割合で加算することにより前記総合類似度を計算する
ことを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記総合類似度計算手段は、前記言語的類似度と尤度とを加算するときの前記所定の割合を動的に変化させる
ことを特徴とする請求項２に記載の音声認識装置。
【請求項４】
複数の用例を記憶している用例記憶手段を備え、文音声認識を行う音声認識装置の音声認識方法であって、
音声を音響分析し、その特徴パラメータを抽出し、
前記特徴パラメータに基づいて前記音声の認識を行い、複数の認識結果候補と、それぞれの尤度とを求め、
前記複数の認識結果候補それぞれと、前記用例記憶手段に記憶されている用例それぞれとの類似度を、言語的な正しさを表す言語的類似度として計算し、
前記複数の認識結果候補それぞれと、前記用例記憶手段に記憶されている用例それぞれとの総合的な類似度である総合類似度を、前記言語的類似度および尤度に基づいて計算し、
前記総合類似度を最も高くする前記用例を選択し、その用例に基づいて、前記音声の認識結果を求める
ことを特徴とする音声認識方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、例えば音声で入力された言語を処理し、その認識や翻訳などを行う場合などに用いて好適な音声認識装置および音声認識方法に関する。
【０００２】
【従来の技術】
従来より、例えばコンピュータなどを用いて人間の用いる文字言語、音声言語の処理（以下、適宜、これらを総称して自然言語処理という）を行うための研究が数多くなされている。しかしながら、これらの研究の多くで採用されている自然言語を処理する方法は、専門家があらかじめ自然言語において現れる様々な言語現象を文法規則という抽象化した形で記述し、その規則に基づいて処理を行うというものであったため、文法規則の記述の困難性に起因する問題があった。
【０００３】
即ち、人間どうしの行うコミュニケーションの過程で現れる様々な言語現象を、完全に網羅するような抽象的な文法規則を記述することは、専門家であっても、ほとんど不可能に近く、このため、文法規則によって網羅されていない言語現象が現れた場合には、誤った処理が行われることがあった。そして、このような文法規則によって網羅されていない言語現象が見つかった場合、文法規則をどのように修正すれば良いかは一般に分かりにくく、このため、文法規則の修正によって、これまで正常に処理されていた言語現象が処理できなくなるなどの弊害が生じる問題があった。
【０００４】
そこで、最近では、このような弊害を根本的に解消すべく、用例を利用した自然言語処理の研究が盛んに行われている。これは、抽象的な文法規則に代えて、大量の用例を登録した用例データベースを用意し、処理すべきテキストデータなどが入力されると、用例データベースの中から、入力されたテキストデータに類似している用例を検索し、その用例に基づいて自然言語処理を行うというものである。
【０００５】
例えば、特開平３−２７６３６７号公報には、このような自然言語処理を適用した用例主導型機械翻訳装置が開示されている。この翻訳装置では、原文の用例とその対訳例との組を、用例データベースに多数登録しておき、入力文として、所定の言語で記述された原文が入力されると、その原文に最も類似して用例が用例データベースから検索され、その結果得られた用例の対訳例にしたがって、原文の翻訳が行われるようになされている。
【０００６】
また、用例を利用した自然言語処理を適用した音声言語処理では、通常の連続音声認識装置を用い、入力された音声の音声認識結果を確定した後、その音声認識結果を入力文として、これに最も類似する用例を、用例データベースから検索し、その用例を用いて、翻訳などが行われるようになされている。
【０００７】
【発明が解決しようとする課題】
ところで、人間がコミュニケーションの手段として自然言語を用いる場合には、個々の文が有する意味には、文脈あるいは対話履歴というべき、それまでの話の流れが反映されることが普通であり、従って、この文脈（対話履歴）は、自然言語処理にあたって、重要な要素であると考えられる。
【０００８】
しかしながら、上述したような、従来の用例を利用する方法では、入力文を処理するのに用いる用例を検索する際の、入力文と用例との類似度の計算が、単語を、その意味の類似性（概念）に基づいて木構造に階層化したシソーラスを用いて、単語のシソーラス上での意味上の類似性のみを対象にして行われるようになされており、文脈は考慮されていなかった。このため、入力文を処理するのに真に適切な用例が検索されるかどうかが不明であった。
【０００９】
また、従来の音声言語処理においては、他の自然言語処理の前に音声認識処理を行い、その結果得られる音声認識結果を確定した後、その音声認識結果に最も類似する用例を検索し、その用例を用いて、機械翻訳などの自然言語処理が施されるようになされているため、音声認識結果が誤っている場合には、正しい翻訳結果を得ることが困難となる課題があった。
【００１０】
さらに、従来の音声言語処理では、音声認識処理の結果得られる音声認識結果候補の、いわば確からしさというべき尤度が考慮されておらず、やはり入力文を処理するのに真に適切な用例が検索されるかどうかが不明であった。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、自然言語処理に際し、入力文を処理するのに、より適切な用例を選択することができるようにし、これにより自然言語処理の精度を向上させることができるようにするものである。
【００１２】
【課題を解決するための手段】
本発明の音声認識装置は、音声を音響分析し、その特徴パラメータを抽出する抽出手段と、抽出手段より出力される特徴パラメータに基づいて音声の認識を行い、複数の認識結果候補と、それぞれの尤度とを求める認識結果候補算出手段と、複数の用例を記憶している用例記憶手段と、複数の認識結果候補それぞれと、用例記憶手段に記憶されている用例それぞれとの類似度を、言語的な正しさを表す言語的類似度として計算する言語的類似度計算手段と、複数の認識結果候補それぞれと、用例記憶手段に記憶されている用例それぞれとの総合的な類似度である総合類似度を、言語的類似度および尤度に基づいて計算する総合類似度計算手段と、総合類似度を最も高くする用例を選択する選択手段と、選択手段により選択された用例に基づいて、音声の認識結果を求める認識結果算出手段とを備えることを特徴とする。
【００１３】
本発明の音声認識方法は、複数の用例を記憶している用例記憶手段を備え、文音声認識を行う音声認識装置の音声認識方法であって、音声を音響分析し、その特徴パラメータを抽出し、特徴パラメータに基づいて音声の認識を行い、複数の認識結果候補と、それぞれの尤度とを求め、複数の認識結果候補それぞれと、用例記憶手段に記憶されている用例それぞれとの類似度を、言語的な正しさを表す言語的類似度として計算し、複数の認識結果候補それぞれと、用例記憶手段に記憶されている用例それぞれとの総合的な類似度である総合類似度を、言語的類似度および尤度に基づいて計算し、総合類似度を最も高くする用例を選択し、その用例に基づいて、音声の認識結果を求めることを特徴とする。
【００１８】
【作用】
本発明においては、音声を音響分析し、その特徴パラメータを抽出し、特徴パラメータに基づいて音声の認識を行い、複数の認識結果候補と、それぞれの尤度とを求める。さらに、複数の認識結果候補それぞれと、用例記憶手段に記憶されている用例それぞれとの類似度を、言語的な正しさを表す言語的類似度として計算し、複数の認識結果候補それぞれと、用例記憶手段に記憶されている用例それぞれとの総合的な類似度である総合類似度を、言語的類似度および尤度に基づいて計算し、総合類似度を最も高くする用例を選択し、その用例に基づいて、音声の認識結果を求める。
【００２８】
【実施例】
図１は、本発明を適用した音声翻訳装置の一実施例の構成を示している。なお、この音声翻訳装置は、大きく分けて、音声を認識する音声認識装置１０と、その音声認識結果を、所定の言語に翻訳する翻訳装置２０とから構成されている。そして、音声認識装置１０は、例えば日本語および英語の両方の音声の文音声認識（会話音声認識、あるいは音声理解）を行うことができるようになされており、翻訳装置２０も、音声認識結果を、日本語および英語の両方に翻訳することができるようになされている。従って、この音声翻訳装置は、日本語で入力された音声の英語への翻訳、および英語で入力された音声の日本語への翻訳の両方を行うことができるようになされている。
【００２９】
音声入力部１は、そこに入力される、いわば空気の波である音声を、電気的な波である音声信号に変換する、例えばマイクなどと、そのマイクから出力される音声信号を増幅するアンプなどで構成されている。ＡＤ変換部２は、音声入力部１から出力されるアナログの音声信号を、所定のクロックのタイミングでサンプリングして量子化を行い、ディジタルの音声信号（ディジタルデータ）に変換するようになされている。
【００３０】
分析部３は、ＡＤ変換部２より出力される音声信号を音響分析し、これにより、例えば所定の帯域ごとの音声のパワーや、線形予測係数（ＬＰＣ）、ケプストラム係数などの音声の特徴パラメータを抽出するようになされている。即ち、分析部３は、例えばフィルタバンクにより、音声信号を所定の帯域ごとにフィルタリングし、そのフィルタリング結果を整流平滑化することで、所定の帯域ごとの音声のパワーを求めるようになされている。あるいは、分析部３は、入力された音声に対し、例えば線形予測分析処理を施すことで、線形予測係数を求め、またその線形予測係数からケプストラム係数を求めるようになされている。
【００３１】
分析部３で求められた特徴パラメータは、そのまま、あるいは、そこで必要に応じてベクトル量子化されて、認識部４に出力されるようになされている。
【００３２】
認識部４は、分析部３からの特徴パラメータ（あるいは、特徴パラメータをベクトル量子化して得られるシンボル）に基づき、例えばダイナミックプログラミング（ＤＰ）マッチング法や、隠れマルコフモデル（ＨＭＭ）などの音声認識アルゴリズムにしたがい、後述する言語モデル記憶部６および単語辞書７を参照して、例えば文音声認識を行い、複数の文単位の音声認識結果候補（以下、適宜、文候補という）を求めて、用例検索部５に出力するようになされている。
【００３３】
用例検索部５は、認識部４から供給される複数の文候補それぞれを、例えばそこから助詞を削除することなどにより、自立語のみでなる単語列に変換するようになされている。そして、用例検索部５は、その複数の文候補それぞれの単語列（以下、適宜、入力単語列という）と、後述する用例データベース８に記憶されている用例それぞれとの類似度を計算し、その類似度を最も高くする用例を選択するようになされている。そして、その選択した用例に基づいて、音声入力部１に入力された音声の認識結果（文）を決定するようになされている。
【００３４】
なお、用例検索部５における類似度の計算は、後述するようにシソーラス記憶部９に記憶されているシソーラスを用い、いままでに選択した用例による文脈に基づいて重みを付けて行われるようになされている。
【００３５】
言語モデル記憶部６は、例えばバイグラム（Bigram）やトリグラム（Trigram）などの統計的言語モデルなどを記憶しており、認識部４は、上述したような音声認識処理を、言語モデル記憶部６に記憶されている言語モデルにより緩い言語的制約をかけ、その制約の下、例えばビタビ（Viterbi）アルゴリズムを用いたビームサーチなどにより、適当に枝刈しながら行うようになされている。そして、その結果残った複数の音声認識結果候補としての複数の文候補を、用例検索部５に出力するようになされている。
【００３６】
単語辞書７には、音声認識の対象とする単語の見出し（例えば、「発明」という単語であれば「発明」という見出し）およびその音韻情報（読み）、さらに必要ならば単語の品詞その他の情報が対応付けられて記憶（登録）されている。なお、単語辞書７には、少なくとも、後述する用例データベース８に記憶されている用例を構成する単語が記憶されている。認識部４では、この単語辞書６に記憶されている単語を対象として、音声認識が行われるようになされている。
【００３７】
用例データベース８には、複数の用例が記憶（登録）されている。この用例は、例えば新聞に掲載されている文章や、アナウンサが読み上げる原稿に記載の文章などなどに基づいて作成される。シソーラス記憶部９は、少なくとも単語辞書７に登録されている単語を、その概念ごとに分類して記憶している。本実施例では、シソーラス記憶部９には、後述する図２に示すように、単語を、その概念に基づいて木構造に階層化したシソーラスが記憶されている。
【００３８】
以上の各ブロックから、音声認識装置１０が構成されている。
【００３９】
一方、翻訳装置２０は、翻訳部１１および対訳辞書１２から構成されている。翻訳部１１は、音声認識装置１０（用例検索部５）より出力される音声認識結果の言語を、対訳辞書４３を参照しながら、他の言語に翻訳するようになされている。なお、翻訳部１１は、例えば音声合成装置（図示せず）を内蔵しており、そこで、翻訳結果に対応する合成音を生成して出力するようになされている。対訳辞書４３は、例えば日本語の単語と、それを英語に訳した英単語（あるいは英単語列）とを対応付けて記憶している。
【００４０】
なお、言語モデル記憶部６、単語辞書７、用例データベース８、およびシソーラス記憶部９には、例えば日本語および英語の両方に関するものが記憶されており、これにより、音声認識装置１０では、上述したように日本語および英語のいずれの音声も認識することができるようになされている。また、翻訳部１１では、日本語または英語の音声認識結果が入力された場合には、それぞれを、英語または日本語に翻訳するようになされている。
【００４１】
以上のように構成される音声翻訳装置においては、音声入力部１に入力された音声は、ＡＤ変換部２、さらには分析部３を介することにより特徴パラメータ（あるいはシンボル）とされて、認識部４に出力される。認識部４では、分析部３の出力を用いて、例えばＨＭＭにしたがい、音声認識処理が行われる。
【００４２】
ここで、ＨＭＭについて簡単に説明する。ＨＭＭは、非決定有限状態オートマトンとして定義され、そのモデルは、幾つかの状態と、その状態間の遷移を表すパスから構成される。このようなモデルにおいて、各状態からの状態の遷移過程はマルコフ過程とされ、また、状態が遷移するときにはシンボルが１つ出力されるものとして、モデルの学習が行われる。いま、モデルが有する状態がＮ個あり、モデル（状態）から出力されるシンボルの種類がＫ個あるとすると、この学習では、多数の学習データを用い、状態が、状態ｉから状態ｊに遷移する確率（状態遷移確率）ａijと、そのときにシンボルｙkが出力される確率（出力シンボル確率）ｂij（ｙk）が求められる（但し、０＜ｉ，ｊ＜Ｎ＋１，０＜ｋ＜Ｋ＋１）。
【００４３】
なお、ＨＭＭのパラメータには、最初に状態ｉにいる確率（初期状態確率）πiもあるが、音声認識では、状態が、自分自身か、あるいは自身より右側の状態にしか遷移しないleft-to-rightモデルが、通常用いられるので、初期状態は、モデルの最も左側の状態とされる（最初に、最も左側の状態にいる確率が１とされ、他の状態にいる確率は０とされる）。このため、通常は、学習において、初期状態確率を求める必要はない。
【００４４】
一方、認識時には、学習の結果得られた状態遷移確率および出力シンボル確率を用いて、分析部３から出力されるシンボル系列が観測（生起）される確率（生起確率）が計算され、その確率の高いものが認識結果候補（あるいは認識結果）とされる。
【００４５】
本実施例では、認識部４には、あらかじめ学習を行うことにより得られた、例えば音素単位のモデル（音素モデル）が記憶されており、認識部４は、単語辞書７に登録されている単語の音韻情報を参照して、音素モデルを連結し、単語辞書７に登録されている単語のモデルを作成する。そして、このモデルを用いて、上述したように生起確率を計算し、その確率の高い単語を求める。
【００４６】
なお、認識部４には、音素モデルではなく、例えば単語単位のモデル（単語モデル）を記憶させておき、そのモデルをそのまま用いて、連続音声認識させるようにすることも可能である。
【００４７】
さらに、認識部４は、上述したような処理を、言語モデル記憶部６に記憶されているバイグラム、トリグラムにより緩い言語的制約をかけ、その制約の下、例えばビタビアルゴリズムを用いたビームサーチなどにより、適当に枝刈しながら行う。この場合、認識部４において、文候補を得るまでのサーチスペースが絞り込まれるので、音声認識装置１０の音声認識処理における演算量の低減、さらにはその処理の高速化を図ることができる。
【００４８】
また、認識部４でかけられる言語モデルによる制約は緩いため、そこで得られる文候補の中には、文法的、意味的に正しいものだけでなく、誤ったものも含まれると考えられるが、そのようなものは、後段の用例検索部５で計算される類似度が低くなるため、最終的な音声認識結果とされる確率は非常に少ない。
【００４９】
なお、バイグラム、トリグラムは、例えば１次、２次のマルコフ過程のモデルで、音素、音節、単語などの連鎖確率を大量のテキストデータベースを基にして学習したものであり、自然言語の局所的な性質を精度良く近似することのできるモデルとして知られている。
【００５０】
また、言語的制約は、言語モデルによる他、例えば有限状態ネットワークなどを用いてかけるようにすることも可能である。
【００５１】
以上のような言語的制約の下、得られた複数の文候補は、用例検索部５に出力され、上述したように単語列に変換される。さらに、用例検索部５は、複数の単語列（入力単語列）それぞれと、用例データベース８に記憶されている用例それぞれとの類似度を計算し、その類似度を最も高くする用例を選択する。
【００５２】
ここで、本実施例では、類似度の計算は、例えば、前述した特開平３−２７６３６７号に開示されているような、単語を、その意味の類似性（概念）に基づいて木構造に階層化したシソーラスを用いて行われる。即ち、入力単語列を構成する、ある単語と、その単語に対応する、用例を構成する単語とが、同一のカテゴリに属すると考えられる概念の階層が第ｋ階層であった場合に、これらの単語間の概念的な類似性を表す単語類似度を、（ｋ−１）／ｎ（但し、ｎは、シソーラスの階層数）とし、入力単語列を構成する単語それぞれと、用例を構成する単語それぞれとについての単語類似度を積算する。そして、その積算結果を、入力単語列と、用例との類似度とする。
【００５３】
具体的には、例えば、いま、シソーラス記憶部９に、図２に示すようなシソーラスが記憶されているものとした場合、以下のようにして類似度が計算される。
【００５４】
但し、図２においては、長方形で囲んであるものは概念を表し、楕円で囲んであるものが単語を表す。同図では、最も上の階層（第４階層）に属する概念が、「性状」、「変動」、「人物」、「社会」、「物品」、その他に分類されており、そのうちの、例えば概念「変動」は、それに含まれる概念「増減」、「経過」、その他に分類されている。さらに、例えば概念「経過」は、それに含まれる概念「経過」、「到来」、その他に分類されており、そのうちの、例えば概念「到来」には、その範疇にある単語「訪問する」、その他が属するものとされている。
【００５５】
また、図２においては、最も下の概念の階層を第１階層とし、下から２番目の概念の階層を第２階層とし、以下同様にして、下から３番目の概念の階層、または最も上の概念の階層を、それぞれ第３階層、または第４階層としている。図２のシソーラスは４階層（の概念）で構成されるから、シソーラスを第１階層までさかのぼることにより概念が一致する単語どうしの単語類似度は０（＝（１−１）／４）となり、また、シソーラスを第２階層までさかのぼることにより概念が一致する単語どうしの類似度は１／４（＝（２−１）／４）となる。以下同様に、シソーラスを第３または第４階層までさかのぼることにより概念が一致する単語どうしの単語類似度は１／２または３／４となる。
【００５６】
例えば、いま、認識部４から、文候補「私は学校へ行く」が用例検索部５に出力され、そこで、この文候補が、上述したように助詞で分離されることにより、入力単語列（「私」、「学校」、「行く」）とされた場合、この入力単語列（「私」、「学校」、「行く」）と、例えば用例「彼は会社を訪問する」との類似度は、次のように計算される。
【００５７】
即ち、まず入力単語列（「私」、「学校」、「行く」）を構成する単語「私」、「学校」、「行く」それぞれと、用例「彼は会社を訪問する」を構成する、「私」、「学校」、「行く」に対応する単語「彼」、「会社」、「訪問する」それぞれとの単語類似度が計算される。
【００５８】
ここで、単語ＸとＹとの単語類似度を、ｄ（Ｘ，Ｙ）と表すと、単語「私」と「彼」とは、第２階層までさかのぼることにより概念「人称」に一致するので、単語類似度ｄ（「私」，「彼」）は１／４となる。また、単語「学校」と「会社」とは、第２階層までさかのぼることにより概念「施設」に一致するので、単語類似度ｄ（「学校」，「会社」）は１／４となる。さらに、単語「行く」と「訪問する」とは、やはり第２階層までさかのぼることにより概念「経過」に一致するので、単語類似度ｄ（「行く」，「訪問する」）は１／４となる。
【００５９】
以上の単語類似度を積算すると、その積算値は３／４（＝１／４＋１／４＋１／４）となり、これが、入力単語列（「私」、「学校」、「行く」）と用例「彼は会社を訪問する」との類似度とされる。
【００６０】
また、この入力単語列（「私」、「学校」、「行く」）と、例えば用例「これは木でできている」との類似度は、次のように計算される。
【００６１】
即ち、入力単語列（「私」、「学校」、「行く」）を構成する単語「私」、「学校」、「行く」それぞれと、用例「これは木でできている」を構成する、「私」、「学校」、「行く」に対応する単語「これ」、「木」、「できる」（「できている」は「できる」とされる）それぞれとの単語類似度ｄ（「私」，「これ」）、ｄ（「学校」，「木」）、ｄ（「行く」，「できる」）は、上述したようにして、３／４，３／４，２／４と計算され、その結果、入力単語列（「私」、「学校」、「行く」）と用例「これは木でできている」との類似度は８／４（３／４＋３／４＋２／４）と求められる。
【００６２】
以上のようにして、用例データベース８に登録されているすべての用例について、複数の文候補（入力単語列）それぞれに対する類似度が計算される。
【００６３】
その後、用例検索部５では、類似度が最も高い用例と入力単語列とが選択される（以下、選択された用例または入力単語列を、それぞれ選択用例または選択単語列という）。
【００６４】
そして、用例検索部５は、選択用例を構成する単語のうち、選択単語列を構成する単語に対応するものを、その選択単語列を構成する単語に、それぞれ置き換え、文音声認識結果として出力する。
【００６５】
即ち、例えば、いま、説明を簡単にするために、用例として「彼は会社を訪問する」および「これは木でできている」が用例データベース８に記憶されており、入力単語列として、（「私」、「学校」、「行く」）が得られたとすると、上述したように、入力単語列（「私」、「学校」、「行く」）と、用例「彼は会社を訪問する」または「これは木でできている」それぞれとの類似度は、３／４または８／４となる。本実施例では、類似度が高い場合というのは、類似度の値が小さい場合であり（これは、図２において、シソーラスを構成する最も下の概念の階層から、第１階層、第２階層、・・・としたためで、これとは逆に、シソーラスを構成する最も上の概念の階層から、第１階層、第２階層、・・・とすれば、類似度が高い場合というのは、類似度の値が大きい場合となる）、従って、用例選択部５では、入力単語列（「私」、「学校」、「行く」）と用例「彼は会社を訪問する」とが選択される。
【００６６】
そして、用例検索部５では、選択用例「彼は会社を訪問する」を構成する単語のうち、選択単語列（「私」、「学校」、「行く」）を構成する単語に対応するもの、即ち「私」、「学校」、「行く」に対応する「彼」、「会社」、「訪問する」が、その選択単語列を構成する単語「私」、「学校」、「行く」に、それぞれ置き換えられ、さらに必要に応じて助詞の変換がなされ、その結果得られる「私は学校に行く」が文音声認識結果として出力される。
【００６７】
この音声認識結果は、翻訳部１１に供給され、翻訳部１１では、用例検索部５からの音声認識結果「私は学校に行く」が、対訳辞書１２を参照して、例えば英文「I go to school」に英訳される。そして、この英訳文「I go to school」に対応する合成音が生成されて出力される。
【００６８】
なお、以上においては、音声が日本語で入力された場合について説明したが、英語で、例えば音声「I go to school」が入力された場合についても、音声認識装置１０または翻訳装置２０において、上述の場合と同様にして音声認識または翻訳がなされ、その結果得られる「私は学校に行く」が合成音で出力される。
【００６９】
ところで、用例検索部５では、上述のような類似度の計算にあたって、いままでに選択された用例による文脈に基づく重みが付されるようになされている。即ち、用例データベース８には、用例とともに、例えば今回選択された用例から考えて次の音声認識処理に用いられる可能性のある用例を予測するための予測情報が記憶されており、用例検索部５では、その予測情報に基づいて、類似度に重みが付けられるようになされている。
【００７０】
具体的には、用例データベース８には、予測情報として、用例を次の音声認識処理に用いられる（次の音声認識処理で選択される）可能性のある用例と対応付けたものが記憶されており、用例検索部５は、前回の音声認識処理で用いられた用例と対応付けられている用例に対する類似度が高くなるように、または前回の音声認識処理で用いられた用例と対応付けられていない用例に対する類似度が低くなるように、重みを付けるようになされている。
【００７１】
ここで、用例データベース８には、用例を、次の音声認識処理に用いられる可能性のある用例と対応付けたものが、例えば図３に示すように表形式で記述されて記憶されている。この表は、その左欄に記述された用例が前回用いられた場合に、今回用いられる可能性の高い用例を右欄に記述したもので、左欄から右欄の方向に用例を見た場合に、その２つの用例による文脈が、人の発話または対話において現れ得るようなものとされている。従って、図３の表の左欄から右欄の方向は、発話または対話の流れを表しているということができる。以下、適宜、このような発話または対話の流れを表現する、いわば脚本というべき表の左欄と右欄との組み合わせの記述を、スクリプトという。
【００７２】
図３の実施例では、用例「チェックインをお願いします。」に続いて用いられる可能性の高い用例として、例えば「お客様のお名前をどうぞ。」、「ご予約はされていますか。」、および「この用紙にご記入をお願いします。」が登録されている。また、用例「部屋はありますか。」に続いて用いられる可能性の高い用例として、例えば「ございます。」、「ございません。」、および「満室です。」が登録されている。
【００７３】
例えば、いま、図３に示した表が用例データベース８に登録されている場合において、米国のホテルのフロントで、日本語で「チェックインをお願いします。」と発話し、音声認識装置１０において、入力音声「チェックインをお願いします。」が、用例「チェックインをお願いします」を用いて音声認識されたとする。この場合、音声認識装置１０からは、音声認識結果として、「チェックインをお願いします。」が出力され、これが、翻訳部１１で英訳され、例えば「Check in, please.」が合成音で出力される。
【００７４】
そして、この合成音を聞いたホテルのフロントの者が、英語で「お客様のお名前をどうぞ。」と発話したとする（例えば、「May I have your name, please.」と発話したとする）。この入力音声は、音声認識装置１０において、上述したように類似度を最も高くする用例が選択されて音声認識されるが、この場合、類似度には、スクリプトを参照して、前回の音声認識処理で用いられた用例「チェックインをお願いします。」と対応付けられている用例（図３に示した実施例においては、「お客様のお名前をどうぞ。」、「ご予約はされていますか。」、および「この用紙にご記入をお願いします。」）に対する類似度が高くなるように、重みが付される。
【００７５】
即ち、この場合、音声認識装置１０の用例検索部５では、図４のフローチャートに示すように、まず最初に、ステップＳ１において、前回の音声認識処理で用いられた用例「チェックインをお願いします。」と対応付けられている用例（スクリプト）「お客様のお名前をどうぞ。」、「ご予約はされていますか。」、および「この用紙にご記入をお願いします。」が選択され、ステップＳ２に進み、上述したように、シソーラスを用いて、認識部４が出力する複数の文候補それぞれと、用例データベース８に記憶されている複数の用例それぞれとの類似度が計算される。
【００７６】
そして、ステップＳ３に進み、ステップＳ１で選択された用例（スクリプト）に対応する類似度が高くされ、ステップＳ４に進む。ステップＳ４では、最も類似度を高くする用例および文候補が選択され、以下、上述したようにして最終的な音声認識結果が求められる。
【００７７】
従って、ステップＳ２の段階で、用例「チェックインをお願いします。」に対する類似度が最も高くなくても、ステップＳ３の処理により、その類似度が高くされ、その結果、用例「チェックインをお願いします。」に対する類似度を最も高くすることができる。
【００７８】
以上のように、単語のシソーラス上での意味上の類似性のみだけでなく、前回用いられた用例による文脈に基づいて、対話（あるいは発話）の流れを考慮して、類似度を求めるようにしたので、従来の場合より、音声認識処理を行うのに適切な用例を得ることができ、その結果、音声認識処理の精度、即ち音声の認識率を向上させることができる。
【００７９】
なお、図３において、表の右欄に記述した用例は、ホテルのフロントの者が発話すると予測されるものであるから、実際には、英語で記述されている（例えば、「お客様のお名前をどうぞ。」は、「May I have your name, please.」と記述されている）。
【００８０】
また、上述の場合には、前回の音声認識処理で用いられた用例と対応付けられている用例に対する類似度が高くなるように、類似度に重みを付けるようにしたが、この他、類似度には、前回の音声認識処理で用いられた用例と対応付けられていない用例に対する類似度が低くなるように、重みを付けるようにすることも可能である。
【００８１】
さらに、上述の場合においては、前回の音声認識処理で用いられた用例と対応付けられている用例に対する類似度が高くなるように、類似度に重みを付けるようにしたが、この他、さらにそれ以前の処理で用いられた用例に基づいて、類似度に重みを付けるようにすることも可能である。即ち、例えば宿泊客が、既に名乗っており、そのような音声の認識のための用例を既に用いている場合には、相手の名前を尋ねるときに発する音声を認識するための用例（例えば、図３に示した「お客様のお名前をどうぞ。」など）に対する類似度を低くする重みを付けるようにすることが可能である。
【００８２】
また、用例データベース８には、図３に示した表（スクリプト）を、例えばホテルや、レストラン、空港などの所定の場面ごとに用いるべきものに分類して記憶させておき、用例検索部５には、図１の音声翻訳装置が用いられる場面に応じた表（スクリプト）を用いて、処理を行わせるようにすることができる。この場合、音声認識処理に用いるスクリプトが限定されるので、さらなる音声認識性能の改善および計算量の削減を図ることができる。なお、音声翻訳装置がどのような場面で利用されているかは、図示せぬ操作部を操作することにより、装置に認識させるようにすることが可能である。また、発話の内容から、音声翻訳装置がどのような場面で利用されているかを、装置に認識させるようにすることもできる。即ち、例えば音声「部屋はありますか。」などが入力された場合には、ホテルでの発話または対話の流れを反映した表を用いて、また、例えば音声「メニューを見せて下さい。」などが入力された場合には、レストランでの発話または対話の流れを反映した表を用いて、用例検索部５に処理を行わせるようにすることができる。
【００８３】
さらに、用例データベース８には、次の処理に用いられる可能性のある用例を学習により求めたものを記憶させておくようにすることができる。この場合、学習の際に、大量の学習用データを用いて、次の処理で、各用例が用いられる確率を求めておくようにし、その確率に応じて、類似度を高くするまたは低くする重みを調整することで、より処理に適した用例の選択を行うことが可能となる。
【００８４】
また、翻訳部１１における翻訳の方法については特に言及しなかったが、翻訳部１１では、例えば上述した特開平３−２７６３６７号公報に開示されている翻訳方法により翻訳を行うようにすることが可能である。この場合、用例データベース８は、用例検索部５と翻訳部１１とで共用することが可能である。さらに、翻訳部１１では、用例検索部５における場合と同様に、類似度の計算にあたって、いままでに選択された用例による文脈に基づく重みを付すようにすることも可能である。この場合、翻訳の精度を向上させることができる。なお、翻訳部１１における翻訳の方法は、特開平３−２７６３６７号公報に開示されているものに限定されるものではない。
【００８５】
次に、図５は、本発明を適用した音声翻訳装置の他の実施例の構成を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。即ち、この音声翻訳装置は、認識部４または用例検索部５に代えて、それぞれ認識部１４または用例検索部１５が設けられている他は、図１の音声翻訳装置と同様に構成されている。
【００８６】
認識部１４は、例えば図１の認識部４における場合と同様にして音声認識を行い、複数の文候補を、用例検索部１５に出力するようになされている。さらに、認識部１４は、複数の文候補それぞれに加えて、その確からしさを示す尤度（例えば、ＨＭＭにより音声認識を行う場合には、上述した生起確率）も、用例検索部５に出力するようになされている。
【００８７】
用例検索部１５は、やはり図１の用例検索部５と同様に、認識部１４から供給される複数の文候補それぞれを入力単語列に変換し、用例データベース８に記憶されている用例それぞれとの類似度を計算して、その類似度を最も高くする用例を選択するようになされている。そして、その選択した用例に基づいて、音声入力部１に入力された音声の認識結果（文）を決定するようになされている。但し、用例検索部１５における類似度の計算は、認識部１４から供給される複数の文候補それぞれの尤度を考慮して行われるようになされている。
【００８８】
以上のように構成される音声翻訳装置では、音声が入力されると、音声入力部１，ＡＤ変換部２、分析部３、および認識部１４において、図１の音声翻訳装置と同様の処理が行われ、これにより認識部１４からは、複数の文候補が、用例検索部１５に出力される。さらに、認識部１４からは、複数の文候補それぞれの尤度も用例検索部１５に出力される。
【００８９】
用例検索部１５では、図６のフローチャートに示すように、まず最初に、ステップＳ１１において、認識部１４からの複数の文候補（文認識候補）と、それぞれの尤度が受信され、入力単語列に変換される。そして、ステップＳ１２に進み、複数の文候補それぞれと、用例データベース８に記憶されている用例それぞれとの類似度が、シソーラス、さらに必要に応じてスクリプトを用いて計算される（スクリプトを用いることは必須ではないが、用いた方が、類似度の精度が向上させることができる）。
【００９０】
ここで、ステップＳ１２で求められる類似度は、文法的、意味的な正しさを表しており、即ち、いわば言語的な正しさを表しており、以下、適宜、言語的類似度という。また、これに対し、認識部１４から出力される尤度は、音響的な処理の結果得られた複数の認識結果候補それぞれの正しさを表しており、以下、適宜、音響的類似度という。
【００９１】
その後、ステップＳ１３に進み、複数の認識結果候補それぞれと、用例データベース８に記憶されている複数の用例それぞれとの総合的な類似度である総合類似度が、言語的類似度および音響的類似度に基づいて計算される。
【００９２】
ここで、総合類似度は、例えば言語的類似度および音響的類似度を用いて表現される多項式にしたがって計算される。即ち、総合類似度は、言語的類似度と音響的類似度とを、所定の割合で加算することにより計算される。具体的には、例えば、いま総合類似度、言語的類似度、または音響的類似度を、それぞれＳg，Ｓl、またはＳsとするとき、総合類似度Ｓgは、次式にしたがって計算される。
【００９３】
Ｓg＝αＳl＋（１−α）Ｓs                      ・・・（１）
但し、αは、０＜α＜１の範囲のいずれかの実数値をとる。
【００９４】
式（１）にしたがって、総合類似度を算出した後は、ステップＳ１４に進み、総合類似度を最も高くする用例および文候補が選択され、以下、図１における場合と同様の処理が行われることにより、翻訳結果が出力される。
【００９５】
なお、式（１）による総合的類似度の計算は、複数の文候補それぞれについて、言語的類似度を最も高くする用例についてだけ行えば良い。また、総合的類似度の計算は、言語的類似度および音響的類似度を正規化してから行うのが好ましい。
【００９６】
以上のように、最終的な音声認識結果を得るのに用いる用例を選択する際に、言語的類似度だけでなく、認識部４において得られる音響的類似度（尤度）を考慮するようにしたので、言語的類似度だけを考慮する場合に比較して、より適切な用例を選択することが可能となり、その結果、音声の認識率を向上させることができる。
【００９７】
即ち、逆にいえば、最終的な音声認識結果を得るのに、音響的類似度だけでなく、言語的類似度を考慮するようにしたので、何らかの原因で（例えば、雑音などにより）、本来正しい文候補の音響的類似度が低くなっても、言語的類似度を考慮することで、その総合類似度を高くすることができ、本来正しい文候補が誤ったものであるとされることを防止することが可能となる。
【００９８】
なお、式（１）における言語的類似度と音響的類似度とを加算するときの割合であるαは、動的に変化させることができる。即ち、音声翻訳装置が使用される環境における雑音レベルが高い場合には、音響的類似度の信頼性が低下すると考えられる。そこで、周囲の雑音レベルを検出するようにし、それが高い場合には、αの値を大きくすることで、総合類似度に対し、音響的類似度が寄与する割合を低下させるとともに、言語的類似度が寄与する割合を増加させるようにする。また、雑音レベルが低い場合には、αの値を元に戻すようにする。このようにすることで、環境の変化に対する装置の耐性を向上させることができる。
【００９９】
以上のように、類似度（総合類似度）の計算にあたって、シソーラスに基づく類似度に加えて、いままで用いられた用例による文脈や、音響的類似度を考慮するようにしたので、用例の選択の精度、ひいては音声処理（自然言語処理）の精度を向上させることができる。
【０１００】
以上、本発明を音声翻訳装置に適用した場合について説明したが、本発明は、その他、例えば音声認識装置や機械翻訳装置などの、自然言語処理を必要とするあらゆる装置に適用可能である。
【０１０１】
なお、本実施例においては、日本語を英語に翻訳するようにしたが、日本語以外の言語を翻訳したり、また、英語以外の言語に翻訳するようにすることが可能である。
【０１０２】
また、本実施例では、認識部４（認識部１４についても同様）において、言語モデルによる制約の下、文候補を得て、用例検索部５（用例検索部１５についても同様）において、それを単語列に分離するようにしたが、この他、認識部４では、例えば言語モデルによる制約なしで連続音声認識を行い、用例検索部５では、その結果得られる単語を組み合わせて単語列を構成するようにすることも可能である。
【０１０３】
さらに、本実施例では、入力単語列に助詞を含ませないようにしたが、用例検索部５には、助詞を含ませた入力単語列を処理させるようにすることも可能である。
【０１０４】
また、本実施例においては、翻訳結果を合成音で出力するようにしたが、この他、翻訳結果は、表示するようにすることも可能である。
【０１０６】
【発明の効果】
本発明の音声認識装置および音声認識方法によれば、複数の認識結果候補と、それぞれの尤度とが求められ、複数の認識結果候補それぞれと、用例記憶手段に記憶されている用例それぞれとの類似度が、言語的な正しさを表す言語的類似度として計算される。さらに、複数の認識結果候補それぞれと、用例記憶手段に記憶されている用例それぞれとの総合的な類似度である総合類似度が、言語的類似度および尤度に基づいて計算される。そして、総合類似度を最も高くする用例が選択され、その用例に基づいて、音声の認識結果が求められる。従って、音声の認識率を向上させることができる。
【図面の簡単な説明】
【図１】本発明を適用した音声翻訳装置の第１実施例の構成を示すブロック図である。
【図２】シソーラスを示す図である。
【図３】用例データベース８に記憶されている表を示す図である。
【図４】用例検索部５の動作を説明するフローチャートである。
【図５】本発明を適用した音声翻訳装置の第２実施例の構成を示すブロック図である。
【図６】用例検索部１５の動作を説明するフローチャートである。
【符号の説明】
１  音声入力部
２  ＡＤ変換部
３  分析部
４  認識部
５  用例検索部
６  言語モデル記憶部
７  単語辞書
８  用例データベース
９  シソーラス記憶部
１０  音声認識装置
１１  翻訳部
１２  対訳辞書
１４  認識部
１５  用例検索部
２０  翻訳装置
【図１】
0003716870.tif 000002
【図２】
0003716870.tif 000003
【図３】
0003716870.tif 000004
【図４】
0003716870.tif 000005
【図５】
0003716870.tif 000006
【図６】
0003716870.tif 000007