(57)【要約】  発音辞書生成方法及びそのための装置が開示される。具体的には、音声認識装置が発音辞書を生成する方法であって、ユーザあるいは機械装置から音声の入力を受けるステップ；前記入力された音声を音響モデルを用いて認識するステップ；前記認識された結果に基づいて、前記音声に対する発音記号を生成するステップ；ユーザからユーザ語彙の入力を受けるステップ；及び前記入力されたユーザ語彙と前記生成された発音記号とを対応付けて前記発音辞書に格納するステップを含むことができる。
2021529338.tif 000002
【特許請求の範囲】
【請求項１】
音声認識装置が発音辞書を生成する方法であって、
ユーザあるいは機械装置から音声の入力を受けるステップと、
前記入力された音声を音響モデルを用いて認識するステップと、
前記認識された結果に基づいて、前記音声に対する発音記号を生成するステップと、
ユーザからユーザ語彙の入力を受けるステップと、
前記入力されたユーザ語彙と前記生成された発音記号とを対応付けて前記発音辞書に格納するステップとを含む、発音辞書生成方法。
【請求項２】
前記認識した結果に対する信頼度を評価するステップと、
前記信頼度が予め設定された閾値よりも小さいとき、前記発音記号と対応する前記ユーザ語彙を要求するステップとをさらに含む、請求項１に記載の発音辞書生成方法。
【請求項３】
前記認識した結果から誤認識及び／又は未認識部分を選択するステップと、
前記誤認識及び／又は未認識部分に対応する前記ユーザ語彙を要求するステップとをさらに含む、請求項１に記載の発音辞書生成方法。
【請求項４】
前記認識した結果に対する信頼度を評価するステップと、
前記信頼度が予め設定された閾値よりも小さいとき、前記発音記号で類推可能な語彙候補群をテキストコーパスから検索するステップと、
前記検索された語彙候補群を前記発音辞書に登録した後、前記音声を前記音響モデルを用いて再認識するステップとをさらに含む、請求項１に記載の発音辞書生成方法。
【請求項５】
前記検索された語彙あるいは複数の語彙を発音辞書に登録する前に、ユーザに登録するか否かの決定を要求するステップをさらに含む、請求項４に記載の発音辞書生成方法。
【請求項６】
前記認識した結果に対する信頼度を評価するステップと、
前記信頼度が予め設定された閾値よりも小さいとき、テキストコーパスの各単語に対して全ての類推可能な発音記号が対応して格納された辞書から、前記発音記号で類推可能な語彙を検索するステップと、
前記検索された語彙を前記発音辞書に登録した後、前記音声を前記音響モデルを用いて再認識するステップとをさらに含む、請求項１に記載の発音辞書生成方法。
【請求項７】
前記検索された語彙あるいは複数の語彙を発音辞書に登録する前に、ユーザに登録するか否かの決定を要求するステップをさらに含む、請求項６に記載の発音辞書生成方法。
【請求項８】
前記発音記号を生成するために、前記音響モデルの重みが前記言語モデルに対する重みよりも高く設定される、請求項１に記載の発音辞書生成方法。
【請求項９】
前記発音記号を生成するために用いられる前記発音辞書及び前記言語モデルに、可能な全ての文字または字素単位の候補が追加される、請求項１に記載の発音辞書生成方法。
【請求項１０】
前記発音記号を生成するために用いられる前記発音辞書及び前記言語モデルは、可能な全ての文字あるいは字素単位のみで構成される、請求項１に記載の発音辞書生成方法。
【請求項１１】
音声認識装置が発音辞書を生成する方法であって、
音声データとテキストが対応して格納された音声−テキスト並列コーパスの入力を受けるステップと、
前記音声データを音響モデルを用いて認識するステップと、
前記認識された結果に基づいて、前記音声データに対する発音記号及びテキスト結果を生成するステップと、
前記音声−テキスト並列コーパスを、前記発音記号及びテキスト結果を対応付けて、互いに異なって表現された部分に対して前記発音辞書をアップデートするステップとを含む、発音辞書生成方法。
【請求項１２】
前記アップデートされた発音辞書と前記音声−テキスト並列コーパスを用いて前記音響モデルを学習するステップをさらに含む、請求項１１に記載の発音辞書生成方法。
【請求項１３】
音声認識装置が発音辞書を生成する方法であって、
ユーザあるいは機械装置からテキストの入力を受けるステップと、
前記入力されたテキストの語彙のうち前記発音辞書にない語彙について、ユーザに当該語彙の音声を要求するステップと、
前記入力された音声を音響モデルを用いて認識するステップと、
前記認識された結果に基づいて、前記音声に対する発音記号を生成するステップと、
前記入力されたユーザ語彙と前記生成された発音記号とを対応付けて前記発音辞書に格納するステップとを含む、発音辞書生成方法。
【請求項１４】
音声認識装置であって、
ユーザあるいは機械装置から音声の入力を受ける音声入力部と、
ユーザからユーザ語彙の入力を受ける語彙入力部と、
語彙及び前記語彙に対応する発音記号で構成された発音辞書を格納するメモリと、
前記音声入力部、前記語彙入力部及び前記格納部を制御するプロセッサとを含み、
前記プロセッサは、前記音声入力部を介してユーザあるいは機械装置から音声の入力を受け、前記入力された音声を音響モデルを用いて認識し、前記認識された結果に基づいて、前記音声に対する発音記号を生成し、前記語彙入力部を介してユーザからユーザ語彙の入力を受け、前記入力されたユーザ語彙と前記生成された発音記号とを対応付けて前記発音辞書に格納する、音声認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動音声認識装置においてユーザ辞書（即ち、ユーザ発音辞書）を適用（生成）するための方法、及びこれをサポートする装置に関する。
【背景技術】
【０００２】
自動音声認識は（以下、「音声認識」という）、コンピュータを用いて音声を文字に変換する技術である。この技術は、最近になって急激な認識率の向上を達成した。
【０００３】
ただし、言語処理全般にわたって発生する問題が言語処理でも発生するが、これはすなわち、未登録語の問題である。
【０００４】
未登録語とは、言語処理システムが処理できない語彙のことをいう。システムの開発当時にシステムに反映されていない語彙がサービス時に発生した場合、システムは、これに対応するための機能が必要である。未登録語に適切に対応しない場合、システムの結果物は保証できず、さらに、システムが動作しないこともある。
【０００５】
未登録語に対応する基本的な方法は、基本的な処理方式を定めておくことであり、最悪の場合に、定められた返答を出す。例えば、言語の分析では、語彙を名詞として分析し、翻訳では、知らない語彙を発音表示（発音通りに変換）し、音声認識では、知らない単語を「知らない単語」と出力する。
【０００６】
サービス中のシステムにおいて、未登録語に対応するもっと積極的な方法として、ユーザ辞書を適用することができる。すなわち、ユーザが語彙の情報を直接入力し、システムがこれを参照するようにする。例えば、言語の分析では語彙と語彙の分析情報を、翻訳では原語彙と翻訳語彙の情報をユーザが登録できるようにし、システムは、運営中にこの情報を参考にして未登録語を処理する。
【０００７】
音声認識では、ユーザが語彙を登録しようとする場合、語彙とそれに該当する発音記号を登録しなければならない。
【０００８】
ただし、発音記号は、表記法や分類の基準がシステム毎に異なり、統一された基準がない。また、システムを初めて接するユーザは、表記法に関する別途の学習が必要である。もしくは、語彙を発音記号に変換するプログラムが必要であるが、語彙を発音記号に変換するほとんどのプログラムは正確度が１００％ではない。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、音声認識において、ユーザが語彙とそれに該当する発音記号を簡便かつ正確に登録する方法を提案する。
【００１０】
本発明で達成しようとする技術的課題は、以上で言及した技術的課題に制限されず、言及していない他の技術的課題は、下記の記載から、本発明の属する技術分野における通常の知識を有する者に明確に理解されるであろう。
【課題を解決するための手段】
【００１１】
本発明の一態様は、音声認識装置が発音辞書を生成する方法であって、ユーザあるいは機械装置から音声の入力を受けるステップと；前記入力された音声を音響モデルを用いて認識するステップと；前記認識された結果に基づいて、前記音声に対する発音記号を生成するステップと；ユーザからユーザ語彙の入力を受けるステップと；前記入力されたユーザ語彙と前記生成された発音記号とを対応付けて前記発音辞書に格納するステップとを含むことができる。
【００１２】
好ましくは、前記認識した結果に対する信頼度を評価するステップと；前記信頼度が予め設定された閾値よりも小さいとき、前記発音記号と対応する前記ユーザ語彙を要求するステップとをさらに含むことができる。
【００１３】
好ましくは、前記認識した結果から誤認識及び／又は未認識部分を選択するステップと；前記誤認識及び／又は未認識部分に対応する前記ユーザ語彙を要求するステップとをさらに含むことができる。
【００１４】
好ましくは、前記認識した結果に対する信頼度を評価するステップと；前記信頼度が予め設定された閾値よりも小さいとき、前記発音記号で類推可能な語彙候補群を生成してテキストコーパスから検索するステップと；前記検索された語彙候補群を前記発音辞書に登録した後、前記音声を前記音響モデルを用いて再認識するステップとをさらに含むことができる。
【００１５】
好ましくは、前記検索された語彙あるいは複数の語彙を発音辞書に登録する前に、ユーザに登録するか否かの決定を要求するステップをさらに含むことができる。
【００１６】
好ましくは、前記認識した結果に対する信頼度を評価するステップと；前記信頼度が予め設定された閾値よりも小さいとき、テキストコーパスの各単語に対して全ての類推可能な発音記号が対応して格納された辞書から、前記発音記号で類推可能な語彙を検索するステップと；前記検索された語彙を前記発音辞書に登録した後、前記音声を前記音響モデルを用いて再認識するステップとをさらに含むことができる。
【００１７】
好ましくは、前記検索された語彙あるいは複数の語彙を発音辞書に登録する前に、ユーザに登録するか否かの決定を要求するステップをさらに含むことができる。
【００１８】
好ましくは、前記発音記号を生成するために、前記音響モデルの重みが前記言語モデルに対する重みよりも高く設定されてもよい。
【００１９】
好ましくは、前記発音記号を生成するために用いられる前記発音辞書及び前記言語モデルに、可能な全ての文字または字素単位の候補が追加されてもよい。
【００２０】
好ましくは、前記発音記号を生成するために用いられる前記発音辞書及び前記言語モデルは、可能な全ての文字あるいは字素単位のみで構成されてもよい。
【００２１】
本発明の他の一態様は、音声認識装置が発音辞書を生成する方法であって、音声データとテキストが対応して格納された音声−テキスト並列コーパスの入力を受けるステップと；前記音声データを音響モデルを用いて認識するステップと；前記認識された結果に基づいて、前記音声データに対する発音記号及びテキスト結果を生成するステップと；前記音声−テキスト並列コーパスを、前記発音記号及びテキスト結果を対応付けて、互いに異なって表現された部分に対して前記発音辞書をアップデートするステップとをさらに含むことができる。
【００２２】
好ましくは、前記アップデートされた発音辞書と前記音声−テキスト並列コーパスを用いて前記音響モデルを学習するステップをさらに含むことができる。
【００２３】
本発明の他の一態様は、ユーザあるいは機械装置からテキストの入力を受けるステップと；入力されたテキストの語彙のうち前記発音辞書にない語彙について、ユーザに当該語彙の音声を要求するステップと；前記入力された音声を音響モデルを用いて認識するステップと；前記認識された結果に基づいて、前記音声に対する発音記号を生成するステップと；前記入力されたユーザ語彙と前記生成された発音記号とを対応付けて前記発音辞書に格納するステップとを含むことができる。
【００２４】
本発明の他の一態様は、音声認識装置であって、ユーザから音声の入力を受ける音声入力部と；ユーザからユーザ語彙の入力を受ける語彙入力部と；語彙及び前記語彙に対応する発音記号で構成された発音辞書を格納するメモリと；前記音声入力部、前記語彙入力部及び前記格納部を制御するプロセッサとを含み、前記プロセッサは、前記音声入力部を介してユーザから音声の入力を受け、前記入力された音声を音響モデルを用いて認識し、発音辞書と言語モデルを用いて、前記認識された結果に基づいて前記音声に対する発音記号を生成し、前記語彙入力部を介してユーザからユーザ語彙の入力を受け、前記入力されたユーザ語彙と前記生成された発音記号とを対応付けて前記発音辞書に格納することができる。
【発明の効果】
【００２５】
本発明の実施例によれば、音声認識において、ユーザが語彙とそれに該当する発音記号を簡便かつ正確に登録することができる。
【００２６】
また、本発明の実施例によれば、ユーザが別途の学習を受ける必要がなく、また、別途のプログラムを必要としない。
【００２７】
また、本発明の実施例によれば、特定の言語に拘らずに全ての言語に適用可能である。
【００２８】
本発明から得られる効果は、以上で言及した効果に制限されず、言及していない別の効果は、下記の記載から、本発明の属する技術分野における通常の知識を有する者に明確に理解されるであろう。
【図面の簡単な説明】
【００２９】
本発明に関する理解を助けるために詳細な説明の一部として含まれる添付の図面は、本発明に対する実施例を提供し、詳細な説明と共に本発明の技術的特徴を説明する。
【図１】本発明の一実施例に係る音声認識装置のブロック図である。
【図２】本発明の一実施例に係る音声認識装置の発音辞書を例示する図である。
【図３】本発明の一実施例に係る発音辞書を生成する方法を説明するための図である。
【図４】本発明の一実施例に係る発音辞書を生成する方法を説明するための図である。
【図５】本発明の一実施例に係る発音辞書を生成する方法を説明するための図である。
【図６】本発明の一実施例に係る音声認識器の構成を例示する図である。
【図７】本発明の一実施例に係る音声認識装置の発音辞書を生成する方法を例示する図である。
【発明を実施するための形態】
【００３０】
以下、本発明に係る好適な実施形態を添付の図面を参照して詳細に説明する。添付の図面と共に以下で開示する詳細な説明は、本発明の例示的な実施形態を説明するためのものであり、本発明が実施され得る唯一の実施形態を示すためのものではない。以下の詳細な説明は、本発明の完全な理解を提供するために具体的な詳細を含む。しかし、当業者であれば、本発明がこのような具体的な詳細なしにも実施可能であるということがわかる。
【００３１】
場合によっては、本発明の概念が曖昧になることを避けるために公知の構造及び装置を省略したり、各構造及び装置の核心機能を中心にしたブロック図の形式で図示されたりすることもある。
【００３２】
図１は、本発明の一実施例に係る音声認識装置のブロック図である。
【００３３】
図１を参照すると、音声認識装置１００は、ユーザから音声の入力を受ける音声入力部１１０と、ユーザから語彙の入力を受ける語彙入力部１２０と、音声に関連する様々なデータ（特に、発音辞書、音響モデル、言語モデルなど）を格納するメモリ１３０と、入力されたユーザの音声を処理し、発音辞書を格納（アップデート）するプロセッサ１４０とを含むことができる。
【００３４】
音声入力部１１０は、マイクロホン（ｍｉｃｒｏｐｈｏｎｅ）を含むことができ、ユーザの発話（ｕｔｔｅｒａｎｃｅ）した音声が入力されると、これを電気的信号に変換してプロセッサ１４０に出力する。
【００３５】
語彙入力部１２０は、ユーザあるいは機械装置から入力された語彙に対する入力データを発生させてプロセッサ１４０に出力する。語彙入力部１２０は、キーボード（ｋｅｙｂｏａｒｄ）、キーパッド（ｋｅｙ  ｐａｄ）、タッチパッド（静圧／静電）などで具現されてもよい。
【００３６】
プロセッサ１４０は、音声入力部１１０から受信した信号に音声認識（ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ）アルゴリズムまたは音声認識エンジン（ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｅｎｇｉｎｅ）を適用して、ユーザの音声データを取得することができる。
【００３７】
このとき、プロセッサ１４０に入力される信号は、音声認識のためのさらに有用な形態に変換され得、プロセッサ１４０は、入力された信号をアナログ形態からデジタル形態に変換し、音声の始点と終点を検出して、音声データに含まれた実際の音声区間／データを検出することができる。これをＥＰＤ（Ｅｎｄ  Ｐｏｉｎｔ  Ｄｅｔｅｃｔｉｏｎ）という。
【００３８】
そして、プロセッサ１４０は、検出された区間内でケプストラム（Ｃｅｐｓｔｒｕｍ）、線形予測コーディング（Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅ  Ｃｏｅｆｆｉｃｉｅｎｔ：ＬＰＣ）、メル周波数ケプストラム係数（Ｍｅｌ  Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒａｌ  Ｃｏｅｆｆｉｃｉｅｎｔ：ＭＦＣＣ）またはフィルターバンクエネルギー（Ｆｉｌｔｅｒ  Ｂａｎｋ  Ｅｎｅｒｇｙ）などの特徴ベクトル抽出技術を適用して、信号の特徴ベクトルを抽出することができる。
【００３９】
プロセッサ１４０は、データを格納するメモリ１３０を用いて、音声データの終点に関する情報及び特徴ベクトルを格納することができる。
【００４０】
メモリ１３０は、フラッシュメモリ（ｆｌａｓｈ  ｍｅｍｏｒｙ）、ハードディスク（ｈａｒｄ  ｄｉｓｃ）、メモリカード、ロム（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ラム（ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、メモリカード、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、及び光ディスクのうちの少なくとも１つの格納媒体を含むことができる。
【００４１】
そして、プロセッサ１４０は、抽出された特徴ベクトルと訓練された基準パターンとの比較を通じて認識結果を得ることができる。このために、音声の信号的な特性をモデリングして比較する音響モデル（Ａｃｏｕｓｔｉｃ  Ｍｏｄｅｌ）、及び認識語彙に該当する単語や音節などの言語的な順序関係をモデリングする言語モデル（Ｌａｎｇｕａｇｅ  Ｍｏｄｅｌ）が使用され得る。
【００４２】
音響モデルは、再び、認識対象を特徴ベクトルモデルとして設定し、これを音声データの特徴ベクトルと比較する直接比較方法と、認識対象の特徴ベクトルを統計的に処理して用いる統計方法とに分けることができる。
【００４３】
直接比較方法は、認識対象となる単語、音素などの単位を特徴ベクトルモデルとして設定し、入力音声がこれとどれくらい類似しているかを比較する方法であって、代表的にベクトル量子化（Ｖｅｃｔｏｒ  Ｑｕａｎｔｉｚａｔｉｏｎ）方法がある。ベクトル量子化方法によれば、入力された音声データの特徴ベクトルを、基準モデルであるコードブック（ｃｏｄｅｂｏｏｋ）とマッピングさせて代表値に符号化することによって、この符号値を互いに比較する方法である。
【００４４】
統計的モデル方法は、認識対象に対する単位を状態列（Ｓｔａｔｅ  Ｓｅｑｕｅｎｃｅ）として構成し、状態列間の関係を用いる方法である。状態列は、複数のノード（ｎｏｄｅ）で構成され得る。状態列間の関係を用いる方法は、再び、動的タイムワーピング（Ｄｙｎａｍｉｃ  Ｔｉｍｅ  Ｗａｒｐｉｎｇ：ＤＴＷ）、隠れマルコフモデル（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ：ＨＭＭ）、神経回路網を用いた方式などがある。
【００４５】
動的タイムワーピングは、同一人物が同じ発音をしても、信号の長さが時間によって変わる音声の動的特性を考慮して、基準モデルと比較するとき、時間軸での差を補償する方法であり、隠れマルコフモデルは、音声を状態遷移確率及び各状態でのノード（出力シンボル）の観察確率を有するマルコフプロセスであると仮定した後に、学習データを介して状態遷移確率及びノードの観察確率を推定し、推定されたモデルから入力された音声が発生する確率を計算する認識技術である。
【００４６】
一方、単語や音節などの言語的な順序関係をモデリングする言語モデルは、言語を構成する単位間の順序関係を音声認識から得られた単位に適用することによって、音響的な曖昧性を減らし、認識の誤りを減らすことができる。言語モデルには、統計的言語モデル、及び有限状態ネットワーク（Ｆｉｎｉｔｅ  Ｓｔａｔｅ  Ａｕｔｏｍａｔａ：ＦＳＡ）に基づくモデルがあり、統計的言語モデルには、Ｕｎｉｇｒａｍ、Ｂｉｇｒａｍ、Ｔｒｉｇｒａｍなどの単語の連鎖確率が用いられる。
【００４７】
プロセッサ１４０は、音声を認識するにおいて、上述した方式のいずれを用いても構わない。例えば、隠れマルコフモデルが適用された音響モデルを用いてもよく、音響モデルと言語モデルを統合したＮ−ｂｅｓｔ探索法を用いてもよい。Ｎ−ｂｅｓｔ探索法は、音響モデルと言語モデルを用いてＮ個までの認識結果候補を選択した後、これらの候補の順位を再評価することによって認識性能を向上させることができる。
【００４８】
プロセッサ１４０は、認識結果の信頼性を確保するために、信頼度点数（ｃｏｎｆｉｄｅｎｃｅ  ｓｃｏｒｅ）（又は「信頼度」と略称してもよい）を計算することができる。
【００４９】
信頼度点数は、音声認識の結果に対して、その結果をどれほど信頼できるかを示す尺度であって、認識された結果である音素や単語に対して、その他の異なる音素や単語からその言葉が発話した確率に対する相対値として定義することができる。したがって、信頼度点数は、０から１の間の値として表してもよく、０から１００の間の値として表してもよい。信頼度点数が予め設定された閾値（ｔｈｒｅｓｈｏｌｄ）よりも大きい場合には認識結果を認め、小さい場合には認識結果を拒絶（ｒｅｊｅｃｔｉｏｎ）することができる。
【００５０】
この他にも、信頼度点数は、従来の様々な信頼度点数取得アルゴリズムによって取得することができる。
【００５１】
信頼度点数が閾値よりも大きいが、ユーザから誤った認識であるというフィードバックが入ってきた場合、すなわち、誤認識の場合、プロセッサ１４０は、音響モデルを用いて音声再認識動作を行うことができる。
【００５２】
プロセッサ１４０は、ソフトウェア、ハードウェア、またはこれらの組み合わせを用いてコンピュータで読み取り可能な記録媒体内で具現され得る。ハードウェア的な具現によれば、ＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙｓ）、プロセッサ（ｐｒｏｃｅｓｓｏｒ）、マイクロコントローラ（ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏ−ｐｒｏｃｅｓｓｏｒ）などの電気的なユニットのうちの少なくとも１つを用いて具現され得る。
【００５３】
ソフトウェア的な具現によれば、少なくとも１つの機能又は動作を行う別個のソフトウェアモジュールと共に具現され得、ソフトウェアコードは、適切なプログラム言語で書かれたソフトウェアアプリケーションによって具現され得る。
【００５４】
プロセッサ１４０は、以下で後述する図２乃至図７で提案された機能、過程及び／又は方法を具現する。
【００５５】
図２は、本発明の一実施例に係る音声認識装置の発音辞書を例示する図である。
【００５６】
図２を参照すると、発音辞書は、語彙（表層形態）２１０と、それぞれの語彙に対応する発音記号２２０とを含む。一例として、‘ｃｏｍｐｕｔｅｒ’の語彙に対する発音記号は、［Ｋ  ＡＨ  Ｍ  Ｐ  Ｙ  ＵＷ  Ｔ  ＥＲ］として表記されてもよい。
【００５７】
図２では、英語を例示しているが、本発明がこれに限定されるものではなく、全ての言語に本発明が適用されてもよい。また、語彙とそれぞれの語彙の発音を表記する発音記号とは互いに異なる言語で表記されてもよい。
【００５８】
図３は、本発明の一実施例に係る発音辞書を生成する方法を説明するための図である。
【００５９】
音声認識器に新たな単語や、発音が既存と異なる単語を追加する際、従来は、ユーザが直接あるいはプログラム（実際の発音と異なる発音記号を生成することもある）を用いて、語彙と発音記号との対を入力したが、図３の実施例によれば、ユーザが音声や語彙のみを入力すればよい。
【００６０】
図３を参照すると、音声認識器のためのユーザ語彙（即ち、音声認識器内で用いられるユーザ語彙）は、上述したように、語彙の表層形態と発音記号で構成される。
【００６１】
音声認識器は、ユーザあるいは機械装置から音声の入力を受けて発音記号を生成することができ、また、音声認識器は、ユーザからキーボードなどを介してユーザ語彙の入力を受けることができる。
【００６２】
図３の場合、音声認識器は、ユーザあるいは機械装置から音声の入力を受けて発音記号［Ｓ  ＩＨ  Ｓ  Ｔ  Ｒ  ＡＡ  Ｎ］を生成し、キーボードを介してユーザ語彙‘ＳＹＳＴＲＡＮ’の入力を受けた後、語彙‘ＳＹＳＴＲＡＮ’に対する発音記号として［Ｓ  ＩＨ  Ｓ  Ｔ  Ｒ  ＡＡ  Ｎ］をマッチングさせ、発音辞書（即ち、メモリ）に登録する過程を例示する。
【００６３】
ここで、音声認識器が、ユーザあるいは機械装置から入力された音声から発音記号を生成する方法の一例として、音声認識器は、音声認識時に数多くの発音記号候補の中から、言語モデルの影響を最小化し、音響モデルの影響を極大化することによって点数が最も高い候補（あるいは複数の候補）を選択することができる。一例として、発音記号を生成するために発音記号候補の点数を導出するとき、音響モデルに対する重みが言語モデルに対する重みよりも高く設定されてもよい。または、発音記号候補の中から音響モデルのみを用いて発音記号が生成されてもよい。
【００６４】
また、音声認識器が発音記号を生成する方法の他の例として、発音辞書及び言語モデルに、可能な全ての文字あるいは字素単位の候補が追加されてもよい。すなわち、可能な全ての文字あるいは字素単位の候補が追加された発音辞書及び言語モデルを用いて、発音記号が生成され得る。
【００６５】
また、音声認識器が発音記号を生成する方法の他の例として、発音辞書及び言語モデルが、可能な全ての文字あるいは字素単位の候補のみで構成されてもよい。すなわち、可能な全ての文字あるいは字素単位の候補のみで構成された発音辞書及び言語モデルを用いて、発音記号が生成され得る。
【００６６】
前記のような方式を用いる場合、ユーザが発音記号を勉強しなくても、音声認識器は、迅速、容易かつ正確に発音記号を生成することができる。
【００６７】
また、前記のような方式を用いる場合、音声認識器は、表層形語彙−発音記号変換プログラムに比べて誤りがなく、実際に認識する発音そのままの発音記号を生成できるので、非標準発音、不規則発音も問題なく発音記号を生成することができる。また、音声認識器は、第３の言語にも適用して発音記号を生成することができる。
【００６８】
図４は、本発明の一実施例に係る発音辞書を生成する方法を説明するための図である。
【００６９】
図４は、先の図３の実施例に対する一例であって、目標音声に対して、発音記号は音声認識器が生成し、ユーザは該当する‘語彙のみを入力’すればよい。
【００７０】
音声認識器は、ユーザあるいは機械装置から音声の入力を受けて発音記号を生成することができる。一例として、音声認識器は、ユーザあるいは機械装置から音声の入力を受け、入力された音声を音響モデルを用いて認識することができる。そして、音声認識器は、認識された結果に基づいて、音声に対する発音記号を生成することができる。
【００７１】
このとき、音声認識器は、入力された音声を認識し、自動あるいは手動（即ち、ユーザによって）で誤認識及び未認識部分（即ち、入力された音声に対応する表層形語彙を決定できない部分）を選択することができる。そして、誤認識及び未認識部分に対応する表層形語彙を、ユーザあるいは機械装置から直接入力を受けることができる。
【００７２】
そして、音声認識器は、ユーザあるいは機械装置から入力された表層形語彙と、音声認識器から誤認識あるいは未認識された部分から確保できる発音記号とを対応付けて発音辞書に格納することができる。
【００７３】
図４の場合、音声認識器は、ユーザあるいは機械装置から音声の入力を受けて発音記号［Ｓ  ＩＨ  Ｓ  Ｔ  Ｒ  ＡＡ  Ｎ］を生成したが、これに対する表層形語彙を決定できない場合を例示する。この場合、音声認識器は、発音記号［Ｓ  ＩＨ  Ｓ  Ｔ  Ｒ  ＡＡ  Ｎ］に対応する表層形語彙をユーザに要求し、ユーザから発音記号［Ｓ  ＩＨ  Ｓ  Ｔ  Ｒ  ＡＡ  Ｎ］に対応する表層形語彙（即ち、‘ＳＹＳＴＲＡＮ’）の入力を受けることができる。
【００７４】
音声認識器は、ユーザから入力された表層形語彙‘ＳＹＳＴＲＡＮ’と、音声認識器から誤認識あるいは未認識された部分から確保できる発音記号［Ｓ  ＩＨ  Ｓ  Ｔ  Ｒ  ＡＡ  Ｎ］とを対応付けて発音辞書（即ち、メモリ）に格納することができる。
【００７５】
図５は、本発明の一実施例に係る発音辞書を生成する方法を説明するための図である。
【００７６】
図５は、先の図４の方法と反対の例であって、目標語彙に対して、ユーザからは語彙に該当する‘音声のみが入力’され、発音記号を音声認識器で生成する方法である。
【００７７】
音声認識器は、ユーザから、キーボードなどを介してユーザ語彙の入力を受けることができる。
【００７８】
音声認識器は、ユーザあるいは機械装置からユーザ語彙が入力されたとき、既存の発音辞書と比較して、入力されたユーザ語彙が既存の発音辞書に存在するか否かを判断する。言い換えると、音声認識器は、ユーザあるいは機械装置からテキストの入力を受け、入力されたテキストの語彙が発音辞書に存在するか否かを判断することができる。
【００７９】
そして、もし、入力されたユーザ語彙が既存の発音辞書に存在しない場合、当該語彙についてユーザに問う手順を行う。すなわち、当該語彙を発音辞書に登録するために、入力されたユーザ語彙と対応する発音記号を生成しなければならないので、音声認識器は、入力されたユーザ語彙に対する音声を要求することができる。
【００８０】
このとき、音声認識器が、ユーザあるいは機械装置から当該語彙に対応する発音の音声の入力を受けると、音声認識器は、ユーザ音声を音響モデルを用いて認識する。そして、音声認識器は、入力された音声に対応する発音記号を生成し、入力された表層形語彙と生成された発音記号とを対応付けて発音辞書に格納することができる。
【００８１】
図５の場合、音声認識器は、ユーザから入力された語彙のうちの‘ＳＹＳＴＲＡＮ’が既存の発音辞書に存在しないので、ユーザあるいは機械装置に‘ＳＹＳＴＲＡＮ’に対する音声を要求することができる。そして、ユーザあるいは機械装置から‘ＳＹＳＴＲＡＮ’に対する音声の入力を受けると、当該音声から発音記号［Ｓ  ＩＨ  Ｓ  Ｔ  Ｒ  ＡＡ  Ｎ］を生成することができる。そして、入力された語彙‘ＳＹＳＴＲＡＮ’と生成された発音記号［Ｓ  ＩＨ  Ｓ  Ｔ  Ｒ  ＡＡ  Ｎ］とを対応付けて発音辞書（即ち、メモリ）に格納することができる。
【００８２】
図６は、本発明の一実施例に係る音声認識器の構成を例示する。
【００８３】
図６の実施例によれば、音声／テキストの対から未登録の語彙を自動抽出して、発音辞書に新規語彙を自動で追加することができる。これに基づいて、アップデートされた発音辞書と前記音声／テキストの対から新たな音響モデルも学習することができる。
【００８４】
図６を参照すると、音声認識器は、音声データとテキストが対応して格納された音声−テキスト並列コーパスの入力を受けると、入力された音声−テキスト並列コーパスの音声データを音響モデルを用いて音声認識し、音声データから発音記号を生成する。すなわち、音声認識器は、既存の発音辞書及び言語モデルを用いて認識された結果から、音声データに対する発音記号及びテキスト結果を生成することができる。そして、音声−テキスト並列コーパスを、生成された発音記号とテキスト結果を互いに合わせて整列して、各テキスト（即ち、単語）に対する発音記号を生成することができる。言い換えると、音声−テキスト並列コーパスを、発音記号及びテキスト結果を対応付けて、互いに異なって表現された部分に対して発音辞書をアップデートすることができる。すなわち、新たな発音辞書が生成される。
【００８５】
そして、音声認識器は、入力された音声−テキスト並列コーパス及び新たに生成した発音辞書を用いて音響モデルを学習する。
【００８６】
このようにすることによって、音声認識器は、改善された発音辞書及び音響モデルを取得することができる。
【００８７】
前記のように取得された新たな音響モデルは、既存に使用していた発音記号生成プログラムの誤りによる問題を減らすことができ、ユーザ発音の誤りによるテキストと音声との間の不一致による学習の曖昧性を減らすことができる。
【００８８】
図７は、本発明の一実施例に係る音声認識装置の発音辞書を生成する方法を例示する図である。
【００８９】
図７を参照すると、音声認識装置は、ユーザあるいは機械装置から音声の入力を受ける（Ｓ７０１）。
【００９０】
音声認識装置は、前記入力された音声を音響モデルを用いて認識する（Ｓ７０２）。
【００９１】
ここで、音声認識装置は、認識した結果に対する信頼度を評価することができる。そして、信頼度が予め設定された閾値よりも小さいとき、音声認識装置は、前記発音記号で類推可能な語彙候補群をテキストコーパスから検索することができる。そして、音声認識装置は、前記検索された語彙候補群を前記発音辞書に登録した後、前記音声を前記音響モデルを用いて再認識することができる。
【００９２】
また、音声認識装置は、認識した結果に対する信頼度を評価することができる。そして、信頼度が予め設定された閾値よりも小さいとき、音声認識装置は、テキストコーパスの各単語に対して全ての類推可能な発音記号が対応して格納された辞書から、前記発音記号で類推可能な語彙を検索することができる。そして、音声認識装置は、前記検索された語彙を前記発音辞書に登録した後、前記音声を前記音響モデルを用いて再認識することができる。
【００９３】
音声認識装置は、前記認識された結果に基づいて前記音声に対する発音記号を生成する（Ｓ７０３）。
【００９４】
このとき、発音記号を生成するために、発音辞書と言語モデルを用いることができる。また、発音記号を生成するために、前記音響モデルの重みが前記言語モデルに対する重みよりも高く設定され得る。
【００９５】
また、前記発音記号を生成するために用いられる前記発音辞書及び前記言語モデルに、可能な全ての文字または字素単位の候補が追加され得る。
【００９６】
また、前記発音記号を生成するために用いられる前記発音辞書及び前記言語モデルは、可能な全ての文字あるいは字素単位のみで構成され得る。
【００９７】
音声認識装置は、ユーザからユーザ語彙の入力を受ける（Ｓ７０４）。
【００９８】
ここで、音声認識装置は、前記入力されたユーザ語彙が前記発音辞書に存在しないとき、前記ユーザ語彙と対応する前記音声を要求することができる。この場合、先のステップＳ７０１〜ステップＳ７０３は、ステップＳ７０４の後に行われ得る。
【００９９】
また、音声認識装置は、先のステップＳ７０２で前記認識した結果に対する信頼度を評価することができる。このとき、信頼度が予め設定された閾値よりも小さいとき、音声認識装置は、前記発音記号と対応する前記ユーザ語彙を要求し、ユーザからユーザ語彙の入力を受けることができる。
【０１００】
また、音声認識装置は、先のステップＳ７０２で前記認識した結果から誤認識及び／又は未認識部分を選択することができる。そして、音声認識装置は、前記誤認識及び／又は未認識部分に対応する前記ユーザ語彙を要求し、ユーザからユーザ語彙の入力を受けることができる。
【０１０１】
音声認識装置は、前記入力されたユーザ語彙と前記生成された発音記号とを対応付けて前記発音辞書に格納する（Ｓ７０５）。
【０１０２】
一方、音声認識装置は、音声データとテキストが対応して格納された音声−テキスト並列コーパスの入力を受けることができる。そして、音声認識装置は、前記音声データを音響モデルを用いて認識し、発音辞書と言語モデルを用いて、前記認識された結果に基づいて前記音声データに対する発音記号を生成することができる。そして、音声認識装置は、前記音声データに対する発音記号と前記テキストを対応付けて前記発音辞書をアップデートすることができる。
【０１０３】
また、音声認識装置は、前記アップデートされた発音辞書と前記音声−テキスト並列コーパスを用いて前記音響モデルを学習することができる。
【０１０４】
本発明に係る実施例は、様々な手段、例えば、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェアまたはそれらの結合などによって具現することができる。ハードウェアによる具現の場合、本発明の一実施例は、一つまたはそれ以上のＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって具現することができる。
【０１０５】
ファームウェアやソフトウェアによる具現の場合、本発明の一実施例は、以上で説明された機能又は動作を行うモジュール、手順、関数などの形態で具現することができる。ソフトウェアコードは、メモリに格納され、プロセッサによって駆動され得る。前記メモリは、前記プロセッサの内部又は外部に位置し、公知の様々な手段によって前記プロセッサとデータを交換することができる。
【０１０６】
本発明は、本発明の必須の特徴を逸脱しない範囲で他の特定の形態に具体化できることは当業者にとって自明である。したがって、上述した詳細な説明は、いずれの面においても制限的に解釈されてはならず、例示的なものとして考慮されなければならない。本発明の範囲は、添付の特許請求の範囲の合理的解釈により決定されなければならず、本発明の等価的な範囲内でのあらゆる変更は本発明の範囲に含まれる。
【産業上の利用可能性】
【０１０７】
本発明は、様々な音声認識の技術分野に適用することができる。
【図１】
2021529338.tif 000003
【図２】
2021529338.tif 000004
【図３】
2021529338.tif 000005
【図４】
2021529338.tif 000006
【図５】
2021529338.tif 000007
【図６】
2021529338.tif 000008
【図７】
2021529338.tif 000009
【国際調査報告】
2021529338.tif 000010
2021529338.tif 000011
2021529338.tif 000012
2021529338.tif 000013