(57)【特許請求の範囲】
【請求項１】
複数個の学習テキストを入力として、当該各学習テキストの単語列にそれぞれ対応する隠れた単語系列である複数の隠れ系列を生成し、当該隠れ系列から潜在語−潜在語確率である文型モデルと潜在語−観測語確率である語彙モデルの２つの確率分布からなる潜在語言語モデルを上記複数個の学習テキストごとに学習するＬＷＬＭ学習部と、
上記複数個の潜在語言語モデルを入力として、当該潜在語言語モデルを文型モデルと語彙モデルに分離し、上記複数個の上記文型モデルと上記語彙モデルをそれぞれ重み付け混合した組をタスク適応潜在語言語モデルとして生成するＬＷＬＭタスク適応部と、
上記タスク適応潜在語言語モデルを入力として、潜在語系列を生成し、当該潜在語系列から疑似学習テキストを生成する疑似学習テキスト作成部と、
上記疑似学習テキストを入力として、当該疑似学習テキスト中の全てのＮ個組みの単語の頻度を数えてＬＷＬＭ的Ｎ−ｇｒａｍ言語モデルを作成するＮ−ｇｒａｍ言語モデル作成部と、
を具備する言語モデル作成装置。
【請求項２】
請求項１に記載した言語モデル作成装置において、
上記ＬＷＬＭタスク適応部は、
上記潜在語言語モデルを、文型モデルと語彙モデルとに分割するモデル分割手段と、
上記モデル分割手段で分割した複数の上記文型モデルを重み付け混合したタスク適応文型モデルを生成する文型モデル適応手段と、
上記モデル分割手段で分割した複数の上記語彙モデルを重み付け混合したタスク適応語彙モデルを生成する語彙モデル適応手段と、
を備えることを特徴とする言語モデル作成装置。
【請求項３】
請求項１に記載した言語モデル作成装置で作成した疑似学習テキストを入力として、当該疑似学習テキスト中の全てのＮ個組みの単語の頻度を数えてＮ−ｇｒａｍ言語モデルをＬＷＬＭ的言語モデルとして作成するＬＷＬＭ的言語モデル作成部と、
複数の学習テキストを入力として、それぞれの学習テキスト中の全てのＮ個組みの単語の頻度を数えて複数のＮ−ｇｒａｍ言語モデルを作成する言語モデル作成部と、
上記ＬＷＬＭ的言語モデルと上記複数のＮ−ｇｒａｍ言語モデルを入力として、上記それぞれの言語モデルを混合した単一の混合Ｎ−ｇｒａｍ言語モデルを作成する混合Ｎ−ｇｒａｍ言語モデル作成部と、
を具備する言語モデル作成装置。
【請求項４】
複数個の学習テキストを入力として、当該各学習テキストの単語列にそれぞれ対応する隠れた単語系列である複数の隠れ系列を生成し、当該隠れ系列から潜在語−潜在語確率である文型モデルと潜在語−観測語確率である語彙モデルの２つの確率分布からなる潜在語言語モデルを上記複数個の学習テキストごとに学習するＬＷＬＭ学習過程と、
上記複数個の潜在語言語モデルを入力として、当該潜在語言語モデルを文型モデルと語彙モデルに分離し、上記複数個の上記文型モデルと上記語彙モデルをそれぞれ重み付け混合した組をタスク適応潜在語言語モデルとして生成するＬＷＬＭタスク適応過程と、
上記タスク適応潜在語言語モデルを入力として、潜在語系列を生成し、当該潜在語系列から疑似学習テキストを生成する疑似学習テキスト作成過程と、
上記疑似学習テキストを入力として、当該疑似学習テキスト中の全てのＮ個組みの単語の頻度を数えてＬＷＬＭ的Ｎ−ｇｒａｍ言語モデルを作成するＮ−ｇｒａｍ言語モデル作成過程と、
を含む言語モデル作成方法。
【請求項５】
請求項４に記載した言語モデル作成方法において、
上記ＬＷＬＭタスク適応過程は、
上記潜在語言語モデルを、文型モデルと語彙モデルとに分割するモデル分割ステップと、
上記モデル分割ステップで分割した複数の上記文型モデルを重み付け混合したタスク適応文型モデルを生成する文型モデル適応ステップと、
上記モデル分割ステップで分割した複数の上記語彙モデルを重み付け混合したタスク適応語彙モデルを生成する語彙モデル適応ステップと、
を含むことを特徴とする言語モデル作成方法。
【請求項６】
請求項４に記載した言語モデル作成方法で作成した疑似学習テキストを入力として、当該疑似学習テキスト中の全てのＮ個組みの単語の頻度を数えてＮ−ｇｒａｍ言語モデルをＬＷＬＭ的言語モデルとして作成するＬＷＬＭ的言語モデル作成過程と、
複数の学習テキストを入力として、それぞれの学習テキスト中の全てのＮ個組みの単語の頻度を数えて複数のＮ−ｇｒａｍ言語モデルを作成する言語モデル作成過程と、
上記ＬＷＬＭ的言語モデルと上記複数のＮ−ｇｒａｍ言語モデルを入力として、上記それぞれの言語モデルを混合した単一の混合Ｎ−ｇｒａｍ言語モデルを作成する混合Ｎ−ｇｒａｍ言語モデル作成過程と、
を含む言語モデル作成方法。
【請求項７】
請求項１乃至３の何れかに記載した言語モデル作成装置としてコンピュータを機能させるためのプログラム。
【請求項８】
請求項７に記載した何れかのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象タスクに関する音声書き起こし以外の言語資源を効率的に利用して、高い音声認識性能を実現する言語モデルを構築する言語モデル作成装置とその方法と、そのプログラムと記録媒体に関する。
【背景技術】
【０００２】
音声認識では、言語的な予測のために言語モデルが必要である。言語モデルとしては、音声認識のデコーディングと非常に相性の良い形であるＮ−ｇｒａｍ言語モデルが一般的に利用される。Ｎ−ｇｒａｍ言語モデルは、学習テキストがあれば容易に学習することが可能であり、その学習方法はこれまで様々に提案されている。例えば、Ｎ−ｇｒａｍ言語モデルの学習方法は、非特許文献１などに記載されており周知である。
【０００３】
高精度な音声認識を実現する方法として、認識したい音声のタスク（対象タスク）に特化した言語モデルを使用することが有効であることが知られている。特化するとは、そのタスクで良く使われる言語現象に高い生起確率を与えることである。つまり、ニュース音声を認識する際は、ニュース音声に特化した言語モデル、コールセンター音声を認識する際は、コールセンター音声に特化した言語モデルが有効である。この特定のタスクに特化した言語モデルは、そのタスクの音声を人手により書き起こしを行うことで得られたテキスト（書き起こしテキスト）を用いて学習するのが一般的な方法である。
【０００４】
しかし、人手による書き起こしを大量に集めることは、時間や人件費といったコストの増大を伴う。したがって、対象のタスクの書き起こしテキストを用いずに、タスクに関する別言語資源を上手く利用して言語モデルを構築する技術が用いられる。この技術は言語モデルタスク適応と称され、非特許文献２や３に記載されている。
【０００５】
言語モデルタスク適応は、複数の外部言語資源からそれぞれのＮ−ｇｒａｍ言語モデルを構築し、それぞれの確率を線形補間することで言語モデルを構築する手法である。この技術は、単純な手法にも関わらず、現在でも多様に利用されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】北研二著「言語と計算−４  確率的言語モデル」東京大学出版会、pp.57-62.
【非特許文献２】鹿野清宏他「ＩＴ Text音声認識システム」オーム社出版局
【非特許文献３】R. Iyer, and M. Ostendorf,” Modeling long distance dependence in language: topic mixtures vs dynamic cache models” , IEEE Transactions on Speech and Audio Processing, vol.7,no.1,pp.30-36, 1996.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、コンタクトセンタのような話し言葉のタスクにおいては、言語モデルタスク適応を用いても書き起こしテキストと同等の質のテキストが得られることがほとんどない。
その原因は、Ｗｅｂ等の言語資源には、話し言葉調のテキスト情報がほとんど存在しないことによる。例えば通信系コンタクトセンタの通話音声が対象タスクの場合、外部言語資源として通信系のＷｅｂテキストを利用すれば使用されている名詞等は類似しているが、そのスタイルは書き言葉調である。このスタイルの違いが原因で、話し言葉のタスクにマッチした書き起こしテキストが得られない課題がある。
【０００８】
本発明は、この課題に鑑みてなされたものであり、タスクに完全にはマッチしない外部言語資源から柔軟に言語モデルタスク適応を行い、タスクに対して高性能な言語モデルを構築する言語モデル作成装置とその方法と、そのプログラムと記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の言語モデル作成装置は、ＬＷＬＭ学習部と、ＬＷＬＭタスク適応部と、疑似学習テキスト作成部と、Ｎ−ｇｒａｍ言語モデル作成部と、を具備する。ＬＷＬＭ学習部は、複数個の学習テキストを入力として、当該各学習テキストの単語列にそれぞれ対応する隠れた単語系列である複数の隠れ系列を生成し、当該隠れ系列から潜在語−潜在語確率である文型モデルと潜在語−観測語確率である語彙モデルの２つの確率分布からなる潜在語言語モデルを上記複数個の学習テキストごとに学習する。ＬＷＬＭタスク適応部は、複数個の潜在語言語モデルを入力として、当該潜在語言語モデルを文型モデルと語彙モデルに分離し、複数個の文型モデルと語彙モデルをそれぞれ重み付け混合した組をタスク適応潜在語言語モデルとして生成する。疑似学習テキスト作成部は、タスク適応潜在語言語モデルを入力として、潜在語系列を生成し、当該潜在語系列から疑似学習テキストを生成する。Ｎ−ｇｒａｍ言語モデル作成部は、疑似テキストを入力として、当該疑似テキスト中の全てのＮ個組みの単語の頻度を数えてＬＷＬＭ的Ｎ−ｇｒａｍ言語モデルを作成する。
【発明の効果】
【００１０】
本発明の言語モデル作成装置によれば、潜在語言語モデルを使用して、言語資源を文型的な側面と語彙的な側面の２つの成分に分離して、文型的な側面と語彙的な側面のそれぞれを言語資源間で適切に混合することで言語モデルタスク適応を行い、タスクに対してＮ−ｇｒａｍ言語モデルを構築する。したがって、文型的な側面のみに有用な情報を持つ外部言語資源や、語彙的な側面のみに有用な情報を持つ外部言語資源から、タスクに適応した高性能な言語モデルを構築することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の言語モデル作成装置１００の機能構成例を示す図。
【図２】言語モデル作成装置１００の動作フローを示す図。
【図３】潜在語系列と観測語系列を説明するための図。
【図４】ＬＷＬＭ学習部１１０の機能構成例を示す図。
【図５】ＬＷＬＭ学習部１１０の動作フローを示す図。
【図６】ＬＷＬＭタスク適応部１３０の機能構成例を示す図。
【図７】ＬＷＬＭタスク適応部１３０の動作フローを示す図。
【図８】擬似学習テキスト作成部１４０の機能構成例を示す図。
【図９】擬似学習テキスト作成部１４０の動作フローを示す図。
【図１０】本発明の言語モデル作成装置２００の機能構成例を示す図。
【図１１】言語モデル作成装置２００の動作フローを示す図。
【発明を実施するための形態】
【００１２】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【実施例１】
【００１３】
図１に、この発明の言語モデル作成装置１００の機能構成例を示す。その動作フローを図２に示す。言語モデル作成装置１００は、ＬＷＬＭ学習部１１０と、ＬＷＬＭタスク適応部１３０と、疑似学習テキスト作成部１４０と、Ｎ−ｇｒａｍ言語モデル作成部１６０と、制御部１８０と、を具備する。ＬＷＬＭ（Latent Words Language Model）とは潜在語言語モデルのことである。言語モデル作成装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。以降で説明する他の実施例についても同様である。
【００１４】
ＬＷＬＭ学習部１１０は、複数個の学習テキストを入力として、当該各学習テキストの単語列にそれぞれ対応する隠れた単語系列である複数の隠れ系列を生成し、当該隠れ系列から潜在語−潜在語確率である文型モデルと潜在語−観測語確率である語彙モデルの２つの確率分布からなる潜在語言語モデルを上記複数個の学習テキストごとに学習する（ステップＳ１１０）。１個のＬＷＬＭの学習は、隠れ系列の数分繰り返される（ステップＳ１８０１）。この繰り返し動作の制御は制御部１８０が行う。隠れ系列と同じ数、学習された複数個の潜在語言語モデルは、モデルの集合としてまとまった形で記録され、潜在語言語モデル１２０を構成する。潜在語は、クラスＮ−ｇｒａｍ言語モデルにおけるクラスに相当し、ある文脈において意味や構文的な役割が似た単語をグループ化した場合の代表語を表す。
【００１５】
図３に、潜在語と観測語との関係を例示する。観測語とは、テキスト上に現れる単語のことであり、例えば図示するような学習テキスト「今日はいい天気です。」の一文を構成する単語列（観測語列）のことである。この観測語に対して、潜在語は観測語に似た単語の代表語を用いて表される。観測語の「今日」は、潜在語の「明日」に対応し、「明日」「昨日」「今日」等の複数の類似単語の代表として表される。
【００１６】
学習テキストは、言語資源であり単語単位で分割されているものである。潜在語言語モデルは、潜在語−潜在語確率分布Ｐ（ｈｋ｜ｈｋ−２，ｈｋ−１）と、潜在語−観測語確率分布Ｐ（ｗｋ｜ｈｋ）の２つの確率分布から成る。潜在語ｈｋは、潜在語言語モデルにおける潜在変数に当たり、観測語ｗｋは実際にテキスト中に出現する単語を表す。
【００１７】
隠れ系列とは、例えば観測語系列を「りんごみかんパインです」とし、単語数もその４個の単語のみと仮定した場合、隠れ系列の一つは例えば「りんごりんごりんごです」の一文である。この隠れ系列は、予め定められた数（複数）、生成される。
【００１８】
ＬＷＬＭタスク適応部１３０は、ＬＷＬＭ学習部１１０で学習した複数の潜在語言語モデルを入力として、当該潜在語言語モデルを文型モデルと語彙モデルに分離し、複数の文型モデルと語彙モデルをそれぞれ重み付け混合した組をタスク適応潜在語言語モデルとして生成する（ステップＳ１３０）。ＬＷＬＭタスク適応部１３０は、Ｎ個の言語資源からそれぞれ学習したＮ個の潜在語言語モデルを利用して単一の潜在語言語モデルを構築する。具体的には、潜在語言語モデルの文型モデルは文型モデル同士で混合を行い、語彙モデルは語彙モデル同士で混合を行う。
【００１９】
疑似学習テキスト作成部１４０は、ＬＷＬＭタスク適応部１３０で生成したタスク適応潜在語言語モデルを入力として、潜在語系列を生成し、当該潜在語系列から疑似学習テキストを生成する（ステップＳ１４０）。このステップＳ１４０は、Ｍ個の観測語が生成されるまで繰り返され（ステップＳ１８０２のＮｏ）、疑似学習テキスト１５０が作成される。Ｍは外部から与えても良いし、疑似学習テキスト作成部１４０に予め定数として設定しておいても良い。
【００２０】
Ｎ−ｇｒａｍ言語モデル作成部１６０は、疑似学習テキスト１５０を入力として、当該疑似学習テキスト中の全てのＮ個組みの単語の頻度を数えてＬＷＬＭ的Ｎ−ｇｒａｍ言語モデルを作成する（ステップＳ１６０）。音声認識の場合は、Ｎは一般的にＮ＝３とすることが多い。例えば３−ｇｒａｍの構造を持つＬＷＬＭ的言語モデルは、Ｐｌｗｌｍ（ｗｋ｜ｗｋ−２，ｗｋ−１）という確率分布を与えるものである。Ｎ−ｇｒａｍ言語モデルの学習方法は周知である（非特許文献１）。作成されたＮ−ｇｒａｍ言語モデルは、一般的にモデルの集合として記録され、ＬＷＬＭ的Ｎ−ｇｒａｍ言語モデル１７０を構成する。
【００２１】
以上説明したように言語モデル作成装置１００によれば、文型的な側面のみに有用な情報を持つ外部言語資源や、語彙的な側面のみに有用な情報を持つ外部言語資源から、タスクに適応したＬＷＬＭ的Ｎ−ｇｒａｍ言語モデルを作成することができる。以降では、各部のより具体的な機能構成例を示して更に詳しく言語モデル作成装置１００の動作を説明する。
【００２２】
〔ＬＷＬＭ学習部〕
潜在語言語モデルの学習は、入力する学習テキストの各単語に対して、潜在語の割り当てを推定する問題である。つまり、総単語数Ｌの「ｗ１，ｗ２，…，ｗＬ」という学習テキスト（観測語の系列）があれば、「ｗ１」「ｗ２」…「ｗＬ」の各観測語の潜在語「ｈ１」「ｈ２」…「ｈＬ」を推定する問題と言える。この割り当てを推定できれば、潜在語系列「ｈ１，ｈ２，…，ｈＬ」に対してＮ−ｇｒａｍ言語モデルを学習すればＰ（ｈｋ｜ｈｋ−２，ｈｋ−１）を構築でき、「ｈ１→ｗ１」「ｈ２→ｗ２」…「ｈＬ→ｗＬ」に対して、ユニグラム言語モデルを学習すればＰ（ｗｋ｜ｈｋ）を構築できる。
【００２３】
図４に、ＬＷＬＭ学習部１１０のより具体的な機能構成例を示す。その動作フローを図５に示す。ＬＷＬＭ学習部１１０は、隠れ系列推定手段１１０１と、確率生成手段１１０２と、を備える。
【００２４】
隠れ系列推定手段１１０１は、学習テキストを入力として、当該学習テキストの単語列にそれぞれ対応する隠れた単語系列を情報Ｂ（Ｂ≧２）の数分（ステップＳ１８０１ａのＮｏ）、隠れ系列として生成する（ステップＳ１１０１）。情報Ｂは、予め定められた数であり、外部から与えるようにしても良い。学習テキストに含まれる単語の集合をＷとすると、各潜在語はＷに含まれる何れかの単語が割り当てられる。
【００２５】
上記した例のように、学習テキストを「りんごみかんパインです」という４単語からなる文であるとした場合、Ｗは「りんご」、「みかん」、「パイン」、「です」の４単語からなる。この例の場合、「りんごりんごりんごです」や「みかんりんごみかんです」「パインパインパインパイン」などが、隠れ系列の候補になる。隠れ系列はこの場合、４４個（Ｗ＝４）の数有り得る。この隠れ系列を構成する潜在語の割り当ては、ギブスサンプリングという周知の方法で推定する。この例の４４個の隠れ系列は、文型を表していると言える。
【００２６】
確率生成手段１１０２は、隠れ系列から潜在語−潜在語確率Ｐ（ｈｋ｜ｈｋ-２，ｈｋ-１）と潜在語−観測語確率Ｐ（ｗｋ｜ｈｋ）を生成する（ステップＳ１１０２ａ）。
【００２７】
隠れ系列に例えば「りんごりんごりんごです」が選ばれたとする。隠れ系列が決まれば、潜在語−潜在語確率Ｐ（りんご｜りんご，りんご）は、例えば最尤推定の場合、式（１）で得ることができる。
【００２８】
【数１】
0005860439.tif 000002
【００２９】
「りんごりんごりんごです」を隠れ系列とした場合、隠れ系列中に「りんごりんご」が生じる回数は２回、「りんごりんごりんご」が生じる回数は１回なので、潜在語−潜在語確率Ｐ（りんご｜りんご，りんご）＝１/２となる。潜在語−潜在語確率Ｐ（りんご｜りんご，りんご）は、果物名「りんご」を代表単語として、果物名の後には果物名が良く出現する確率を表わしている。この潜在語−潜在語確率Ｐは文型モデルを表す。なお、最尤推定による値以外に、バックオフスムージングなど、任意の方法で推定した確率を利用できる。バックオフスムージングは公知の技術である。
【００３０】
次に、確率生成手段１１０２は、潜在語−観測語確率Ｐ（ｗｋ｜ｈｋ）を計算する（
ステップＳ１１０２ｂ）。潜在語−観測語確率Ｐ（みかん｜りんご）は、学習テキストを「りんごみかんパインです」とした場合、例えば最尤推定の場合、式（３）で得ることができる。
【００３１】
【数２】
0005860439.tif 000003
【００３２】
隠れ系列「りんごりんごりんごです」の潜在語「りんご」の回数は３回、学習テキスト中の観測語が「みかん」になる回数は１回なので、潜在語−観測語確率Ｐ（みかん｜りんご）＝１/３となる。潜在語−観測語確率Ｐ（みかん｜りんご）は、観測語として「みかん」が出現する確率を表わしている。この潜在語−観測語確率Ｐは語彙モデルを表す。なお、確率に、最尤度推定以外の方法（例えばバックオフスムージングなど）で推定した値が利用できることは、上記した通りである。
【００３３】
このように、確率生成手段１１０２は、隠れ系列に対して潜在語−潜在語確率Ｐ（ｈｋ｜ｈｋ-２，ｈｋ-１）と潜在語−観測語確率Ｐ（ｗｋ｜ｈｋ）の１組を学習する。この１組で潜在語言語モデルとして表現される。潜在語−潜在語確率Ｐ（ｈｋ｜ｈｋ-２，ｈｋ-１）と潜在語−観測語確率Ｐ（ｗｋ｜ｈｋ）は、情報Ｂの数分が計算されるまで繰り返される（ステップＳ１８０１ｂ）。この情報Ｂの値は、潜在語言語モデルを詳細にしたい場合に大きく設定する。情報Ｂの値は１０程度あれば、ある程度詳細といえる。
【００３４】
ＬＷＬＭ学習部１１０は、上記した処理を入力される複数個の学習テキストの数の、潜在語−潜在語確率Ｐｎ（ｈｋ｜ｈｋ-２，ｈｋ-１）と潜在語−観測語確率Ｐｎ（ｗｋ｜ｈｋ）の組（ｎ：１，２，…Ｎ）からなる潜在後言語モデルを学習する。つまり、Ｎ個の学習テキストからＮ個の潜在語言語モデルが生成される。
【００３５】
〔ＬＷＬＭタスク適応部〕
図６に、ＬＷＬＭタスク適応部１３０のより具体的な機能構成例を示す。その動作フローを図７に示す。ＬＷＬＭタスク適応部１３０は、モデル分割手段１３０１と、文型モデル適応手段１３０２と、語彙モデル適応手段１３０３とを備える。
【００３６】
モデル分割手段１３０１は、ＬＷＬＭ学習部１１０で学習した複数の潜在語言語モデルを、文型モデルと語彙モデルとに分割する（ステップＳ１３０１）。１個目の潜在語言語モデルを、文型モデルＰ１（ｈｋ｜ｈｋ−２，ｈｋ−１）と語彙モデルＰ１（ｗｋ｜ｈｋ）とに分割する。このモデル分割ステップは、潜在語言語モデルの数（Ｎ個）だけ繰り返される（ステップＳ１８０２ａ）。
【００３７】
文型モデル適応手段１３０２は、モデル分割手段１３０１で分割したＮ個の文型モデルを重み付け混合したタスク適応文型モデル１３０４を生成する（ステップＳ１３０２）。タスク適応文型モデルは式（４）で表せる。
【００３８】
【数３】
0005860439.tif 000004
【００３９】
ここでωｎは、ｎ番目の文型モデルに対する重みである。この重みは次式に示す制約の元に決定される。
【００４０】
【数４】
0005860439.tif 000005
【００４１】
この重みωｎは、学習テキストが文型モデルの抽出に向いているか否かの程度に応じて、ＬＷＬＭ学習部１１０に入力する複数個のそれぞれに予め付与しておいても良い。例えば、学習テキストが３個あった場合に、それぞれの重みをω１＝０.５，ω２＝０.４，ω３＝０.１と予め決めておく。ω１＝０.５は、この例では最も文型が利用できそうな学習テキストであることを意味している。例えば、対象ドメインが通信系コンタクトセンタで、外部言語資源がオペレータと利用者の会話を録音した音声から書き起こした学習テキストあれば、文型は信用できると考えられる。又は、重みωｎを、ＬＷＬＭタスク適応部１３０が潜在語言語モデルを処理する際にいくつにすべきか、言語モデル作成装置１００を使用する利用者に、言語モデル作成装置１００が問うように構成しても良い。
【００４２】
語彙モデル適応手段１３０３は、モデル分割手段１３０１で分割したＮ個の語彙モデルを重み付け混合したタスク適応語彙モデル１３０５を生成する（ステップＳ１３０３）。文型モデル適応ステップ（ステップＳ１３０２）と語彙モデル適応ステップ（ステップＳ１３０３）は、潜在語言語モデルの数（Ｎ個）だけ繰り返される（ステップＳ１８０２ｂ）。タスク適応語彙モデルは式（６）で表せる。
【００４３】
【数５】
0005860439.tif 000006
【００４４】
ここでμｎは、ｎ番目の語彙モデルに対する重みである。この重みは次式に示す制約の元に決定される。
【００４５】
【数６】
0005860439.tif 000007
【００４６】
この語彙モデルに対する重みμｎは、学習テキストが語彙モデルの抽出に向いているか否かの程度に応じて、予め決められる値である。例えば対象ドメインが通信系コンタクトセンタで、外部言語資源が通信関係のＷｅｂ上のニュース記事であれば、それに含まれる語彙は信用できると考えられるので大きな値に決定される。重みμｎの決め方は、重みωｎと同じである。
【００４７】
〔疑似学習テキスト作成部〕
図８に、疑似学習テキスト作成部１４０のより具体的な機能構成例を示す。その動作フローを図９に示す。疑似学習テキスト作成部１４０は、タスク適応ＬＷＬＭから疑似学習テキスト「ｗ１，ｗ２，…，ｗＭ」というＭ個の単語を生成するものである。
【００４８】
疑似学習テキスト作成部１４０は、潜在語生成手段１４０１と、観測語生成手段１４０２と、を備える。潜在語生成手段１４０１は、タスク適応文型モデルＰall（ｈｋ｜ｈｋ−２，ｈｋ−１）と潜在語履歴を入力として、潜在語ｈｋをランダムに生成する（ステップＳ１４０１）。
【００４９】
潜在語生成手段１４０１は、最初は潜在語履歴が存在しないので、初期の潜在語ｈ１をタスク適応文型モデルＰall（ｈ１｜−，−）に基づいてランダムに生成する（ステップＳ１４０１ａ）。潜在語ｈ１は、ある離散確率分布からランダムに１つの単語をサンプルする周知のSampleOneアルゴリズムに基づいて生成される。
【００５０】
潜在語生成手段１４０１は一様乱数（rand）を発生させ（ステップＳ１４０１ｂ）、参照した潜在語−潜在語確率Ｐall（ｈ１｜−，−）に従って最初の潜在語ｈ１を決定する（ステップＳ１４０１ｃ）。潜在語ｈ１は、一様乱数（rand）と潜在語ｈ１の確率との関係で決定する。例えば、Ｐ１（りんご｜−，−）＝０．３、Ｐ１（みかん｜−，−）＝０．３、Ｐ１（パイン｜−，−）＝０．３、Ｐ１（です｜−，−）＝０．１と、仮定した時に、rand＝０．１の場合は最初の潜在語ｈ１＝「りんご」に決定する。Rand＝０．７の場合は潜在語ｈ１＝「パイン」、rand＝０．９５の場合は潜在語ｈ１＝「です」に決定する。この潜在語ｈ１を決定する過程が、SampleOneアルゴリズムである。
【００５１】
観測語生成手段１４０２は、潜在語ｈ１を入力として、タスク適応語彙モデルＰall（ｗｋ｜ｈｋ）を参照し、潜在語−観測語確率と一様乱数との関係で観測語を決定し、決定した観測語を疑似学習テキストとして外部に出力すると共に、出力した観測語に対応する潜在語履歴を潜在語生成手段１４０１に出力する（ステップＳ１４０２）。
【００５２】
観測語生成手段１４０２は、潜在語ｈ１が入力されると一様乱数（rand）を発声させ（ステップＳ１４０２ｂ）、一様乱数（rand）と潜在語−観測語確率Ｐall（ｗ１｜ｈ１）との関係で観測語ｗ１を決定する（ステップＳ１４０２ｃ）。決定した観測語ｗ１は疑似学習テキストとして外部に出力される（ステップＳ１４０２ｄ）と共に、出力した観測語ｗ１に対応する潜在語履歴ｈ１を潜在語言語モデル選択手段１４０１に出力する（ステップＳ１４０２ｅ）。
【００５３】
例えば、観測語ｗ１は、潜在語−観測語確率Ｐall（ｗ１｜ｈ１）の観測語の確率が、「りんご」＝０.３、「みかん」＝０.３、「パイン」＝０．３、「です」＝０．１とした場合に、一様乱数がrand＝０．１の時は「りんご」、rand＝０．４の時は「みかん」、rand＝０．７の時は「パイン」、rand＝０．９５の時は「です」、として決定される。
【００５４】
観測語ｗ１を出力すると、疑似学習テキスト作成部１４０は、上記したステップＳ１４０１ａ〜ステップＳ１４０２ｅまでの処理を、Ｍ個の観測語ｗＭが出力されるまで繰り返される（ステップＳ１８０２のＮｏ）。Ｍの値は大きいほど潜在語言語モデルの性質を良く表す疑似学習テキストとすることができる。Ｍは外部から与えても良いし、観測語生成手段１４０２に予め設定しておいても良い。
【実施例２】
【００５５】
図１０に、本発明の言語モデル作成装置２００の機能構成例を示す。その動作フローを図１１に示す。言語モデル作成装置２００は、従来のＮ−ｇｒａｍ言語モデルと、上記した言語モデル作成装置１００で作成した言語モデルを所定の割合で混合した混合Ｎ−ｇｒａｍ言語モデルを作成するものである。
【００５６】
言語モデル学習装置２００は、ＬＷＬＭ的言語モデル作成部２１０と、Ｎ個の言語モデル作成部２２０１〜２２０Ｎと、ＬＷＬＭ的Ｎ−ｇｒａｍ言語モデル２３０と、Ｎ個のＮ−ｇｒａｍ言語モデル２４０１〜２４０Ｎと、混合Ｎ−ｇｒａｍ言語モデル作成部２５０と、制御部２６０と、を具備する。ＬＷＬＭ的言語モデル作成部２１０は、上記した言語モデル作成装置１００を構成するＮ−ｇｒａｍ言語モデル作成部１６０と同じものである。説明の都合上、ＬＷＬＭ的言語モデル作成部２１０と称しているが、Ｎ−ｇｒａｍ言語モデル２４０ｎ（ｎ：１〜Ｎ）と同じものである。
【００５７】
ＬＷＬＭ的言語モデル作成部２１０は、言語モデル作成装置１００の疑似学習テキスト作成部１４０が生成した疑似学習テキスト１５０を入力として、当該疑似学習テキスト中の全てのＮ個組みの単語の頻度を数えてＮ−ｇｒａｍ言語モデルをＬＷＬＭ的言語モデルＰｌｗｌｍ（ｗｋ｜ｗｋ−２，ｗｋ−１）として作成する（ステップＳ２１０）。
【００５８】
Ｎ個の言語モデル作成部２２０１〜２２０Ｎには学習テキスト１〜Ｎがそれぞれ入力され、各言語モデル作成部２２０ｎ（ｎ：１〜Ｎ）はそれぞれの学習テキスト中の全てのＮ個組みの単語の頻度を数えて複数のＮ−ｇｒａｍ言語モデル２４０１〜２４０Ｎを作成する（ステップＳ２２０）。Ｎ−ｇｒａｍ言語モデル２４０１〜２４０Ｎは、Ｐ１（ｗｋ｜ｗｋ−２，ｗｋ−１）〜ＰＮ（ｗｋ｜ｗｋ−２，ｗｋ−１）である。
【００５９】
混合Ｎ−ｇｒａｍ言語モデル作成部２５０は、ＬＷＬＭ的言語モデルＰｌｗｌｍ（ｗｋ｜ｗｋ−２，ｗｋ−１）と複数のＮ−ｇｒａｍ言語モデルＰ１（ｗｋ｜ｗｋ−２，ｗｋ−１）〜ＰＮ（ｗｋ｜ｗｋ−２，ｗｋ−１）を入力として、全ての言語モデルを混合した単一の混合Ｎ−ｇｒａｍ言語モデルを作成する（ステップＳ２５０）。混合は次式に従う。言語モデルの混合（ステップＳ２５０）は、全てのＮ−ｇｒａｍ言語モデルが終了するまで繰り返される（ステップＳ２６０のＮｏ）。
【００６０】
【数７】
0005860439.tif 000008
【００６１】
ここで、λｎとλlwlmは各言語モデルに対する重みであり、以下の制約を満たす。
【００６２】
【数８】
0005860439.tif 000009
【００６３】
λｎとλlwlmの値は予め決定しておく。例えば、ＬＷＬＭ的言語モデルＰｌｗｌｍ（ｗｋ｜ｗｋ−２，ｗｋ−１）の重みを大きくしたい場合はλlwlmを大きく設定し、小さくしたい場合はλlwlmを小さく設定する。このように混合した混合Ｎ−ｇｒａｍ言語モデルは、潜在語言語モデルの特性と従来のＮ−ｇｒａｍ言語モデルの特性を補完する言語モデルとすることができる。
【００６４】
〔評価実験〕
この発明の言語モデル作成装置で作成した言語モデルの性能を評価する目的で、音声認識誤り率を比較する評価実験を行った。評価対象のドメインとして、コンタクトセンタの模擬通話（コンタクトセンタ：Ａ）を利用した。その模擬通話の１時間分を書き起こして学習データとし、その他の２時間分をテストデータとした。更に、４種類の外部言語資源を利用した。具体的には、Twitterデータ、ブログデータ、日本語話し言葉コーパス（ＣＳＪ）、他のドメインのコンタクトセンタ音声書き起こし（コンタクトセンタ：Ｂ）、である。これらの言語資源を混合する文型モデルに対する重みωｎと語彙モデルに対する重みμｎは次式に示すように設定した。音響モデルは２０００状態１６混合トライフォンＨＭＭを準備し、音声認識デコーダにはVoiceRexを用いた。各言語資源の形態素解析にはＪＴＡＧを利用した。
【００６５】
【数９】
0005860439.tif 000010
【００６６】
評価は、音声書き起こしと外部言語資源から線形補間に基づいて構築した言語モデルを使用した場合（従来法）、上記した言語モデル作成装置１００で作成した言語モデルを使用した場合（提案法１）、上記した言語モデル作成装置２００で作成した言語モデルを使用した場合（提案法２）、の３つの場合を比較して行った。その結果を表１に示す。
【００６７】
【表１】
0005860439.tif 000011
【００６８】
表１に示すように、生成したテキストのみで構築した言語モデル（提案法１）は、確率モデルに基づいて自働的に生成したテキストに関わらず従来法（76.12%）と同程度（75.89%）の文字正解精度が得られた。更に、生成したテキストとその他のテキストを線形補間により組み合わせて構築した言語モデル（提案法２）は、従来法より高い性能が実現できている。
【００６９】
つまり、音声書き起こしのデータ量が１時間分と極めて少なくても、この発明の言語モデルが、有効な改善効果を与えていることが分かる。このように、本発明の言語モデル作成方法は、少量の音声書き起こしからでも高い性能の言語モデルを構築する方法として有用である。本発明の言語モデル作成方法は、潜在語言語モデルを利用して、言語資源を文型的な側面と語彙的な側面の２つの成分に分離して、文型的な側面と語彙的な側面のそれぞれを言語資源間で適切に混合することにより言語モデルタスク適用を行って構築するので、タスクに適応した高い性能を持つ言語モデルを提供することができる。
なお、上記した実施例では、一様乱数と確率値とを比較してモデルを決定する方法を説明したが、上記した方法は一例であって、一様乱数を用いた他の方法を用いても良い。
【００７０】
上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００７１】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００７２】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0005860439.tif 000012
【図２】
0005860439.tif 000013
【図３】
0005860439.tif 000014
【図４】
0005860439.tif 000015
【図５】
0005860439.tif 000016
【図６】
0005860439.tif 000017
【図７】
0005860439.tif 000018
【図８】
0005860439.tif 000019
【図９】
0005860439.tif 000020
【図１０】
0005860439.tif 000021
【図１１】
0005860439.tif 000022