(57)【要約】【課題】複数の言語モデルの中から、ユーザに最適な言語モデルを選択することができる言語処理装置、プログラム及び方法を提供する。【解決手段】言語処理装置は、「例文」に「付随属性」を対応付けた言語コーパス(corpus)を蓄積した言語コーパス蓄積手段と、複数のユーザの過去の発話に基づく「ログテキスト」に「ユ−ザ属性」を対応付けたログコーパスを蓄積したログコーパス蓄積手段と、付随属性毎に、当該付随属性に対応する言語コーパスから学習した言語モデルと、ユ−ザ属性毎に、当該ユ−ザ属性に対応するログテキストの群を言語モデルに入力し、当該言語モデルから出力される生起確率が最も高い付随属性を対応付ける属性対応テーブル作成手段と、ユーザからの発話テキストに対して、当該ユーザのユ−ザ属性に対応付けられた付随属性に基づく言語モデルを適用する言語処理手段とを有する。【選択図】図１
2018173846.tif 000002
【特許請求の範囲】
【請求項１】
ユーザからの発話テキストに適用すべき言語モデルを選択する言語処理装置であって、
「例文」に「付随属性」を対応付けた言語コーパス(corpus)を蓄積した言語コーパス蓄積手段と、
複数のユーザの過去の発話に基づく「ログテキスト」に「ユ−ザ属性」を対応付けたログコーパスを蓄積したログコーパス蓄積手段と、
付随属性毎に、当該付随属性に対応する前記言語コーパスから学習した言語モデルと、
ユ−ザ属性毎に、当該ユ−ザ属性に対応する前記ログテキストの群を前記言語モデルに入力し、当該言語モデルから出力される生起確率が最も高い付随属性を対応付ける属性対応テーブル作成手段と、
ユーザからの発話テキストに対して、当該ユーザのユ−ザ属性に対応付けられた付随属性に基づく前記言語モデルを適用する言語処理手段と
を有することを特徴とする言語処理装置。
【請求項２】
ユ−ザ属性は、ユーザに基づく「国言語」「性別」「年齢層」「国籍」のいずれか又はそれらの組み合わせであり、
付随属性は、発話された「地域」のいずれか又はそれらの組み合わせ、又は、発話された「話題分野」のいずれか又はそれらの組み合わせである
ことを特徴とする請求項１に記載の言語処理装置。
【請求項３】
付随属性毎に、当該付随属性に対応する前記言語コーパスから学習した翻訳モデルを更に有し、
前記言語処理手段は、ユーザからの発話テキストに対して、当該ユーザのユ−ザ属性に対応付けられた付随属性に基づく前記翻訳モデルを適用する
ことを特徴とする請求項１又は２に記載の言語処理装置。
【請求項４】
前記言語モデルは、前記生起確率として、２のエントロピー乗となるパープレキシティを出力し、
前記属性対応テーブル作成手段は、ユ−ザ属性毎に、前記パープレキシティが最も低い付随属性を対応付ける
ことを特徴とする請求項１から３のいずれか１項に記載の言語処理装置。
【請求項５】
前記言語モデルは、n-gram又はディープラーニングに基づく音声認識用のものである
ことを特徴とする請求項１から４のいずれか１項に記載の言語処理装置。
【請求項６】
ユーザからの発話テキストに適用すべき言語モデルを選択する装置に搭載されたコンピュータを機能させるプログラムであって、
「例文」に「付随属性」を対応付けた言語コーパス(corpus)を蓄積した言語コーパス蓄積手段と、
複数のユーザの過去の発話に基づく「ログテキスト」に「ユ−ザ属性」を対応付けたログコーパスを蓄積したログコーパス蓄積手段と、
付随属性毎に、当該付随属性に対応する前記言語コーパスから学習した言語モデルと、
ユ−ザ属性毎に、当該ユ−ザ属性に対応する前記ログテキストの群を前記言語モデルに入力し、当該言語モデルから出力される生起確率が最も高い付随属性を対応付ける属性対応テーブル作成手段と、
ユーザからの発話テキストに対して、当該ユーザのユ−ザ属性に対応付けられた付随属性に基づく前記言語モデルを適用する言語処理手段と
してコンピュータを機能させることを特徴とするプログラム。
【請求項７】
ユーザからの発話テキストに適用すべき言語モデルを選択する装置の言語処理方法であって、
前記装置は、
「例文」に「付随属性」を対応付けた言語コーパス(corpus)を蓄積した言語コーパス蓄積部と、
複数のユーザの過去の発話に基づく「ログテキスト」に「ユ−ザ属性」を対応付けたログコーパスを蓄積したログコーパス蓄積部と、
付随属性毎に、当該付随属性に対応する前記言語コーパスから学習した言語モデルと
を有し、
前記装置は、
学習段階として、ユ−ザ属性毎に、当該ユ−ザ属性に対応する前記ログテキストの群を前記言語モデルに入力し、当該言語モデルから出力される生起確率が最も高い付随属性を対応付け、
運用段階として、ユーザからの発話テキストに対して、当該ユーザのユ−ザ属性に対応付けられた付随属性に基づく前記言語モデルを適用した言語処理を実行する
ことを特徴とする装置の言語処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、統計的機械翻訳システムの技術に関する。
【背景技術】
【０００２】
統計的機械翻訳システムによれば、統計的確率論を用いた「言語モデル」と「翻訳モデル」とを有する。
「言語モデル」とは、原言語の単語の並びの尤もらしさを規定する統計モデルであって、原言語の単言語データから学習したものである。
「翻訳モデル」とは、異なる２つの言語の文章について、意味的に対応する可能性が高い単語やフレーズの対を学習したものである。
言語モデル及び翻訳モデルは、学習段階で、教師データ群のコーパス(corpus)を用いて学習し、運用段階で、入力されたテキストに対して最も確率が高い翻訳テキストを出力する。
【０００３】
統計的機械翻訳システムは、コーパスさえあれば、短期間で且つ低コストにシステムを構築することができる。基本的には、単語やフレーズの単位に文章を少しずつ区切りながら、その都度、確率が高いと想定される翻訳テキストをつなげて、文章全体を生成する。
【０００４】
従来、翻訳性能を劣化させることなく、学習用のコーパスを小規模化する技術がある（例えば特許文献１参照）。この技術によれば、所望タスクに一致したコーパスであるインドメインコーパスから学習したインドメイン言語モデルと、所望タスクと異なるコーパスであるアウトオブドメインコーパスとが記憶されている。そして、インドメイン言語モデルを用いて、インドメインコーパスと、アウトオブドメインコーパスに含まれる各文との類似性に関する類似情報をそれぞれ算出する。その類似情報を用いて、インドメインコーパスと類似性の高い複数の対訳テキストをアウトオブドメインコーパスから選択する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０６４０５１号公報
【非特許文献】
【０００６】
【非特許文献１】Bisazza, Nick Ruiz, Marcello Federico, "Fill-up versus Interpolation Methods for Phrase-based SMT Adaptation Arianna", Proc. of IWSLT2011、[online]、［平成２９年３月２６日検索］、インターネット＜URL:http://www.mt-archive.info/IWSLT-2011-Bisazza.pdf＞
【非特許文献２】Natural Language Processing、「エントロピーとパープレキシティ」、長岡技術科学大学 電気電子情報工学専攻 自然言語処理研究室、[online]、［平成２９年３月２６日検索］、インターネット＜URL:http://www.jnlp.org/lab/graduates/okada/nlp/term/entropy＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来技術によれば、コーパスの精度自体が、言語モデル及び翻訳モデルの精度に影響を与える。そのために、コーパスは、実際に発話されているログテキストと、そのログテキストに適切な対訳テキストとを書き起こして作成される。そのような作業には、多大なコストと時間を要することとなる。
また、そのように高い精度を求めて作成されるコーパスは、通常、１つの原言語を網羅した１バージョンを作成することに注力される。そのために、コーパスは、標準的で一般に利用可能なものとして提供される。
【０００８】
しかしながら、これによって作成されるコーパスは、肥大化し大容量となる。また、そのようなコーパスを適用した言語処理装置にとっては、消費メモリや計算量の増大につながる。更に、全てのユーザを対象しているために、そのようなコーパスによって学習された言語モデル及び翻訳モデルは、誤りが湧き出すという問題も生じる。
【０００９】
ここで、本願の発明者らは、全てのユーザを対象にした１バージョンで且つ大容量のコーパスを作成することに問題があるのではないか、と考えた。即ち、複数の言語モデルや翻訳モデルの中から、そのユーザの発話テキストに対して、できる限り最適な言語モデルや翻訳モデルを選択することができれば、全体的な言語処理の精度を高めることができるのではないか、と考えた。
【００１０】
そこで、本発明は、複数の言語モデルの中から、ユーザに最適な言語モデルを選択することができる言語処理装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明によれば、ユーザからの発話テキストに適用すべき言語モデルを選択する言語処理装置であって、
「例文」に「付随属性」を対応付けた言語コーパス(corpus)を蓄積した言語コーパス蓄積手段と、
複数のユーザの過去の発話に基づく「ログテキスト」に「ユ−ザ属性」を対応付けたログコーパスを蓄積したログコーパス蓄積手段と、
付随属性毎に、当該付随属性に対応する言語コーパスから学習した言語モデルと、
ユ−ザ属性毎に、当該ユ−ザ属性に対応するログテキストの群を言語モデルに入力し、当該言語モデルから出力される生起確率が最も高い付随属性を対応付ける属性対応テーブル作成手段と、
ユーザからの発話テキストに対して、当該ユーザのユ−ザ属性に対応付けられた付随属性に基づく言語モデルを適用する言語処理手段と
を有することを特徴とする。
【００１２】
本発明の言語処理装置における他の実施形態によれば、
ユ−ザ属性は、ユーザに基づく「国言語」「性別」「年齢層」「国籍」のいずれか又はそれらの組み合わせであり、
付随属性は、発話された「地域」のいずれか又はそれらの組み合わせ、又は、発話された「話題分野」のいずれか又はそれらの組み合わせであることも好ましい。
【００１３】
本発明の言語処理装置における他の実施形態によれば、
付随属性毎に、当該付随属性に対応する言語コーパスから学習した翻訳モデルを更に有し、
言語処理手段は、ユーザからの発話テキストに対して、当該ユーザのユ−ザ属性に対応付けられた付随属性に基づく翻訳モデルを適用することも好ましい。
【００１４】
本発明の言語処理装置における他の実施形態によれば、
言語モデルは、生起確率として、２のエントロピー乗となるパープレキシティを出力し、
属性対応テーブル作成手段は、ユ−ザ属性毎に、パープレキシティが最も低い付随属性を対応付けることも好ましい。
【００１５】
本発明の言語処理装置における他の実施形態によれば、
言語モデルは、n-gram又はディープラーニングに基づく音声認識用のものである
ことも好ましい。
【００１６】
本発明によれば、ユーザからの発話テキストに適用すべき言語モデルを選択する装置に搭載されたコンピュータを機能させるプログラムであって、
「例文」に「付随属性」を対応付けた言語コーパス(corpus)を蓄積した言語コーパス蓄積手段と、
複数のユーザの過去の発話に基づく「ログテキスト」に「ユ−ザ属性」を対応付けたログコーパスを蓄積したログコーパス蓄積手段と、
付随属性毎に、当該付随属性に対応する言語コーパスから学習した言語モデルと、
ユ−ザ属性毎に、当該ユ−ザ属性に対応するログテキストの群を言語モデルに入力し、当該言語モデルから出力される生起確率が最も高い付随属性を対応付ける属性対応テーブル作成手段と、
ユーザからの発話テキストに対して、当該ユーザのユ−ザ属性に対応付けられた付随属性に基づく言語モデルを適用する言語処理手段と
してコンピュータを機能させることを特徴とする。
【００１７】
本発明によれば、ユーザからの発話テキストに適用すべき言語モデルを選択する装置の言語処理方法であって、
装置は、
「例文」に「付随属性」を対応付けた言語コーパス(corpus)を蓄積した言語コーパス蓄積部と、
複数のユーザの過去の発話に基づく「ログテキスト」に「ユ−ザ属性」を対応付けたログコーパスを蓄積したログコーパス蓄積部と、
付随属性毎に、当該付随属性に対応する言語コーパスから学習した言語モデルと
を有し、
装置は、
学習段階として、ユ−ザ属性毎に、当該ユ−ザ属性に対応するログテキストの群を言語モデルに入力し、当該言語モデルから出力される生起確率が最も高い付随属性を対応付け、
運用段階として、ユーザからの発話テキストに対して、当該ユーザのユ−ザ属性に対応付けられた付随属性に基づく言語モデルを適用した言語処理を実行する
ことを特徴とする。
【発明の効果】
【００１８】
本発明の言語処理装置、プログラム及び方法によれば、複数の言語モデルの中から、ユーザに最適な言語モデルを選択することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明における言語処理装置の機能構成図である。
【図２】各機能構成部と、付随属性及びユーザ属性の関係を表す説明図である。
【図３】言語コーパス蓄積部のデータ構成を表すテーブルである。
【図４】ログコーパス蓄積部のデータ構成を表すテーブルである。
【図５】本発明における言語モデル及び翻訳モデルの関係を表す説明図である。
【図６】本発明における属性対応テーブル作成部の説明図である。
【図７】本発明における属性対応テーブル作成部の説明図である。
【図８】ユーザの属性に応じた言語モデル及び翻訳モデルを適用する説明図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２１】
図１は、本発明における言語処理装置の機能構成図である。
図２は、各機能構成部と、付随属性及びユーザ属性の関係を表す説明図である。
以下では、図１及び図２を参照しながら、言語処理装置の各機能について説明する。
【００２２】
図１によれば、言語処理装置１は、例えば統計的機械翻訳サーバであって、端末からユーザの「発話テキスト」を受信し、その言語処理結果を返信する。また、端末からユーザの「発話音声データ」を受信する場合、言語処理装置１は、音声認識処理によって発話テキストに変換して、その発話テキストに対する言語処理結果を返信する。
【００２３】
言語処理装置１は、「言語モデル」及び「翻訳モデル」を用いて、言語処理を実行する。ここで、本発明の言語処理装置１は、ユーザからの発話テキストに適用すべき言語モデル（及び翻訳モデル）を選択して適用する。
言語処理装置１は、言語コーパス蓄積部１００、ログコーパス蓄積部１０１と、言語モデル１０２と、翻訳モデル１０３と、属性対応テーブル作成部１１と、言語処理部１２を有する。これら機能構成図は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の言語処理方法としても理解できる。
【００２４】
［言語コーパス蓄積部１００］
言語コーパス蓄積部１００は、自然言語の文章（例文）を構造化し大規模に集積した言語コーパスを蓄積する。
ここで、本発明の「言語コーパス」は、「例文」に「付随属性」を対応付けたものである。尚、「例文」には、原文と対訳文とが対応付けられたものであってもよい。
「付随属性」は、例えば、発話された「地域」又は「話題分野」に基づく属性である。勿論、これらに限られず、その他、様々な観点に基づく属性を含み又は組み合わせたものであってもよい。
【００２５】
付随属性「豊島区」「新宿区」「渋谷区」のような「地域」性から、例えば以下のようなことが想定される。
（１）「豊島区」（付随属性）に基づく言語コーパスには、「サンシャインシティ」や免税商品名のような単語を含む例文が多いと想定される。
（２）「新宿区」（付随属性）に基づく言語コーパスには、「歌舞伎町」や免税商品名のような単語を含む例文が多いと想定される。
（３）「渋谷区」（付随属性）に基づく言語コーパスには、「スクランブル」や繁華街のような単語を含む例文が多いと想定される。
（４）「中央区」（付随属性）に基づく言語コーパスには、「銀座」や高級ブランド名のような単語を含む例文が多いと想定される。
【００２６】
図３は、言語コーパス蓄積部のデータ構成を表すテーブルである。
【００２７】
図３によれば、以下のような言語コーパスのデータが記述されている。
（１）例文及び対訳文「サンシャインシティに行きたい」には、豊島区の観光名所地について述べられているため、付随属性「豊島区」が付与されている。
（２）例文及び対訳文「化粧品はどこにありますか？」には、免税商品について尋ねられることも多い付随属性「新宿区」が付与されている。
（３）例文及び対訳文「近くに安いバーはありますか？」には、繁華街について尋ねられることも多い付随属性「渋谷区」が付与されている。
（４）例文及び対訳文「温水洗浄便座を探しています」には、免税商品について尋ねられることも多い付随属性「豊島区」が付与されている。
【００２８】
［ログコーパス蓄積部１０１］
ログコーパス蓄積部１０１は、複数のユーザの過去の発話に基づく「ログテキスト」に「ユ−ザ属性」を対応付けたログコーパスを蓄積する。
「ユ−ザ属性」は、例えば、ユーザに基づく「国言語」「性別」「年齢層」「国籍」のいずれか又はそれらの組み合わせである。
「ログテキスト」とは、ユーザの過去の発話に基づく（実際の会話の）テキストを意味する。
【００２９】
図４は、ログコーパス蓄積部のデータ構成を表すテーブルである。
【００３０】
図４によれば、以下のようなコーパスデータが記述されている。
（１）英語で発話されたログテキスト「I wan to visit Asakusa.」に、３０代の女性（Ｆ）のユーザ属性が付与されている。
（２）中国語で発話されたログテキストに、２０代の女性（Ｆ）のユーザ属性が付与されている。
（３）英語で発話されたログテキスト「Is there a good bar near here?」に、２０代の男性（Ｍ）のユーザ属性が付与されている。
（４）中国語で発話されたログテキストに、４０代の男性（Ｍ）のユーザ属性が付与されている。
【００３１】
＜付随属性とユーザ属性との間に内在する関係＞
ここで、例えば以下のような関係が、付随属性とユーザ属性との間に内在していると想定する。
（１）付随属性「豊島区」では、観光名所地へ行きたいとするユーザ属性「英語」圏の「女性」の旅行者が多いと想定する。
また、付随属性「豊島区」では、免税商品を購入したいとするユーザ属性「中国語」圏の「男性」の旅行者も多いと想定する。
（２）付随属性「渋谷区」では、繁華街を楽しみたいとするユーザ属性「英語」圏の「男性」の旅行者が多いと想定する。
（３）付随属性「新宿区」では、免税商品を購入したいとするユーザ属性「中国語」圏の「女性」の旅行者が多いと想定する。
【００３２】
［言語モデル１０２］
言語モデル１０２は、言語コーパス蓄積部１００を用いて、付随属性毎に、当該付随属性に対応する言語コーパスから学習したものである。言語モデル１０２は、付随属性に応じて、入力されたテキストの単語の並びの尤もらしさを規定する統計モデルを学習する。
【００３３】
［翻訳モデル１０３］
翻訳モデル１０３は、言語コーパス蓄積部１００を用いて、付随属性毎に、当該付随属性に対応する言語コーパスから学習したものである。翻訳モデル１０３は、付属属性に応じて、入力されたテキストに対して最も適した対訳文を出力するものである。
付随属性に応じた各翻訳モデル１０３は、入力された第１の言語のログテキストに対して、第２の言語の翻訳テキストを出力する。即ち、翻訳モデル１０３は、単語やフレーズといった単位の確率付き辞書である。第１の言語と第２の言語との関係は、例えば日本語<->英語、日本語<->中国語、英語<->中国のような国語間双方向に基づく。
【００３４】
図５は、本発明における言語モデル及び翻訳モデルの関係を表す説明図である。
【００３５】
図５の言語モデル及び翻訳モデルによれば、付随属性種別「地域」について、付随属性「豊島区」「渋谷区」「新宿区」「中央区」のいずれか及びそれらの組み合わせとして表されている。また、言語モデル及び翻訳モデルは、付随属性種別「地域」の組み合わせによって相互に対応している。
【００３６】
尚、言語モデル１０２及び翻訳モデル１０３それぞれについて、付随属性としての「地域」種別によって、十分なサイズの地域依存コーパスが準備できない場合、地域非依存のコーパスと地域依存コーパスとを、テキストレベルで混合して地域依存コーパスとしてもよい。また、地域非依存コーパスから作成されたモデルと、地域依存コーパスから作成されたモデルとを、線形補間するものであってもよい（例えば非特許文献１参照）。
【００３７】
［属性対応テーブル作成部１１］
属性対応テーブル作成部１１は、ユ−ザ属性毎に、当該ユ−ザ属性に対応するログテキストの群を（ログコーパス蓄積部１０１から）言語モデル１０２に入力する。そして、ユーザ属性毎、「生起確率が最も高い付随属性」と対応付ける。
ここで、生起確率が「パープレキシティ」である場合、属性対応テーブル作成部１１は、ユ−ザ属性毎に、「パープレキシティが最も低い付随属性」を対応付ける。
【００３８】
図６は、本発明における属性対応テーブル作成部の説明図である。
言語モデル１０２は、学習段階として、ユ−ザ属性毎に、当該ユ−ザ属性に対応するログテキストの群をログコーパス蓄積部１０１から入力し、その生起確率を出力する。
【００３９】
＜言語モデル１０２から出力されるパープレキシティについて＞
言語モデル１０２は、n-gram又はディープラーニングに基づく音声認識用のものであってもよい。「n-gram」とは、文中のある単語の発生が直前の(n-1)単語にのみ依存すると考えるモデルであり、単語の生成確率をマルコフモデルで近似したモデルである。「ディープラーニング（深層学習）」とは、多層構造のニューラルネットワークを用いた機械学習である。
【００４０】
ここで、言語モデル１０２は、生起確率として、２のエントロピー乗となるパープレキシティ(perplexity)を出力するものであってもよい。
【００４１】
情報源のエントロピーＨは、ある事象Ｅiが発生する確率をｐiとした場合、以下のように算出される（logの底は２）。
Ｈ＝−Σiｐilogｐi
エントロピーＨは、情報量の期待値であり、「得られる情報の曖昧さ」をいう。情報源を言語に置き換えた場合、単語列ｗ1,・・・,ｗnの生成確率をＰ(ｗ1,・・・,ｗn)とした場合、Ｗj|ＭiのエントロピーＨは、以下のように算出される。
Ｈ(Ｗj|Ｍi)＝−Σｗ1,・・・,ｗnＰ(ｗ1,・・・,ｗn)logＰ(ｗ1,・・・,ｗn)
＝−{Ｗj|Ｍi}Σｗj∈Ｗjlogｐ(ｗj|Ｍi)
Ｍi：地域コーパスの組み合わせiにおける言語モデル
Ｗj：プロファイルの組み合わせjとして集計された発話テキスト
ｗj：発話テキストＷjに含まれる単語
これは、言語から生成される単語を特定するために必要な情報量を表す。
また、ある単語の後には平均して、２Ｈ(Ｗj|Ｍi)個の単語が後続可能であることを表す。
即ち、情報理論的な意味での単語の平均分岐数を「パープレキシティ」と称し、以下のように表される。
ＰＰＬ＝２Ｈ(Ｗj|Ｍi)
これは、言語モデル１０２と、プロファイル毎に集計された発話テキストと間のパープレキシティを表す。言語のパープレキシティが大きいほど、単語の特定が難しく、言語として複雑になる。
【００４２】
図７は、本発明における属性対応テーブル作成部の説明図である。
【００４３】
図７によれば、ユーザ属性と付随属性との組み合わせに、パープレキシティが対応付けられている。これによって、「ユ−ザ属性」に応じて、パープレキシティが最も低い「付随属性」を特定することができる。
【００４４】
＜ログテキスト及び付随属性とユーザ属性との間に内在する関係＞
前述した図４を例にして、以下のような関係が、ログテキスト及び付随属性とユーザ属性との間に内在していると想定する。
（１）ユーザ属性「英語」圏の（３０代）「女性」について、例えば観光名所地を訪問したいというフレーズを含むログテキストが多く存在し、その生起確率が、付随属性「豊島区」の言語コーパスで高くなった場合、ユーザ属性「英語」圏の「３０代」「女性」には、付随属性「豊島区」が対応付けられる。
（２）ユーザ属性「中国語」圏の（２０代）「女性」について、例えば免税商品名を意味する単語を含むログテキストが多く存在し、その生起確率が、付随属性「新宿区＋豊島区」の言語コーパスで高くなった場合、ユーザ属性「中国語」圏の（２０代）「女性」には、付随属性「豊島区＋新宿区」が対応付けられる。
（３）ユーザ属性「英語」圏の（２０代）「男性」について、例えば繁華街を意味する単語を含むログテキストが多く存在し、その生起確率が、付随属性「渋谷区」の言語コーパスで高くなった場合、ユーザ属性「英語」圏の（２０代）「男性」には、付随属性「渋谷区」が対応付けられる。
【００４５】
［言語処理部１２］
言語処理部１２は、運用段階として、ユーザからの発話テキストに対して、当該ユーザのユ−ザ属性に対応付けられた付随属性に基づく言語モデル（及び翻訳モデル）を適用する。ユ−ザ属性に対応付けられた付随属性は、属性対応テーブルから特定できる。
【００４６】
言語処理装置１は、ユーザ操作の端末から発話テキストを受信する前に、ユーザ属性を予め受信しておく必要がある。そして、言語処理部１２は、端末毎に、受信したユーザ属性に応じて、属性対応テーブルから付随属性を予め特定しておく。
【００４７】
図８は、ユーザの属性に応じた言語モデル及び翻訳モデルを適用する説明図である。
【００４８】
図８によれば、ユ−ザ属性に付随属性が対応付けられた属性対応テーブルが表されている。属性対応テーブルを用いて、ユーザからの発話テキストに適用すべき言語モデル及び翻訳モデルが選択される。
（１）ユーザ属性「女性」が発話した「英語」の発話テキストに対して、「豊島区」に基づく言語モデル及び翻訳モデルが適用され、翻訳テキスト「隅田川に行きたいです」が出力される。
（２）ユーザ属性「男性」が発話した「英語」の発話テキストに対して、「渋谷区」に基づく言語モデル及び翻訳モデルが適用され、翻訳テキスト「この近くに良いクラブはありますか？」が出力される。
（３）ユーザ属性「女性」が発話した「中国語」の発話テキストに対して、「豊島区＋新宿区」に基づく言語モデル及び翻訳モデルが適用され、翻訳テキスト「化粧品はどこにありますか？」が出力される。
【００４９】
以上、詳細に説明したように、本発明の言語処理装置、プログラム及び方法によれば、複数の言語モデル及び翻訳モデルの中から、ユーザに最適な言語モデル及び翻訳モデルを選択することができる。
言語モデル及び翻訳モデルは、言語コーパスを用いて付随属性毎に予め学習しており、言語モデルは、ユーザ属性毎に、当該ユーザ属性のログコーパスを用いて生起確率を出力する。そして、ユーザ属性に応じた、当該生起確率が最も高い言語モデル及び翻訳モデルを選択することができる。即ち、ユーザの発話テキストに対して、ユーザ属性に応じた最適な言語モデル及び翻訳モデルを用いて、言語処理をすることができる。
これによって、言語モデル及び翻訳モデルそれぞれを小規模化することができ、メモリ量を小容量化し、誤りの湧き出しを減少させることができる。即ち、統計的機械学習システムにおける言語処理の高速化と精度向上とを実現することができる。
【００５０】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００５１】
１  言語処理装置
１００  言語コーパス蓄積部
１０１  ログコーパス蓄積部
１０２  言語モデル
１０３  翻訳モデル
１１  属性対応テーブル作成部
１２  言語処理部
【図１】
2018173846.tif 000003
【図２】
2018173846.tif 000004
【図３】
2018173846.tif 000005
【図４】
2018173846.tif 000006
【図５】
2018173846.tif 000007
【図６】
2018173846.tif 000008
【図７】
2018173846.tif 000009
【図８】
2018173846.tif 000010