(57)【要約】【課題】単語タイプが同一の単語トークンが文脈によって別の語義で使い分けられている場合に、使い分けられている語義が正しく推定されることを可能にしつつ、語義の推定精度を安定させることを目的とする。【解決手段】語義推定装置１００は、各単語タイプについて、その単語タイプに含まれる単語トークンの語義が各概念となるトークン確率に基づき、その単語タイプが各概念となるタイプ確率を計算するとともに、計算したタイプ確率に基づき、各単語トークンについてのトークン確率を計算する確率計算処理を複数回実行して、各単語トークンについて、計算したトークン確率に基づきその単語トークンの語義を推定する。【選択図】図１
2015179483.tif 000002
【特許請求の範囲】
【請求項１】
入力データに含まれる複数の単語トークンを抽出する単語抽出部と、
単語トークンの種類である単語タイプの語義として１つ以上の概念が記憶された概念辞書から、前記単語抽出部が抽出した各単語トークンについて、その単語トークンの種類である単語タイプの語義として記憶された各概念をその単語トークンの語義候補として抽出する語義候補抽出部と、
各単語タイプについて、その単語タイプに含まれる単語トークンの語義が前記語義候補抽出部が語義候補として抽出した各概念となるトークン確率に基づき、その単語タイプが前記各概念となるタイプ確率を計算するとともに、計算したタイプ確率に基づき、前記各単語トークンについての前記トークン確率を計算する確率計算処理を複数回実行して、前記各単語トークンについて、計算したトークン確率に基づきその単語トークンの語義を推定する語義推定部と
を備えることを特徴とする語義推定装置。
【請求項２】
前記語義推定部は、前記各単語トークンについて、前記タイプ確率と、前記トークン確率と、選択した単語トークンと他の単語トークンとの文脈の特徴の近さと、選択した概念と他の単語トークンの語義候補の概念との概念の近さとから、前記トークン確率を計算する
ことを特徴とする請求項１に記載の語義推定装置。
【請求項３】
前記語義推定部は、前記トークン確率から計算される事後確率分布からサンプリングして前記タイプ確率を計算し、前記タイプ確率から計算される事前確率分布と、前記トークン確率と前記文脈の特徴の近さと前記概念の近さとから計算される条件付き確率分布とから計算される事後確率分布からサンプリングして前記トークン確率を計算する
ことを特徴とする請求項２に記載の語義推定装置。
【請求項４】
前記事前確率分布は、前記タイプ確率、あるいは、前記タイプ確率の定数倍をパラメータとするディリクレ分布である
ことを特徴とする請求項３に記載の語義推定装置。
【請求項５】
前記語義推定部は、前記確率計算処理において、前記文脈の特徴の近さに対する平滑化の強さを示す文脈バンド幅と、前記概念の近さに対する平滑化の強さを示す概念バンド幅とに基づき、前記トークン確率を計算し、計算した前記トークン確率に基づき前記文脈バンド幅と前記概念バンド幅とを計算する
ことを特徴とする請求項２から４までのいずれかに記載の語義推定装置。
【請求項６】
前記語義推定部は、前記各単語トークンについて、複数回実行した前記確率計算処理で計算された前記トークン確率のうち、初めの一部の実行時に計算された前記トークン確率を除く、残りの実行時に計算された前記トークン確率の合計値が大きい概念を、その単語トークンの語義と推定する
ことを特徴とする請求項１から５までのいずれかに記載の語義推定装置。
【請求項７】
前記語義推定部は、一部の単語トークンの語義が予め与えられた場合、その単語トークンについて、語義候補のうち与えられた語義に対応する語義候補の前記トークン確率を１に固定し、他の語義候補の前記トークン確率を０に固定する
ことを特徴とする請求項１から６までのいずれかに記載の語義推定装置。
【請求項８】
入力データに含まれる複数の単語トークンを抽出する単語抽出処理と、
単語トークンの種類である単語タイプの語義として１つ以上の概念が記憶された概念辞書から、前記単語抽出処理で抽出した各単語トークンについて、その単語トークンの種類である単語タイプの語義として記憶された各概念をその単語トークンの語義候補として抽出する語義候補抽出処理と、
各単語タイプについて、その単語タイプに含まれる単語トークンの語義が前記語義候補抽出処理で語義候補として抽出した各概念となるトークン確率に基づき、その単語タイプが前記各概念となるタイプ確率を計算するとともに、計算したタイプ確率に基づき、前記各単語トークンについての前記トークン確率を計算する確率計算処理を複数回実行して、前記各単語トークンについて、計算したトークン確率に基づきその単語トークンの語義を推定する語義推定処理と
をコンピュータに実行させることを特徴とする語義推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、文書等のテキストに出現する単語について、その単語が辞書に定義された語義の候補のうちいずれの語義で使われているかを、単語の出現文脈から推定する語義曖昧性解消（Ｗｏｒｄ  Ｓｅｎｓｅ  Ｄｉｓａｍｂｉｇｕａｔｉｏｎ：  ＷＳＤ）技術に関する。
【背景技術】
【０００２】
ＷＳＤ技術は、１）特定の語彙（例えば“ｌｉｎｅ”という語）を対象として種々の文脈における語義の曖昧性を解消する技術（ｌｅｘｉｃａｌ−ｓａｍｐｌｅ  ＷＳＤ）と、２）語彙を限定することなく、与えられたテキストに出現する全ての自立語を対象として曖昧性を解消する技術（ａｌｌ−ｗｏｒｄｓ  ＷＳＤ）とに大別される。
【０００３】
ａｌｌ−ｗｏｒｄｓ  ＷＳＤは、品詞推定や固有表現抽出などと同様、単語に一種のラベルを付与するタスクである。ａｌｌ−ｗｏｒｄｓ  ＷＳＤは、品詞推定や固有表現抽出などの自然言語処理タスクと比べて扱うラベルの種類が膨大である点において特徴的である。品詞や固有表現のラベルが高々数十種類であるのに対し、ａｌｌ−ｗｏｒｄｓ  ＷＳＤでは、対象とする語が限定されないために、辞書に含まれる全ての語の全ての語義（概念）が識別すべきラベルとなる。
例えば、ＷＳＤの語義インベントリとしてしばしば利用される英語版ＷｏｒｄＮｅｔの３．１版には、１１万種類を越える概念（ｓｙｎｓｅｔ）が語義として定義されている。これらの語義を識別することがａｌｌ−ｗｏｒｄｓ  ＷＳＤシステムには求められる。
【０００４】
ａｌｌ−ｗｏｒｄｓ  ＷＳＤは、このように対象となる語義の種類が膨大なため、人手で正しい語義をラベル付けしたコーパスを各語義について十分な規模で構築することは困難である。加えて、語義の分布は、品詞と較べてドメインに強く依存することが知られており、あるドメイン向けに構築されたコーパスを別のドメインのＷＳＤ用に利用できるとは限らない。
このため、ａｌｌ−ｗｏｒｄｓ  ＷＳＤにおいては、教師あり学習や半教師あり学習を適用するアプローチでは本質的に限界があり、ラベル付きコーパスを必要としない方式が精力的に研究されてきた。
【０００５】
ラベル付きコーパスを必要としないａｌｌ−ｗｏｒｄｓ  ＷＳＤ方式として、特許文献１に記載された従来技術１がある。
従来技術１では、「類似した文脈に出現する語は、類似した意味を持つ」という考え方に基づいて、語義の曖昧性を解消する。具体的には、文脈が類似した単語トークンに、互いにできるだけ類似した語義を割り当てるようデータセット全体で最適化することにより、ラベル付きコーパスを用いることなく語義の曖昧性を解消する。
【０００６】
ここで「単語トークン」とは、テキストにおける個々の単語の出現インスタンスを表すものとする。これに対し、個々の出現を区別せず、単語の種類のみに注目するときには「単語タイプ」と呼ぶ。
例えば、テキスト“Ｅｖｅｒ  ｔｒｉｅｄ．  Ｅｖｅｒ  ｆａｉｌｅｄ．”に含まれる単語トークンはＥｖｅｒ，  ｔｒｉｅｄ，  ｅｖｅｒ，  ｆａｉｌｅｄの４語であり、単語タイプはｅｖｅｒ，  ｔｒｉｅｄ，  ｆａｉｌｅｄの３語である。
【０００７】
ＷＳＤの目的は、各単語トークンの語義を識別することである。従来技術１は、この目的に忠実に単語トークンの語義を推定する方式である。
しかし、例えば１つのテーマについて書かれた文書のように一貫性をもって記述されるテキストの中では、単語タイプが等しい単語トークンは同一の意味で用いられる傾向があることが知られている。このような傾向は、“ｏｎｅ−ｓｅｎｓｅ−ｐｅｒ−ｄｉｓｃｏｕｒｓｅ”と呼ばれるヒューリスティクスとしてＷＳＤに利用されてきた。
【０００８】
非特許文献１に記載された従来技術２はその一例である。従来技術２は、基本的に従来技術１と同じモデルを用いるものであが、実装においては、単語タイプが等しい単語インスタンスの間では、常に同一の語義を推定するように計算している。このような計算は、文脈の類似度を、単語トークンの間で個別に定義する換わりに、単語タイプの間で定義することで実現される。
同様に、同一の単語タイプに対し、常に同一の語義を推定する方法は、非特許文献２に記載された従来技術３でも用いられている。
【０００９】
また、非特許文献３に記載された従来技術４は、ａｌｌ−ｗｏｒｄｓ  ＷＳＤではなくｌｅｘｉｃａｌ−ｓａｍｐｌｅ  ＷＳＤではあるが、この従来技術４でも、単語タイプが同一の単語トークンに対し、テキスト中で常に同一の語義を割り当てるような計算をしている。
従来技術４では、まずテキスト中の各単語インスタンスに対して暫定的に語義を推定した後、同一の文書における同一の単語タイプの語義が一致するように、信頼度に基づいて推定結果を割り当て直すという方法が取られている。これにより、個々の文脈においては語義を誤って推定してしまっても、それらを訂正する効果があることが記載されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】国際公開第２０１３／１３２６１４号公報
【非特許文献】
【００１１】
【非特許文献１】Ｋｏｉｃｈｉ  Ｔａｎｉｇａｋｉ，  Ｍｉｔｓｕｔｅｒｕ  Ｓｈｉｂａ，  Ｔａｔｓｕｊｉ  Ｍｕｎａｋａ，  ａｎｄ  Ｙｏｓｈｉｎｏｒｉ  Ｓａｇｉｓａｋａ．  Ｄｅｎｓｉｔｙ  ｍａｘｉｍｉｚａｔｉｏｎ  ｉｎ  ｃｏｎｔｅｘｔ−ｓｅｎｓｅ  ｍｅｔｒｉｃ  ｓｐａｃｅ  ｆｏｒ  ａｌｌ−ｗｏｒｄｓ  ＷＳＤ．  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ５１ｓｔ  Ａｎｎｕａｌ  Ｍｅｅｔｉｎｇ  ｏｆ  ｔｈｅ  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ  （ＡＣＬ），  ｐｐ．  ８８４−８９３，  ２０１３．
【非特許文献２】Ｄｉａｎａ  ＭｃＣａｒｔｈｙ，  Ｒｏｂ  Ｋｏｅｌｉｎｇ，  Ｊｕｌｉｅ  Ｗｅｅｄｓ，  ａｎｄ  Ｊｏｈｎ  Ｃａｒｒｏｌｌ．  Ｆｉｎｄｉｎｇ  ｐｒｅｄｏｍｉｎａｎｔ  ｗｏｒｄ  ｓｅｎｓｅｓ  ｉｎ  ｕｎｔａｇｇｅｄ  ｔｅｘｔ．  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ４２ｎｄ  Ａｎｎｕａｌ  Ｍｅｅｔｉｎｇ  ｏｆ  ｔｈｅ  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ  （ＡＣＬ），  ｐｐ．  ２７９−２８６，  ２００４．
【非特許文献３】Ｙａｒｏｗｓｋｙ，  Ｄａｖｉｄ．  Ｕｎｓｕｐｅｒｖｉｓｅｄ  ｗｏｒｄ  ｓｅｎｓｅ  ｄｉｓａｍｂｉｇｕａｔｉｏｎ  ｒｉｖａｌｉｎｇ  ｓｕｐｅｒｖｉｓｅｄ  ｍｅｔｈｏｄｓ．  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ３３ｒｄ  Ａｎｎｕａｌ  Ｍｅｅｔｉｎｇ  ｏｆ  ｔｈｅ  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｌｉｎｇｕｉｓｔｉｃｓ  （ＡＣＬ），  ｐｐ．  １８９−１９６，  １９９５．
【非特許文献４】Ａｍｒｕｔａ  Ｐｕｒａｎｄａｒｅ  ａｎｄ  Ｔｅｄ  Ｐｅｄｅｒｓｅｎ．  Ｗｏｒｄ  ｓｅｎｓｅ  ｄｉｓｃｒｉｍｉｎａｔｉｏｎ  ｂｙ  ｃｌｕｓｔｅｒｉｎｇ  ｃｏｎｔｅｘｔｓ  ｉｎ  ｖｅｃｔｏｒ  ａｎｄ  ｓｉｍｉｌａｒｉｔｙ  ｓｐａｃｅｓ．  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｎａｔｕｒａｌ  Ｌａｎｇｕａｇｅ  Ｌｅａｒｎｉｎｇ，  ｐｐ．  ４１−４８，  ２００４．
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従来技術１は、文脈が類似した単語トークンに、互いに類似した語義を割り当てることで語義を推定する方法であった。
この方法は、単語タイプが同一の単語トークンが文脈によって別の語義で使い分けられている場合であっても、それぞれの文脈に類似した他の単語トークンがデータセット中に得られれば、それら使い分けられている語義を正しく推定できる可能性があるという利点がある。
しかし、データセット中に文脈が類似した単語トークンが十分含まれていない場合には、手がかりとすべき他の語義候補が利用できないため、推定が不安定となり、語義曖昧性解消の精度が劣化しやすいという課題がある。
【００１３】
これに対し、従来技術２，３，４は、ｏｎｅ−ｓｅｎｓｅ−ｐｅｒ−ｄｉｓｃｏｕｒｃｅヒューリスティクスに基づいて、単語タイプが等しい単語トークンに常に同一の語義を割り当てる方式であった。
この方法は、複数の単語トークンで得られる統計情報をまとめることができるため、従来技術１と較べて語義の推定精度が安定するという利点がある。
しかし、個々の単語トークンが文脈によって語義を使い分けられていても、その使い分けを認識できないため、高精度な語義曖昧性解消を実現できないという課題がある。
【００１４】
この発明は、単語タイプが同一の単語トークンが文脈によって別の語義で使い分けられている場合に、使い分けられている語義が正しく推定されることを可能にしつつ、語義の推定精度を安定させることを目的とする。
【課題を解決するための手段】
【００１５】
この発明に係る語義推定装置は、
入力データに含まれる複数の単語トークンを抽出する単語抽出部と、
単語トークンの種類である単語タイプの語義として１つ以上の概念が記憶された概念辞書から、前記単語抽出部が抽出した各単語トークンについて、その単語トークンの種類である単語タイプの語義として記憶された各概念をその単語トークンの語義候補として抽出する語義候補抽出部と、
各単語タイプについて、その単語タイプに含まれる単語トークンの語義が前記語義候補抽出部が語義候補として抽出した各概念となるトークン確率に基づき、その単語タイプが前記各概念となるタイプ確率を計算するとともに、計算したタイプ確率に基づき、前記各単語トークンについての前記トークン確率を計算する確率計算処理を複数回実行して、前記各単語トークンについて、計算したトークン確率に基づきその単語トークンの語義を推定する語義推定部と
を備えることを特徴とする。
【発明の効果】
【００１６】
この発明に係る語義推定装置では、各単語トークンが各語義となるトークン確率を、各単語タイプが各語義となるタイプ確率に基づき計算する。これにより、単語タイプが同一の単語トークンが文脈によって別の語義で使い分けられている場合に、使い分けられている語義が正しく推定されることを可能にしつつ、語義の推定精度を安定させることが可能になる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態１に係る語義推定装置１００の一構成例を示す機能ブロック図。
【図２】語義推定装置１００の処理の流れを示すフローチャート。
【図３】語義推定装置１００が仮定する確率過程のグラフィカルモデルを示す図。
【図４】語義推定部７０の処理（図２のＳ６の処理）を示すフローチャート。
【図５】実施の形態１，２に示した語義推定装置１００のハードウェア構成の例を示す図。
【発明を実施するための形態】
【００１８】
実施の形態１．
実施の形態１では、ｏｎｅ−ｓｅｎｓｅ−ｐｅｒ−ｄｉｓｃｏｕｒｓｅヒューリスティクスを決定的な制約として適用されるのではなく、単語タイプが等しい単語トークンの間の緩やかな制約として、階層ベイズモデルの枠組みにおいて利用される。すなわち実施の形態１では、上記ヒューリスティクスが、単語タイプが等しい単語トークンの間では、語義ができるだけ一致するような事前確率としてモデル化される。
これにより、文脈的に類似したデータが不足するために従来技術１では十分な手がかりが得られない単語トークンに対しても、単語タイプが等しく、文脈が異なる単語トークンにおいて推定される語義を手がかりとして語義を推定することが可能となる。そのため、スパースなデータにおける語義推定精度が向上する。
【００１９】
また、実施の形態１では、上記ヒューリスティクスを従来技術２，３，４のように決定的な制約として適用するのではなく、事前確率として適用する。事前確率は、一種のバイアスであるため、単語トークン単体について文脈が類似したデータから十分な（バイアス以上の）証拠が得られれば、文脈に応じて異なる語義で使い分けられている語を認識することが可能である。そのため、従来技術２，３，４の課題であった、同一単語タイプが文脈に応じて異なる語義で使い分けられていることを推定できないという課題も解決する。
【００２０】
図１は、実施の形態１に係る語義推定装置１００の一構成例を示す機能ブロック図である。
語義推定装置１００は、単語抽出部１０、文脈解析部２０、文脈間距離算出部３０、語義候補抽出部４０、語義間距離算出部５０、概念辞書６０、語義推定部７０、推定語義出力部８０を備える。
【００２１】
単語抽出部１０は、入力として与えられるテキストデータ１０１を読み込み、形態素解析を行ってテキストを単語トークンに分割し、テキストデータ１０１に含まれる各単語トークンを抽出する。
【００２２】
文脈解析部２０は、単語抽出部１０が抽出した各単語トークンを受け取って各単語トークンの出現頻度をカウントし、出現頻度に基づく文脈ベクトルを各単語トークンに対して生成する。
【００２３】
文脈間距離算出部３０は、文脈解析部２０が生成した文脈ベクトルに対する演算を行い、単語トークンの文脈間距離（文脈の特徴の近さ）を算出する。
【００２４】
語義候補抽出部４０は、単語抽出部１０が抽出した各単語トークンに対し、概念辞書６０を参照して語義候補を抽出する。
【００２５】
語義間距離算出部５０は、語義候補抽出部４０が抽出した各語義候補の間の距離（概念の近さ）を、概念辞書６０における語義の定義を参照して算出する。
【００２６】
概念辞書６０は、単語と語義候補の対応関係を予め与えられ、記憶装置に記憶している。
【００２７】
語義推定部７０は、文脈間距離算出部３０が算出した単語トークンの文脈間距離と、語義間距離算出部５０が算出した各単語トークンの語義候補に関する語義間距離とに基づき、各単語トークンの語義を推定する。
【００２８】
推定語義出力部８０は、語義推定部７０が推定した語義の推定結果を受け取り、推定語義データ１０２として出力する。
【００２９】
図２は、語義推定装置１００の処理の流れを示すフローチャートである。
（Ｓ１：単語トークン抽出処理）
まず、単語抽出部１０は、入力として与えられたテキストデータ１０１を読み込み、単語トークンｗ１，．．．，ｗＮを抽出する。ここで、Ｎはテキストデータに含まれる単語トークンの総数である。
単語抽出部１０は、単語トークンの抽出に公知の形態素解析を用いる。単語抽出部１０は、テキストデータに形態素解析器を適用することにより、テキストデータを単語トークン毎に分割し、各単語トークンの品詞と単語標準形とを決定する。ここで得られた品詞と単語標準形とは、後述する語義候補抽出処理において概念辞書６０を参照する際に利用される。
【００３０】
（Ｓ２：文脈解析処理）
文脈解析部２０は、単語トークンｗｉの各出現文脈ｘｉに対し、特徴ベクトルφ（ｘｉ）を生成する。
特徴ベクトルとしては、一例として非特許文献４に記載された２次の文脈ベクトル（２ｎｄ−ｏｒｄｅｒ  ｃｏｎｔｅｘｔ  ｖｅｃｔｏｒ）を用いる。このとき、Ｋ次元特徴ベクトルφ（ｘｉ）＝（φｉ１，．．．，φｉＫ）の第ｋ次元の要素φｉｋは数１で得られる。
【数１】
2015179483.tif 000003
数１において、ｗｉｎ（ｗｉ）は、窓関数である。ｗｉｎ（ｗｉ）は、予め定められた窓長をＬとするとき（ここでは一例としてＬ＝２０とする）、入力されたテキストデータ１０１より単語トークンｗｉの前方に出現するＬ／２個の単語と、後続するＬ／２個の単語とを抽出する。
また、数１において、ｃ（ｗ，ｗ’）は、２つの単語タイプｗ，ｗ’が文書中で共起する頻度を表す関数である。この共起する頻度は、入力されたテキストデータ１０１とは異なる大規模テキストコーパスにて求める。ベクトルの第ｋ次元に対応する特徴語ｗｋ（ｋ＝１，．．．，Ｋ）は、上記大規模テキストコーパスにて、ａ，ａｎ，ｔｈｅなどのストップワードを除く語の中から出現頻度が上位Ｋ位までの語を選んで用いる。ストップワードとする単語のリストは予め与えられているものとする。
【００３１】
（Ｓ３：文脈間距離算出処理）
文脈間距離算出部３０は、各単語トークンの出現文脈について、文脈間距離を算出する。文脈間距離算出部３０は、算出した文脈間距離を示す文脈間距離データを、語義推定部７０に送信する。
２つの出現文脈ｘｉ，ｘｉ’の距離ｄｘ（ｘｉ，ｘｉ’）は、一例として各々の特徴ベクトルの正弦により数２で定義される。
【数２】
2015179483.tif 000004
数２において、×はベクトルの外積であり、｜・｜はベクトルのノルムを表す。
【００３２】
（Ｓ４：語義候補抽出処理）
語義候補抽出部４０は、単語トークンの品詞と単語標準形とに基づいて概念辞書６０を参照することにより、各単語トークンｗｉについて語義候補の集合Ｓｉ＝｛ｓｉｊ｜ｊ＝１，．．．，Ｍｗｉ｝を得る。
ここで、Ｍｗｉは単語トークンｗｉについて辞書を参照して得られる語義候補の数を表す。語義推定装置１００の目的は、各単語トークンｗｉについて、最も尤もらしい語義ｓｉｊ＊∈Ｓｉを推定することである。
【００３３】
（Ｓ５：語義間距離算出処理）
語義間距離算出部５０は、概念辞書６０を参照して語義候補間の距離を算出する。語義間距離算出部５０は、算出した語義候補間の距離を示す語義間距離データを、語義推定部７０に送信する。
２つの語義候補ｓｉｊ，ｓｉ’ｊ’の間の距離ｄｓ（ｓｉｊ，ｓｉ’ｊ’）は、それぞれの語釈文（語義の説明文章）を構成している語の集合をＷｉｊ，Ｗｉ’ｊ’とするとき、両者の重複率として数３で定義される。
【数３】
2015179483.tif 000005
数３において、｜・｜は集合の要素数を表す。
【００３４】
（Ｓ６：語義推定処理）
語義推定部７０は、Ｓ３で送信された文脈間距離データと、Ｓ５で送信された語義間距離データとを用いて、各単語トークンの語義を推定する。
Ｓ６の処理について、詳しくは後述する。
【００３５】
（Ｓ７：推定語義出力処理）
推定語義出力部８０は、Ｓ６で推定された各単語トークンの語義を示す推定語義データ１０２を出力する。推定語義データ１０２は、単語トークン毎に、推定された語義を示している。なお、推定語義データ１０２は、例えば、ファイルとしてコンピュータに出力される。
【００３６】
Ｓ６の語義推定処理について説明する。ここでは、まず語義推定のモデルについて説明した上で、語義推定の処理について説明する。
＜語義推定のモデル＞
語義推定部７０は、上述した処理によって得られた以下（ａ）〜（ｄ）のデータを入力とする。
（ａ）各単語トークンｗｉ（テキストデータ１０１中の各位置ｉ＝１，．．．，Ｎに出現する語）の単語タイプＷ＝｛ｗｉ｜ｗｉ∈Ｖ｝ｉ＝１Ｎ。ここで、Ｖは語彙を表す。
（ｂ）各単語トークンｗｉの出現文脈Ｘ＝｛ｘｉ｝ｉ＝１Ｎの間の距離データ（文脈間距離データ）｛ｄｘ（ｘｉ，ｘｉ’）｜ｘｉ，ｘｉ’∈Ｘ｝。
（ｃ）各単語トークンｗｉに対する語義候補ｓｉｊの集合Ｓ＝｛Ｓｉ｜Ｓｉ＝｛ｓｉｊ｝ｊ＝１Ｍｗｉ｝ｉ＝１Ｎ。
（ｄ）語義間距離データ｛ｄｓ（ｓｉｊ，ｓｉ’ｊ’）｜ｓｉｊ∈Ｓｉ，ｓｉ’ｊ’∈Ｓｉ’｝。
【００３７】
語義推定部７０は、階層ベイズモデルに基づき、与えられたデータ（観測データ）である上記（Ｘ，Ｓ）が、後述する確率過程によって生成されたと仮定して、潜在変数である数４に示す語義候補の確率を推定する。
【数４】
2015179483.tif 000006
【００３８】
図３は、語義推定装置１００が仮定する確率過程のグラフィカルモデルを示す図である。
図３において、塗りつぶしの円は観測変数（予め与えられる定数を含む）を表し、中抜きの円は潜在変数、矢印は依存関係、矩形は繰り返しを表す。ｘｉは単語トークンｗｉの出現文脈であり、ｓｉｊは単語トークンｗｉの語義候補、πｉは単語トークンｗｉの語義確率分布（トークン確率）、ωｗｉは単語タイプｗｉの語義確率分布（タイプ確率）を表す。σｘ，σｓは後述するガウスカーネルの文脈バンド幅と語義バンド幅とを表す。Ｇｘはσｘを生成するガンマ分布のパラメータをまとめて表したものであり、Ｇｓはσｓを生成するガンマ分布のパラメータをまとめて表したものである。γ及びνは予め与える正の実数パラメータである。
これら変数のうち、塗りつぶし円で示す観測変数は値が設定により与えられる。観測変数の値に基づいて潜在変数の値が自動的に決定される。以下では、図２を参照しながら、それぞれの変数を生成する確率過程のモデルについて説明する。
【００３９】
（０）文脈・語義仮説の生成モデル
文脈ｘｉにおいて語義をｓｉｊとする仮説（ｘｉ，ｓｉｊ）は、数５に示すように、単語タイプが単語トークンｗｉ以外の単語トークン−ｗｉからなる文脈データＸ−ｗｉと、文脈データＸ−ｗｉに含まれる単語トークン−ｗｉの語義候補Ｓ−ｗｉに関する語義確率Π−ｗｉから生成される（外挿される）。
【数５】
2015179483.tif 000007
【００４０】
本モデルは一種のＬｅａｖｅ−Ｏｎｅ−Ｏｕｔ  Ｃｒｏｓｓ  Ｖａｌｉｄａｔｉｏｎ  （ＬＯＯＣＶ）法を、単語タイプを単位として適用するものである。単語トークンではなく単語タイプを単位としてＬＯＯＣＶを適用するのは、語義の分布が人工的なデータであり、単語タイプが等しいデータの間では語義仮説位置が常に等しいという性質があるため、これを取り除かないと推定時に過学習を起こしてしまうからである。
【００４１】
確率モデルは、カーネルを用いたノンパラメトリックモデルとする。ノンパラメトリックモデルとする理由は（Ｘ，Ｓ）の分布形状に特別な仮定を置かないようにするためである。仮説（ｘｉ，ｓｉｊ）は、数６に示すように、カーネル関数Ｋを介して、他の単語タイプに関する仮説｛（ｘｉ’，ｓｉ’ｊ’）｜ｘｉ’∈Ｘ−ｗｉ，ｓｉ’ｊ’∈Ｓ−ｗｉ｝からの距離と、それら仮説の語義確率πｉ’ｊ’とに基づいて外挿される。
【数６】
2015179483.tif 000008
数６において、Ｎは単語トークンの総数であり、Ｎｗｉ（≦Ｎ）は単語タイプがｗｉと同じ単語トークンの数である。カーネル関数Ｋ（・）は、文脈の距離ｄｘ及び語義の距離ｄｓを用いて一般化したガウスカーネルであり、数７で定義される。
【数７】
2015179483.tif 000009
数７において、σｘはカーネルの文脈バンド幅、σｓは語義バンド幅であり、文脈・語義それぞれに関する平滑化の強さをコントロールするパラメータである。バンド幅が狭いとき（σｘ，σｓに小さな値を与えるとき）、仮説（ｘｉ，ｓｉｊ）と距離が近い仮説（ｘｉ’，ｓｉ’ｊ’）群のみから仮説（ｘｉ，ｓｉｊ）が生成される。すなわち、データセットにおいて局所的な整合性を強く考慮した語義が推定される。逆に、バンド幅を広く取るときには大域的な整合性が重視され、局所的な不整合はノイズとして無視して語義が推定される。
【００４２】
（１）単語トークンの語義確率生成モデル
単語トークンｗｉの語義確率πｉ＝（π１，．．．，πＭｗｉ）は、ｗｉの単語タイプをｗとするとき、ｗに依存し、同じ単語タイプｗの単語トークンでは共通の単語タイプｗの語義確率ωｗに基づいて、数８に示す事前確率分布より生成される。
【数８】
2015179483.tif 000010
数８において、νは予め設定により与えられる正の実数パラメータであり、単語トークンｗｉの語義確率πｉに対する単語タイプｗの語義確率ωｗの影響の強さをコントロールする。νに大きな値を設定するほど、個々の単語トークンｗｉの語義確率πｉは単語タイプｗで共通の語義確率ωｗと一致しやすくなる。
Ｄｉｒｉｃｈｌｅｔ（・）は公知のディリクレ分布であり、νωｗはそのパラメータである。なお、ディリクレ分布の確率密度関数は、パラメータをθ＝（θ１，．．．，θＭ）、確率変数をＸ＝（ｘ１，．．．，ｘＭ）とすると、数９で定義される。
【数９】
2015179483.tif 000011
数９において、ｘｊ≧０，Σｊ＝１Ｍｘｊ＝１，θｊ＞０である。Ｚ（・）は多変量に拡張したベータ関数であり、数１０で定義される。
【数１０】
2015179483.tif 000012
数１０において、Γ（θ）は公知のガンマ関数であり、θ＞０において数１１で定義される。
【数１１】
2015179483.tif 000013
【００４３】
（２）単語タイプの語義確率生成モデル
単語タイプｗの語義確率ωｗ＝（ω１，．．．，ωＭｗ）は、数１２に示す事前確率分布より生成される。
【数１２】
2015179483.tif 000014
数１２において、ここで、Ｍｗは単語タイプｗに関する語義候補の数であり、γは予め設定により与えられる正の実数パラメータである。γに大きな値を設定するほど、語義確率ωｗは一様分布（１／Ｍω，．．．，１／Ｍω）に近い分布となる。
【００４４】
（３）カーネルバンド幅の生成モデル
ガウスカーネルの文脈バンド幅σｘ、語義バンド幅σｓは、数１３により生成される。
【数１３】
2015179483.tif 000015
数１３において、Ｇａｍｍａ（・）は公知のガンマ分布、ｋｘ，ｋｓ，θｘ，θｓはガンマ分布のパラメータであり、パラメータの値はデータから推定される。ガンマ分布の確率密度関数は、パラメータをｋ（＞０），θ（＞０）とするとき、ｘ（＞０）において数１４で与えられる。
【数１４】
2015179483.tif 000016
数１４において、Γ（・）は公知のガンマ関数であり、数１１で定義される。
【００４５】
＜語義推定の処理＞
以上述べた確率過程のモデルに基づいて、各単語トークンの語義を推定する。
推定には、マルコフ連鎖モンテカルロ法の１つであるギブスサンプリング法を適用する。ギブスサンプリング法は、注目する変数以外を固定して得られる事後確率分布からのサンプリングを、変数を変えて繰り返す方法である。ギブスサンプリング法は、全ての変数を一度にサンプリングするよりも効率的な計算が可能である。
【００４６】
図４は、語義推定部７０の処理（図２のＳ６の処理）を示すフローチャートである。
（Ｓ６１：初期化処理）
語義推定部７０は、潜在変数のパラメータを初期化する。
潜在変数のパラメータとは、単語トークンｗｉの語義確率分布｛πｉ｝ｉ＝１Ｎ、単語タイプｗの語義確率分布｛ωｗ｝ｗ∈｜Ｖ｜、カーネルの文脈バンド幅σｘ及び語義バンド幅σｓ、バンド幅を生成するガンマ分布の形状母数ｋｘ，ｋｓ及び尺度母数θｘ，θｓ、である。
初期値としては、例えば｛πｉ｝ｉ＝１Ｎ，｛ωｗ｝ｗ∈｜Ｖ｜に対しては一様分布を設定し、σｘ，σｓ，ｋｘ，ｋｓ，θｘ，θｓには適当な値として、例えば１を設定する。
【００４７】
（Ｓ６２：タイプ並べ替え処理）
語義推定部７０は、次のＳ６３のために、単語タイプの順序をランダムに並べ替える。
【００４８】
（Ｓ６３：タイプ確率更新処理）
語義推定部７０は、各単語タイプｗ∈Ｖについて、後述する数１６のディリクレ分布に従う乱数より値をサンプリングして、得られた値により現在の語義確率分布ωｗの値を置き換える。
【００４９】
（Ｓ６４：トークン並べ替え処理）
語義推定部７０は、次のＳ６５のために、単語トークンの順序をランダムに並べ替える。
【００５０】
（Ｓ６５：トークン確率更新処理）
語義推定部７０は、各単語トークンｗｉ（ｉ＝１，…，Ｎ）について、後述する数１７のディリクレ分布に従う乱数より値をサンプリングして、得られた値により現在の語義確率分布πｉの値を置き換える。
【００５１】
（Ｓ６６：バンド幅更新処理）
語義推定部７０は、後述する数２１、数２２のガンマ分布に従う乱数より値をサンプリングして、得られた値により現在のバンド幅σｘ，σｓを置き換える。
【００５２】
（Ｓ６７：収束判定処理）
語義推定部７０は、収束判定を行う。
語義推定部７０は、例えば、反復回数が規定値Ｔｍａｘ（例えば、Ｔｍａｘ＝２，０００回）に達したか否かを判定条件とする。語義推定部７０は、判定条件に合致する場合（Ｓ６７でＹＥＳ）、処理をＳ８０へ進め、判定条件に合致しない場合（Ｓ６７でＮＯ）、反復回数を「＋１」して処理をＳ６２に戻し、上述した処理を繰り返す。
【００５３】
（Ｓ６８：語義決定処理）
語義推定部７０は、各単語トークンｗｉに関する最適な語義ｓｉｊ＊を数１５により決定する。
【数１５】
2015179483.tif 000017
数１５において、πｉｊ（ｔ）は、ｔ回目の反復においてπｉｊとしてサンプリングされた値である。このようにＴｍａｘ回のサンプリングのうち、初期のＴｍｉｎ（例えば、Ｔｍｉｎ＝１，０００）回分を捨てて、（Ｔｍａｘ−Ｔｍｉｎ）回のサンプリングから最頻値を求めているのは、反復の初期にサンプリングされる値がＳ６１で与える初期値に強く依存するからであり、初期値の影響を取り除くためである。
【００５４】
各変数をサンプリングする事後確率分布は、以下のようにして計算される。
（１）単語トークンの語義確率サンプリング
単語トークンｗｉの語義確率分布πｉは以下のようにしてサンプリングされる。
単語トークンｗｉに関する仮説｛（ｘｉ，ｓｉｊ）｝ｊ＝１Ｍｗｉは、単語タイプがｗｉ以外の文脈データＸ−ｗｉと、文脈データＸ−ｗｉに含まれる単語トークン−ｗｉの語義候補Ｓ−ｗｉに関する語義確率Π−ｗｉから外挿されることについて前述した。そして、その確率密度を数６で定義した。ここで、語義候補Ｓｉ１，．．．，ＳｉＭｗｉについて数６により得られる確率密度をｑｉ＝（ｑｉ１，．．．，ｑｉＭｗｉ）とする。ｑｉは、モデルの定義より、単語トークンｗｉの語義確率分布πｉより生成された条件付き分布にもなっている。
πｉの事前確率が数８で与えられることを考慮すると、事後確率は、数１６に示すようになる。
【数１６】
2015179483.tif 000018
数１６において、１行目の左辺では事後確率が依存する変数Ｘ−ｗｉ，Ｓ−ｗｉ，Π−ｗｉ，σｘ，σｓを省略した。３行目のディリクレ分布から単語トークンｗｉの新たな語義確率分布πｉがサンプリングされる。
【００５５】
（２）単語タイプの語義確率サンプリング
単語タイプｗの語義確率分布ωｗは以下のようにしてサンプリングされる。
単語タイプがｗと等しい単語トークンｗｉの語義確率の集合を｛πｉ｜ｉ：ｗｉ＝ｗ｝とすると、これらはωｗより生成された条件付き確率分布である。ωｗの事前確率が数１２で与えられることを考慮すると、事後確率は、数１７に示すようになる。
【数１７】
2015179483.tif 000019
数１７の５行目のｍｊを数１８に基づき置き換えたディリクレ分布から単語タイプｗの新たな語義確率分布ωｗがサンプリングされる。
【数１８】
2015179483.tif 000020
【００５６】
（３）カーネルバンド幅のサンプリング
カーネルの文脈バンド幅σｘ及び語義バンド幅σｓは以下のようにしてサンプリングされる。
数６に示した仮説（ｘｉ，ｓｉｊ）に対する外挿のうち、仮説（ｘｉ’，ｓｉ’ｊ’）を中心とするカーネルの負担率を数１９で定義する。
【数１９】
2015179483.tif 000021
このとき、文脈バンド幅σｘ及び語義バンド幅σｓの事後分布は、数２０に示すようになる。
【数２０】
2015179483.tif 000022
Ｄｘ，Ｄｓそれぞれの平均をμｘ，μｓ、分散をＶｘ，Ｖｓとすると、データを生成したガンマ分布のパラメータは、ガンマ分布の定義より、文脈バンド幅σｘについて数２１と定まり、語義バンド幅σｓについて、数２２と定まる。
【数２１】
2015179483.tif 000023
【数２２】
2015179483.tif 000024
これらのパラメータで得られるガンマ分布Ｇａｍｍａ（ｋｘ，θｘ），Ｇａｍｍａ（ｋｓ，θｓ）により、新たな文脈バンド幅σｘ及び語義バンド幅σｓがそれぞれサンプリングされる。
【００５７】
以上のように、実施の形態１に係る語義推定装置１００では、ある単語トークンの語義は、テキストデータ中で文脈が類似した他の単語トークンの語義確率だけでなく、単語タイプの語義確率にも基づいて推定される。
単語タイプの語義確率は、単語タイプに依存し、個々の文脈とは独立の確率である。そして、単語タイプの語義確率は、テキストデータに含まれる、単語タイプが等しい全ての単語トークンの語義確率を元に推定されるものである。すなわち、単語タイプの語義確率を併用することによって、文脈が離れた単語トークンの語義確率を間接的に利用することが可能である。
このため、従来技術１の課題であった「データセット中に文脈が類似した単語トークンが十分含まれていない場合には、手がかりとすべき他の語義候補が利用できないため、推定が不安定となり、語義曖昧性解消の精度が劣化しやすい」という課題を解決し、高い精度で語義の曖昧性を解消することが可能になるという効果が得られる。
【００５８】
さらに、実施の形態１に係る語義推定装置１００では、単語トークンの語義を推定する際に、単語タイプの語義確率を事前確率として用いる。
事前確率はいわばバイアスであり、単語トークンについて文脈から十分な手がかりが得られない場合には、相対的に強く効いて、単語タイプが等しい他の単語トークンと同じ語義を推定することになる。しかし、逆に、単語トークンについて文脈から十分な手がかりが得られる場合においては、バイアスは相対的に弱くなる。
このため、従来技術２，３，４の課題であった「個々のトークンが文脈によって語義を使い分けられていても、その使い分けを認識できないため、高精度な語義曖昧性解消を実現できない」という課題を解決し、高い精度で語義の曖昧性を解消することが可能になるという効果が得られる。
【００５９】
実施の形態２．
実施の形態１では、完全な教師なし学習により、ラベルの付与されていないテキストデータを与えられて語義の曖昧性を解消する方法について説明した。しかし、実施の形態１で説明した語義の曖昧性を解消する方法は、これに限られるものではなく、テキストデータの一部に単語トークンについて正しい語義がラベルとして付与されていても適用できる。
【００６０】
テキストデータの一部に単語トークンについて正しい語義がラベルとして付与されている場合、正しい語義がラベル付けされている単語トークンについては、語義の確率分布を正解に固定したままとする。
すなわち、単語トークンｗｉの正しい語義がｓｉｊ＾と与えられているときには、語義確率を常に数２３とすればよい。
【数２３】
2015179483.tif 000025
【００６１】
これにより、出現文脈が単語トークンｗｉと近い別の正解は与えられない単語トークンｗｉ’について、ｓｉｊ＾と近い語義ｓｉ’ｊ’が推定されやすくなる。
【００６２】
以上のように、実施の形態２に係る語義推定装置１００では、半教師あり学習の枠組みにおいて、実施の形態１に係る語義推定装置１００を適用することができる。この場合も実施の形態１に係る語義推定装置１００と同様の効果を奏する。
【００６３】
なお、上記説明では、単語トークンが概念辞書６０に登録された単語（登録語）であり、概念辞書６０を参照して語義の候補が得られることを前提としていた。しかし、単語トークンが概念辞書６０に登録されていない単語（未登録語）であった場合にも、上記方式を適用することが可能である。
例えば、登録語“ＤＥＬＩＶＥＲ”の短縮表記“ＤＥＬＩＶ”は未登録語である。この場合には、未登録語である分類対象語の表記文字列と、概念辞書６０の登録語の文字列とに対し、公知の編集距離等に基づき文字列間類似度を求める。そして、予め定めた閾値よりも高い類似度を持つ全ての登録語を抽出し、抽出した登録語の語義として記憶された概念を語義候補とすればよい。
この際、抽出した登録語との文字列間類似度に応じた重みを用いて、語義を推定してもよい。
【００６４】
また、上記説明において、ｗｉが上付き又は下付きで示されている場合、そのｗｉはｗｉを意味する。また、Ｍｗが上付き又は下付きで示されている場合、そのＭｗはＭｗを意味する。
【００６５】
図５は、実施の形態１，２に示した語義推定装置１００のハードウェア構成の例を示す図である。
語義推定装置１００は、コンピュータである。語義推定装置１００の各要素をプログラムで実現することができる。
語義推定装置１００のハードウェア構成としては、バスに、演算装置９０１、外部記憶装置９０２、主記憶装置９０３、通信装置９０４、入出力装置９０５が接続されている。
【００６６】
演算装置９０１は、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等である。外部記憶装置９０２は、例えばＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスク装置等である。主記憶装置９０３は、例えばＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等である。通信装置９０４は、例えば通信ボード等である。入出力装置９０５は、例えばマウス、キーボード、ディスプレイ装置等である。
【００６７】
プログラムは、通常は外部記憶装置９０２に記憶されており、主記憶装置９０３にロードされた状態で、順次演算装置９０１に読み込まれ、実行される。
プログラムは、単語抽出部１０、文脈解析部２０、文脈間距離算出部３０、語義候補抽出部４０、語義間距離算出部５０、語義推定部７０、推定語義出力部８０として説明している機能を実現するプログラムである。
更に、外部記憶装置９０２にはオペレーティングシステム（ＯＳ）も記憶されており、ＯＳの少なくとも一部が主記憶装置９０３にロードされ、演算装置９０１はＯＳを実行しながら、上記プログラムを実行する。
また、実施の形態１，２の説明において、概念辞書６０が記憶すると説明した情報や、単語抽出部１０、文脈解析部２０、文脈間距離算出部３０、語義候補抽出部４０、語義間距離算出部５０、語義推定部７０、推定語義出力部８０が抽出する、生成する、算出する、推定する、出力する等と説明した情報等が主記憶装置９０３にファイルとして記憶されている。
【００６８】
なお、図５の構成は、あくまでも語義推定装置１００のハードウェア構成の一例を示すものであり、語義推定装置１００のハードウェア構成は図５に記載の構成に限らず、他の構成であってもよい。
【符号の説明】
【００６９】
１０  単語抽出部、２０  文脈解析部、３０  文脈間距離算出部、４０  語義候補抽出部、５０  語義間距離算出部、６０  概念辞書、７０  語義推定部、８０  推定語義出力部、１００  語義推定装置。
【図１】
2015179483.tif 000026
【図２】
2015179483.tif 000027
【図３】
2015179483.tif 000028
【図４】
2015179483.tif 000029
【図５】
2015179483.tif 000030