(57)【要約】【課題】分散学習の精度を向上できる。【解決手段】学習装置は、複数の文書を、当該文書に含まれる単語を用いてクラスタに分類し、単語を含む文書が複数のクラスタを含む場合、各クラスタを構成する文書に含まれる単語ごとに、それぞれ異なるラベルを付与する。そして、学習装置は、異なるラベルが新たに付与された単語がある場合に、異なるラベルが付与された単語を用いて前記分類する処理を繰り返す。【選択図】図１
2018169939.tif 000002
【特許請求の範囲】
【請求項１】
複数の文書を、当該文書に含まれる単語を用いてクラスタに分類するクラスタリング処理部と、
前記単語を含む文書が複数のクラスタを含む場合、各クラスタを構成する文書に含まれる単語ごとに、それぞれ異なるラベルを付与する修正部と
を有し、
前記クラスタリング処理部は、前記異なるラベルが新たに付与された単語がある場合に、前記異なるラベルが付与された単語を用いて前記分類する処理を繰り返すことを特徴とする学習装置。
【請求項２】
前記複数の文書に含まれる単語を抽出して、辞書を生成する辞書生成部と、
前記複数の文書から、各文書において出現する単語を示すコンテキストを、生成された前記辞書を参照して、当該複数の文書に含まれる単語単位で生成するコンテキスト生成部と
をさらに有し、
前記修正部は、前記複数のクラスタを含む単語を、それぞれ前記クラスタごとに異なる単語となるように前記辞書を修正し、
前記クラスタリング処理部は、修正された前記辞書を用いて前記分類する処理を繰り返すことを特徴とする請求項１に記載の学習装置。
【請求項３】
前記分類する処理の結果、特定の単語を含む文書が複数のクラスタを含むか否かを判定する結果判定部と、
全ての単語について、当該単語を含む文書が複数のクラスタを含まないと判定された場合に、修正された前記辞書に記憶された単語を含む前記分類する処理の結果を出力する出力部と
をさらに含む請求項２に記載の学習装置。
【請求項４】
複数の文書を、当該文書に含まれる単語を用いてクラスタに分類し、
前記単語を含む文書が複数のクラスタを含む場合、各クラスタを構成する文書に含まれる単語ごとに、それぞれ異なるラベルを付与し、
前記異なるラベルが新たに付与された単語がある場合に、前記異なるラベルが付与された単語を用いて前記分類する処理を繰り返す
処理をコンピュータが実行することを特徴とする学習方法。
【請求項５】
複数の文書を、当該文書に含まれる単語を用いてクラスタに分類し、
前記単語を含む文書が複数のクラスタを含む場合、各クラスタを構成する文書に含まれる単語ごとに、それぞれ異なるラベルを付与し、
前記異なるラベルが新たに付与された単語がある場合に、前記異なるラベルが付与された単語を用いて前記分類する処理を繰り返す
処理をコンピュータに実行させることを特徴とする学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習装置、学習方法及び学習プログラムに関する。
【背景技術】
【０００２】
文章処理において、例えば１つの文中に同時に出現するなどの文内で共起する単語のベクトルを用いて、単語の表現を獲得する技術が知られている。ベクトルを用いて単語の分散表現を学習する技術として、同じ表層で複数の意味を有する多義語をクラスタリングする際に、同じ表層であっても異なる単語として学習する技術が知られている。なお、以下において、単語の意味を考慮せずに単語の表記について説明する場合、「表層」と表現する場合がある。
【０００３】
例えば、入力を受けた所定の文章中の各単語を抽出して、任意の単語を基軸単語として選択し、該基軸単語と共起関係とみなされる基軸単語共起語とその共起数とで表される基軸単語共起ベクトルを抽出する技術が知られている。当該技術においては、基軸単語共起ベクトルの各基軸単語共起語の共起語概念を一般概念から推定し、推定した共起語概念群について、対応する共起語概念間の類似性に基づき、選択した基軸単語に関する各基軸単語共起語のクラスタリングを行う。また、当該技術においては、複数のクラスタが存在した際に多義語候補として抽出する。
【０００４】
また、文章を入力し、単語と単語の特定の文脈における共起頻度を統計し、確率モデルの推定問題として単語の分類を行ない、単語分類を出力する技術も知られている。当該技術は、単語の自動分類問題を二つの単語集合の分割の直積上に定義される確率モデルの推定問題として捉える。当該技術においては、各単語対の発生確率をクラスタ対の発生確率にそれぞれの単語の条件付き確率を乗じた確率と定義する確率モデルの中から、情報量基準を用いて確率モデルを選択し、ボトムアップ的に二つの単語集合に対して交互にクラスタリングを行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−０２０４３１号公報
【特許文献２】特開平１１−１４３８７５号公報
【非特許文献】
【０００６】
【非特許文献１】Tomas  Mikolov,  Kai  Chen,  Greg  Corrado,  and  Jeffrey  Dean.  “Efficient  Estimation  of  Word  Representations  in  Vector  Space.”  In  Proceedings  of  Workshop  at  ICLR,  2013.
【非特許文献２】Xu  Chang  et  al.“  Rc-net:A  general  framework  for  incorporating  knowledge  into  word  representations.”  Proceeding  of  the  ２３rd  ACM  International  Conference  on  Conference  on  Information  and  knowledge  Management.  ACM,  2014.
【非特許文献３】Bengio,  Yoshua,  et  al.  "A  neural  probabilistic  language  model."  Journal  of  machine  learning  research  3.Feb  (2003):  1137-1155.
【非特許文献４】Guo,  Jiang,  et  al.  "Learning  Sense-specific  Word  Embeddings  By  Exploiting  Bilingual  Resources."  COLING.  2014
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記技術においては、複数の意味を持つ同じ表層の単語を特定できるが、特定された複数の意味に応じて、単語の分散学習を行うことはない。このため、クラスタリング精度が不十分であり、分散学習を精度よく行えない場合がある。
【０００８】
一つの側面では、分散学習の精度を向上できる学習装置、学習方法及び学習プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
一つの態様において、学習装置は、複数の文書を、当該文書に含まれる単語を用いてクラスタに分類し、単語を含む文書が複数のクラスタを含む場合、各クラスタを構成する文書に含まれる単語ごとに、それぞれ異なるラベルを付与する。そして、学習装置は、異なるラベルが新たに付与された単語がある場合に、異なるラベルが付与された単語を用いて前記分類する処理を繰り返す。
【発明の効果】
【００１０】
一つの態様によれば、分散学習の精度を向上できる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施例１における学習装置の一例を示す図である。
【図２】図２は、実施例１における学習用コーパスの一例を示す図である。
【図３】図３は、実施例１における単語辞書の一例を示す図である。
【図４Ａ】図４Ａは、実施例１におけるコンテキスト記憶部の一例を示す図である。
【図４Ｂ】図４Ｂは、実施例１におけるコンテキスト記憶部の別の一例を示す図である。
【図４Ｃ】図４Ｃは、実施例１におけるコンテキスト記憶部の別の一例を示す図である。
【図４Ｄ】図４Ｄは、実施例１におけるコンテキスト記憶部の別の一例を示す図である。
【図５】図５は、実施例１におけるクラスタ記憶部の一例を示す図である。
【図６】図６は、実施例１における１回目の分散学習後の単語辞書の一例を示す図である。
【図７】図７は、実施例１における１回目の分散学習後のコンテキスト記憶部の一例を示す図である。
【図８】図８は、実施例１における２回目の分散学習後のクラスタ記憶部の一例を示す図である。
【図９】図９は、実施例１における２回目の分散学習後の単語辞書の一例を示す図である。
【図１０】図１０は、実施例１における２回目の分散学習後のコンテキスト記憶部の一例を示す図である。
【図１１】図１１は、実施例１におけるクラスタリング結果の一例を示す図である。
【図１２】図１２は、実施例１における出力結果の一例を示す図である。
【図１３】図１３は、実施例１における学習処理の一例を示すフローチャートである。
【図１４】図１４は、コンピュータのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下に、本願の開示する学習装置、学習方法及び学習プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、以下に示す各実施例は、矛盾を起こさない範囲で適宜組み合わせても良い。
【００１３】
以下の実施例においては、「帳面」及び「携帯可能なコンピュータ」の意味を有する「notebook」、並びに「卓」及び「表」の意味を有する「table」の各単語を含む英語の文書を対象とする分散学習について説明する。なお、実施の形態は英語の文書を対象とする分散学習に限られず、例えば日本語や中国語などのその他の言語の文書を用いてもよい。
【実施例１】
【００１４】
［機能ブロック］
本実施例における学習装置の一例について、図１を用いて説明する。図１は、実施例１における学習装置の一例を示す図である。図１に示すように、本実施例における学習装置１００は、記憶部１２０と、分析部１３０とを有する。
【００１５】
記憶部１２０は、例えば分析部１３０が実行するプログラムなどの各種データなどを記憶する。また、記憶部１２０は、学習用コーパス１２１、単語辞書１２２、コンテキスト記憶部１２３及びクラスタ記憶部１２４を有する。記憶部１２０は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子や、ＨＤＤ（Hard  Disk  Drive）などの記憶装置に対応する。
【００１６】
学習用コーパス１２１は、学習に用いられるコーパスである。なお、コーパスとは、文章の集まりのことをいう。図２は、実施例１における学習用コーパスの一例を示す図である。図２に示すように、学習用コーパス１２１は、複数の「文書」を、文書を一意に識別する識別子である「文書ＩＤ」（Identifier）に対応付けて記憶する。例えば、学習用コーパス１２１は、"I  wrote  a  memo  in  my  notebook  on  the  table."という文書を、文書ＩＤ「ｓ１」と対応付けて記憶する。なお、学習用コーパス１２１には、例えば図示しない通信部を通じて取得した情報が予め記憶される。また、本実施例における「文書」は、図２に示すように、例えば１つの文であるが、これに限られず、複数の文を含む文書であってもよい。
【００１７】
次に、単語辞書１２２は、学習用コーパス１２１に記憶された文書から抽出される単語を記憶する。図３は、実施例１における単語辞書の一例を示す図である。図３に示すように、単語辞書１２２は、例えば、学習用コーパス１２１の文書ＩＤ「ｓ１」の文書に含まれる単語を、単語を一意に識別する識別子である単語ＩＤ「ｗ１」乃至「ｗ１０」とそれぞれ対応付けて記憶する。同様に、単語辞書１２２は、学習用コーパス１２１の文書ＩＤ「ｓ２」の文書に含まれる単語のうち、未登録の単語「switched」及び「off」を、単語ＩＤ「ｗ１１」及び「ｗ１２」とそれぞれ対応付けて記憶する。なお、単語辞書１２２に記憶される情報は、後に説明する辞書生成部１３１により入力される。また、単語辞書１２２が、１つの単語だけでなく、例えば複数の単語からなる熟語を、単語ＩＤと対応付けて記憶するような構成であってもよい。
【００１８】
次に、コンテキスト記憶部１２３は、コーパスで出現する文において、文内で共起する単語のベクトル（Bag  of  words）を求めたものであるコンテキストを記憶する。本実施例におけるコンテキストは、学習用コーパス１２１に記憶される文書ＩＤごとに生成される。また、本実施例におけるコンテキストは、一つの文書に対しても、推定したい単語ごとに個別に生成される。このため、本実施例におけるコンテキスト記憶部１２３は、単語辞書１２２に記憶される単語ごとに一つのテーブルを有する。なお、コンテキスト記憶部１２３に記憶される情報は、後に説明するコンテキスト生成部１３２により入力され、また後に説明する修正部１３５により更新される。
【００１９】
本実施例におけるコンテキスト記憶部１２３が記憶する情報について、図４Ａ乃至図４Ｄを用いて説明する。図４Ａは、実施例１におけるコンテキスト記憶部の一例を示す図である。図４Ａは、単語辞書１２２に記憶される単語ＩＤ「ｗ１」の単語「Ｉ」のコンテキストを記憶するテーブルを示す。図４Ａに示すように、コンテキスト記憶部１２３は、「コンテキスト」を、コンテキストを一意に識別する識別子である「コンテキストＩＤ」に対応付けて記憶する。なお、コンテキストＩＤは、学習用コーパス１２１に記憶する文書ＩＤと一対一で対応する。すなわち、図４Ａに示すコンテキストＩＤ「ｃ１」は、推定したい単語「ｗ１」に対して生成された、図２に示す文書ＩＤ「ｓ１」の文書のコンテキストを示す。同様に、図４Ａに示すコンテキストＩＤ「ｃｎ」は、推定したい単語「ｗ１」に対して生成された、図２に示す文書ＩＤ「ｓｎ」の文書のコンテキストを示す。
【００２０】
本実施例におけるコンテキストは、図４Ａに示すように、文書中に出現する単語を１、文書中に出現しない単語を０とするベクトルの形で示される。図４Ａにおいて、ベクトルの第１項は、単語辞書１２２の単語ＩＤ「ｗ１」の単語が出現するか否かを示す。同様に、図４Ａに示すベクトルの第ｎ項は、単語辞書１２２の単語ＩＤ「ｗｎ」の単語が出現するか否かを示す。ただし、本実施例におけるコンテキストにおいては、推定したい単語を示す項の値は、常に「０」で示す。図４Ａにおいては、単語ＩＤ「ｗ１」のコンテキストを記憶するため、図４Ａの符号１１０１に示すように、各コンテキストの第１項の値は常に「０」となる。また、コンテキストＩＤ「ｃ３」に対応する文書ＩＤ「ｓ１」の文書には単語「I」が登場しないため、図４Ａの符号１１１１に示すように、コンテキスト記憶部１２３は、コンテキストＩＤ「ｃ３」のコンテキストは「Ｎ／Ａ」（該当無し）であることを記憶する。
【００２１】
次に、その他の単語に対応するコンテキスト記憶部１２３の内容について説明する。図４Ｂ乃至図４Ｄは、実施例１におけるコンテキスト記憶部の別の一例を示す図である。図４Ｂは、単語辞書１２２に記憶される単語ＩＤ「ｗ２」の単語「wrote」のコンテキストを記憶するテーブルを示すので、図４Ｂの符号１２０１に示すように、各コンテキストの第２項の値は常に「０」となる。また、単語「wrote」は、コンテキストＩＤ「ｃ２」、「ｃ３」、「ｃ４２」及び「ｃ１０４」のいずれに対応する文書においても登場しない。このため、図４Ｂの符号１２１１に示すように、コンテキスト記憶部１２３は、コンテキストＩＤ「ｃ２」、「ｃ３」、「ｃ４２」及び「ｃ１０４」のコンテキストは「Ｎ／Ａ」であることを記憶する。
【００２２】
次に、図４Ｃは、単語辞書１２２に記憶される単語ＩＤ「ｗ７」の単語「notebook」のコンテキストを記憶するテーブルを示す。図４Ｃの符号１３０１に示すように、各コンテキストの第７項の値は常に「０」となる。同様に、図４Ｄは、単語辞書１２２に記憶される単語ＩＤ「ｗ１０」の単語「table」のコンテキストを記憶するテーブルを示す。図４Ｄの符号１４０１に示すように、各コンテキストの第１０項の値は常に「０」となる。
【００２３】
クラスタ記憶部１２４は、図５に示すように、推定したい単語ごとに、後に説明するクラスタを分類する処理により特定された、当該単語が登場するコンテキストを含むクラスタを記憶する。図５は、実施例１におけるクラスタ記憶部の一例を示す図である。図５に示すように、クラスタ記憶部１２４は、「クラスタＩＤ」と、「コンテキストＩＤ」とを、「単語ＩＤ」に対応付けて記憶する。
【００２４】
図５において、「クラスタＩＤ」は、推定したい単語を含むクラスタを一意に識別する識別子である。例えば、図５の符号２００１に示すように、クラスタ記憶部１２４は、単語ＩＤ「ｗ７」の単語「notebook」を含むクラスタとして、クラスタＩＤ「cluster1」及び「cluster2」の２つのクラスタが特定されたことを示す情報を記憶する。一方、図５の符号２００２に示すように、クラスタ記憶部１２４は、単語ＩＤ「ｗ１０」の単語「table」を含むクラスタは１つであることを示す情報を記憶する。
【００２５】
次に、分析部１３０は、学習装置１００の全体的な処理を司る処理部である。分析部１３０は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、分析部１３０は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されるようにしてもよい。この分析部１３０は、辞書生成部１３１、コンテキスト生成部１３２、クラスタリング処理部１３３、結果判定部１３４、修正部１３５及び出力部１３６を有する。なお、辞書生成部１３１、コンテキスト生成部１３２、クラスタリング処理部１３３、結果判定部１３４、修正部１３５及び出力部１３６は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。
【００２６】
辞書生成部１３１は、学習用コーパス１２１から文書を読み出し、文書から単語を抽出する。辞書生成部１３１は、例えば公知の形態素解析技術や単語分割技術等を用いて、文書から単語を抽出する。また、辞書生成部１３１は、図３に示すように、抽出された単語に単語ＩＤを付与して、単語辞書１２２に記憶する。
【００２７】
次に、コンテキスト生成部１３２は、単語辞書１２２に記憶された単語ごとに、学習用コーパス１２１に記憶された各文書からコンテキストを生成する。例えば、コンテキスト生成部１３２は、学習用コーパス１２１に記憶される特定の文書ＩＤの文書に対応して、例えば全ての項を「０」とするコンテキストを生成する。次に、コンテキスト生成部１３２は、単語辞書１２２に記憶されるいずれかの単語ＩＤを特定する。
【００２８】
次に、コンテキスト生成部１３２は、特定された単語ＩＤ以外の単語辞書１２２に記憶される各単語ＩＤの単語が、学習用コーパス１２１に記憶される各文書に含まれるか否かを判定する。コンテキスト生成部１３２は、単語が文書に含まれると判定した場合に、当該単語の単語ＩＤに対応するコンテキストの項の値を「１」とする。そして、コンテキスト生成部１３２は、単語辞書１２２に含まれる、特定された単語ＩＤ以外の全ての単語ＩＤの単語について処理を繰り返すことにより、特定された文書ＩＤの文書に対するコンテキストを生成する。コンテキスト生成部１３２は、全ての文書ＩＤの文書について、コンテキストの生成を繰り返し、図４Ａ乃至図４Ｄに示すようなコンテキストをコンテキスト記憶部１２３に記憶する。
【００２９】
また、コンテキスト生成部１３２は、後に説明する修正部１３５からコンテキスト更新の指示の出力を受けた場合、コンテキスト記憶部１２３に記憶されたコンテキストを更新する。更新後のコンテキストについては後に説明する。
【００３０】
次に、クラスタリング処理部１３３は、コンテキスト記憶部１２３に記憶されたコンテキストをクラスタリングする。例えば、クラスタリング処理部１３３は、例えば公知のクラスタリング技術を用いて、各コンテキスト間の距離を算出し、距離が近いコンテキストの集合を１つのクラスタとする。クラスタについては、後に図示する。そして、クラスタリング処理部１３３は、図５に示すようなクラスタリング処理結果を、クラスタ記憶部１２４に記憶する。
【００３１】
また、本実施例におけるクラスタリング処理部１３３は、後に説明する修正部１３５から再度クラスタリング処理を行う指示の出力を受けた場合、単語辞書１２２を参照してクラスタリング処理を繰り返す。
【００３２】
次に、結果判定部１３４は、クラスタ記憶部１２４を参照し、クラスタリング処理によって新たなクラスタが生じたか否かを判定する。結果判定部１３４は、クラスタリング処理によって新たなクラスタが生じたと判定した場合、修正部１３５に対して、単語辞書１２２の修正を指示する。一方、結果判定部１３４は、クラスタリング処理によって新たなクラスタが生じなかったと判定した場合、出力部１３６にクラスタリング結果の出力を指示する。
【００３３】
次に、修正部１３５は、新たにクラスタが生じた単語にラベルを付与する。修正部１３５は、ラベルが付与された単語を用いて、単語辞書１２２を更新する。図６は、実施例１における１回目の分散学習後の単語辞書の一例を示す図である。図６の符号３００１に示すように、修正部１３５は、２つのクラスタを含む単語「notebook」に対して、それぞれラベル「notebook_1」及び「notebook_2」を付与する。そして、修正部１３５は、ラベルを付与された単語「notebook_1」及び「notebook_2」を、単語ＩＤ「ｗ７＿１」及び「ｗ７＿２」とそれぞれ対応付けて、新たな単語として単語辞書１２２に記憶する。
【００３４】
また、修正部１３５は、更新された単語辞書１２２を用いて、コンテキストを更新し、又は新たに生成する。修正部１３５により更新されたコンテキストを、図７を用いて説明する。図７は、実施例１における１回目の分散学習後のコンテキスト記憶部の一例を示す図である。図７は、単語ＩＤ「ｗ７」に新たなラベル「ｗ７＿１」及び「ｗ７＿２」が付与されたことにより、図４Ｄに示す単語ＩＤ「ｗ１０」の単語「table」のコンテキストが更新された例を示す。図７の符号１８０１に示すように、更新後のコンテキストは、第７項が「ｗ７＿１」を示す項と「ｗ７＿２」を示す項とに分割される。図７の符号１８０１は、コンテキスト「ｃ１」及び「ｃ２」は単語ＩＤ「ｗ７＿２」を含み、コンテキスト「ｃ３」は単語ＩＤ「ｗ７＿１」を含むことを示す。
【００３５】
また、修正部１３５は、クラスタリング処理部１３３に対して、更新された単語辞書１２２を用いて、新たにクラスタリング処理を行うよう指示を出力する。クラスタリング処理部１３３による、新たなクラスタリング処理の結果について、図８及び図９を用いて説明する。図８は、実施例１における２回目の分散学習後のクラスタ記憶部の一例を示す図である。図８の符号２１０１に示す単語ＩＤ「ｗ７＿１」及び「ｗ７＿２」の単語はもともと２つのクラスタを含む１つの単語であったものにラベルが付与されて、クラスタごとに別個の単語となっている。従って、単語ＩＤ「ｗ７＿１」及び「ｗ７＿２」は、それぞれクラスタを１つのみ含む。
【００３６】
一方、図８の符号２１０２に示すように、単語ＩＤ「ｗ１０」の単語においては、新たに付与されたラベル単語ＩＤ「ｗ７＿１」及び「ｗ７＿２」を用いて更新されたコンテキストをクラスタに分類した結果、２つのクラスタを含むことが特定される。この場合において、結果判定部１３４は、クラスタリング処理によって新たなクラスタが生じたと判定するので、修正部１３５に対して、再度単語辞書１２２の修正を指示する。図９は、実施例１における２回目の分散学習後の単語辞書の一例を示す図である。図９の符号３１０１に示すように、２つのクラスタを含む単語ＩＤ「ｗ１０」の単語については、クラスタごとに別々の単語ＩＤ「ｗ１０＿１」及び「ｗ１０＿２」が付与される。
【００３７】
さらに、修正部１３５は、更新された単語辞書１２２を用いて、コンテキストを再度更新し、又は新たに生成する。コンテキスト生成部１３２により新たに生成されたコンテキストを、図１０を用いて説明する。図１０は、実施例１における２回目の分散学習後のコンテキスト記憶部の一例を示す図である。図１０は、単語ＩＤ「ｗ１０」に新たなラベル「ｗ１０＿１」及び「ｗ１０＿２」が付与された場合において新たに生成される、新たに付与されたラベル「ｗ１０＿１」の単語「notebook_1」のコンテキストを示す。図１０の符号１９０１に示すように、更新後のコンテキストは、第１０項が「ｗ１０＿１」を示す項と「ｗ１０＿２」を示す項とに分割される。図１０の符号１９０１に示すように、単語ＩＤ「ｗ１０＿１」を示す項は常に「０」となるが、単語ＩＤ「ｗ１０＿２」を示す項については、単語ＩＤ「ｗ１０＿２」を含む文書に対応するコンテキストにおいては「１」が記憶される。すなわち、図１０の符号１９０１は、コンテキスト「ｃ１」及び「ｃ２」は単語ＩＤ「ｗ１０＿１」を含み、コンテキスト「ｃ３」は単語ＩＤ「ｗ１０＿２」を含むことを示す。
【００３８】
以下、結果判定部１３４において、クラスタリング処理によって新たなクラスタが生じなかったと判定されるまで、修正部１３５及びクラスタリング処理部１３３は処理を繰り返す。
【００３９】
上記処理の結果を、図１１を用いて説明する。図１１は、実施例１におけるクラスタリング結果の一例を示す図である。図１１の（ａ）は、単語ＩＤ「ｗ７」の単語「notebook」にラベルを付与する前におけるクラスタリング結果の一例を示す。図１１の（ａ）は、単語「notebook」のコンテキストの分布が、２つのクラスタ９１０１及び９１０２を含むことを示す。この場合、単語「notebook」のコンテキストの分布の重心９１１１は、２つのクラスタの中間点となるので、学習装置１００は２つのクラスタの意味の違いを区別することができない。
【００４０】
次に、単語ＩＤ「ｗ７」の単語「notebook」にラベルを付与した場合におけるクラスタリング結果の一例を、図１１の（ｂ）に示す。図１１の（ｂ）においては、「コンピュータ」に対応する単語ＩＤ「ｗ７＿１」の単語「notebook_1」と、「帳面」に対応する単語ＩＤ「ｗ７＿２」の単語「notebook_2」とがそれぞれ別のクラスタ９２０１及び９３０１を構成する。また、クラスタ９２０１及びクラスタ９３０１は、それぞれ異なる重心９２１１及び９３１１を有する。これにより、学習装置１００は単語「notebook」についての意味の違いを把握することができる。
【００４１】
次に、単語ＩＤ「ｗ１０」の単語「table」にもラベルを付与した場合におけるクラスタリング結果の一例を、図１１の（ｃ）に示す。図１１の（ｃ）においては、「卓」に対応する単語ＩＤ「ｗ１０＿１」の単語「table_1」と、「表」に対応する単語ＩＤ「ｗ１０＿２」の単語「table_2」とがそれぞれ別のクラスタ９４０１及びクラスタ９５０１を構成する。また、また、クラスタ９４０１及びクラスタ９５０１は、それぞれ異なる重心９４１１及び９５１１を有する。これにより、学習装置１００は単語「table」についても意味の違いを把握することができる。
【００４２】
図１に戻って、出力部１３６は、クラスタ記憶部１２４を参照し、クラスタリング処理の結果を出力する。図１２は、実施例１における出力結果の一例を示す図である。図１２に示すように、出力部１３６は、クラスタリング処理の結果として、推定したい単語ごとに、クラスタに含まれるコンテキストを列挙する。また、出力部１３６は、ラベルが付された単語ＩＤ「ｗ７＿１」、「ｗ７＿２」、「ｗ１０＿１」及び「ｗ１０＿２」について、それぞれ別の単語として、クラスタに含まれるコンテキストを列挙する。なお、出力部１３６は、例えば図１１に示すようなクラスタリング結果を示すグラフを出力してもよい。
【００４３】
出力部１３６は、図１２に示すような画面を、例えば図示しない学習装置１００の表示部に出力する。なお、出力部１３６は、図１２に示すような画面を表示させるためのデータを、例えば図示しない通信部を通じて、他のコンピュータに送信してもよい。
【００４４】
［処理の流れ］
次に、本実施例における学習装置１００による学習処理について、図１３を用いて説明する。図１３は、実施例１における学習処理の一例を示すフローチャートである。図１３に示すように、学習装置１００の辞書生成部１３１は、例えば図示しない操作部を通じて、図示しないユーザから、学習開始の指示を受け付けるまで待機する（Ｓ１００：Ｎｏ）。辞書生成部１３１は、学習開始の指示を受け付けたと判定した場合（Ｓ１００：Ｙｅｓ）、学習用コーパス１２１から文書を取得して単語を抽出し、単語辞書１２２に記憶する（Ｓ１０１）。
【００４５】
次に、コンテキスト生成部１３２は、学習用コーパス１２１及び単語辞書１２２を参照し、文書に対応するコンテキストを生成して、コンテキスト記憶部１２３に記憶する（Ｓ１０２）。次に、クラスタリング処理部１３３は、単語辞書１２２に記憶された単語単位で、コンテキスト記憶部１２３に記憶されたコンテキストをクラスタリングする（Ｓ１０３）。クラスタリング処理部１３３は、単語辞書１２２に記憶された全ての単語について処理が完了するまで（Ｓ１１０：Ｎｏ）、Ｓ１０３に戻って処理を繰り返す。
【００４６】
クラスタリング処理部１３３は、単語辞書１２２に記憶された全ての単語について処理が完了すると（Ｓ１１０：Ｙｅｓ）、各単語について、１つの単語が複数のクラスタを含むか否かを判定する（Ｓ１１１）。クラスタリング処理部１３３は、１つの単語が複数のクラスタを含むと判定した場合（Ｓ１１１：Ｙｅｓ）、当該複数のクラスタのそれぞれにラベルを付与し（Ｓ１１２）、Ｓ１２０に移行する。一方、クラスタリング処理部１３３は、１つの単語が複数のクラスタを含まないと判定した場合（Ｓ１１１：Ｎｏ）、Ｓ１２０に移行する。
【００４７】
クラスタリング処理部１３３は、単語辞書１２２に記憶された全ての単語について処理が完了するまで（Ｓ１２０：Ｎｏ）、Ｓ１１１に戻って処理を繰り返す。そして、単語辞書１２２に記憶された全ての単語について処理が完了すると（Ｓ１２０：Ｙｅｓ）、結果判定部１３４は、単語辞書１２２において、新たに付与されたラベルがあるか否かを判定する（Ｓ１２１）。
【００４８】
結果判定部１３４は、単語辞書１２２において、新たに付与されたラベルがあると判定した場合（Ｓ１２１：Ｙｅｓ）、修正部１３５に単語辞書１２２の修正指示を出力する。修正部１３５は、単語辞書１２２を更新する（Ｓ１２２）。その後、修正部１３５は、クラスタリング処理部１３３に再処理指示を出力し、端子Ａを通じてＳ１０２に移行する。
【００４９】
一方、結果判定部１３４は、単語辞書１２２において、新たに付与されたラベルはないと判定した場合（Ｓ１２１：Ｎｏ）、出力部１３６に学習結果の出力を指示する。出力部１３６は、クラスタ記憶部１２４を参照して、図９に示すような結果画面を出力し（Ｓ１３０）、処理を終了する。
【００５０】
［効果］
以上説明したように、本実施例における学習装置は、複数の文書を、当該文書に含まれる単語を用いてクラスタに分類し、前記単語を含む文書が複数のクラスタを含む場合、各クラスタを構成する文書に含まれる単語ごとに、それぞれ異なるラベルを付与する。そして、本実施例における学習装置は、前記異なるラベルが新たに付与された単語がある場合に、前記異なるラベルが付与された単語を用いて前記分類する処理を繰り返す。これにより、意味ごとに細分化された単語に対して分類する処理を繰り返すので、分散学習の精度を向上できる。
【００５１】
また、本実施例における学習装置は、複数の文書に含まれる単語を抽出して、辞書を生成し、複数の文書から、各文書において出現する単語を示すコンテキストを、生成された前記辞書を参照して、当該複数の文書に含まれる単語単位で生成する。そして、本実施例における学習装置は、複数のクラスタを含む単語を、それぞれクラスタごとに異なる単語となるように辞書を修正し、修正された前記辞書を用いて前記分類する処理を繰り返す。これにより、コンテキストを用いたベクトル演算により、単語を分類することができる。
【００５２】
さらに、本実施例における学習装置は、分類する処理の結果、特定の単語を含む文書が複数のクラスタを含むか否かを判定する。そして、本実施例における学習装置は、全ての単語について、当該単語を含む文書が複数のクラスタを含まないと判定された場合に、修正された前記辞書に記憶された単語を含む前記分類する処理の結果を出力する。これにより、分類する処理の結果を容易に把握できる。
【実施例２】
【００５３】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。例えば、学習装置１００は、機能ブロックの一部が外部のコンピュータに実装されていてもよい。例えば、学習装置１００が学習用コーパス１２１を有さない代わりに、図示しない通信部を通じて外部のデータベースにアクセスして、学習用コーパスを取得するような構成であってもよい。また、学習装置１００が単語辞書１２２を生成する代わりに、外部のデータベースから単語辞書を取得するような構成であってもよい。
【００５４】
また、本実施例におけるコンテキストは、文書中に出現する単語を「１」、推定したい単語及び文書中に出現しない単語を「０」で示すベクトルにより表されるが、これに限られない。例えば、コンテキストの値を、単語が文書中に出現する回数としてもよい。この場合、コンテキストの各項は「０」と「１」だけでなく、２以上の値をとることがある。
【００５５】
［システム］
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともできる。あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００５６】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００５７】
［ハードウェア構成］
図１４は、コンピュータのハードウェア構成例を示す図である。図１４に示すように、コンピュータ５００は、各種演算処理を実行するＣＰＵ５０１と、ユーザからのデータ入力を受け付ける入力装置５０２と、モニタ５０３とを有する。また、コンピュータ５００は、記憶媒体からプログラムなどを読み取る媒体読取装置５０４と、他の装置と接続するためのインターフェース装置５０５と、他の装置と無線により接続するための無線通信装置５０６とを有する。また、コンピュータ５００は、各種情報を一時記憶するＲＡＭ５０７と、ハードディスク装置５０８とを有する。また、各装置５０１〜５０８は、バス５０９に接続される。
【００５８】
ハードディスク装置５０８には、図１に示した分析部１３０と同様の機能を有する分析プログラムが記憶される。また、ハードディスク装置５０８には、分析プログラムを実現するための各種データが記憶される。各種データには、図１に示した記憶部１２０内のデータが含まれる。
【００５９】
ＣＰＵ５０１は、ハードディスク装置５０８に記憶された各プログラムを読み出して、ＲＡＭ５０７に展開して実行することで、各種の処理を行う。これらのプログラムは、コンピュータ５００を図１に示した各機能部として機能させることができる。
【００６０】
なお、上記の分析プログラムは、必ずしもハードディスク装置５０８に記憶されている必要はない。例えば、コンピュータ５００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ５００が読み出して実行するようにしてもよい。コンピュータ５００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal  Serial  Bus）メモリなどの可搬型記録媒体、フラッシュメモリなどの半導体メモリ、ハードディスクドライブなどが対応する。また、公衆回線、インターネット、ＬＡＮ（Local  Area  Network）などに接続された装置にこれらのプログラムを記憶させておき、コンピュータ５００がこれらのプログラムを読み出して実行するようにしても良い。
【符号の説明】
【００６１】
１００  学習装置
１２０  記憶部
１２１  学習用コーパス
１２２  単語辞書
１２３  コンテキスト記憶部
１２４  クラスタ記憶部
１３０  分析部
１３１  辞書生成部
１３２  コンテキスト生成部
１３３  クラスタリング処理部
１３４  結果判定部
１３５  修正部
１３６  出力部
【図１】
2018169939.tif 000003
【図２】
2018169939.tif 000004
【図３】
2018169939.tif 000005
【図４Ａ】
2018169939.tif 000006
【図４Ｂ】
2018169939.tif 000007
【図４Ｃ】
2018169939.tif 000008
【図４Ｄ】
2018169939.tif 000009
【図５】
2018169939.tif 000010
【図６】
2018169939.tif 000011
【図７】
2018169939.tif 000012
【図８】
2018169939.tif 000013
【図９】
2018169939.tif 000014
【図１０】
2018169939.tif 000015
【図１１】
2018169939.tif 000016
【図１２】
2018169939.tif 000017
【図１３】
2018169939.tif 000018
【図１４】
2018169939.tif 000019