(57)【要約】【課題】各次元間に関連性を持たせた単語ベクトルを学習することができる単語学習装置、単語学習方法、及び単語学習プログラムを提供する。【解決手段】文の集合、及び単語の集合を入力とし、文の集合の各々の文に含まれる対象単語と、当該対象単語の周辺の周辺単語とを含む周辺文脈付き単語を抽出する。また、抽出された、全ての前記周辺文脈付き単語に対する、対象単語の単語ベクトルと、周辺単語の各々の単語ベクトルに対して巡回畳み込み又は巡回相互相関を用いた演算を行うことにより得られるベクトルとの積で算出されるスコア値を用いて表される目的関数を最適化するように、対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを学習する。そして、学習された単語ベクトルを出力する。【選択図】図１
2018147100.tif 000002
【特許請求の範囲】
【請求項１】
文の集合、及び単語の集合を入力とし、前記文の集合の各々の文に含まれる対象単語と、当該対象単語の周辺の周辺単語とを含む周辺文脈付き単語を抽出する周辺文脈付き単語抽出部と、
前記周辺文脈付き単語抽出部により抽出された、全ての前記周辺文脈付き単語に対する、
前記対象単語の単語ベクトルと、前記周辺単語の各々の単語ベクトルに対して巡回畳み込み又は巡回相互相関を用いた演算を行うことにより得られるベクトルとの積で算出されるスコア値を用いて表される目的関数を最適化するように、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを学習する単語ベクトル学習部と、
前記単語ベクトル学習部により学習された前記単語ベクトルを出力する出力部と、
を含む単語学習装置。
【請求項２】
前記単語ベクトル学習部は、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを含む単語ベクトルの集合をθとし、周辺文脈付き単語ｘと正解ラベルｙとのペア（ｘ，ｙ）の集合をＸとし、前記周辺文脈付き単語ｘに対するスコア値をηｘとした場合に、下記の式で定式化されたロジスティック回帰モデルＬ（θ）を前記目的関数として、前記目的関数を最小化する前記単語ベクトルの集合θを、最適な単語ベクトルの集合θ＾として学習する
請求項１記載の単語学習装置。
【数１】
2018147100.tif 000052
ただし、対象単語ｗtの単語ベクトルを
2018147100.tif 000053
とし、対象単語ｗtの左文脈の周辺単語の単語ベクトルを
2018147100.tif 000054
とし、対象単語ｗtの右文脈の周辺単語の単語ベクトルを
2018147100.tif 000055
とすると、前記スコア値ηｘは、以下の式で算出される。
【数２】
2018147100.tif 000056
2018147100.tif 000057
【請求項３】
周辺文脈付き単語抽出部、単語ベクトル学習部、及び出力部を有する単語学習装置における単語学習方法であって、
前記周辺文脈付き単語抽出部が、文の集合、及び単語の集合を入力とし、前記文の集合の各々の文に含まれる対象単語と、当該対象単語の周辺の周辺単語とを含む周辺文脈付き単語を抽出するステップと、
前記単語ベクトル学習部が、前記周辺文脈付き単語抽出部により抽出された、全ての前記周辺文脈付き単語に対する、
前記対象単語の単語ベクトルと、前記周辺単語の各々の単語ベクトルに対して巡回畳み込み又は巡回相互相関を用いた演算を行うことにより得られるベクトルとの積で算出されるスコア値を用いて表される目的関数を最適化するように、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを学習するステップと、
前記出力部が、前記単語ベクトル学習部により学習された前記単語ベクトルを出力するステップと、
を含む単語学習方法。
【請求項４】
前記単語ベクトル学習部が学習するステップでは、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを含む単語ベクトルの集合をθとし、周辺文脈付き単語ｘと正解ラベルｙとのペア（ｘ，ｙ）の集合をＸとし、前記周辺文脈付き単語ｘに対するスコア値をηｘとした場合に、下記の式で定式化されたロジスティック回帰モデルＬ（θ）を前記目的関数として、前記目的関数を最小化する前記単語ベクトルの集合θを、最適な単語ベクトルの集合θ＾として学習する
請求項３記載の単語学習方法。
【数３】
2018147100.tif 000058
ただし、対象単語ｗtの単語ベクトルを
2018147100.tif 000059
とし、対象単語ｗtの左文脈の周辺単語の単語ベクトルを
2018147100.tif 000060
とし、対象単語ｗtの右文脈の周辺単語の単語ベクトルを
2018147100.tif 000061
とすると、前記スコア値ηｘは、以下の式で算出される。
【数４】
2018147100.tif 000062
2018147100.tif 000063
【請求項５】
コンピュータを、請求項１又は２記載の単語学習装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文の集合から単語ベクトルを学習する単語学習装置、単語学習方法、及び単語学習プログラムに関する。
【背景技術】
【０００２】
従来、単語の意味を単語ベクトルで表現する手法として、一般に「ｗｏｒｄ２ｖｅｃ」と呼ばれるソフトウェアで使用されているＣＶＯＷ（Ｃｏｕｎｔｉｎｕｏｕｓ  Ｂａｇ−ｏｆ−Ｗｏｒｄｓ）モデル、及び、Ｓｋｉｐ−ｇｒａｍモデルが提案されている（非特許文献２参照）。これらのモデルは、文の集合を入力として、文の集合における各文に含まれる各単語に対してｄ次元ベクトルを学習し、出力するモデルとなっている。
【０００３】
ここでは、ＣＢＯＷモデルよりも優れたＳｋｉｐ−ｇｒａｍモデルについて、その概要を説明する。
【０００４】
まず、入力とした文の集合Ｘ中の文ｘ＝ｗ１，…，ｗＴに対して、
【数１】
2018147100.tif 000003
…（１）
【０００５】
という確率モデルを考える。ここで、ｃは単語ｗｔの周辺単語を考慮する履歴の長さを表す。ｔ＋ｊが１より小さくなる場合は、ｗｔ＋ｊは＜ｓ＞のような仮想先頭単語を考え、ｔ＋ｊがＴより大きくなる場合は、ｗｔ＋ｊは＜／ｓ＞のような仮想文末単語を考える。
【０００６】
Ｓｋｉｐ−ｇｒａｍモデルでは、
【数２】
2018147100.tif 000004
…（２）
【０００７】
としてモデル化する。ここで、ｖ及びｖ’は、下付き添字が表す単語の単語ベクトル、Ｗは、文書Ｘ中に含まれる全ての単語の集合とする。上記（１）式の確率モデルを最大化するような単語ベクトルｖ及びｖ’を学習する。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】John Duchi, Elad Hazan, and Yoram Singer. Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning Research, 12(Jul):2121-2159, 2011.
【非特許文献２】Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
Ｓｋｉｐ−ｇｒａｍモデル等の単語ベクトル学習モデルでは、ユークリッド空間上での積、和等を使って確率モデルを考えるため、一般に獲得される単語ベクトルの各次元要素は関連性を持たない。しかし、離散的な信号のように単語ベクトルの各次元間に関連性があり、単語ベクトルの次元の並びに意味を持たせることができれば、より多くの情報を単語ベクトルに記憶させることが可能となる。
【００１０】
本発明は、以上のような事情に鑑みてなされたものであり、各次元間に関連性を持たせた単語ベクトルを学習することができる単語学習装置、単語学習方法、及び単語学習プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の単語学習装置は、文の集合、及び単語の集合を入力とし、前記文の集合の各々の文に含まれる対象単語と、当該対象単語の周辺の周辺単語とを含む周辺文脈付き単語を抽出する周辺文脈付き単語抽出部と、前記周辺文脈付き単語抽出部により抽出された、全ての前記周辺文脈付き単語に対する、前記対象単語の単語ベクトルと、前記周辺単語の各々の単語ベクトルに対して巡回畳み込み又は巡回相互相関を用いた演算を行うことにより得られるベクトルとの積で算出されるスコア値を用いて表される目的関数を最適化するように、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを学習する単語ベクトル学習部と、前記単語ベクトル学習部により学習された前記単語ベクトルを出力する出力部と、を含む。
【００１２】
なお、前記単語ベクトル学習部は、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを含む単語ベクトルの集合をθとし、周辺文脈付き単語ｘと正解ラベルｙとのペア（ｘ，ｙ）の集合をＸとし、前記周辺文脈付き単語ｘに対するスコア値をηｘとした場合に、下記の式で定式化されたロジスティック回帰モデルＬ（θ）を前記目的関数として、前記目的関数を最小化する前記単語ベクトルの集合θを、最適な単語ベクトルの集合θ＾として学習するようにしても良い。
【数１】
2018147100.tif 000005
ただし、対象単語ｗtの単語ベクトルを
2018147100.tif 000006
とし、対象単語ｗtの左文脈の周辺単語の単語ベクトルを
2018147100.tif 000007
とし、対象単語ｗtの右文脈の周辺単語の単語ベクトルを
2018147100.tif 000008
とすると、前記スコア値ηｘは、以下の式で算出される。
【数２】
2018147100.tif 000009
2018147100.tif 000010
【００１３】
上記目的を達成するために、本発明の単語学習方法は、周辺文脈付き単語抽出部、単語ベクトル学習部、及び出力部を有する単語学習装置における単語学習方法であって、前記周辺文脈付き単語抽出部が、文の集合、及び単語の集合を入力とし、前記文の集合の各々の文に含まれる対象単語と、当該対象単語の周辺の周辺単語とを含む周辺文脈付き単語を抽出するステップと、前記単語ベクトル学習部が、前記周辺文脈付き単語抽出部により抽出された、全ての前記周辺文脈付き単語に対する、前記対象単語の単語ベクトルと、前記周辺単語の各々の単語ベクトルに対して巡回畳み込み又は巡回相互相関を用いた演算を行うことにより得られるベクトルとの積で算出されるスコア値を用いて表される目的関数を最適化するように、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを学習するステップと、前記出力部が、前記単語ベクトル学習部により学習された前記単語ベクトルを出力するステップステップと、を含む。
【００１４】
なお、前記単語ベクトル学習部が学習するステップでは、前記対象単語の各々の単語ベクトル、及び前記周辺単語の各々の単語ベクトルを含む単語ベクトルの集合をθとし、周辺文脈付き単語ｘと正解ラベルｙとのペア（ｘ，ｙ）の集合をＸとし、前記周辺文脈付き単語ｘに対するスコア値をηｘとした場合に、下記の式で定式化されたロジスティック回帰モデルＬ（θ）を前記目的関数として、前記目的関数を最小化する前記単語ベクトルの集合θを、最適な単語ベクトルの集合θ＾として学習するようにしても良い。
【数３】
2018147100.tif 000011
ただし、対象単語ｗtの単語ベクトルを
2018147100.tif 000012
とし、対象単語ｗtの左文脈の周辺単語の単語ベクトルを
2018147100.tif 000013
とし、対象単語ｗtの右文脈の周辺単語の単語ベクトルを
2018147100.tif 000014
とすると、前記スコア値ηｘは、以下の式で算出される。
【数４】
2018147100.tif 000015
2018147100.tif 000016
【００１５】
上記目的を達成するために、本発明のプログラムは、コンピュータを、上記単語学習装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１６】
本発明によれば、各次元間に関連性を持たせた単語ベクトルを学習することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】実施形態に係る単語学習装置の機能的な構成を示すブロック図である。
【図２】実施形態に係る単語学習処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本実施形態について図面を用いて説明する。
【００１９】
本実施形態に係る単語学習装置は、（巡回）畳み込み、及び（巡回）相互相関と呼ばれる離散ベクトル（離散信号）間の演算を行うことにより、各次元要素の並びに意味を持たせた単語ベクトルを獲得するためのモデルを学習する。
【００２０】
ここで２つのｄ次元の単語ベクトルｖ及びｖ’とすると、畳み込み＊は下記（３）式で定義される。
【００２１】
【数５】
2018147100.tif 000017
…（３）
【００２２】
また、相互相関
2018147100.tif 000018
は、下記（４）式で定義される。
【００２３】
【数６】
2018147100.tif 000019
…（４）
【００２４】
なお、畳み込みは、ｖｖ’＝ｖ’＊ｖとなり、可換な操作であるが、相互相関は、
2018147100.tif 000020
となり、非可換な操作となる。
【００２５】
図１は、本実施形態に係る単語学習装置１０の機能的な構成を示すブロック図である。図１に示すように、本実施形態に係る単語学習装置１０は、入力部１２、周辺文脈付き単語抽出部１４、単語ベクトル学習部１６、及び、出力部１８を備えている。
【００２６】
入力部１２は、文の集合Ｘ’と、文の集合Ｘ’における各文に含まれる単語の集合Ｗ＝｛ｗ１，…，ｗＮ｝と、周辺文脈の履歴長ｌとを入力とする。ただし、Ｎは、単語の数である。
【００２７】
周辺文脈付き単語抽出部１４は、文の集合Ｘ’に含まれる文をｘ’＝｛ｗ１，…，ｗＴ｝とする。全ての
2018147100.tif 000021
に対して、周辺文脈付き単語ｘ＝｛ｗｔ−ｌ，…，ｗｔ−１，ｗｔ，ｗｔ＋１，…，ｗｔ＋ｌ｝を取り出す。周辺文脈がｗ１より左になる場合、＜ｓ＞という特殊な単語を用い、周辺文脈がｗＴより右にある場合、＜／ｓ＞という特殊な単語を用いる。
【００２８】
周辺文脈付き単語抽出部１４は、上述した周辺文脈付き単語を取り出す処理を文の集合Ｘ’に含まれる全ての文について行い、取り出された周辺文脈付き単語ｘと正解ラベルを表す「１」とを組み合わせたペア（ｘ，１）とし、そのペアの集合をＸと定義する。なお、ペアの集合Ｘは、以下で提案するモデルの学習データとして用いられる。
【００２９】
また、上記非特許文献２に開示されているように、Ｓｋｉｐ−ｇｒａｍモデル等では、一般に、ベクトル学習を効果的に行うために、文の集合Ｘ’に含まれない周辺文脈付き単語ｘを用いた負例をサンプリングによって生成し、ペアの集合Ｘに混ぜること（Ｎｅｇａｔｉｖｅ  Ｓｍｐｌｉｎｇ）を行う。
【００３０】
本実施形態でも同様に、文の集合Ｘ’に現れなかった周辺文脈付き単語ｘと、正解ラベルを表す「−１」と組み合わせたペア（ｘ，−１）のような負例をサンプリングによって生成し、ペアの集合Ｘに混ぜることにより、ペアの集合Ｘを作成する。
【００３１】
単語ベクトル学習部１６は、ある周辺文脈付き単語ｘ＝｛ｗｔ−ｌ，…，ｗｔ−１，ｗｔ，ｗｔ＋１，…，ｗｔ＋ｌ｝に対して、畳み込み及び相互相関を用いて次の計算を行う。
【００３２】
まず、対象単語の周辺の周辺単語からなる周辺文脈を、左文脈ｃｌ＝｛ｗｔ−ｌ，…，ｗｔ−１｝と右文脈ｃｒ＝｛ｗｔ＋１，…，ｗｔ＋ｌ｝とに分け、畳み込みを行って、下記（５）式及び（６）式を用いて左文脈の単語ベクトルｖｃｌ’と、右文脈の単語ベクトルｖｃｒ’とを計算する。
【００３３】
【数７】
2018147100.tif 000022
…（５）
【数８】
2018147100.tif 000023
…（６）
【００３４】
次に、畳み込みを用いた下記（７）式、又は相互相関を用いた下記（８）式を用いて、周辺文脈付き単語における対象単語ｗｔのスコア値ηｘを計算する。すなわち、スコア値ηｘは、対象単語ｗｔの単語ベクトルｖｗｔと、周辺単語ｗｊの各々の単語ベクトルｖｃｌ’及びｖｃｒ’に対して巡回畳み込み又は巡回相互相関を用いた演算を行うことにより得られるベクトルとの積で算出される。
【００３５】
【数９】
2018147100.tif 000024
…（７）
【数１０】
2018147100.tif 000025
…（８）
【００３６】
上記（７）式では、畳み込みは可換な操作であるため、左右の周辺単語を区別せずに関連付けることができる。一方、上記（８）式では、相互相関を用いているため、左右の区別がある。上記（７）式及び（８）式のどちらでモデル化を行っても本質に差異はないため、本実施形態では、上記（７）式（巡回畳み込み）を用いた場合について説明する。
【００３７】
本実施形態では、上記（７）式又は（８）式で計算されるスコア値ηｘに対して、ロジスティック関数σを適用し、下記（９）式で示される確率値ｐθを考える。
【００３８】
【数１１】
2018147100.tif 000026
…（９）
【００３９】
ここで、
2018147100.tif 000027
はモデルパラメータであり、φｗｔ（ｃｌ，ｃｒ）は、周辺文脈付き単語ｗ＝｛ｃｌ，ｗｔ，ｃｒ｝が対象とするデータ上に存在するかしないかを表す２値関数である。
【００４０】
単語ベクトル学習部１６は、下記（１０）式に示すロジスティック回帰モデルを最小化するように定式化することで、最適なパラメータ
2018147100.tif 000028
、すなわち対象単語ｗｔの各々の単語ベクトルｖｗｔ、及び周辺単語ｗｊの各々の単語ベクトルｖｃｌ’及びｖｃｒ’を学習する。
【００４１】
【数１２】
2018147100.tif 000029
…（１０）
【００４２】
これは、Ａｄａｇｒａｄ等の確率的勾配降下法（上記非特許文献１を参照）によって最適化することができる。最適化の手続きは、以下のようになる。
【００４３】
（手順０）パラメータθは、各単語ベクトルの次元数Ｄを使って、
2018147100.tif 000030
から
2018147100.tif 000031
を区間とする一様分布から生成した乱数を用いて、単語ベクトルの各次元を初期化する。
【００４４】
（手順１）繰り返し回数のカウンタｉを０とし、以下の（手順２）をＭ（Ｍは任意の自然数）回繰り返す。
【００４５】
（手順２）
2018147100.tif 000032
に対して、下記（手順２−１）乃至（手順２−５）の計算を行う。ここで、ｘ、ｃｌ、ｃｒの定義は上述した通りである。
【００４６】
ここで、対象単語、及び各周辺単語に対する勾配ベクトル
2018147100.tif 000033
は、全てゼロベクトルで初期化されているものとする。
【００４７】
（手順２−１）カウンタｉにおける対象単語ｗｔの単語ベクトル
2018147100.tif 000034
の勾配を、下記（１１）式を用いて計算する。
【００４８】
【数１３】
2018147100.tif 000035
…（１１）
【００４９】
（手順２−２）
2018147100.tif 000036
に対して、カウンタｉにおける周辺単語ｗｊの単語ベクトル
2018147100.tif 000037
の勾配を、下記（１２）式を用いて計算する。
【００５０】
【数１４】
2018147100.tif 000038
…（１２）
【００５１】
ここで、
2018147100.tif 000039
とする。
【００５２】
（手順２−３）
2018147100.tif 000040
に対しても同様に、カウンタｉにおける周辺単語ｗｊの単語ベクトル
2018147100.tif 000041
の勾配を、下記（１３）式を用いて計算する。
【００５３】
【数１５】
2018147100.tif 000042
…（１３）
【００５４】
ここで、
2018147100.tif 000043
とする。
【００５５】
（手順２−４）カウンタ（ｉ＋１）における対象単語ｗｔの単語ベクトル
2018147100.tif 000044
の勾配を、下記（１４）式として更新する。
【００５６】
【数１６】
2018147100.tif 000045
…（１４）
【００５７】
また、
2018147100.tif 000046
に対しても、カウンタ（ｉ＋１）における周辺単語ｗｊの単語ベクトル
2018147100.tif 000047
の勾配を、下記（１５）式として更新する。
【００５８】
【数１７】
2018147100.tif 000048
…（１５）
【００５９】
（手順２−５）カウンタｉ＝ｉ＋１となるようにカウンタを更新する。
【００６０】
出力部１８は、単語ベクトル学習部１６により学習されたパラメータ（単語ベクトルの集合）θを出力する。
【００６１】
なお、本実施形態に係る単語学習装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、各種プログラムを記憶するＲＯＭ（Read Only Memory）を備えたコンピュータ装置で構成される。また、単語学習装置１０を構成するコンピュータは、ハードディスクドライブ、不揮発性メモリ等の記憶部を備えていても良い。本実施形態では、ＣＰＵがＲＯＭ、ハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記のハードウェア資源とプログラムとが協働し、上述した機能が実現される。
【００６２】
本実施形態に係る単語学習装置１０による単語学習処理の流れを、図２に示すフローチャートを用いて説明する。本実施形態では、単語学習装置１０に、単語学習処理の実行を開始するための予め定めた情報が入力されたタイミングで単語学習処理が開始されるが、単語学習処理が開始されるタイミングはこれに限らず、例えば、入力画像が入力されたタイミングで単語学習処理が開始されても良い。
【００６３】
ステップＳ１０１では、入力部１２が、文の集合Ｘ’、及び文の集合Ｘ’の各文に含まれる単語の集合Ｗを入力する。
【００６４】
ステップＳ１０３では、周辺文脈付き単語抽出部１４が、文の集合Ｘ’に含まれる何れかの文を選択する。
【００６５】
ステップＳ１０５では、周辺文脈付き単語抽出部１４が、選択した文に含まれる各単語を対象とし、右側に隣接するｌ個の単語を右文脈として抽出すると共に、左側に隣接するｌ個の単語を左文脈として抽出する。
【００６６】
ステップＳ１０７では、周辺文脈付き単語抽出部１４が、対象とした単語と、ステップＳ１０５で抽出した単語とを含む周辺文脈付き単語ｘを生成する。
【００６７】
ステップＳ１０９では、周辺文脈付き単語抽出部１４が、周辺文脈付き単語ｘと正解ラベルｙとのペア（ｘ，ｙ）の集合Ｘを生成する。
【００６８】
ステップＳ１１１では、周辺文脈付き単語抽出部１４が、未処理の文があるか否か、すなわち文の集合Ｘ’に含まれる文のうち、ステップＳ１０３乃至Ｓ１０９の処理を行っていない文があるか否かを判定する。ステップＳ１１１で未処理の文があると判定した場合（Ｓ１１１，Ｙ）はステップＳ１０３に戻り、未処理の文に対してステップＳ１０３乃至Ｓ１１１の処理を行う。また、ステップＳ１１１で未処理の文がないと判定した場合（Ｓ１１１，Ｎ）はステップＳ１１３に移行する。
【００６９】
ステップＳ１１３では、周辺文脈付き単語抽出部１４が、文の集合Ｘ’に含まれない周辺文脈付き単語ｘと正解ラベル「−１」とのペア（ｘ，ｙ）を集合Ｘに追加する。
【００７０】
ステップＳ１１５では、単語ベクトル学習部１６が、一様分布から生成した乱数を用いて、各対象単語及び各周辺単語の単語ベクトルの各次元を初期化する。
【００７１】
ステップＳ１１７では、単語ベクトル学習部１６が、カウンタｉ＝０にリセットする。
【００７２】
ステップＳ１１９では、単語ベクトル学習部１６が、カウンタｉに１を加算する。
【００７３】
ステップＳ１２１では、単語ベクトル学習部１６が、周辺文脈付き単語ｘの各々に対し、上記（１１）式、上記（１２）式、及び上記（１３）式を用いて、対象単語及び各周辺単語の単語ベクトルの勾配を計算する。
【００７４】
ステップＳ１２３では、単語ベクトル学習部１６が、周辺文脈付き単語ｘの各々に対し、対象単語及び各周辺単語の単語ベクトルの勾配と、上記（１４）式、及び上記（１５）式とを用いて、対象単語及び各周辺単語の単語ベクトルを更新し、単語ベクトルの集合θを計算する。
【００７５】
ステップＳ１２５では、単語ベクトル学習部１６が、カウンタｉがＭ（Ｍは予め定めた２以上の自然数）以上であるか否かを判定する。ステップＳ１２５でカウンタｉがＭ以上であった場合（Ｓ１２５，Ｙ）はステップＳ１２７に移行する。また、ステップＳ１２５でカウンタｉがＭより小さい場合（Ｓ１２５，Ｎ）はステップＳ１１９に戻り、ステップＳ１１９乃至Ｓ１２５の処理を行う。
【００７６】
ステップＳ１２７では、最適な単語ベクトルの集合θを出力し、本単語学習処理のプログラムの実行を終了する。なお、本実施形態では、推定された寸法をディスプレイ等の表示手段に表示させたり、推定された寸法を示すデータを記憶手段に記憶させたりすることにより、寸法情報を出力する。
【００７７】
このように、本実施形態では、文の集合、及び単語の集合を入力とし、文の集合の各々の文に含まれる対象単語と、当該対象単語の周辺の周辺単語とを含む周辺文脈付き単語を抽出する。また、抽出された、全ての前記周辺文脈付き単語に対する、対象単語の単語ベクトルと、周辺単語の各々の単語ベクトルに対して巡回畳み込み又は巡回相互相関を用いた演算を行うことにより得られるベクトルとの積で算出されるスコア値を用いて表される目的関数を最適化するように、対象単語の各々の単語ベクトル、及び周辺単語の各々の単語ベクトルを学習する。そして、学習された単語ベクトルを出力する。
【００７８】
Ｓｋｉｐ−ｇｒａｍモデル等で学習された単語ベクトルは機械翻訳、構文解析、形態素解析、文書分類等の自然言語処理の多くの問題に応用されている。本実施形態に係る単語学習装置１０により学習された単語ベクトルの集合θも、上記多くの問題に応用することが可能である。また、本実施形態に係る単語学習装置１０で獲得される単語ベクトルの集合θは各次元の並びに意味を持つため、より多くの情報をベクトルに組み込むことが可能になる。
【００７９】
なお、本実施形態では、対象単語ｗｔのスコア値ηｘを計算する際に、上記（７）式（巡回畳み込み）を用いた場合について説明したが、これに限らず、上記（８）式（巡回相互相関）を用いても良い。この場合には、上記（１１）式の代わりに下記（１６）式を用い、上記（１２）式の代わりに下記（１７）式を用い、上記（１３）式の代わりに下記（１８）式を用いれば良い。
【数１８】
2018147100.tif 000049
…（１６）
【数１９】
2018147100.tif 000050
…（１７）
【数２０】
2018147100.tif 000051
…（１８）
【００８０】
また、本実施形態では、図１に示す機能の構成要素の動作をプログラムとして構築し、単語学習装置１０として利用されるコンピュータにインストールして実行させるが、これに限らず、ネットワークを介して流通させても良い。
【００８１】
また、構築されたプログラムをハードディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールしたり、配布したりしても良い。
【符号の説明】
【００８２】
１０  単語学習装置
１２  入力部
１４  周辺文脈付き単語抽出部
１６  単語ベクトル学習部
１８  出力部
【図１】
2018147100.tif 000064
【図２】
2018147100.tif 000065