(57)【要約】【課題】  概念ベースを生成し直すことなく、短時間で、評価用のテキスト中の任意の単語に対し、適切な対応する概念ベクトルを推定する。【解決手段】  本発明は、テキストＡ中のある単語集合Ｓとある単語集合Ｋをとり、Ｓ中の単語とＫ中の単語の任意の対の、Ａにおける共起頻度を記録した共起行列Ｘを生成し、Ｘに対して特異値分解を実行し、Ｘが該特異値分解によってＸ＝ＵΣＶｔと分解されたとき、行列Ｖの左から指定した数の列ベクトルをとって得られる行列をＶ’、Σの左上から前記指定した数と同じ行数、列数を持つ正方行列をとって得られる行列をΣ’としたとき、行列Ｖ’またはＶ’Σ’−１を取得し、テキストＢ中の単語ｗに対し、ｗとＫ中の単語の任意の対の共起頻度を記録したベクトルｈｗを生成し、ｈｗＶ’またはｈｗＶ’Σ’−１、またはそれらの長さを正規化して得られるベクトルを単語ｗの概念ベクトルとして推定する。【選択図】  図１
2005128917.tif 000002
【特許請求の範囲】
【請求項１】
単語の意味を表現する概念ベクトルを推定する単語ベクトル推定装置が実行する単語ベクトル推定方法において、
特異値分解手段が、テキストＡ中のある単語集合Ｓとある単語集合Ｋをとり、該単語集合Ｓ中の単語と該単語集合Ｋ中の単語の任意の対の、該テキストＡにおける共起頻度を記録した共起行列Ｘを生成し、該共起行列Ｘに対して特異値分解を実行し、該共起行列Ｘが該特異値分解によってＸ＝ＵΣＶｔと分解されたとき、行列Ｖの左から指定した数の列ベクトルをとって得られる行列をＶ’、Σの左上から前記指定した数と同じ行数、列数をもつ正方行列をとって得られる行列をΣ’としたとき、行列Ｖ’またはＶ’Σ’−１を取得する特異値分解過程と、
概念ベクトル推定手段が、テキストＢ中の単語ｗに対し、該単語ｗと単語集合Ｋ中の単語の任意の対の共起頻度を記録したベクトルｈｗを生成し、ｈｗＶ’またはｈｗＶ’Σ’−１、またはそれらの長さを正規化して得られるベクトルを単語ｗの概念ベクトルとして推定する概念ベクトル推定過程とからなることを特徴とする単語ベクトル推定方法。
【請求項２】
単語の意味を表現する概念ベクトルを推定する単語ベクトル推定装置において、
テキストＡ中のある単語集合Ｓとある単語集合Ｋをとり、該単語集合Ｓ中の単語と該単語集合Ｋ中の単語の任意の対の、該テキストＡにおける共起頻度を記録した共起行列Ｘを生成し、該共起行列Ｘに対して特異値分解を実行し、該共起行列Ｘが該特異値分解によってＸ＝ＵΣＶｔと分解されたとき、行列Ｖの左から指定した数の列ベクトルをとって得られる行列をＶ’、Σの左上から前記指定した数と同じ行数、列数をもつ正方行列をとって得られる行列をΣ’としたとき、行列Ｖ’またはＶ’Σ’−１を取得する特異値分解手段と、
テキストＢ中の単語ｗに対し、該単語ｗと単語集合Ｋ中の単語の任意の対の共起頻度を記録したベクトルｈｗを生成し、ｈｗＶ’またはｈｗＶ’Σ’−１、またはそれらの長さを正規化して得られるベクトルを単語ｗの概念ベクトルとして推定する概念ベクトル推定手段とからなることを特徴とする単語ベクトル推定装置。
【請求項３】
コンピュータを、
テキストＡのある単語集合Ｓとある単語集合Ｋをとり、該単語集合Ｓ中の単語と該単語集合Ｋ中の単語の任意の対の、テキストＡにおける共起頻度を記録した共起行列Ｘを生成し、該共起行列Ｘに対して特異値分解を実行し、該共起行列Ｘが該特異値分解によってＸ＝ＵΣＶｔと分解されたとき、行列Ｖの左から指定した数の列ベクトルをとって得られる行列をＶ’、Σの左上から前記指定した数と同じ行数、列数をもつ正方行列をとって得られる行列をΣ’としたとき、行列Ｖ’またはＶ’Σ’−１を取得する特異値分解手段と、
テキストＢ中の単語ｗに対し、該単語ｗと単語集合Ｋ中の単語の任意の対の共起頻度を記録したベクトルｈｗを生成し、ｈｗＶ’またはｈｗＶ’Σ’−１、またはそれらの長さを正規化して得られるベクトルを単語ｗの概念ベクトルとして推定する概念ベクトル推定手段として機能させることを特徴とする単語ベクトル推定プログラム。
【請求項４】
コンピュータを、
テキストＡのある単語集合Ｓとある単語集合Ｋをとり、該単語集合Ｓ中の単語と該単語集合Ｋ中の単語の任意の対の、テキストＡにおける共起頻度を記録した共起行列Ｘを生成し、該共起行列Ｘに対して特異値分解を実行し、該共起行列Ｘが該特異値分解によってＸ＝ＵΣＶｔと分解されたとき、行列Ｖの左から指定した数の列ベクトルをとって得られる行列をＶ’、Σの左上から前記指定した数と同じ行数、列数をもつ正方行列をとって得られる行列をΣ’としたとき、行列Ｖ’またはＶ’Σ’−１を取得する特異値分解手段と、
テキストＢ中の単語ｗに対し、該単語ｗと単語集合Ｋ中の単語の任意の対の共起頻度を記録したベクトルｈｗを生成し、ｈｗＶ’またはｈｗＶ’Σ’−１、またはそれらの長さを正規化して得られるベクトルを単語ｗの概念ベクトルとして推定する概念ベクトル推定手段として機能させるプログラムを記録したことを特徴とする単語ベクトル推定プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単語ベクトル推定方法及び装置及び単語ベクトル推定プログラム及び単語ベクトル推定プログラムを記録したコンピュータ読み取り可能な記録媒体に係り、特に、単語の意味を表現する概念ベクトルを推定するための単語ベクトル推定方法及び装置及び単語ベクトル推定プログラム及び単語ベクトル推定プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
単語の意味を表現する概念ベクトルが格納されている概念ベースを生成する手法として、コーパス中の単語間の共起頻度を記録した単語・単語間の共起行列を特異値分解により次元数（列数のこと）を縮退させた行列に変換する。この変換後の行列の各行ベクトルを、対応する単語の概念ベクトルと呼び、単語とその概念ベクトルの対の集合を概念ベースと呼ぶ。
【０００３】
元の共起行列における行ベクトルは、他の単語との共起パターンを表しており、２つの単語の対応する行ベクトルが近ければ共起パターンが似ているので、その２つの単語は意味的に近いと推察される。しかしながら、該共起行列は殆どの成分が０といったスパースなものであり、単語間の類似性の精度は一般に低い。また、一般に行ベクトルの次元数は非常に大きな数なので、ベクトルを利用した言語処理の処理時間も非常に長くなる。このため、該共起行列を特異値分解により、次元数を少なくした行列に圧縮する。このようにすると、単語間の類似性の精度は非常に高くなり、またベクトルを利用する処理の時間も短縮される（例えば、非特許文献１参照）。
【非特許文献１】Schutze, H. :Dimensions of Meaning, Proc. of Supercomputing ’92, pp. 786-796(1992)
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一旦概念ベースを生成した後、それを評価用テキストの言語処理に使用する際、テキスト中の各単語に対し、当該単語で概念ベースを検索し対応するベクトルを付与する。しかし概念ベース中にない単語についてはベクトルが割り当てられず、ベクトルを利用した言語処理において、そのような単語は全く考慮されなくなる。
【０００５】
テキストの話題構造化等の言語処理で概念ベースを使用する際、話題に特徴的な単語で概念ベースにないようなものがあると、精度の低下を招く。新語等が話題に特徴的な単語であることも多く、これらが概念ベース作成時にないために概念ベース中にないことも多い。
【０００６】
どんなに数多くの単語を含む概念ベースを用意しても、概念ベース中にない単語が評価用テキスト中に出てくることは避けられない。
【０００７】
また、概念ベース生成用テキストと評価用テキストを連接して得られるテキストが概念ベースを生成し直し、評価用テキスト中の全ての単語に概念ベクトルを割り当てるという方法もあるが、一般に特異値分解処理は長い時間がかかるため、評価用テキストを処理する度に、概念ベースを生成し直すのでは時間がかかりすぎるという問題がある。
【０００８】
本発明は、上記の点に鑑みなされたもので、概念ベースを生成し直すことなく、短時間で、評価用テキスト中の任意の単語に対し、当該単語が概念ベースに存在するか否かに関わらず、適切な対応する概念ベクトルを推定することを可能とする単語ベクトル推定方法及び装置及び単語ベクトル推定プログラム及び単語ベクトル推定プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
図１は、本発明の原理を説明するための図である。
【００１０】
上記の課題を解決するため、本発明は、単語の意味を表現する概念ベクトルを推定する単語ベクトル推定装置が実行する単語ベクトル推定方法において、
特異値分解手段が、テキストＡ中のある単語集合Ｓとある単語集合Ｋをとり、該単語集合Ｓ中の単語と該単語集合Ｋ中の単語の任意の対の、該テキストＡにおける共起頻度を記録した共起行列Ｘを生成し、該共起行列Ｘに対して特異値分解を実行し、該共起行列Ｘが該特異値分解によってＸ＝ＵΣＶｔと分解されたとき、行列Ｖの左から指定した数の列ベクトルをとって得られる行列をＶ’、Σの左上から前記指定した数と同じ行数、列数をもつ正方行列をとって得られる行列をΣ’としたとき、行列Ｖ’またはＶ’Σ’−１を取得する特異値分解過程（ステップ１）と、
概念ベクトル推定手段が、テキストＢ中の単語ｗに対し、該単語ｗと単語集合Ｋ中の単語の任意の対の共起頻度を記録したベクトルｈｗを生成し、ｈｗＶ’またはｈｗＶ’Σ’−１、またはそれらの長さを正規化して得られるベクトルを単語ｗの概念ベクトルとして推定する概念ベクトル推定過程（ステップ２）とからなる。
【００１１】
図２は、本発明の原理構成図である。
【００１２】
本発明は、単語の意味を表現する概念ベクトルを推定する単語ベクトル推定装置において、
テキストＡ中のある単語集合Ｓとある単語集合Ｋをとり、該単語集合Ｓ中の単語と該単語集合Ｋ中の単語の任意の対の、該テキストＡにおける共起頻度を記録した共起行列Ｘを生成し、該共起行列Ｘに対して特異値分解を実行し、該共起行列Ｘが該特異値分解によってＸ＝ＵΣＶｔと分解されたとき、行列Ｖの左から指定した数の列ベクトルをとって得られる行列をＶ’、Σの左上から前記指定した数と同じ行数、列数をもつ正方行列をとって得られる行列をΣ’としたとき、行列Ｖ’またはＶ’Σ’−１を取得する特異値分解手段２１と、
テキストＢ中の単語ｗに対し、該単語ｗと単語集合Ｋ中の単語の任意の対の共起頻度を記録したベクトルｈｗを生成し、ｈｗＶ’またはｈｗＶ’Σ’−１、またはそれらの長さを正規化して得られるベクトルを単語ｗの概念ベクトルとして推定する概念ベクトル推定手段２２とからなる。
【００１３】
本発明は、単語ベクトル推定プログラムであり、コンピュータを、
テキストＡのある単語集合Ｓとある単語集合Ｋをとり、該単語集合Ｓ中の単語と該単語集合Ｋ中の単語の任意の対の、テキストＡにおける共起頻度を記録した共起行列Ｘを生成し、該共起行列Ｘに対して特異値分解を実行し、該共起行列Ｘが該特異値分解によってＸ＝ＵΣＶｔと分解されたとき、行列Ｖの左から指定した数の列ベクトルをとって得られる行列をＶ’、Σの左上から前記指定した数と同じ行数、列数をもつ正方行列をとって得られる行列をΣ’としたとき、行列Ｖ’またはＶ’Σ’−１を取得する特異値分解手段と、
テキストＢ中の単語ｗに対し、該単語ｗと単語集合Ｋ中の単語の任意の対の共起頻度を記録したベクトルｈｗを生成し、ｈｗＶ’またはｈｗＶ’Σ’−１、またはそれらの長さを正規化して得られるベクトルを単語ｗの概念ベクトルとして推定する概念ベクトル推定手段として機能させる。
【００１４】
本発明は、単語ベクトル推定プログラムを記録したコンピュータ読み取り可能な記録媒体であり、コンピュータを、
テキストＡのある単語集合Ｓとある単語集合Ｋをとり、該単語集合Ｓ中の単語と該単語集合Ｋ中の単語の任意の対の、テキストＡにおける共起頻度を記録した共起行列Ｘを生成し、該共起行列Ｘに対して特異値分解を実行し、該共起行列Ｘが該特異値分解によってＸ＝ＵΣＶｔと分解されたとき、行列Ｖの左から指定した数の列ベクトルをとって得られる行列をＶ’、Σの左上から前記指定した数と同じ行数、列数をもつ正方行列をとって得られる行列をΣ’としたとき、行列Ｖ’またはＶ’Σ’−１を取得する特異値分解手段と、
テキストＢ中の単語ｗに対し、該単語ｗと単語集合Ｋ中の単語の任意の対の共起頻度を記録したベクトルｈｗを生成し、ｈｗＶ’またはｈｗＶ’Σ’−１、またはそれらの長さを正規化して得られるベクトルを単語ｗの概念ベクトルとして推定する概念ベクトル推定手段として機能させるプログラムを記録する。
【発明の効果】
【００１５】
上述のように、本発明によれば、共起行列Ｘが該特異値分解によってＸ＝ＵΣＶｔと分解されたとき、ＵΣまたはＵの、左から指定した列までをとって得られる行列（ＵΣ）’（＝Ｕ’Σ’）、Ｕ’、またはそれらの各行ベクトルの長さを１に正規化した行列がいわゆる概念ベースである。ここで、ＸＶ＝ＵΣより、ＸＶ’＝Ｕ’Σ ’、ＸＶ’Σ’−１＝Ｕ’となるため、任意のベクトルｈｗに対して、ｈｗＶ’またはｈｗＶ’Σ’−１、またはそれらの長さを１に正規化して得られるベクトルをとることによって、真の概念ベクトルに近い概念ベクトルを推定することが可能になる。
【発明を実施するための最良の形態】
【００１６】
以下、図面と共に本発明の実施の形態を説明する。
【００１７】
まず、前述の図１、図２に基づいて動作と構成を説明する。
【００１８】
本発明は、特異値分解手段２１が、テキストＡ中のある単語集合Ｓとある単語集合Ｋをとり、Ｓ中の単語とＫ中の単語の任意の対の、テキストＡにおける共起頻度を記録した共起行列Ｘを生成し、該共起行列Ｘに対して特異値分解を実行し、Ｘが該特異値分解によってＸ＝ＵΣＶｔと分解されたとき、行列Ｖの左から指定した数の列ベクトルをとって得られる行列をＶ’、Σの左上から前記指定した数と同じ行数、列数をもつ正方行列をとって得られる行列をΣ’としたとき、行列Ｖ’またはＶ’Σ ’−１を取得する特異値分解過程（ステップ１）と、概念ベクトル推定手段２２が、テキストＢ中の単語ｗに対し、ｗと単語集合Ｋ中の単語の任意の対の共起頻度を記録したベクトルｈｗを生成し、ｈｗＶ’または、ｈｗＶ’Σ’−１、またはそれらの長さを正規化して得られるベクトルを単語ｗの概念ベクトルとして推定する概念ベクトル推定過程（ステップ２）とからなる。
【００１９】
以下、本発明の各手段の詳細な説明を行っていく。
【００２０】
特異値分解手段２１は、まず概念ベース生成用テキストであるテキストＡを形態素解析し、単語単位に分割する。この結果得られた単語の内、品詞情報等を参照して、内容語のみを残す。この結果得られた単語集合に対し、同一単語をユニークにして得られる単語集合Ｔを求める。
【００２１】
Ｔ中の単語をテキストＡ中の出現頻度の多い順にソートする。頻度数が上位の単語を指定した数だけとって得られる単語集合をＳとする。また、Ｔ中、指定した順位から指定した個数分の単語をとって得られる単語集合をＫとする。
【００２２】
図３のように、各行にＳ中の単語が対応し、各列にＫ中の単語が対応する行列Ｘを作成する。この行列Ｘに、Ｓ中の単語とＫ中の単語の任意の対が、テキストＡ中に共起する頻度を記録していく。共起頻度のカウントの仕方は以下の通りである。
【００２３】
初めにＸの全成分の値を０とする。テキストＡ中の各文ごとに、該文に含まれるＳ中の単語の集合Ｓ’（同一単語が複数ある場合、別物とする）と、Ｋ中の単語の集合Ｋ’（同一単語が複数ある場合、別物とする）をとる。Ｓ’中の単語とＫ’中の単語の任意の対（ｗｓ，ｗｋ）をとる度に、Ｘ中の（ｗｓ，ｗｋ）に対応する成分を１だけ増やす。
【００２４】
このように共起頻度をカウントして得られる行列Ｘにおいて、各行ベクトルは、Ｓ中の対応する単語の、Ｋ中の単語との共起パターンを表す。Ｓ中の単語の対をとったとき、対応する行ベクトルが近ければ共起パターンが似ているので、その２つの単語は意味的に近いと推察される。
【００２５】
しかしながら、共起行列Ｘは殆どの成分が０といったスパースなものであるため、単語間の類似性の精度は一般に低い。また、一般に行ベクトルの次元数は非常に大きな数なので、ベクトルを利用した言語処理の処理時間も非常に長くなる。このため、共起行列Ｘを特異値分解により、次元数を少なくした行列に圧縮する。このようにすると、単語間の類似性の精度は非常に高くなり、またベクトルを利用する処理の時間も短縮される。
【００２６】
特異値分解により、共起行列Ｘは、Ｘ＝ＵΣＶｔと分解される。この分解の様子を図示したものが図４である。
【００２７】
【数１】
2005128917.tif 000003
によりＸが（ｐ，ｑ）行列であることを表すとすると、
【００２８】
【数２】
2005128917.tif 000004
となる。ここで、ｒ＝rankＸ≦min（ｐ，ｑ）、ＵｔＵ＝ＶｔＶ＝Ｉ（Ｉ：単位行列）であり、Σ＝（δｉｊ）としたとき、δｉｉ≧δｊｊ＞０
【００２９】
【数３】
2005128917.tif 000005
δｉｊ＝０（ｉ≠ｊ）である。δｉｉ（１≦ｉ≦ｒ）をＸの特異値と呼ぶ。
【００３０】
Ｘの各行ベクトルはｑ次元空間中にある。Ｖｔのｒ個の行ベクトルは、ｑ次元空間中の正規直交基底であり、Ｘの第ｉ番目のｑ次元行ベクトルは、この正規直交基底が張るｒ次元部分空間において、ＵΣの第ｉ番目のｒ次元行ベクトルで表される。
【００３１】
ここで、
【００３２】
【数４】
2005128917.tif 000006
に対し、図５のように、
【００３３】
【数５】
2005128917.tif 000007
をとると、Ｕ’Σ’の第ｉ番目の行ベクトルは、ＵΣの第ｉ番目の行ベクトルの１番目からｒ’番目までの座標をとったものであり、ＵΣの第ｉ番目の行ベクトルを、Ｖ’ｔの行ベクトルが張るｒ’次元部分空間に射影して得られるものである。Ｘの第ｉ番目のｑ次元行ベクトルは、Ｕ’Σ’の第ｉ番目のｒ’次元行ベクトルに射影される。Ｖ’ｔの行ベクトルが張るｒ’次元部分空間は、Ｘの各行ベクトルとその射影した点との距離の自乗和が最小となるｒ’次元部分空間であり、その意味でＸの行ベクトルの分布に最もあてはまりのよいｒ’次元部分空間である。Ｕ’Σ’の各行ベクトルは、Ｕ’の対応する行ベクトルを、各座標ごとに対応する特異値の割合で伸縮しているものである。このＵ’Σ’または、Ｕ’の各行ベクトル、またはそれらの長さを１に正規化したベクトルを、対応するＳ中の単語の概念ベクトルと呼ぶ。また、このＳ中の単語と対応する概念ベクトルの対の集合を概念ベースと呼ぶ。
【００３４】
射影の様子を図示したものが図６である。図６においては、ｑ＝２であり、Ｘの各行ベクトルは、座標軸Ｑ１，Ｑ２のなす空間において、黒丸の点で示されている。図６において、ｒ＝２である。ｖ１、ｖ２がＶｔの２個の行ベクトルであり、Ｖｔにおいてこの順番に上から並んでいる。Ｘのある行ベクトルｘ１＝（ａ１，ａ２）に対し、ｘ１＝ｂ１ｖ１＋ｂ２ｖ２と表されるならば、ＵΣの対応する行ベクトルは（ｂ１，ｂ２）となる。ｒ’＝１のときを考える。ｖ１が張る１次元部分空間は、Ｘの行ベクトルの分布に最もあてはまりのよい１次元部分空間であり、Ｘの各行ベクトルはこの１次元部分空間に射影される。ｘ１に対応するＵΣの行ベクトル（ｂ１，ｂ２）は、Ｕ’Σ ’の対応する行ベクトル（ｂ１）に射影される。すなわち、Ｘの行ベクトル（ａ１，ａ２）は、概念ベクトル（ｂ１）に変換されることになる。
【００３５】
本発明の基本的な考え方は、Ｘの中に存在しない行ベクトルｈｗに対しても、同様に射影したものを概念ベクトルとしようというものである。特異値分解の対象となる点の集合は異なっているので、真の射影空間も当然異なり、その結果、対応する真の概念ベクトルも異なる。しかし、点集合の分布の差異がそれ程大きくなければ、Ｘから得られた射影空間をそのまま使っても、射影空間に大きなずれはなく、したがって射影した点は、真の概念ベクトルと大きくずれることはなく、精度よく真の概念ベクトルを推定できる。ここで、Ｓ中にある単語でも、評価用テキストが加わると、共起パターンが変わるため、新たな共起パターンを表す行ベクトルを射影して概念ベクトルを求めてもよい。
【００３６】
ＸＶ＝ＵΣよりＸＶ’＝Ｕ’Σ’となる。これに倣い、ベクトルｈｗに対しｈｗＶ’としたものは、各成分がＶ’ｔの対応する行ベクトルとｈｗとの内積であるため、確かにＶ’ｔの行ベクトルが張るｒ’次元部分空間へのｈｗの射影となっている。よって、ｈｗＶ’及びその長さを１に正規化して得られるベクトルは、Ｕ’Σ’の行ベクトル及びその長さを１に正規化して得られるベクトルとしての概念ベクトルに相当する。またＸＶ’＝Ｕ’Σ’よりＸＶ’Σ’−１＝Ｕ’となるため、ｈｗＶ’Σ’−１及びその長さを１に正規化して得られるベクトルは、Ｕ’の行ベクトル及びその長さを１に正規化して得られるベクトルとしての概念ベクトルに相当する。
【００３７】
ここで本発明の処理を、特異値分解手段２１において、単語集合Ｔ，Ｓ，Ｋを求めた時点から改めて説明していく。
【００３８】
図７のように、各行にＴ中の単語が対応し、各列にＫ中の単語が対応する行列Ｙを作成する。この行列Ｙに、Ｔ中の単語とＫ中の単語の任意の対が、テキストＡ中に共起する頻度を記録していく。共起頻度のカウントの仕方は上で述べた通りである。
【００３９】
なお、行列Ｘのみを作成してＸに共起頻度を記録していってもよい。この場合、図７において、Ｔ＝Ｓ，Ｙ＝Ｘである。
【００４０】
Ｔ中の単語ｗに対応するＹ中の行ベクトルをｈｗＹと表す。
【００４１】
行列Ｙは非常に大きな行列であるため、Ｙに対して特異値分解を実行するのは、多くのメモリを必要とするため実行不可能の場合もあり得る。そこで、行列Ｘに対して特異値分解を実行する。特異値分解の結果、
【００４２】
【数６】
2005128917.tif 000008
となったとする。
【００４３】
【数７】
2005128917.tif 000009
を満たすｒ’を指定し、
【００４４】
【数８】
2005128917.tif 000010
とおく。Ｕ’Σ’の各行ベクトル、またはそれらの長さを１に正規化したベクトルが概念ベクトルである。この他、Ｕ’の各行ベクトル、またはそれらの長さを１に正規化したベクトルを概念ベクトルとしてもよいが、以後、Ｕ’Σ’の各行ベクトルを概念ベクトルとした上で説明を行っていく。他の場合でも、同様に処理を行っていくことは可能である。
【００４５】
特異値分解により行列Ｖ’が取得される。ＸＶ＝ＵΣよりＸＶ’＝Ｕ’Σ’の関係があることに注意する。
【００４６】
次に、概念ベクトル推定手段２２が、評価用テキストであるテキストＢを形態素解析し、単語単位に分割する。この結果得られた単語の内、品詞情報等を参照して、内容語のみを残す。この結果得られた単語集合に対し、同一単語をユニークにして得られる単語集合Ｗを求める。
【００４７】
図８のように、各行にＷ中の単語が対応し、各列にＫ中の単語が対応する行列Ｚを作成する。この行列Ｚに、Ｗ中の単語とK中の単語の任意の対が、テキストＢ中に共起する頻度を記録していく。共起頻度のカウントの仕方は上で述べたのと同様である。
【００４８】
W中の単語ｗに対応するＺ中の行ベクトルをｈｗＺと表す。
【００４９】
Ｗ中の任意の単語ｗの推定概念ベクトルを求める処理を図９を用いて説明する。
【００５０】
ｗがＴ中に含まれていたならばＹ中のｗに対応する行ベクトルをｈｗＹからｈｗＹ＋ｈｗＺに更新する。（ｈｗＹ＋ｈｗＺ）Ｖ’を推定概念ベクトルとする。
【００５１】
なおここで、ｗがＳ中に含まれているときは、Ｙ中のｗに対応する行ベクトルを更新せず、Ｕ’Σ’の対応する行ベクトル（すなわちｈｗＹＶ’）をそのまま概念ベクトルとしてもよい。これは、一旦作成した概念ベース中の概念ベクトルは固定したままとし、Ｓ中の単語に関しては、評価用テキスト中の共起パターンは考慮しないやり方である。
【００５２】
ｗがＴ中に含まれていないならば、Ｔにｗを追加する。また、Ｙにｗに対応する行ベクトルｈｗＺを追加する。ｈｗＺＶ’を推定概念ベクトルとする。
【００５３】
Ｗ中の全ての単語について上記の推定処理を行う。全ての単語についての処理が終わった後の、Ｔ、ＹをＴ’、Ｙ’と表すことにする。
【００５４】
次の評価用テキストＢ’が入ってきたときは、特異値分解手段１１から渡されたＴ、Ｙに対して再び上記と同じ処理を行う。
【００５５】
あるいは、前の評価用テキストを処理して得られたＴ’、Ｙ’に対して処理を行うというようにしてもよい。この後者の方法だと、評価用テキストが入ってくるたびに、共起行列Ｙは変化していくので、評価用テキストが蓄積されていくにつれ、共起行列の行ベクトルの分布は最初と大きく異なってくる可能性がある。そのため、ある程度評価用テキストが蓄積された時点で、元の概念ベース生成用テキストと蓄積された評価用テキストをマージしたものをテキストＡとして特異値分解手段２１の処理をやり直し、特異値分解手段２１の出力する各種データを更新してもよい。
【００５６】
なお、これまで述べた処理をプログラムとして構築し、当該プログラムを通信回線または、記憶媒体からインストールし、ＣＰＵ等の手段で実施することが可能である。
【００５７】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【産業上の利用可能性】
【００５８】
本発明は、言語処理に用いられる概念ベースの単語の意味を表現する概念ベクトルを推定する技術に適用可能である。
【図面の簡単な説明】
【００５９】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における共起行列Ｘの例を示す図である。
【図４】本発明の一実施の形態における共起行列Ｘの特異値分解を説明するための図である。
【図５】本発明の一実施の形態における特異値分解後の行列の次元縮退を説明するための図である。
【図６】本発明の一実施の形態における射影変換を説明するための図である。
【図７】本発明の一実施の形態における共起行列と特異値分解後の行列との関係を説明するための図である。
【図８】本発明の一実施の形態における評価用テキストから得られる共起行列を説明するための図である。
【図９】本発明の一実施の形態における推定概念ベクトルを求める処理を説明するための図である。
【符号の説明】
【００６０】
２１  特異値分解手段
２２  概念ベクトル推定手段
【図１】
2005128917.tif 000011
【図２】
2005128917.tif 000012
【図３】
2005128917.tif 000013
【図４】
2005128917.tif 000014
【図５】
2005128917.tif 000015
【図６】
2005128917.tif 000016
【図７】
2005128917.tif 000017
【図８】
2005128917.tif 000018
【図９】
2005128917.tif 000019