(57)【要約】【課題】上位語を精度よく推定することができる。【解決手段】第１学習手段１１により、単語概念ベース１４を参照することにより、シソーラス１３中の各レコードの下位語と上位語に対し、それぞれ、下位語概念ベクトル、上位語概念ベクトルを生成し、下位語概念ベクトルを並べた行列に乗じて得られる行列と、上位語概念ベクトルを並べた行列との自乗距離が最小となる最小自乗行列を求め、推定手段１２により、任意の語群Ａが与えられたとき、単語概念ベース１４を参照することにより、該語群Ａの概念ベクトルを生成し、該語群Ａの概念ベクトルと最小自乗行列とを乗じて、上位概念ベクトルを生成し、単語概念ベースにおける単語の概念ベクトル、または語概念ベースにおける語の概念ベクトルの各々と、該上位概念ベクトルとの類似度を各々算出し、該類似度の高い単語または語を、該語群Ａの上位語として出力する。【選択図】図１
2015095119.tif 000002
【特許請求の範囲】
【請求項１】
下位語と該下位語に対する上位語の対からなるレコードの集合を記憶したシソーラスと、
単語と該単語の意味を表す単語概念ベクトルとの対の集合を記憶した単語概念ベースと、
前記単語概念ベースを参照することにより、前記シソーラス中の各レコードの下位語と上位語に対し、それぞれ、下位語概念ベクトル、上位語概念ベクトルを生成し、該下位語概念ベクトルを並べた行列に乗じて得られる行列と、該上位語概念ベクトルを並べた行列との自乗距離が最小となる最小自乗行列を求める第１学習手段と、
少なくとも１つの語からなる任意の語群Ａが与えられたとき、前記単語概念ベースを参照することにより、該語群Ａの概念ベクトルを生成し、該語群Ａの概念ベクトルと前記最小自乗行列とを乗じて、上位概念ベクトルを生成し、前記単語概念ベースにおける単語の概念ベクトル、または語と該語の意味を表す語概念ベクトルとの対の集合を記憶した語概念ベースにおける語の概念ベクトルの各々と、該上位概念ベクトルとの類似度を各々算出し、該類似度の高い単語または語を、該語群Ａの上位語として出力する推定手段と
を含む、上位語推定装置。
【請求項２】
下位語と該下位語に対する上位語の対からなるレコードの集合を記憶したシソーラスと、
単語と該単語の意味を表す単語概念ベクトルとの対の集合を記憶した単語概念ベースと、
前記単語概念ベースを参照することにより、前記シソーラス中の上位語と該上位語に対する下位語の群との組み合わせに対し、それぞれ、上位語概念ベクトル、下位語群概念ベクトルを生成し、該下位語群概念ベクトルを並べた行列に乗じて得られる行列と、該上位語概念ベクトルを並べた行列との自乗距離が最小となる最小自乗行列を求める第２学習手段と、
少なくとも１つの語からなる任意の語群Ａが与えられたとき、前記単語概念ベースを参照することにより、該語群Ａの概念ベクトルを生成し、該語群Ａの概念ベクトルと前記最小自乗行列とを乗じて、上位概念ベクトルを生成し、前記単語概念ベースにおける単語の概念ベクトル、または語と該語の意味を表す語概念ベクトルとの対の集合を記憶した語概念ベースにおける語の概念ベクトルの各々と、該上位概念ベクトルとの類似度を各々算出し、該類似度の高い単語または語を、該語群Ａの上位語として出力する推定手段と
を含む、上位語推定装置。
【請求項３】
第１学習手段と、推定手段と、下位語と該下位語に対する上位語の対からなるレコードの集合を記憶したシソーラスと、単語と該単語の意味を表す単語概念ベクトルとの対の集合を記憶した単語概念ベースとを含む上位語推定装置における上位語推定方法であって、
前記第１学習手段は、前記単語概念ベースを参照することにより、前記シソーラス中の各レコードの下位語と上位語に対し、それぞれ、下位語概念ベクトル、上位語概念ベクトルを生成し、該下位語概念ベクトルを並べた行列に乗じて得られる行列と、該上位語概念ベクトルを並べた行列との自乗距離が最小となる最小自乗行列を求め、
前記推定手段は、少なくとも１つの語からなる任意の語群Ａが与えられたとき、前記単語概念ベースを参照することにより、該語群Ａの概念ベクトルを生成し、該語群Ａの概念ベクトルと前記最小自乗行列とを乗じて、上位概念ベクトルを生成し、前記単語概念ベースにおける単語の概念ベクトル、または語と該語の意味を表す語概念ベクトルとの対の集合を記憶した語概念ベースにおける語の概念ベクトルの各々と、該上位概念ベクトルとの類似度を各々算出し、該類似度の高い単語または語を、該語群Ａの上位語として出力する
上位語推定方法。
【請求項４】
第２学習手段と、推定手段と、下位語と該下位語に対する上位語の対からなるレコードの集合を記憶したシソーラスと、単語と該単語の意味を表す単語概念ベクトルとの対の集合を記憶した単語概念ベースとを含む上位語推定装置における上位語推定方法であって、
前記第２学習手段は、前記単語概念ベースを参照することにより、前記シソーラス中の上位語と該上位語に対する下位語の群との組み合わせに対し、それぞれ、上位語概念ベクトル、下位語群概念ベクトルを生成し、該下位語群概念ベクトルを並べた行列に乗じて得られる行列と、該上位語概念ベクトルを並べた行列との自乗距離が最小となる最小自乗行列を求め、
前記推定手段は、少なくとも１つの語からなる任意の語群Ａが与えられたとき、前記単語概念ベースを参照することにより、該語群Ａの概念ベクトルを生成し、該語群Ａの概念ベクトルと前記最小自乗行列とを乗じて、上位概念ベクトルを生成し、前記単語概念ベースにおける単語の概念ベクトル、または語と該語の意味を表す語概念ベクトルとの対の集合を記憶した語概念ベースにおける語の概念ベクトルの各々と、該上位概念ベクトルとの類似度を各々算出し、該類似度の高い単語または語を、該語群Ａの上位語として出力する
上位語推定方法。
【請求項５】
コンピュータを、請求項１又は２に記載の上位語推定装置を構成する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、語または語群の上位概念に相当する語を推定する上位語推定装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
語の上位・下位関係を規定したものとして、非特許文献１で述べられているＷｏｒｄｎｅｔがある（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】George A. Miller, Richard Beckwith, Christiane Fellbaum, Derek Gross, and Katherine J. Miller,“Introduction to Wordnet: An on-line lexical database,” International Journal of Lexicography, 3(4), 1990, pp.235-312.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１で述べられているＷｏｒｄｎｅｔ等のシソーラスは、極めて有用な知識情報であるものの、該シソーラス上にない語（新語、複合語、付属語を含む語句、文）に関しては、その上位語を取得することができないという課題がある。
【０００５】
また、複数の語の組合せに対する上位語を取得するには、各語の上位語を辿って、各語共通の上位語を取得する必要があり、そのような上位語は階層のかなり上位の抽象的なものとなり、適切でないことがあるという課題がある。
【０００６】
本発明は、既存のシソーラス上にない語や、複数の語の組合せに対する適切な上位語を推定することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、第１の発明に係る上位語推定装置は、下位語と該下位語に対する上位語の対からなるレコードの集合を記憶したシソーラスと、単語と該単語の意味を表す単語概念ベクトルとの対の集合を記憶した単語概念ベースと、前記単語概念ベースを参照することにより、前記シソーラス中の各レコードの下位語と上位語に対し、それぞれ、下位語概念ベクトル、上位語概念ベクトルを生成し、該下位語概念ベクトルを並べた行列に乗じて得られる行列と、該上位語概念ベクトルを並べた行列との自乗距離が最小となる最小自乗行列を求める第１学習手段と、少なくとも１つの語からなる任意の語群Ａが与えられたとき、前記単語概念ベースを参照することにより、該語群Ａの概念ベクトルを生成し、該語群Ａの概念ベクトルと前記最小自乗行列とを乗じて、上位概念ベクトルを生成し、前記単語概念ベースにおける単語の概念ベクトル、または語と該語の意味を表す語概念ベクトルとの対の集合を記憶した語概念ベースにおける語の概念ベクトルの各々と、該上位概念ベクトルとの類似度を各々算出し、該類似度の高い単語または語を、該語群Ａの上位語として出力する推定手段と、を含んで構成されている。
【０００８】
また、第２の発明に係る上位語推定方法は、第１学習手段と、推定手段を含み、下位語と該下位語に対する上位語の対からなるレコードの集合を記憶したシソーラスと、単語と該単語の意味を表す単語概念ベクトルとの対の集合を記憶した単語概念ベースとを含む上位語推定装置における上位語推定方法であって、前記第１学習手段は、前記単語概念ベースを参照することにより、前記シソーラス中の各レコードの下位語と上位語に対し、それぞれ、下位語概念ベクトル、上位語概念ベクトルを生成し、該下位語概念ベクトルを並べた行列に乗じて得られる行列と、該上位語概念ベクトルを並べた行列との自乗距離が最小となる最小自乗行列を求め、前記推定手段は、少なくとも１つの語からなる任意の語群Ａが与えられたとき、前記単語概念ベースを参照することにより、該語群Ａの概念ベクトルを生成し、該語群Ａの概念ベクトルと前記最小自乗行列とを乗じて、上位概念ベクトルを生成し、前記単語概念ベースにおける単語の概念ベクトル、または語と該語の意味を表す語概念ベクトルとの対の集合を記憶した語概念ベースにおける語の概念ベクトルの各々と、該上位概念ベクトルとの類似度を各々算出し、該類似度の高い単語または語を、該語群Ａの上位語として出力する。
【０００９】
第１及び第２の発明によれば、第１学習手段により、単語概念ベースを参照することにより、シソーラス中の各レコードの下位語と上位語に対し、それぞれ、下位語概念ベクトル、上位語概念ベクトルを生成し、下位語概念ベクトルを並べた行列に乗じて得られる行列と、上位語概念ベクトルを並べた行列との自乗距離が最小となる最小自乗行列を求め、推定手段により、任意の語群が与えられたとき、単語概念ベースを参照することにより、語群の概念ベクトルを生成し、語群の概念ベクトルと最小自乗行列とを乗じて、上位概念ベクトルを生成し、単語概念ベースにおける単語の概念ベクトル、または語概念ベースにおける語の概念ベクトルの各々と、上位概念ベクトルとの類似度を各々算出し、類似度の高い単語または語を、語群の上位語として出力する。
【００１０】
このように、第１及び第２の発明によれば、下位語概念ベクトルを並べた行列に乗じて得られる行列と、上位語概念ベクトルを並べた行列との自乗距離が最小となる最小自乗行列を求め、求められた最小自乗行列を用いることで、任意の語群の上位語を高精度に推定することができる。
【００１１】
第３の発明に係る上位語推定装置は、下位語と該下位語に対する上位語の対からなるレコードの集合を記憶したシソーラスと、単語と該単語の意味を表す単語概念ベクトルとの対の集合を記憶した単語概念ベースと、前記単語概念ベースを参照することにより、前記シソーラス中の上位語と該上位語に対する下位語の群との組み合わせに対し、それぞれ、上位語概念ベクトル、下位語群概念ベクトルを生成し、該下位語群概念ベクトルを並べた行列に乗じて得られる行列と、該上位語概念ベクトルを並べた行列との自乗距離が最小となる最小自乗行列を求める第２学習手段と、少なくとも１つの語からなる任意の語群Ａが与えられたとき、前記単語概念ベースを参照することにより、該語群Ａの概念ベクトルを生成し、該語群Ａの概念ベクトルと前記最小自乗行列とを乗じて、上位概念ベクトルを生成し、前記単語概念ベースにおける単語の概念ベクトル、または語と該語の意味を表す語概念ベクトルとの対の集合を記憶した語概念ベースにおける語の概念ベクトルの各々と、該上位概念ベクトルとの類似度を各々算出し、該類似度の高い単語または語を、該語群Ａの上位語として出力する推定手段と、を含んで構成されている。
【００１２】
第４の発明に係る上位語推定方法は、第２学習手段と、推定手段を含み、下位語と該下位語に対する上位語の対からなるレコードの集合を記憶したシソーラスと、単語と該単語の意味を表す単語概念ベクトルとの対の集合を記憶した単語概念ベースとを含む上位語推定装置における上位語推定方法であって、前記第２学習手段は、前記単語概念ベースを参照することにより、前記シソーラス中の上位語と該上位語に対する下位語の群との組み合わせに対し、それぞれ、上位語概念ベクトル、下位語群概念ベクトルを生成し、該下位語群概念ベクトルを並べた行列に乗じて得られる行列と、該上位語概念ベクトルを並べた行列との自乗距離が最小となる最小自乗行列を求め、前記推定手段は、少なくとも１つの語からなる任意の語群Ａが与えられたとき、前記単語概念ベースを参照することにより、該語群Ａの概念ベクトルを生成し、該語群Ａの概念ベクトルと前記最小自乗行列とを乗じて、上位概念ベクトルを生成し、前記単語概念ベースにおける単語の概念ベクトル、または語と該語の意味を表す語概念ベクトルとの対の集合を記憶した語概念ベースにおける語の概念ベクトルの各々と、該上位概念ベクトルとの類似度を各々算出し、該類似度の高い単語または語を、該語群Ａの上位語として出力する。
【００１３】
第３及び第４の発明によれば、第２学習手段により、単語概念ベースを参照することにより、シソーラス中の上位語と下位語の群の組み合わせに対し、それぞれ、上位語概念ベクトル、下位語群概念ベクトルを生成し、下位語群概念ベクトルを並べた行列に乗じて得られる行列と、上位語概念ベクトルを並べた行列との自乗距離が最小となる最小自乗行列を求め、推定手段により、任意の語群が与えられたとき、単語概念ベースを参照することにより、語群の概念ベクトルを生成し、語群の概念ベクトルと最小自乗行列とを乗じて、上位概念ベクトルを生成し、単語概念ベースにおける単語の概念ベクトル、または語概念ベースにおける語の概念ベクトルの各々と、上位概念ベクトルとの類似度を各々算出し、類似度の高い単語または語を、語群の上位語として出力する。
【００１４】
このように、第３及び第４の発明によれば、下位語群概念ベクトルを並べた行列に乗じて得られる行列と、上位語概念ベクトルを並べた行列との自乗距離が最小となる最小自乗行列を求め、求められた最小自乗行列を用いることで、任意の語群の上位語を高精度に推定することができる。
【００１５】
また、本発明のプログラムは、コンピュータを、上記の上位語推定装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００１６】
シソーラス上の下位語の概念ベクトルと、上位語の概念ベクトルとの対応関係を学習した最小自乗行列は、任意の語群Ａの概念ベクトルに対して、適切な上位概念に相当する概念ベクトルを導出するので、この上位概念ベクトルに近い概念ベクトルをもつ単語または語は、語群Ａの適切な上位語に相当する。
【００１７】
本発明により、既存のシソーラスでは上位語を導出できない語や語群の上位語も導出することができ、語の上位・下位関係を利用した言語処理の精度向上に寄与できる他、シソーラスそのものの拡充のコストを下げる効果も生み出す。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施の形態に係る上位語推定装置の機能的構成を示すブロック図である。
【図２】下位語と上位語の対の例を階層的に表した図である。
【図３】下位語と上位語の対の例をレコード形式で表した図である。
【図４】単語概念ベースの例を示す図である。
【図５】１共起ベクトルの成分値の分布をヒストグラムで表現した例を示す図である。
【図６】単語概念ベクトルが２次元とした場合の上位語・下位語の概念ベクトルの関係の例を示した図である。
【図７】語概念ベースの例を示す図である。
【図８】本発明の第１の実施の形態に係る上位語推定装置における最小自乗行列生成処理ルーチンを示すフローチャート図である。
【図９】本発明の第１の実施の形態に係る上位語推定装置における上位語推定処理ルーチンを示すフローチャート図である。
【図１０】本発明の第２の実施の形態に係る上位語推定装置の機能的構成を示すブロック図である。
【図１１】本発明の第２の実施の形態に係る上位語推定装置における最小自乗行列生成処理ルーチンを示すフローチャート図である。
【発明を実施するための形態】
【００１９】
以下、図面とともに本発明の実施例を説明する。
【００２０】
＜第１の実施の形態に係る上位語推定装置の構成＞
次に、本発明の第１の実施の形態に係る上位語推定装置の構成について説明する。図１は、本発明の請求項１の上位語推定装置の構成例である。図１に示すように、本発明の第１の実施の形態に係る上位語推定装置１００は、ＣＰＵと、ＲＡＭと、後述する最小自乗行列生成処理ルーチン及び上位語推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この上位語推定装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【００２１】
入力部１０は、任意の語群Ａを受け付ける。
【００２２】
演算部２０は、第１学習手段１１と、推定手段１２と、シソーラス１３と、単語概念ベース１４と、最小自乗行列１５と、語概念ベース１６とを含んで構成されている。
【００２３】
シソーラス１３は、下位語と上位語の対からなるレコードの集合を記憶しており、図２はその内容の一部の例を、階層的に図示したものである。上位語「果物」の下位語として「りんご」「みかん」があり、上位語「野菜」の下位語として「大根」「白菜」がある。図３は、図２の内容を、レコード形式で表したものであり、各レコードは、下位語［空白］上位語［改行］の形式で記述している。
【００２４】
単語概念ベース１４は、単語（名詞、動詞、形容詞等の内容語）と該単語の意味を表す単語概念ベクトルとの対の集合を記憶している。図４は、単語概念ベースの例である。単語概念ベースは、例えば、非特許文献２の手法によって生成する（非特許文献２：別所克人, 内山俊郎,内山匡, 片岡良治, 奥雅博,“単語・意味属性間共起に基づくコーパス概念ベースの生成方式,”情報処理学会論文誌, Dec. 2008, Vol.49, No.12, pp.3997-4006.）。
【００２５】
単語は、該単語の終止形で登録されており、単語概念ベース１４を検索する際は、単語の終止形で検索する。各単語の概念ベクトルは、ｋ次元空間内にあり、意味的に近い単語の概念ベクトルは、近くに配置されている。単語概念ベース１４に記憶されている単語概念ベクトルは、長さ１に正規化された単語概念ベクトルであってもよい。単語同士の類似度は、例えば、対応する概念ベクトル間のコサインによって算出する。
【００２６】
第１学習手段１１は、まず、単語概念ベース１４を参照することにより、シソーラス１３中の各レコードの下位語と上位語に対し、それぞれ、下位語概念ベクトル、上位語概念ベクトルを生成し、下位語概念ベクトルを並べた行列と、上位語概念ベクトルを並べた行列を作成する。
【００２７】
シソーラス１３中のレコードの集合を
【００２８】
【数１】
2015095119.tif 000003
【００２９】
とする。ここで、レコード数がｎであり、（ｌｔ，ｕｔ）がｔ番目のレコードで、ｌｔが下位語、ｕｔが上位語である。
【００３０】
下位語ｌｔに対し、該下位語ｌｔを構成する内容語の概念ベクトルを単語概念ベース１４から取得し、該単語概念ベクトルの和を長さ１に正規化したものを、該下位語ｌｔの概念ベクトル（ｘ１ｔ，ｘ２ｔ，…，ｘｋｔ）とする。
【００３１】
また、上位語ｕｔに対し、該上位語ｕｔを構成する内容語の概念ベクトルを単語概念ベース１４から取得し、該単語概念ベクトルの和を長さ１に正規化したものを、該上位語ｕｔの概念ベクトル（ｙ１ｔ，ｙ２ｔ，…，ｙｋｔ）とする。
【００３２】
下位語概念ベクトルを並べた行列Ｘを、
【００３３】
【数２】
2015095119.tif 000004
【００３４】
行列Ｘ、Ｙに対し、下記（１）式を満たす行列Ｂ、Ｅを考える。
【００３５】
【数３】
2015095119.tif 000005
【００３６】
行列Ｘの各下位語概念ベクトルＬに右から行列Ｂを乗じて得られるベクトルＶに、行列Ｅの対応する行ベクトルを加算したものが、行列Ｙの対応する上位語概念ベクトルＵとなる。
【００３７】
非特許文献２での単語概念ベース生成においては、各単語に対し、各成分が意味属性に対応するベクトルで、各成分値が、該単語と、該成分に対応する意味属性との共起頻度であるようなベクトル（共起ベクトルと呼ぶ）を生成する。全単語に対する共起ベクトルの集合からなる共起行列を特異値分解し、次元数を縮小することにより、単語の概念ベクトルを得る。一般に上位語は、下位語が共起する意味属性と共起し、下位語が共起しない意味属性ともわずかに共起する傾向がある。
【００３８】
そのため、図５は１共起ベクトルの成分値の分布（全成分値の和が１となるように正規化したもの）をヒストグラムで表現したものであるが、上位語の共起ベクトルの成分値の分布（図５の破線部分）は、下位語の共起ベクトルの成分値の分布（図５の実線部分）と近く、下位語のそれと比べて、より一様となる。下位語の共起ベクトルで、値が比較的大きい成分は、上位語の共起ベクトルでは、やや小さくなるものの他の成分と比べ大きいままであり、反対に、下位語の共起ベクトルで、値が比較的小さい成分は、上位語の共起ベクトルでは、やや大きくなるものの他の成分と比べ小さいままである。次元を縮小した単語概念ベクトルでも、同様な傾向がある。
【００３９】
図６は、単語概念ベクトルが２次元とした場合の上位語・下位語の概念ベクトルの関係を示した図である。単語概念ベクトルは、半径１の球面上にある。下位語概念ベクトルは、一般に、特定の成分群の値が大きく、該成分群の軸がなす平面に近い位置にある。上位語概念ベクトルは、下位語概念ベクトルに近く、かつ、成分値の分布がより一様になる方向（原点を通る破線の直線に近い方向）に位置する傾向にある。非特許文献２による単語概念ベースだけでなく、ＬＤＡのような手法で生成した単語ベクトルでも同様な傾向があると考えられる。
【００４０】
上位語概念ベクトルＵと、ベクトルＶとの差分である行列Ｅの対応する行ベクトルのノルムができるだけ小さくなるように行列Ｂを設定する。こうすると、下位語概念ベクトルＬと上位語概念ベクトルＵは上述のように近いので、上位語概念ベクトルＵの第ｉ成分値を導出するのは行列Ｂの第ｉ列だが、下位語概念ベクトルＬの第ｉ成分値がなるべく反映されるように、該行列Ｂの第ｉ列においては、第ｉ成分値が大きく、他の成分値は小さくなる傾向がある。図６では、上位語概念ベクトルＵの第ｉ成分値を導出するのは、行列Ｂの第ｉ列を係数とする平面で、任意の下位語概念ベクトルＬを、下位語概念ベクトルＬの第ｉ成分値に近い値に写像するような平面である（下位語概念ベクトルＬの第ｉ成分値が、１に近ければやや小さい値に、０に近ければやや大きい値に写像される）。
【００４１】
このような行列Ｂを、任意の語群Ａの概念ベクトルに右から乗じて得られるベクトル＾Ｖは、該語群Ａの上位概念に相当する概念ベクトルとなる。これより、行列ＸＢと行列Ｙとの自乗距離を、
【００４２】
【数４】
2015095119.tif 000006
【００４３】
と定義し、該自乗距離が最小となる行列＾Ｂを求める。該自乗距離が最小となる行列＾Ｂは、下記（２）式により算出できる。
【００４４】
【数５】
2015095119.tif 000007
【００４５】
上記（２）式により算出した＾Ｂを最小自乗行列１５とする。
【００４６】
推定手段１２は、入力部１０において受け付けた任意の語群Ａが与えられたとき、まず、単語概念ベース１４を参照することにより、該語群Ａの概念ベクトルを生成する。
【００４７】
語群Ａを、
【００４８】
【数６】
2015095119.tif 000008
【００４９】
とする。要素数ｓは１であってもよい。各語ａｒは任意のテキストであり、例えば、１単語であってもよいし、複合語、付属語を含む語句、文、文群であってもよい。
【００５０】
語群Ａ中の各語に対し、該語を構成する内容語の概念ベクトルを単語概念ベース１４から取得し、該単語概念ベクトルの和を長さ１に正規化したものを、該語の概念ベクトルとする。該語群Ａ中の各語の概念ベクトルの和を長さ１に正規化したものを、該語群Ａの概念ベクトルＨとする。
【００５１】
該語群Ａの概念ベクトルＨと、最小自乗行列＾Ｂとを乗じて得られるベクトルＨ＾Ｂを、上位概念ベクトルとして生成する。Ｈ＾Ｂを長さ１に正規化したものを、上位概念ベクトルとしてもよい。
【００５２】
語概念ベース１６は、あらかじめ作成しておいた、任意のテキスト（１単語であってもよいし、複合語、付属語を含む語句、文、文群であってもよい）を意味する語と該語の概念ベクトルとの対の集合を記憶したものである。語の概念ベクトルは、該語を構成する内容語の概念ベクトルを単語概念ベース１４から取得し、該単語概念ベクトルの和を長さ１に正規化したものとして生成する。図７は、語概念ベースの例である。
【００５３】
語概念ベース１６を、入力部１０における入力に関わらない静的なものとしてあらかじめ作成しておくという構成をとることができる。
【００５４】
語概念ベース１６を、入力部１０における入力に応じて動的に生成するという構成をとることもできる。この場合、入力部１０において語群Ａを受け付けた後、例えば、語群Ａの各語と、該語の概念ベクトル（語群Ａの概念ベクトルＨを生成する過程で算出したもの）の対の集合、あるいは、語群Ａの各語に含まれるより粒度の細かい語と該語の概念ベクトルの対の集合、のいずれかを語概念ベース１６とする。
【００５５】
ｗを、単語概念ベース１４における単語、または、語概念ベース１６における語とし、ｗの概念ベクトルをＭｗとする。推定手段１２は、単語概念ベース１４と語概念ベース１６の両方、あるいは、いずれか一方に含まれる任意のｗに対し、その概念ベクトルＭｗと、生成した上位概念ベクトル（Ｈ＾Ｂあるいはそれを正規化したもの）との類似度を両ベクトル間のコサインとして算出する。該類似度の高いｗは、該語群Ａの上位概念に相当すると考えられるので、該ｗを、該語群Ａの上位語として出力部５０に出力する。ここで、類似度がある閾値以上のｗを上位語として出力してもよいし、類似度の高いものからある個数のｗを上位語として出力してもよい。
【００５６】
出力部５０は、推定手段１２において該語群Ａの上位語と推定された上位語の各々を出力する。
【００５７】
＜第１の実施の形態に係る上位語推定装置の作用＞
次に、本発明の第１の実施の形態に係る上位語推定装置１００の作用について説明する。上位語推定装置１００は、図８に示す最小自乗行列生成処理ルーチンを実行する。
【００５８】
まず、ステップＳ１０４では、シソーラス１３及び単語概念ベース１４を参照し、シソーラス１３の下位語及び上位語の対の各々に対し、当該対の下位語の下位語概念ベクトルを生成し、当該対の上位語の上位語概念ベクトルを生成する。
【００５９】
次に、ステップＳ１０６では、ステップＳ１０４において取得した下位語概念ベクトルの各々に基づいて、下位語概念ベクトルを並べた行列Ｘを作成し、ステップＳ１０４において取得した上位語概念ベクトルの各々に基づいて、上位語概念ベクトルを並べた行列Ｙを作成する。
【００６０】
次に、ステップＳ１０８では、ステップＳ１０６において取得した行列Ｘ及び行列Ｙに基づいて、上記（２）式に従って、最小自乗行列＾Ｂを求め、求めた最小自乗行列＾Ｂを最小自乗行列１５とし、最小自乗行列生成処理ルーチンを終了する。
【００６１】
次に、入力部１０において任意の語群Ａを受け付けると、上位語推定装置１００は、図９に示す上位語推定処理ルーチンを実行する。
【００６２】
次に、ステップＳ２０６では、入力部１０において受け付けた語群Ａの各語ａｒについて、単語概念ベース１４を参照して、該語ａｒの概念ベクトルを生成する。
【００６３】
次に、ステップＳ２０８では、ステップＳ２０６において取得した語群Ａの各語ａｒの概念ベクトルの和を長さ１に正規化し、語群Ａの概念ベクトルＨを生成する。
【００６４】
次に、ステップＳ２１０では、最小自乗行列１５である最小自乗行列＾Ｂを参照して、ステップＳ２０８において取得した語群Ａの概念ベクトルＨと、最小自乗行列＾Ｂとを乗じて、上位概念ベクトルＨ＾Ｂを生成する。
【００６５】
次に、ステップＳ２１２では、単語概念ベース１４または語概念ベース１６を参照して、単語概念ベース１４と語概念ベース１６の両方、あるいは、いずれか一方に含まれる単語ｗ又は語ｗの各々について、当該単語ｗ又は語ｗの概念ベクトルＭｗと、ステップＳ２１０において取得した語群Ａの上位概念ベクトルＨ＾Ｂとの類似度を算出する。
【００６６】
次に、ステップＳ２１４では、ステップＳ２１２において取得した類似度に基づいて、語群Ａの上位語の各々を抽出する。
【００６７】
次に、ステップＳ２１６では、ステップＳ２１４において取得した上位語の各々を出力部５０に出力して上位語推定処理ルーチンを終了する。
【００６８】
以上説明したように、本発明の第１の実施の形態に係る上位語推定装置によれば、下位語の概念ベクトルからなる行列Ｘと、上位語の概念ベクトルからなる行列Ｙとから求められる最小自乗行列＾Ｂを用いることにより、既存のシソーラスでは上位語を導出できない語や語群の上位語も導出することができ、語の上位・下位関係を利用した言語処理の精度向上に寄与できる他、シソーラスそのものの拡充のコストを下げる効果も生み出すことができる。
【００６９】
また、これまで述べた処理をプログラムとして構築し、当該プログラムを通信回線または記録媒体からインストールし、ＣＰＵ等の手段で実施することが可能である。
【００７０】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【００７１】
例えば、語群Ａの各語ａｒについて、単語概念ベース１４及び語概念ベース１６を参照して、該語ａｒの概念ベクトルを生成し、語群Ａの各語ａｒの概念ベクトルを用いて、語群Ａの概念ベクトルＨを生成するようにしてもよい。
【００７２】
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成及び作用となる部分については、同一符号を付して説明を省略する。
【００７３】
第２の実施の形態では、最小自乗行列＾Ｂを、下位語群概念ベクトルを並べた行列Ｘと、上位語概念ベクトルを並べた行列Ｙとから求める点が第１の実施の形態と異なっている。
【００７４】
＜第２の実施の形態に係る上位語推定装置の構成＞
次に、第２の実施の形態に係る上位語推定装置２００の構成について説明する。図１０は、本発明の請求項２の上位語推定装置の構成例である。
【００７５】
本発明の第２の実施の形態に係る上位語推定装置２００は、図１０に示すように、入力部１０と、演算部２２０と、出力部５０とを備えている。
【００７６】
図１、図１０において、推定手段１２と推定手段２２、シソーラス１３とシソーラス２３、単語概念ベース１４と単語概念ベース２４、誤概念ベース１６と語概念ベース２６、それぞれの組に対し、内容は同一である。最小自乗行列１５と最小自乗行列２５は、それを出力する第１学習手段１１と第２学習手段２１に異なる部分があるので、成分値は異なり得るが、データ構造は同一である。
【００７７】
演算部２２０は、第２学習手段２１と、推定手段２２と、シソーラス２３と、単語概念ベース２４と、最小自乗行列２５と、語概念ベース２６とを含んで構成されている。
【００７８】
第２学習手段２１は、まず、単語概念ベース２４を参照することにより、シソーラス２３中の上位語と該上位語の下位語の群との組み合わせに対し、それぞれ、上位語概念ベクトル、下位語群概念ベクトルを生成し、下位語群概念ベクトルを並べた行列Ｘと、上位語概念ベクトルを並べた行列Ｙを作成する。
【００７９】
シソーラス２３中の上位語と該上位語の下位語の群との組み合わせの集合を、
【００８０】
【数７】
2015095119.tif 000009
【００８１】
とする。ここで、上位語数がｎであり、
【００８２】
【数８】
2015095119.tif 000010
【００８３】
がｔ番目の上位語ｕｔと該上位語ｕｔの下位語ｌｔｆの群
【００８４】
【数９】
2015095119.tif 000011
【００８５】
の組み合わせで、下位語ｌｔｆがｇｔ個ある。
【００８６】
上位語ｕｔに対し、該上位語ｕｔを構成する内容語の概念ベクトルを単語概念ベース２４から取得し、該単語概念ベクトルの和を長さ１に正規化したものを、該上位語ｕｔの概念ベクトル（ｙ１ｔ，ｙ２ｔ，…，ｙｋｔ）とする。
【００８７】
下位語ｌｔｆに対し、該下位語ｌｔｆを構成する内容語の概念ベクトルを単語概念ベース２４から取得し、該単語概念ベクトルの和を長さ１に正規化したものを、該下位語ｌｔｆの概念ベクトルとする。下位語ｌｔｆの群
【００８８】
【数１０】
2015095119.tif 000012
【００８９】
に対し、各下位語ｌｔｆの概念ベクトルの和を長さ１に正規化したものを、該下位語ｌｔｆの群
【００９０】
【数１１】
2015095119.tif 000013
【００９１】
の概念ベクトル（ｘ１ｔ，ｘ２ｔ，…，ｘｋｔ）とする。
【００９２】
下位語群概念ベクトルを並べた行列Ｘと、上位語概念ベクトルを並べた行列Ｙを作成し、上記（２）式に従って求めた最小自乗行列＾Ｂを最小自乗行列２５とする。
【００９３】
最小自乗行列２５は、第２学習手段２１により学習された最小自乗行列＾Ｂである。
【００９４】
＜第２の実施の形態に係る上位語推定装置の作用＞
次に、本発明の第２の実施の形態に係る上位語推定装置２００の作用について説明する。上位語推定装置２００は、図１１に示す最小自乗行列生成処理ルーチンを実行する。
【００９５】
ステップＳ３０４では、シソーラス２３及び単語概念ベース２４を参照し、シソーラス２３の上位語及び下位語の群との組み合わせの各々に対し、当該組み合わせの上位語の上位語概念ベクトルを生成する。また、当該組み合わせの下位語の群に含まれる下位語の各々の下位語概念ベクトルを生成し、当該下位語概念ベクトルに基づいて、当該下位語群の概念ベクトルを生成する。
【００９６】
ステップＳ３０６では、ステップＳ３０４において取得した下位語の群の概念ベクトルの各々に基づいて、下位語群概念ベクトルを並べた行列Ｘを作成し、ステップＳ３０４において取得した上位語概念ベクトルの各々に基づいて、上位語概念ベクトルを並べた行列Ｙを作成する。
【００９７】
以上説明したように、本発明の第２の実施の形態に係る上位語推定装置によれば、下位語の群の概念ベクトルからなる行列Ｘと、上位語の概念ベクトルからなる行列Ｙとから求められる最小自乗行列＾Ｂを用いることにより、既存のシソーラスでは上位語を導出できない語や語群の上位語も導出することができ、語の上位・下位関係を利用した言語処理の精度向上に寄与できる他、シソーラスそのものの拡充のコストを下げる効果も生み出すことができる。
【産業上の利用可能性】
【００９８】
本発明は、語または語群の上位概念に相当する語を推定する技術に適用可能である。
【符号の説明】
【００９９】
１０   入力部
１１   第１学習手段
１２   推定手段
１３   シソーラス
１４   単語概念ベース
１５   最小自乗行列
１６   語概念ベース
２０   演算部
２１   第２学習手段
２２   推定手段
２３   シソーラス
２４   単語概念ベース
２５   最小自乗行列
２６   語概念ベース
５０   出力部
１００ 上位語推定装置
２００ 上位語推定装置
２２０ 演算部
【図１】
2015095119.tif 000014
【図２】
2015095119.tif 000015
【図３】
2015095119.tif 000016
【図４】
2015095119.tif 000017
【図５】
2015095119.tif 000018
【図６】
2015095119.tif 000019
【図７】
2015095119.tif 000020
【図８】
2015095119.tif 000021
【図９】
2015095119.tif 000022
【図１０】
2015095119.tif 000023
【図１１】
2015095119.tif 000024