(57)【要約】【課題】少量のテキストコーパスからでも頑健かつ高精度に単語ベクトルを学習する。【解決手段】単語ベクトル学習装置１０Ａは、テキストコーパスから得られる各テキストに対して形態素解析を行う形態素解析部１４と、形態素解析部１４による形態素解析結果に基づいて、各テキストについて単語間の係り受け関係を解析する係り受け解析部１６と、各テキストについて、形態素解析結果と、係り受け解析結果と、予め定められた語順の並べ替えルールとに基づいて、テキストに含まれる単語の語順を並び替える語順変換部１８と、語順変換部１８により語順が並び替えられた各テキストに基づいて、各単語について、単語に対して予め定められた語順の範囲内で共起する単語を集計することにより、共起行列を計算する共起行列計算部２０と、各単語について、共起行列計算部２０により計算された共起行列から単語ベクトルを生成する単語ベクトル生成部２２と、を備える。【選択図】図１
2019008368.tif 000002
【特許請求の範囲】
【請求項１】
テキストコーパスから得られる各テキストに対して形態素解析を行う形態素解析部と、
前記形態素解析部による形態素解析結果に基づいて、各テキストについて単語間の係り受け関係を解析する係り受け解析部と、
各テキストについて、前記形態素解析部による形態素解析結果と、前記係り受け解析部による解析結果と、予め定められた語順の並べ替えルールとに基づいて、前記テキストに含まれる単語の語順を並び替える語順変換部と、
前記語順変換部により語順が並び替えられた各テキストに基づいて、各単語について、前記単語に対して予め定められた語順の範囲内で共起する単語を集計することにより、共起行列を計算する共起行列計算部と、
各単語について、前記共起行列計算部により計算された共起行列から単語ベクトルを生成する単語ベクトル生成部と、
を含む単語ベクトル学習装置。
【請求項２】
単語ベクトル結合部を更に含み、
前記共起行列計算部は、前記語順変換部により語順が並び替えられた各テキストに基づいて、予め定められた語順の複数の範囲毎に、各単語について、前記範囲内で共起する単語を集計することにより、共起行列を計算し、
前記単語ベクトル生成部は、各単語について、前記範囲毎に、前記共起行列計算部により計算された前記範囲の共起行列から単語ベクトルを生成し、
前記単語ベクトル結合部は、各単語について、前記単語ベクトル生成部により前記範囲毎に生成された単語ベクトルを１つに結合する請求項１に記載の単語ベクトル学習装置。
【請求項３】
形態素解析部が、テキストコーパスから得られる各テキストに対して形態素解析を行うステップと、
係り受け解析部が、前記形態素解析部による形態素解析結果に基づいて、各テキストについて単語間の係り受け関係を解析するステップと、
語順変換部が、各テキストについて、前記形態素解析部による形態素解析結果と、前記係り受け解析部による解析結果と、予め定められた語順の並べ替えルールとに基づいて、前記テキストに含まれる単語の語順を並び替えるステップと、
共起行列計算部が、前記語順変換部により語順が並び替えられた各テキストに基づいて、各単語について、前記単語に対して予め定められた語順の範囲内で共起する単語を集計することにより、共起行列を計算するステップと、
単語ベクトル生成部が、各単語について、前記共起行列計算部により計算された共起行列から単語ベクトルを生成するステップと、
を含む単語ベクトル学習方法。
【請求項４】
前記共起行列計算部が、前記語順変換部により語順が並び替えられた各テキストに基づいて、予め定められた語順の複数の範囲毎に、各単語について、前記範囲内で共起する単語を集計することにより、共起行列を計算するステップと、
前記単語ベクトル生成部が、各単語について、前記範囲毎に、前記共起行列計算部により計算された前記範囲の共起行列から単語ベクトルを生成するステップと、
単語ベクトル結合部が、各単語について、前記単語ベクトル生成部により前記範囲毎に生成された単語ベクトルを１つに結合するステップと、
を更に含む請求項３に記載の単語ベクトル学習方法。
【請求項５】
コンピュータを、請求項１又は２に記載の単語ベクトル学習装置が備える各部として機能させるためのプログラム。
【請求項６】
コンピュータを、請求項１又は２に記載の単語ベクトル学習装置が備える各部として機能させるためのプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単語ベクトル学習装置、方法、プログラム、及び記憶媒体に係り、特に、単語の共起関係に基づいて数値化される単語ベクトルを学習する単語ベクトル学習装置、方法、プログラム、及び記憶媒体に関する。
【背景技術】
【０００２】
ディープラーニングに代表される昨今の機械学習技術の発展に伴い、ＡＩ(Artificial Intelligence：人工知能)を活用した多くのサービスが注目されている。中でも、テキストを扱う自然言語処理に関するＡＩサービスとして、ＦＡＱ(Frequently Asked Questions：よくある質問)検索や、チャットボット、対話システム等が知られている。
【０００３】
上記のＡＩサービスにおいては、単語の意味をコンピュータ上で扱えるようにするための「分散表現」という呼ばれる技術が注目されている。この分散表現とは、単語を高次元の実数ベクトル表現（以下、単語ベクトルという。）に写像する技術であり、ベクトル化することで機械的に演算が可能となる。ベクトル間の距離が小さければ、意味的に類似した単語となる。
【０００４】
従来技術として、単語の共起関係を利用して単語の単語ベクトルを推定するものがある（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１２８９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、単語ベクトルは、単語意味ベクトル、概念ベクトル、及び単語分散表現等とも呼ばれ、単語の共起関係に基づいて、数値ベクトル化される。テキスト中の各単語について、当該単語の前後ｎ単語や、当該単語を含む文等の予め定められた分析窓において共起する単語（一般的に名詞、動詞、形容詞等の内容語が用いられる）を集計することで、共起行列が計算される。この共起行列を、特異値分解やＤＮＮ(Deep Neural Network)等の技術を用いて次元圧縮することで、各単語は低次元のベクトル空間に写像される。
【０００７】
つまり、共起行列とは、テキスト中の単語間の共起頻度を記録したもので、この共起行列から次元数を縮小させた行列の各行ベクトルが、対応する単語の単語ベクトルとして得られる。
【０００８】
上記の共起行列は、テキストコーパスを用いて学習されるが、多様な表現を吸収した頑健な共起行列を作成するために、大量のテキストコーパスを必要とする。
【０００９】
特に、日本語においては語順の制約が弱いため、より多くのテキストコーパスを準備する必要があり、少量のテキストコーパスから学習した場合、頑健かつ高精度に単語ベクトルを学習することは困難である。
【００１０】
本発明は、上記の事情に鑑みてなされたもので、少量のテキストコーパスからでも頑健かつ高精度に単語ベクトルを学習することができる単語ベクトル学習装置、方法、プログラム、及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、第１の発明に係る単語ベクトル学習装置は、テキストコーパスから得られる各テキストに対して形態素解析を行う形態素解析部と、前記形態素解析部による形態素解析結果に基づいて、各テキストについて単語間の係り受け関係を解析する係り受け解析部と、各テキストについて、前記形態素解析部による形態素解析結果と、前記係り受け解析部による解析結果と、予め定められた語順の並べ替えルールとに基づいて、前記テキストに含まれる単語の語順を並び替える語順変換部と、前記語順変換部により語順が並び替えられた各テキストに基づいて、各単語について、前記単語に対して予め定められた語順の範囲内で共起する単語を集計することにより、共起行列を計算する共起行列計算部と、各単語について、前記共起行列計算部により計算された共起行列から単語ベクトルを生成する単語ベクトル生成部と、を含むものである。
【００１２】
また、第２の発明に係る単語ベクトル学習装置は、第１の発明において、単語ベクトル結合部を更に含み、前記共起行列計算部が、前記語順変換部により語順が並び替えられた各テキストに基づいて、予め定められた語順の複数の範囲毎に、各単語について、前記範囲内で共起する単語を集計することにより、共起行列を計算し、前記単語ベクトル生成部が、各単語について、前記範囲毎に、前記共起行列計算部により計算された前記範囲の共起行列から単語ベクトルを生成し、前記単語ベクトル結合部が、各単語について、前記単語ベクトル生成部により前記範囲毎に生成された単語ベクトルを１つに結合するものである。
【００１３】
一方、上記目的を達成するために、第３の発明に係る単語ベクトル学習方法は、形態素解析部が、テキストコーパスから得られる各テキストに対して形態素解析を行うステップと、係り受け解析部が、前記形態素解析部による形態素解析結果に基づいて、各テキストについて単語間の係り受け関係を解析するステップと、語順変換部が、各テキストについて、前記形態素解析部による形態素解析結果と、前記係り受け解析部による解析結果と、予め定められた語順の並べ替えルールとに基づいて、前記テキストに含まれる単語の語順を並び替えるステップと、共起行列計算部が、前記語順変換部により語順が並び替えられた各テキストに基づいて、各単語について、前記単語に対して予め定められた語順の範囲内で共起する単語を集計することにより、共起行列を計算するステップと、単語ベクトル生成部が、各単語について、前記共起行列計算部により計算された共起行列から単語ベクトルを生成するステップと、を含むものである。
【００１４】
また、第４の発明に係る単語ベクトル学習方法は、第３の発明において、前記共起行列計算部が、前記語順変換部により語順が並び替えられた各テキストに基づいて、予め定められた語順の複数の範囲毎に、各単語について、前記範囲内で共起する単語を集計することにより、共起行列を計算するステップと、前記単語ベクトル生成部が、各単語について、前記範囲毎に、前記共起行列計算部により計算された前記範囲の共起行列から単語ベクトルを生成するステップと、単語ベクトル結合部が、各単語について、前記単語ベクトル生成部により前記範囲毎に生成された単語ベクトルを１つに結合するステップと、を更に含むものである。
【００１５】
一方、上記目的を達成するために、第５の発明に係るプログラムは、コンピュータを、第１又は第２の発明に係る単語ベクトル学習装置が備える各部として機能させるためのものである。
【００１６】
更に、上記目的を達成するために、第６の発明に係る記憶媒体は、コンピュータを、第１又は第２の発明に係る単語ベクトル学習装置が備える各部として機能させるためのプログラムを記憶したものである。
【発明の効果】
【００１７】
以上説明したように、本発明に係る単語ベクトル学習装置、方法、プログラム、及び記憶媒体によれば、少量のテキストコーパスからでも頑健かつ高精度に単語ベクトルを学習することができる。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態に係る単語ベクトル学習装置の機能的な構成の一例を示すブロック図である。
【図２】第１の実施形態に係る単語ベクトル学習プログラムによる処理の流れの一例を示すフローチャートである。
【図３】第２の実施形態に係る単語ベクトル学習装置の機能的な構成の一例を示すブロック図である。
【図４】第２の実施形態に係る単語ベクトル学習プログラムによる処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。
【００２０】
［第１の実施形態］
本実施形態では、テキストコーパスの各テキストに対して事前に語順の並び替えを行った後で共起行列の計算を行うことにより、多様な語順の揺らぎを解消し、頑健かつ高精度に単語ベクトルを学習する。
【００２１】
図１は、第１の実施形態に係る単語ベクトル学習装置１０Ａの機能的な構成の一例を示すブロック図である。
図１に示すように、本実施形態に係る単語ベクトル学習装置１０Ａは、テキストコーパス１２と、形態素解析部１４と、係り受け解析部１６と、語順変換部１８と、共起行列計算部２０と、単語ベクトル生成部２２と、単語ベクトル記憶部２４と、を備える。
【００２２】
テキストコーパス１２は、単語ベクトルを学習するためのテキストの集合が格納されている。テキストコーパス１２は、単語ベクトル学習装置１０Ａと一体で設けられていてもよいし、外部のサーバ装置等に設けられていてもよい。
【００２３】
形態素解析部１４は、テキストコーパス１２から各テキストの入力を受け付ける。形態素解析部１４は、入力を受け付けた各テキストに対して形態素解析を行い、各テキストから複数の単語を抽出し、抽出した複数の単語の各々に対して品詞を付与する。
【００２４】
係り受け解析部１６は、形態素解析部１４による形態素解析結果に基づいて、各テキストについて単語間の係り受け関係を解析する。
【００２５】
語順変換部１８は、各テキストについて、形態素解析部１４による形態素解析結果と、係り受け解析部１６による解析結果と、予め定められた語順の並べ替えルールとに基づいて、当該テキストに含まれる単語の語順を並び替える。この並べ替えルールとしては、ある決まったルールであればよく、一例として、ＳＶ、ＳＶＯ、ＳＶＯＣ、等のルールが適用される。なお、Ｓは主語、Ｖは動詞、Ｏは目的語、Ｃは補語を示す。例えば、「私は学校に行った」、「学校に私は行った」、という文の場合、どちらの文も、「私（は）／行った／学校（に）」に並び替えられる。
【００２６】
共起行列計算部２０は、語順変換部１８により語順が並び替えられた各テキストに基づいて、各単語について、当該単語に対して予め定められた語順の範囲内で共起する単語を集計することにより、共起行列を計算する。なお、ここでいう範囲としては、ある決まった分析窓として設定される。より具体的には、分析窓として、例えば、ある単語を基準（以下、基準単語という。）とした場合に、基準単語の前後ｎ単語や、基準単語を含む文全体等が設定される。
【００２７】
単語ベクトル生成部２２は、各単語について、共起行列計算部２０により計算された共起行列から単語ベクトルを生成する。なお、共起行列から単語ベクトルを生成する手法としては、従来公知の技術を用いることができる。例えば、特異値分解により次元圧縮する手法等が用いられる。そして、単語ベクトル生成部２２は、各単語について、共起行列から生成した単語ベクトルを、単語ベクトル記憶部２４に記憶する。
【００２８】
ここで、本実施形態に係る単語ベクトル学習装置１０Ａは、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ(Read Only Memory)、及びＨＤＤ(Hard Disk Drive)等を備えたコンピュータとして構成される。ＲＯＭには、本実施形態に係る単語ベクトル学習プログラムが記憶されている。なお、単語ベクトル学習プログラムは、ＨＤＤに記憶されていてもよい。
【００２９】
上記の単語ベクトル学習プログラムは、例えば、単語ベクトル学習装置１０Ａに予めインストールされていてもよい。この単語ベクトル学習プログラムは、不揮発性の記憶媒体に記憶して、又は、ネットワークを介して配布して、単語ベクトル学習装置１０Ａに適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ(Compact Disc Read Only Memory)、光磁気ディスク、ＤＶＤ-ＲＯＭ(Digital Versatile Disc Read Only Memory)、フラッシュメモリ、メモリカード等が挙げられる。
【００３０】
ＣＰＵは、ＲＯＭに記憶されている単語ベクトル学習プログラムを読み込んで実行することにより、上記の形態素解析部１４、係り受け解析部１６、語順変換部１８、共起行列計算部２０、及び単語ベクトル生成部２２として機能する。また、ＨＤＤは、上記のテキストコーパス１２及び単語ベクトル記憶部２４の各々として機能する。
【００３１】
次に、図２を参照して、第１の実施形態に係る単語ベクトル学習装置１０Ａの作用を説明する。なお、図２は、第１の実施形態に係る単語ベクトル学習プログラムによる処理の流れの一例を示すフローチャートである。
【００３２】
まず、図２のステップ１００では、形態素解析部１４が、テキストコーパス１２からテキストの入力を受け付ける。
【００３３】
ステップ１０２では、形態素解析部１４が、入力を受け付けたテキスト（以下、入力テキストという。）に対して形態素解析を行い、入力テキストから複数の単語を抽出し、抽出した複数の単語の各々に対して品詞を付与する。
【００３４】
ステップ１０４では、係り受け解析部１６が、形態素解析部１４による形態素解析結果に基づいて、入力テキストについて単語間の係り受け関係を解析する。
【００３５】
ステップ１０６では、語順変換部１８が、形態素解析部１４による形態素解析結果と、係り受け解析部１６による解析結果と、予め定められた語順の並べ替えルールとに基づいて、入力テキストに含まれる単語の語順を並び替える。この並べ替えルールは、上述したように、ある決まったルールであればよく、一例として、ＳＶ、ＳＶＯ、ＳＶＯＣ、等のルールが適用される。
【００３６】
ステップ１０８では、共起行列計算部２０が、語順変換部１８により語順が並び替えられた入力テキストに基づいて、各単語について、当該単語に対して予め定められた語順の範囲内で共起する単語を集計し、集計結果を用いて、共起行列を更新する。なお、ここでいう範囲としては、上述したように、ある決まった分析窓として設定される。
【００３７】
ステップ１１０では、共起行列計算部２０が、テキストコーパス１２に格納されている全てのテキストについて処理が終了したか否かを判定する。全てのテキストについて処理が終了したと判定した場合（肯定判定の場合）、ステップ１１２へ移行し、一方、全てのテキストについて処理が終了していないと判定した場合（否定判定の場合）、ステップ１００に戻り処理を繰り返す。
【００３８】
ステップ１１２では、単語ベクトル生成部２２が、各単語について、共起行列計算部２０により計算された共起行列から単語ベクトルを生成する。なお、共起行列から単語ベクトルを生成する手法としては、上述したように、例えば、特異値分解により次元圧縮する手法等が用いられる。
【００３９】
ステップ１１４では、単語ベクトル生成部２２が、上記の共起行列から生成した単語ベクトルを単語ベクトル記憶部２４に記憶し、一連の処理を終了する。
【００４０】
本実施形態によれば、テキストコーパスの各テキストに対して事前に語順の並び替えを行った後で共起行列の計算を行うことにより、多様な語順の揺らぎを解消し、少量のテキストコーパスからでも頑健かつ高精度に単語ベクトルを学習することができる。
【００４１】
［第２の実施形態］
本実施形態では、テキストコーパスの各テキストに対して事前に語順の並び替えを行った後で、語順を考慮した共起関係に基づく共起行列の計算を行うことにより、多様な語順の揺らぎを解消し、頑健かつ高精度に単語ベクトルを学習する。
【００４２】
図３は、第２の実施形態に係る単語ベクトル学習装置１０Ｂの機能的な構成の一例を示すブロック図である。
なお、第２の実施形態で説明する装置構成においては、第１の実施形態で説明した装置構成と同様な部分を含み、同様な部分には同一の符号を付してその説明を省略し、異なる部分のみを説明する。
【００４３】
図３に示すように、本実施形態に係る単語ベクトル学習装置１０Ｂは、テキストコーパス１２と、形態素解析部１４と、係り受け解析部１６と、語順変換部１８と、共起行列計算部２１と、単語ベクトル生成部２３と、単語ベクトル結合部２６と、単語ベクトル記憶部２４と、を備える。
【００４４】
共起行列計算部２１は、語順変換部１８により語順が並び替えられた各テキストに基づいて、予め定められた語順の複数の範囲毎に、各単語について、当該範囲内で共起する単語を集計することにより、共起行列を計算する。具体的には、例えば、基準単語の前ｎ単語、後ｎ単語のそれぞれで分析窓を設定し、基準単語に対して前後それぞれで出現する共起単語を集計し、２種類の共起行列を計算する。また、基準単語のｎ個前の共起単語、ｎ-１個前の共起単語、・・・、１個前の共起単語、基準単語の１個後の共起単語、・・・、ｎ-１個後の共起単語、ｎ個後の共起単語のように、それぞれで共起単語を集計し、２ｎ個の共起行列を計算してもよい。
【００４５】
単語ベクトル生成部２３は、各単語について、上記範囲毎に、共起行列計算部２１により計算された当該範囲の共起行列から単語ベクトルを生成する。
【００４６】
単語ベクトル結合部２６は、各単語について、単語ベクトル生成部２３により上記範囲毎に生成された単語ベクトルを１つに結合する。なお、複数の単語ベクトルを１つに結合する手法としては、例えば、複数の単語ベクトルを連結する手法等が用いられる。これにより、最終的に、１つの単語に対して１つの単語ベクトルが生成される。
【００４７】
本実施形態に係る単語ベクトル学習装置１０Ｂは、上述の単語ベクトル学習装置１０Ａと同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、及びＨＤＤ等を備えたコンピュータとして構成される。ＲＯＭには、本実施形態に係る単語ベクトル学習プログラムが記憶されている。ＣＰＵは、ＲＯＭに記憶されている単語ベクトル学習プログラムを読み込んで実行することにより、上記の形態素解析部１４、係り受け解析部１６、語順変換部１８、共起行列計算部２１、単語ベクトル生成部２３、及び単語ベクトル結合部２６として機能する。
【００４８】
次に、図４を参照して、第２の実施形態に係る単語ベクトル学習装置１０Ｂの作用を説明する。なお、図４は、第２の実施形態に係る単語ベクトル学習プログラムによる処理の流れの一例を示すフローチャートである。
【００４９】
まず、図４のステップ２００では、形態素解析部１４が、テキストコーパス１２からテキストの入力を受け付ける。
【００５０】
ステップ２０２では、形態素解析部１４が、入力テキストに対して形態素解析を行い、入力テキストから複数の単語を抽出し、抽出した複数の単語の各々に対して品詞を付与する。
【００５１】
ステップ２０４では、係り受け解析部１６が、形態素解析部１４による形態素解析結果に基づいて、入力テキストについて単語間の係り受け関係を解析する。
【００５２】
ステップ２０６では、語順変換部１８が、形態素解析部１４による形態素解析結果と、係り受け解析部１８による解析結果と、予め定められた語順の並べ替えルールとに基づいて、入力テキストに含まれる単語の語順を並び替える。この並べ替えルールは、上述したように、ある決まったルールであればよく、一例として、ＳＶ、ＳＶＯ、ＳＶＯＣ、等のルールが適用される。
【００５３】
ステップ２０８では、共起行列計算部２１が、語順変換部１８により語順が並び替えられた入力テキストに基づいて、予め定められた語順の複数の範囲毎に、各単語について、当該範囲内で共起する単語を集計し、集計結果を用いて、当該範囲に対応する共起行列を更新する。
【００５４】
ステップ２１０では、共起行列計算部２１が、テキストコーパス１２に格納されている全てのテキストについて処理が終了したか否かを判定する。全てのテキストについて処理が終了したと判定した場合（肯定判定の場合）、ステップ２１２へ移行し、一方、全てのテキストについて処理が終了していないと判定した場合（否定判定の場合）、ステップ２００に戻り処理を繰り返す。
【００５５】
ステップ２１２では、単語ベクトル生成部２３が、各単語について、上記範囲毎に、共起行列計算部２１により計算された当該範囲の共起行列から単語ベクトルを生成する。
【００５６】
ステップ２１４では、単語ベクトル結合部２６が、各単語について、単語ベクトル生成部２３により上記範囲毎に生成された単語ベクトルを１つに結合し、１つの単語に対して１つの単語ベクトルを生成する。
【００５７】
ステップ２１６では、単語ベクトル結合部２６が、上記により結合された単語ベクトルを単語ベクトル記憶部２４に記憶し、一連の処理を終了する。
【００５８】
本実施形態によれば、テキストコーパスの各テキストに対して事前に語順の並び替えを行った後で、語順を考慮した共起関係に基づく共起行列の計算を行うことにより、多様な語順の揺らぎを解消し、少量のテキストコーパスからでも頑健かつ高精度に単語ベクトルを学習することができる。
【００５９】
以上、実施形態として単語ベクトル学習装置を例示して説明した。実施形態は、コンピュータを、単語ベクトル学習装置が備える各部として機能させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。
【００６０】
その他、上記実施形態で説明した単語ベクトル学習装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
【００６１】
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【００６２】
また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
【符号の説明】
【００６３】
１０Ａ、１０Ｂ  単語ベクトル学習装置
１２   テキストコーパス
１４   形態素解析部
１６   係り受け解析部
１８   語順変換部
２０、２１    共起行列計算部
２２、２３    単語ベクトル生成部
２４   単語ベクトル記憶部
２６   単語ベクトル結合部
【図１】
2019008368.tif 000003
【図２】
2019008368.tif 000004
【図３】
2019008368.tif 000005
【図４】
2019008368.tif 000006