言語処理学会 第24回年次大会 発表論文集 (2018年3月)

係り受け関係を用いた
短単位の単語ベクトルから長単位の単語ベクトルの合成
清藤 拓実

古宮 嘉那子

佐々木 稔

新納 浩幸

茨城大学工学部情報工学科{14t4037r,kanako.komiya.nlp,minoru.sasaki.01,hiroyuki.shinnou.0828}@vc.ibaraki.ac.jp

1

はじめに

また橋本ら [4] は構成性と非構成性を同時に学習する手法を提唱した。橋本ら [4] は、句の意味はその構近年、word2vec をはじめとする分散表現を利用し成要素の単語の意味の組み合わせによって決まると仮た研究が盛んである。一方、単語境界が曖昧である定している。同様に本研究では、長単位は四字熟語な日本語では、複数の言語単位が存在している。例えば

ど特殊な例を除き、短単位の意味の合成によって成りunidic の短単位では「会員」は一単語であるが、「裁判員」は二単語であり、これらを直接比較することができない。そのため、複合語を単語から合成する手法が必要である。本研究では unidic で利用されている単語単位の「短単位」の単語ベクトルから「長単位」の単語ベクトルを合成する。この際、複数の単語の分散表現から句の分散表現を合成する研究 [1] を参考に、長単位の単語ベクトル内の係り受け関係を考慮した合成を行った。

立っていると仮定する。例として茨城大学工学部について考えてみる。
「茨城大学工学部」という長単位はそれぞれ「茨城」＋「大学」＋「工学部」という短単位に分けられる。また茨城県にある大学の工学部であるというように、これらの短単位の組合せによって長単位の単語の意味を推測することができる。このように長単位は、四字熟語などの特殊な例外を除き、構成される短単位の意味から類推することができる。

2

そのため短単位の単語の分散表現から長単位の分散表関連研究現を合成できるのではないかと考えた。

近年、複数の単語の分散表現から句の分散表現の合成を行う研究が注目されている [1][2][3][4]。本研究では過去の句の分散表現を生成する手法を応用し、長単3位の分散表現を生成する。

Lexfunc[2] のモデルは係り受けを用いたモデルではあるが、単語の表現の形式が従属語は行列で、独立語はベクトルとなっており統一されていない。
村岡ら [1] は、Lexfunc[2] モデルに再帰性がないことや、RNN モデルでは明らか修飾関係の異なる句 (例:形容詞＋名詞と動詞＋名詞など) を同じものとして学習を行っていることを問題視し、修飾関係を考慮した新たなニューラルネットワークモデルを提唱した。
橋本ら [3] は、テンソル分解を用いて熟語と項の関係を掛け算的にモデル化し、動詞句の表現を効率的に学習する手法を提唱した。

提案手法
本研究は村岡ら [1] の係り受け関係を用いた句ベクトルの生成をベースにした。村岡ら [1] は、単語ベクトルを入力とし、句ベクトルの合成を行っている。村岡らの手法では入力を 2 つの単語ベクトル u,v 、出力を句ベクトル p としているが、我々は入力が短単位の単語ベクトル、出力を長単位の単語ベクトルなので、二つの短単位の単語ベクトルを s1 ,s2 、長単位の単語ベクトルを l として定式化する。係り受けを考慮しないで行う長単位を短単位から生成するときの入力は短単位の分散表現のみである。これを一般的な式で表す― 991 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

2. 分かち書きのファイルを用いて分散表現を生成と次式で表される。



s1

 
 
l = f (s1 , s2 ) = σ W  s2  する。

(1)

分散表現の作成には word2vec 1 を利用した。この際、skip-gram を使用し、ベクトルの次元数は 100 次元とb
この式は s1 、s2 の 2 つの短単位を入力した際の計算を示している。ただし、s1 、s2 は d 次元のベクトルを表し、W は d × (2d + 1) 行列であり、b はバイアスである。また σ はシグモイド関数を意味する。しかし、この式では、「発表会」(「会」の説明を「発表」で行う) や「12 時」(数詞＋単位) のように明らかに異なる性質の組み合わせを同じ重みで表すことになる。

し、他のパラメータはデフォルトの値を用いた。用いる長単位の定義を「長単位を構成する短単位の数が 2つのもの」としているため、短単位と長単位が同じものと長単位を構成する短単位の数が 3 単語以上のものは除外した。
以上のようにして計 169,736 単語の長単位の分散表
現とそれらを構成する短単位を取得した。

ここで本研究では [1] と同様に、異なる性質を別の重みとして分けるために入力として係り受け関係 r を加4.2

係り受けの定義えた。

s1r

長単位の単語の係り受けは日本語の熟語の構成をも  l = f (s1 , s2 , r) = σ Wr  s2r  とに定義した。まず、『現代日本語書き均衡コーパス』(2)

brの書籍全般のコーパス中の 23,000 件の長単位の単語の係り受けを人手で分類し、それらを訓練データとしそのため、ニューラルネットの重みとバイアスが係てサポートベクターマシン（SVM）を用いてコーパスり受けによって変更されることになる。ここで Wr と全体に係り受けを付与した。また SVM で liblinear 2

br は係り受けの数 (本実験では 13 通り) 用意する。本を用い、カーネルは線形カーネルを使用した。なお、実験での誤差関数は村岡ら [1] の手法で用いていた誤人手で分類する際には、一つの係り受けのサンプル数差関数と同様に以下の式を用いた。

が 30 件以上存在するように留意した。本研究で利用λ1 ∑1||pi − ti ||2 + || θ ||2j(θ) =N i=1 2
2

した係り受けは以下の 13 通りである。

N(3)ただしθは学習パラメータの全て、pi は生成したベクトルの集合、ti は教師データの集合を表す。勾配の計算は誤差逆伝播を用いた。

1. 前の短単位が後の短単位の説明を行う組合せ
例:「講習会」

2. 目的語と述語の組合せ
例:「債務放棄」

3. 補語と述語の組合せ
例:「法的整理」

4. 主語と述語の組合せ

実験

4

例:「画面割れ」

本節では、初めに入力および教師ベクトルとなる短単位・長単位の単語の分散表現の作成方法を説明し、次に係り受けの定義を明示し、評価方法を明らかにし5. 一方の短単位がもう一方の短単位の単位となる組合せ
例:「1 月」

6. 主要単語と接尾語の組合せ

たうえで、最後に実験の結果を記載する。

例:「具体的」

4.1

7. 接頭語と主要単語の組合せ

短単位・長単位の分散表現の作成

例:「副代表」短単位・長単位の分散表現は以下のような手順で作

8. 片方の短単位に、助詞が用いられている組合せ
例:「ための」成する。

1. 『現代日本語書き均衡コーパス』[5] の分かち書きを行う。この時、短単位の単語の分かち書きに長単位の単語の分かち書きを追記したファイルを作成する。

9. 固有名詞と一般名詞の組合せ
例:「茨城県」
1 https://radimrehurek.com/gensim/
2 https://www.csie.ntu.edu.tw/~cjlin/liblinear/― 992 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

10. 名詞と動詞で動詞になる組合せ

表 1 を見ると係り受けありのほうが早い段階で目標

例:「応募する」

データとの類似度の高い結果を得ることができている

11. 数字どうしの組合せ

ことがわかる。

例:「三二」

次に表 2 は係り受け毎のコサイン類似度を列挙した

12. 短単位単体では意味を持たず長単位になって初めものである。この時エポック数は 200 から 2,000 までて意味を持つ組合せ

200 おきに結果を出しその中で最も性能が良かった結

例:「だが」

果を示した。表 2 のエポック数とは表の値を出力した

13. その他

際のエポック数である。表 2 から名詞と動詞で動詞に例:「意気揚々」
表 2: 係り受け毎のコサイン類似度の比較
係り受け

4.3

ネットワークモデル

12345678910111213

本研究ではフィードフォワードニューラルネットワー
ク（FFNN）を用いて長単位の単語ベクトルを合成した。入力は 2 つの短単位の単語ベクトル、出力は長単位の単語ベクトルとした。中間層のユニット数は 300とした。エポック数は最大を 2,000 とした。重みの初期値はランダムに生成した。

4.4

評価方法

コサイン類似度

エポック数0.608
0.656
0.610.668
0.617
0.6300.6190.620.6190.722
0.666
0.470
0.632

2,000
1,600
600
800
2,000
2,000
2,000
400
2,000
2,000
600
200
2,000

取得した分散表現から半数を訓練データ、もう半数をテストデータとして二分割交差検定を行った。このなる組合せである「係り受け 10」が最も性能が良く、際、生成した単語の長単位の分散表現とモデルにより短単位単体では意味を持たず長単位になって初めて意生成した分散表現とのコサイン類似度により評価した。

味を持つ組合せである「係り受け 12」が最も性能が低

コサイン類似度が高ければ高いほど、本来取得したいくなることが分かった。

分散表現と近いということになるため、性能が高いモデルであるといえる。

56

考察
本実験の結果により、係り受け関係を考慮して短単結果位の分散表現の合成を行ったほうが学習の性能向上に

表 1 は係り受け無しでモデルを学習させた場合のコつながることが確認できた。
本研究では簡略化のため、単語の制限として 2 つのサイン類似度と、係り受けごとに重みを分けた場合のコサイン類似度を比較したものである。

短単位からなる長単位に範囲に絞って実験を行った。
しかし、入力に用いた単語情報と出力に用いた単語情表 1: 係り受けの有無のコサイン類似度の比較
エポック数

200
400
600
800
1,000
1,200
1,400
1,600
1,800
2,000

係り受け無し係り受けあり

0.283
0.328
0.387
0.425
0.468
0.491
0.515
0.528
0.545
0.555

0.415
0.500
0.548
0.575
0.96
0.607
0.615
0.621
0.626
0.629

報はともにベクトルであるため、3 単語以上の合成を行うことが可能である。
本手法では係り受けの付与を行う際の SVM の分類の正答率がモデルの性能に影響する。そこで性能向上を図るため分類の正答率を評価した。それぞれの係り受けに対してランダムにサンプルを 100 ずつ取得し、そのサンプルの分類を人手で正誤を判定した。実験結果を表 3 に示す。
表 3 から正答率が他に比べて補語と述語の組合せである「係り受け 3」と、主語と述語の組合せである「係り受け 4」の分類の精度が極めて低いことがわかる。

― 993 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

を用いるか用いないかによって、少ないエポック数で
表 3: 係り受け分類の最も多い誤りと正答率
係り受け

12345678910111213

最も多い誤り

正答率 (％)

611
1613
1,6,131,61111184428
169991
948591
99868684

性能の良いモデル作成をできることを確認した。

謝辞
本研究は，茨城大学の女性エンパワーメント支援制度補助金および JSPS 科研費 15K16046 の助成を受けたものである。

参考文献[1] 村岡雅康, 島岡聖秀, 山本風人, 渡邉陽太郎, 岡崎直観, 乾健太郎, 係り受け関係を用いた句ベクトルのそこで「係り受け 3」と「係り受け 4」を誤りの多かっ生成た、前の短単位が後の短単位の説明を行う組合せであ2014.

る「係り受け１」と統合し、「係り受け 1’」として再実験を行う。再実験は表 4 で示す。

tors, adjectives are matrices:

全体のコサイン類似度係り受け 1’

0.402
0.489
0.541
0.571
0.590
0.603
0.613
0.620
0.624
0.629

0.327
0.415
0.480
0.521
0.547
0.567
0.583
0.594
0.602
0.609

200
400
600
800
1,000
1,200
1,400
1,600
1,800
2,000

発表論文集 pp.1055-1058,[2] M. Baroni and R. Zamparelli. Nouns are vecRepresenting

adjective-noun constructions in semantic space.

表 4: 係り受け 1’ を用いた実験
エポック数

言語処理学会In EMNLP, pp. 1183-1193, 2010.
[3] 橋本和真, 鶴岡慶雅 テンソル分解に基づく述語項構造のモデル化と動詞句の表現ベクトルの学習
言語処理学会

発表論文集 pp.639-642, 2015.

[4] 橋本和真 鶴岡慶雅 構成性と非構成性を同時に考慮した動詞句の表現学習 言語処理学会
文集

発表論pp.661-664, 2016.

[5] Kikuo Maekawa, Makoto Yamazaki, Toshinobu
Ogiso, Takehiko Maruyama, Hideki Ogura,
表 1 と表 4 を比較するとわずかに合成の性能が落ち

Wakako Kashino, Hanae Koiso, Masaya Ya-

たことが確認できる。原因としては、「係り受け 1」はmaguchi,サンプルが多いデータであり、「係り受け 3」
・
「係り受

Balanced Corpus of Contemporary Written

け 4」は「係り受け 1」よりも性能がよいデータであJapanese,Language Resources and Evaluation,Vol.48, pp.345-371, 2014.

る。したがって、「係り受け 1」に飲み込まれる形とな

Makiro Tanaka,

Yasuharu Den,

り、性能が落ちてしまったと考えられる。
係り受けごとの精度比較を見ると、短単位単体では意味を持たず長単位になって初めて意味を持つ組合せである「係り受け 12」が著しく精度が低いことが確認できたため、助詞などの扱いを工夫することにより性能の向上する可能性がある。

7

おわりに
本稿では、短単位の分散表現から長単位の分散表現を合成する手法を提案した。本研究では係り受け関係― 994 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.