言語処理学会 第26回年次大会 発表論文集 (2020年3月)

マルチタスク学習を利用した短単位の分散表現から長単位の分散表現の合成
河野 慎司

古宮 嘉那子茨城大学工学部情報科{16t4068t,kanako.komiya.nlp}@vc.ibaraki.ac.jp

1

はじめに解析をグラフ畳み込みネットワークで行う SynGCNと、単語の上位・下位関係をもつ SemGCN で単語の近年、単語の分散表現は自然言語処理における基幹分散表現を獲得し、SQuAD タスクに適応している。

技術となっている。分散表現を取得するにあたって、まず単語の分かち書きをする必要がある。しかし単語境界の違いによっては、単語の分散表現を取得後、単3語の分散表現どうしを直接比較ができないときがある。
例えば unidic の短単位では「会員」は一単語であるが、「裁判員」は二単語であるため、直接分散表現の比較ができない。そのため、複合語の分散表現を単語の分散表現から合成する手法が必要である。本研究では unidic で利用されている単語単位の「短単位」の分提案手法
Komiya ら [2] は係り受け分類ごとに長単位の合成を行っているが、我々は一度に長単位の合成を行う。
例えば長単位が「講習会」のとき、短単位である「講習」と「会」から長単位の「講習会」の意味を成す分散表現を合成する。

散表現から「長単位」の分散表現の合成を行う。この講習 + 会 → 講習会

とき、Komiya ら [2] の係り受けを考慮した長単位合成に関する手法を参考に、短単位の係受け情報の分類係り受けを考慮せず長単位の合成を行うとき、短単タスクを使用し、マルチタスク学習を利用した短単位位のペアをニューラルネットの入力にし、長単位を出の分散表現から長単位の分散表現の合成を行った。

力とする。このときのネットワーク図を図 1 に示す。

2関連研究
本研究の関連研究として、句の分散表現の生成の研究が挙げられる。Muraoka ら [3] は「形容詞+名詞」

図 1: 短単位のペアから長単位を合成するネットワーク

や「名詞+名詞」などの係り受け関係に注目し、それぞれの係り受け関係毎に異なる重みで分散表現の合成

しかし、この場合だと係り受けを考慮することがでを行っている。Hashimoto ら [1] は句の意味はその構きない。そこで入力は二つの短単位のまま、係り受け成要素の単語の意味の組み合わせによって決まると仮を考慮するため出力に長単位ベクトルの他に、係り受定し、句の表現は構成要素の単語の表現から計算できけ情報を出力に追加する。このときのネットワーク図るという「構成的表現」とイディオムとして扱われるを図 2 に示す。このように出力が複数あるネットワー「非構成的表現」の両方を同時学習する手法を提案しクはマルチタスク学習モデルとなる。ている。Komiya ら [2] は係り受けを 13 種類に定義し、人手で係り受け番号を付与したデータ 1,673 件を図2 のネットワークで学習させる。その後、係り受けが付与されていない二つの短単位と長単位の組み合わせ計
155,779 件でファインチューニング (以下「FT」) を行
い、FT をしなかった場合と比較をする。ただし、FTをするときの約 15 万件のデータは係り受けが付与さSVM を使用し約 17 万件の短単位と長単位の組み合わせを係り受けごとに分類した。その後、係り受け内で短単位から長単位の合成を行っている。
我々は係り受け情報を用いて単語の分散表現を作成しているが、Shikhar ら [4] は主語・目的語などの構文― 209 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

短単位の数が 3 単語以上のものは除外した結果、計195,779 組の短単位のペアと長単位の組み合わせを取得した。また 1,873 件に人手で 13 通りの係り受け番号を付与した。(以下「人手データ」)
図 2: 係り受けを考慮した長単位合成ネットワーク

4.2
れていないため図 3 のように係り受けへの損失 (loss)
を 0 とする。

係り受けの定義

本研究で使用する係り受けは Komiya ら [2] と同じ13 通りとする。以下に 13 通りの係り受けの詳細と具体例を示す。

1. 前の短単位が後の短単位の説明を行う組合せ
図 3: 係り受けを考慮した長単位合成ネットワーク

例:「講習会」
2. 目的語と述語の組合せ

また短単位二つと係り受けの 3 入力での長単位合成

例:「債務放棄」
3. 補語と述語の組合せ
例:「法的整理」
4. 主語と述語の組合せも行った。まず人手で係り受けを付与したデータで図2 の構成でマルチタスク学習を行う。次に約 15 万件の短単位を学習済みのモデルに入力し、出力として予測

例:「画面割れ」
5. 一方の短単位がもう一方の短単位の単位となる組合せされた係り受けを得る。最後に予測係り受けと短単位二つを入力に、長単位を出力として新しくネットワー

例:「1 月」
6. 主要単語と接尾語の組合せ

クを学習させ長単位の合成を行う。この一連の流れを
図 4 に示す。

例:「具体的」7. 接頭語と主要単語の組合せ
例:「副代表」8. 片方の短単位に、助詞が用いられている組合せ
例:「ための」
9. 固有名詞と一般名詞の組合せ
例:「茨城県」
10. 名詞と動詞で動詞になる組合せ

図 4: 予測係り受けと短単位を入力にした長単位合成

例:「応募する」
11. 数字どうしの組合せ
例:「三二」
12. 短単位単体では意味を持たず長単位になって初め

4

実験

4.1

短単位・長単位の分散表現の作成て意味を持つ組合せ
例:「だが」
13. その他
例:「意気揚々」

短単位・長単位の分散表現は以下のような手順で作成する。

人手で分類した短単位と長単位の組み合わせは表 1

1. 『現代日本語書き均衡コーパス』の分かち書きをの通りである。

行い、長単位と短単位を一つのファイルとする。

2. 分かち書きのファイルを用いて分散表現を生成す

4.3る。分散表現の作成には word2vec を利用し、ベクトルの次元数は 100 とした。

ネットワーク構成二つの短単位の分散表現を入力とし、長単位の分散表現と係り受けを出力するマルチタスク学習を行う。

― 210 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

際、生成した長単位の分散表現と正解となる分散表現
表 1: 人手で分類した短単位と長単位の組み合わせ係り受け
123456をコサイン類似度により評価した。
なお学習には Early stopping を導入した。また短単件数

447541312132

200

位二つの MaxPooling(最大)、AveragePooling(平均)78910111213をベースラインとして設定した。MaxPooling は短単3133097371

2732114位のペアを同じ次元の位置どうしで比較し値が大きい方を長単位とする手法であり、AveragePooling は短人手データのうち 200 件を開発データとして最適なハ単位のペアを同じ次元の位置どうしで足して 2 で割るイパパラメータを選定した結果、図 5 のネットワークことで長単位を生成する手法である。

構成を採用した。共通層である 600 次元の活性化関数には relu、長単位を出力する 100 次元層は sigmoid、係り受けを出力する 13 次元層は softmax を使用した。

5

また最適化アルゴリズムには Adam を選択した。

結果
人手データ 1,673 件でマルチタスク学習を行った際の結果を表 2 に示す。
表 2: 係り受けデータのマルチタスク学習性能
長単位のコサイン類似度 係り受け accuracy

0.49510.8315

図 5: 学習するネットワーク構成
次に約 15 万件の短単位のペアと長単位の組み合わ
ただし約 15 万件データで FT を行う際は図 6 のよせで係り受けデータで学習された重みを FT した。FTうに 600 次元の共通層と係り受けへの層は学習を行わをしない場合（マルチタスク学習も行わない）とベーず固定した。

スラインとの比較を表 3 に示す。表 3 での FT あり/なしの () 内は Early stopping での停止エポック数である。
表 3: FT の有無とベースラインの長単位コサイン類
似度
FT あり

0.5713 (148)

FT なし

最大平均

0.5604 (97)0.39580.4448

図 6: ファインチューニング (FT) を行う層
短単位二つと予測係り受けを入力とする 3 入力モデ
ルでは中間層一つの 100 次元で実験を行う。
また、約 15 万件データを使って短単位から長単位のみ合成する場合（マルチタスク学習も FT もしない場合）、中間層一つの 300 次元のネットワーク構成で実験の結果、FT「あり」の方が「なし」に比べ性能がよくなった。
最後に予測係り受けと短単位二つを入力 (3 入力) として長単位の合成を行ったときと、表 3 での FT あり/なしとのコサイン類似度の比較を表 4 に示す。

学習した場合が最適であったため、この構成で実験を

表 4: 3 入力と FT あり/なしの比較
3 入力コサイン類似度
FT あり
FT なし

行う。また、これらの活性化関数には sigmoid を利用した。

0.5626(123)

4.4

評価方法

0.5713 (148)0.5604 (97)

係り受けを加えた 3 入力のときは FT なしに比べ性取得した分散表現から半数を訓練データ、もう半数をテストデータとして二分割交差検定を行った。この

能はよくなったが、FT ありに比べると性能は下がる結果となった。

― 211 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

6

考察

7

おわりに

本実験の結果により、係り受けを考慮した重みを FT

本研究は短単位の分散表現から長単位の分散表現を、した方が、係り受けを考慮しなかった場合に比べ性能係り受けを考慮したマルチタスク学習によって合成す向上につながることが確認できた。この結果は Komiya

る手法を提案した。係り受けを考慮した重みを FT することで、FT をしなかった場合に比べ性能の向上がら [2] と同様である。
本手法では一度にすべてのデータで学習を行ってい確認できた。今後の課題としては以下の二点がある。

るが、係り受け分類ごとに長単位の合成性能を調査し• 現状と同じ係り受けを利用し、より性能の出るた。このとき、Komiya ら [2] の研究と比較するためネットワークモデルの構築。

SVM での係り受け分類の性能も求める。本手法で係• 係り受けをより細かくする。また係り受けの他にり受け分類するためには、人手データで学習済みのモ合成に効くサブタスクを追加する。

デル (図 5) から予測として得られる係り受けをもとに13 通りの分類を行い、学習を実行した。結果を表 5 にこれらの点を考慮しながら今後研究を進めていきたい。

示す。
表 5: 係り受け別のコサイン類似度 () 内は分類件数
係り受けマルチタスク学習SVM

謝辞
本研究は、茨城大学の若手教員研究費支援制度「分10.4895 (26,797)

0.4884 (25,198)

散表現を用いた多単語表現の変換」および JSPS 科研

20.4902 (1,337)

0.4847 (2,196)

費 18K11421 の助成を受けたものである。また、甲南

30.4275 (94)0.4126 (460)

大学の永田亮先生にさまざまなアドバイスをいただき

40.4814 (111)0.5005 (458)ました。御礼申し上げます。

50.5572 (11,036)

0.5685 (8,722)

60.5409 (20,328)

0.5422 (22,077)

70.4957 (1,645)

0.5473 (3,797)

80.6820 (49,806)

0.6741 (48,020)

90.4239 (5,921)

0.4160 (4,574)

100.6024 (24,499)

0.5978 (25,256)

110.7425 (261)0.6009 (802)120.6817 (6,504)

0.6798 (8,017)

130.5049 (7,440)

0.4732 (6,202)

0.58700.5843マイクロ平均

参考文献[1] Kazuma Hashimoto and Yoshimasa Tsuruoka.
Adaptive joint learning of compositional and noncompositional phrase embeddings. In Proceedingsof the 54th ACL, pp. 205–215, 2016.
[2] Kanako Komiya, Takumi Seitou, Minoru Sasaki,
and Hiroyuki Shinnou. Composing word vectors
for japanese compound words using dependency
relations. CICLING, 2019. no. 229.

分類ごとにみると「係り受け 11」が最も高く、「係り受け 9」が最も低い結果となった。「係り受け 11」[3] Masayasu Muraoka, Sonse Shimaoka, Kazeto Ya-

が高い性能がでた考察として、「係り受け 11」は数字

mamoto, Yotaro Watanabe, Naoaki Okazaki, andどうしの組み合わせであるためパターンが少なく短単位・長単位どうしで元々のベクトルが似ているためだ

Kentaro Inui. Finding The Best Model Among
Representative Compositional Models. In Pro-と考えられる。一方「係り受け 9」は固有名詞と一般

ceedings of PACLIC 2014, pp. 65–74, 2014.

名詞の組み合わせのためパターンが多く、短単位・長単位どうしのベクトルが離れている場合が多いことが[4] Shikhar Vashishth, Manik Bhandari, Prateek
Yadav, Piyush Rai, Chiranjib Bhattacharyya,

要因の一つに挙げられる。
固有名詞と一般名詞の組み合わせには、「人名→一and Partha Talukdar. Incorporating syntactic

般名詞」や「地名→一般名詞」などのように係り受け

and semantic information in word embeddings

をより細かくすることで、約 15 万件データの長単位

using graph convolutional networks.

合成性能も上がるのではないかと考えられる。

― 212 ―

ACL, p.

3308–3318, 2019.

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.