言語処理学会 第26回年次大会 発表論文集 (2020年3月)

ラベルの構成性を考慮した系列ラベリング
加藤 拓真 1

阿部 香央莉 1,211

1

東北大学

2

大内 啓樹 2,1

乾 健太郎 1,2

理化学研究所2{takuma.kato, abe-k, inui}@ecei.tohoku.ac.jp

はじめにhiroki.ouchi@riken.jp
Facility

系列ラベリングは，入力文の各単語に対してラベルを付与すSchoolPark
GOE_Other

GOE
Facility_Other

る問題である．品詞タグ付与や固有表現抽出も系列ラベリング問題として解くことができる．例えば，固有表現抽出では，各a

単語に対して B-Person や I-Person といったラベルを付与す_L

B-Facility/GOE/School I-Facility/GOE/School Oる．これらのラベルは，固有表現のスパン（境界）を表す B，Ih

f

B-Facility/GOE/Parkという要素と，固有表現のタイプを表す Person（人間）といI-Facility/GOE/ParkOLOOう要素からなる．さらに，拡張固有表現 [12] などのデータセッ

図1: ラベルの構成性を持つ系列ラベリング問題の一例（ラベトでは，固有表現タイプが階層構造を持つ．例えば，図1中の固ルに階層構造を持つ拡張固有表現抽出）．

有表現タイプ Facility/GOE/School は三階層からなり，第一階層が Facility，第二階層が GOE，第三階層が School である．このように，ひとつのラベルは複数の構成要素のラベルか手法2ら成り立っている．この特徴をラベルの構成性と呼ぶ．
ラベルに紐づく重みベクトルと単語ベクトルの内積に基づいて予測を行っている [3, 5, 7]．しかしながら，ラベルはい2.1

入力文 X = (x1 , x2 , · · · ) の各単語 x に対して，最大の確率となるラベル ŷ を出力する．

ŷ = arg max P (y|x, X)

くつかの構成要素を共有することが多いため，共有情報を考慮する方が学習の観点から望ましいと考えられる．例えば，
図1に示した 2 つの固有表現ラベル B-Facility/GOE/Schoolと B-Facility/GOE/Park は，前者のラベルは訓練データ中に高頻度で出現する一方，後者のラベルはほとんど出現しない*1 ．
これらのラベルを独立のクラスとして分類器を学習する既存の方法では，出現頻度の低いラベルについて適切に学習することが難しい．ここで，各ラベルを，B，Facility，GOE といった構成要素に分解し，構成要素ごとの重みベクトルをモデルが学習するようにすれば，B-Facility/GOE/Park のような低頻度既存モデルFAC

多くの既存研究では，ラベルの構成性を特に考慮せず，各(1)y∈Y

こ こ で，Y は デ ー タ セ ッ ト ご と に 定 義 さ れ た ラ ベ ル セ ットである．例えば，図1では，「東北」と「大学」に対してB-Facility/GOE/School と I-Facility/GOE/School というラベルを付与し，「東北大学」という文字範囲が固有表現Facility/GOE/School であることが認識できれば正解となる．固有表現ではない「に」，「行く」に対しては Outside を表す O のラベルを付与する．
式1中の確分布率 P (y|x, X) は次のように求められる．
exp(W[y] · f(x, X))
P (y|x, X) = ∑exp(W[y ′ ] · f(x, X))

ラベルに対しても，コーパスに高頻度で出現する構成要素の重みベクトルを共有できるため，汎化性能の向上が期待できる．

(2)y ′ ∈Y

本稿では，ラベルの構成要素を考慮した系列ラベリングの手法を提案する．この手法では，各ラベルを構成要素に分解し，ここで，W ∈ R|Y|×dim はラベルセット Y に対する重み行列それぞれの構成要素に対してベクトル表現を定義して学習すである*2 ．各行が各ラベル y ∈ Y に紐づき，W[y] は y 行目のる．これらのベクトル表現を足し合わせたベクトルを各ラベルベクトルを表す，f(x, X) はニューラルネットワークによっての重みベクトルとして予測に用いる．評価実験を通して，提案エンコードされたベクトルを表す．このふたつのベクトル間のモデルが既存モデルを上回る性能を達成し，特に低頻度ラベル内積をもとに確率分布が計算される．

に対する顕著な性能改善が見られた．また，提案手法モデルで2.2

ラベル重み行列の構成的計算は共通の上位階層を持つラベル同士が近くにまとまったベクト

一般的に，系列ラベリングで使用されるラベルは複数の要素ル空間が観測された．本研究の主な貢献は以下の二点である.

から構成される．例えば，ラベル B-Facility/GOE/Park は，

貢献 1: ラベルの構成性を考慮し，ラベルに紐づく重みベクト

エンティティスパンの始まりを表す B ラベルと，エンティティルを構成的に計算する手法の提案と定式化．のタイプを表す Facility/GOE/Park ラベルから構成されて貢献 2: 日本語拡張固有表現抽出の実験を通して，提案手法が低いる．さらに拡張固有表現ラベルの場合，タイプの部分は階層頻度ラベルに対して顕著な精度改善の効果があることを実証．

構造を表し，各階層の Facility と GOE と Park の要素から構*1 訓練データ中には，B-Facility/GOE/School は 372 件出現するのに対し，B-Facility/GOE/Park はわずか 22 件しか出現しない．

成される．このような構成要素を考慮して，式 2中のラベル重*2 dim は各重みベクトルの次元数を表す．

― 1479 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

eSOVdc

Rk
Facility-./01

Location

W ck-

ESOVkc

表1: 拡張固有表現コーパスの詳細GG-)
B
I

Line-./02

G

GOE
GPE

GG

School-./03

Facility/GOE/Park

Park
River

訓練

34,78472,318

開発

7,009

11,954

評価

6,783

11,669頻度分類（頻度数）

I-Facility/GOE/ParkCountry

固有表現数

表2: 固有表現ラベルの各頻度の詳細

B-Facility/GOE/Park-,

GOE_Other

文数GG

開発

評価1,109

中頻度ラベル群（30∼99） 2,654

1,037
2,358

高頻度ラベル群（100∼）8,274

低頻度ラベル群（1∼29）

図2: 提案手法の概略．ひとつのラベルに対する重みベクトル

事例数8,191を，構成要素（スパン・タイプ）から計算している．
hff

L

み行列 W を次のように定義する．

W[y] = Ws [ϕs (y)] + Wt [ϕt (y)](3)

ここでは，スパンとタイプに対する重み行列がそれぞれ Ws ∈R|V |×dim と Wt ∈ R|V |×dim として定義され，ϕs (y) 行目とϕt (y) 行目のベクトルが足し合わされている．ϕs (y) と ϕt (y) はstそれぞれ，ラベル y の持つスパンとタイプのインデックス番号を返す．例えば，ラベル y = B-Facility/GOE/Park であり，ス
パンラベル集合 V = {B, I} である場合，V におけるスパンラss

ベル B のインデックス番号 1 を返す．同様に，タイプラベル集合

V t = {Facility, Facility/GOE, Facility/GOE/Park, · · · }である場合，V におけるタイプラベル Facility/GOE/Parktのインデックス番号 3 を返す．以上のように，スパンとタイプのそれぞれの重みから構成的にラベル重み行列 W を計算する．
さらに，本稿ではタイプに対する重み Wt も構成的に計算する．複数の考慮したいタイプがあることを想定し，それぞれのWt [ϕt (y)] =Wk [ϕk (y)](4)k∈K

ここで，W ∈ R
k|V k |×dim

実験

3.1

実験設定

データ

本実験では，拡張固有表現コーパス [12]*4 を用いた日

本語拡張固有表現抽出を行う．学習・開発・評価データの分割
は，Universal Dependencies Japanese BCCWJ [1]*5 にしたがう．データの詳細を表1に示す．このデータ中の固有表現には，関根の拡張固有表現階層 [10] で定義されている 200 種類のラベルが付加されている．しかし，これらのラベルの間では，出現頻度にかなり大きな差が生じている．我々は，今回実験を行う上で，開発データおよび評価データにおけるラベルの頻度別の事例（固有表現）数を事前に調査した．表2にその結果を示
す．表における頻度数は，頻度分類（低・中・高）の基準となった頻度の数値幅を表している．例えば，低頻度ラベル群は，各データにおいて，出現頻度が 1∼29 回であったラベル群を表す*6 ．この表より，各ラベルの頻度は，低頻度から高頻度の間では確かに大きな差があることが読み取れる．実験では，このタイプ k ∈ K に対して重み行列を定義する．

∑3はタイプ k のラベル集合 V に対k頻度分類（低頻度，中頻度，高頻度）に基づき，各頻度レベルでの F1 値の比較も行う．
モデルのセットアップ

2.1節の式2のニューラルネットワークする重み行列である．ϕk (y) はラベル y の持つタイプ k のラf(x, X) として BERT [4] を用いる．既存モデルでは，BERTベルインデックスを表す．例えば，図2中の三階層からなるタで計算したベクトルと，構成的演算を施さない通常のラベル重イプラベルセットを考える．第一・二・三階層のラベルセッ
トをそれぞれ，h1・h2・h3 と表し，各階層 k ∈ {h1, h2, h3}のラベル集合 V にそれぞれ重み行列 W を定義する．ラベkk

み行列との積に基づいて確率分布を計算する*7 ．提案モデルでは，ラベルの構成要素に基づいて構成的に計算したラベル重み行列 (2.2節) を利用する．したがって，両モデル間の違いはラル Facility/GOE/Park の場合，Facility と GOE と Park のベル重み行列のみであるため，実験結果として観測される性能それぞれに該当する重みベクトルを足し合わせる．したがっ差はこの点に帰着できる．て，Facility/GOE/Park と Facility/GOE/School のようなハイパーパラメータ共通の階層ラベルを持つラベルに対しても，Facility と GOEルと提案モデルにおいて同じである．日本語 Wikipedia で事の重みベクトルを共有することが可能となる．式 4は，階層構前訓練済みの BERT[11] を初期値として，固有表現の学習中

ハイパーパラメータの設定は既存モデ造に限らず任意の種類のタイプ*3 を構成的に計算できる点で，*4 https://www.gsk.or.jp/catalog/gsk2014-a/

Shimaoka ら [6] の階層ラベル行列計算の一般化と見なすこと*5 https://github.com/UniversalDependencies/UD_Japanese-BCCWJができる．

24，評価が低頻度：104，中頻度：45，高頻度：24 となっていた．

*3 例えば，性別 (gender) や有生性 (animacy) などのタイプも統一的に扱うことができる．

*6 各ラベル群のラベル種類数は，開発が低頻度：107，中頻度：47，高頻度：*7 オープンソースの BERT を利用した固有表現抽出モデルをベースにモデルを実装した: https://github.com/kamalkraj/BERT-NER．

― 1480 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表3: 既存モデルと提案モデルの比較実験結果
開発

評価

既存モデル

64.04±0.19

提案モデル

64.43±0.14

表5: 低頻度ラベルが改善した例
例 (a)・・・越後 湯沢 で，清水 トンネル を・・・

66.18±0.54

固有表現

清水トンネル

66.77±0.31

正解ラベル

B-Facility/Line/Tunnel

I-Facility/Line/Tunnel

既存モデル

OO

提案モデル

B-Facility/Line/Tunnel

I-Facility/Line/Tunnel

例 (b)・・・関空 経由

表4: 頻度ごとの f1 値(a) 低頻度(b) 中頻度(c) 高頻度の マツタケ・・・

開発

評価

既存モデル

36.81±0.7339.23±0.70

固有表現

関空

提案モデル

37.33±0.48

41.19±0.54

正解ラベル

B-Facility/GOE/Airport

既存モデル

B-Product/Food/Food_Other

提案モデル

B-Facility/GOE/Airport

既存モデル

47.71±0.65

50.99±0.34

提案モデル

48.80±0.20

51.96±0.63

既存モデル

68.39±0.27

69.52±0.79

提案モデル

68.63±0.29

69.90±0.44

表6: 既存モデル・提案モデル共に間違った例
例 (c)・・・に ジュラルミン の 機械 が・・・

固有表現

ジュラルミンに fine-tune を行う．fine-tune の epoch 数は 100 で，パラメ

正解ラベル

B-Product/Materialータの最適化には Adam[2] を用いる．損失関数にはクロスエ

既存モデル

B-Organization/Corporation/Company

ントロピー損失関数を用いる．バッチサイズは 32，学習率は提案モデル

B-Product/Product_Other

5.0 × 10−5 である．BERT の隠れ層とラベル重み行列の次元例 (d)・・・を 1 年 から 6 月 に 短縮・・・

固有表現

1年

正解ラベル

B-Periodx/Period_Year

I-Periodx/Period_Year

既存モデル

B-Timex/Date

I-Timex/Date

提案モデル

B-Timex/Date

I-Timex/Date

数 (dim) は 768 である．ドロップアウト率は {0.1, 0.3, 0.5} の中から，開発データの F1 値を基準に選ぶ．

3.2

結果

表3は，開発データおよび評価データに対する既存モデルと提案モデルの F1 値の比較実験結果である．提案モデルは，既存モデルを上回る性能を記録した．この結果は，ラベルの構成要素からラベル重み行列を計算する手法の有効性を示唆して

ルは B-Product/Product_Other（製品名 _ その他）と誤っいる．
次に，各頻度ごとの F1 値の結果を表4に示す．どの頻度のラベル群においても一貫して性能の向上が見られた．特に，低頻度ラベル群に対して，評価データにおいて 1.96 ポイントの向上が見られ，他の頻度のラベル群よりも性能向上に顕著な差が現れた．この結果は，我々が期待した通り，ラベル間で共有される構成要素ごとにラベル重みを学習することによって，低頻度ラベルに対する汎化性能が向上したことを示唆している．

3.3は正しく予測できており，末端のタイプラベルで誤ってしまう惜しい予測結果となっている．対照的に，既存モデルはラベル B-Organization/Corporation/Company を出力しており，第一階層のタイプラベルから誤っていることがわかる．このよ
うに，提案モデルの予測誤りとして，ラベルの上位階層は正解しているが，末端のタイプラベルで誤っているような惜しい事例が多数見られた．その一方で，既存モデル・提案モデルともに予測結果の分析提案モデルの予測正解例ている．しかし，第一階層のタイプラベル Product（製品名）

表5に，提案モデルによって改善した低頻度ラベルの出力例を示す．例 (a) では，既存モデルが固有表現である「清水トンネル」を認識できなかったのに対し，提案モデルは正しく認識できている．例 (b) では，両モデルともに「関空」が固有表現であることは認識できているが，既存モデルは誤ったタイプラベルを予測している．その一方で，提案モデルは正しいタイプラベルを予測している．これらの例に見られるように，Facility（施設）などの事例数が多い上位階層タイプラベルを持つラベルにおいて，多くの事例にモデル予た．例 (d) では，正解タイプラベルが Periodx/Period_Yearであるが，両モデルともに Timex/Date と予測している．これ
らのラベルの第一階層は Periodx（期間）と Date（日付表現）であり，どちらも数値表現に関連する．このように，数値表現に関連するラベルは，モデルにとって区別するのが難しい傾向が観測された．

3.4

ラベルベクトルの可視化

本節では，提案モデルがラベルの構成性を考慮できているか、実際に学習されたラベルベクトルの可視化を通して分析する．

測の改善が見られた．
提案モデルの予測誤り例

第一階層までもが誤りである予測をしてしまった事例も見られ

表6に， 既 存 モ デ ル ・ 提 案 モ デル と も に 誤 っ た 事 例 を 示 す． 例 (c) で は， 正 解 ラ ベ ル がB-Product/Material（材料名）であるのに対し，提案モデ

もし，提案モデルにおけるラベルの重みベクトルが効果的に学習できていれば，共通の上位階層タイプラベルを持つラベルはベクトル空間上での位置が近くなるはずである．この仮説を― 1481 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

6

系列ラベリングに導入した．本研究と最も近い関連研究として，

4I-ラベル

2Matsubayashi ら [9] の研究が挙げられる．彼らは意味役割付

0与において，ひとつの意味役割ラベルを複数のラベルの集合と2して表現することによって効率的な学習を可能とした．彼らは48最大エントロピーモデルを利用し，各ラベルを離散的な素性とB-ラベル6して表現していた．一方で，我々はニューラルモデルを利用し，64202(a) 既存モデル46

各ラベルをベクトルの演算によって定義している点が異なる．

(b) 提案モデル

終わりに5

本稿において，我々はラベルの構成性を考慮した系列ラベリングのモデルを提案した．また，その構成性を考慮したモデルを利用して，約 200 種類の固有表現ラベルを付加する日本語拡
張固有表現抽出のタスクに取り組んだ．結果として，構成性を考慮した提案モデルは，固有表現抽出の精度向上に繋がり，特に階層構造を考慮したことによって低頻度ラベルの精度の向上を達成することができた．詳細な分析を通して，提案モデルでも未だ解けていない事例の傾向も明らかになった．特に区別の(c) 提案モデル（図（b））の一部（赤い点線枠内）拡大図
図3: 学習により得られたラベルベクトル空間の t-SNE 可視化
同じ色は上位ラベル (第一階層のラベル) が同じであることを表している．また，「B-ラベル」と「I-ラベル」として囲まれている部分は，それぞれ B から始まるラベル，I から始まるラベルがクラスタを形成していることを表す．

つきにくい数値等を含む固有表現などに対して，どのようにアプローチすべきか，と言う点に関しては，今後改善しなければならない課題である．

謝辞
本研究は JSPS 科研費 JP19H04162，JP19K20351 の助成を受けたものである．

参考文献
検証するため，各ラベルベクトルを二次元にマップして可視化[1]を行う．
図3に既存モデルと提案モデルのラベルベクトル空間を t-SNE によって可視化したものを示す．既存モデル（図3(a)）のラベルベクトル空間では，共通の上位階層を持つラベルベクト[2][3]

ルも散らばっており，近くにまとまっていない．一方で，提案モデルのラベルベクトル空間（図3(b)）は，B と I のスパンラ[4]

ベルごとに二つの明瞭なクラスタが形成されていることがわかる．各クラスタ内では，共通の上位階層を持つラベル（同じ色）[5]ごとに，近くにまとまっていることが読み取れる．
さらに，図3(b) の拡大図を図3(c) に示す．図3(c) を見ると，[6]確かに同じ上位階層ごとにまとまっていることがわかる．このことから，提案モデルのラベルベクトルはスパンの情報やタイプの階層構造という各構成要素を有効に学習できていると考えられる．

4[7]
[8]

関連研究
[9]

Mai ら [8] は日本語拡張固有表現抽出に取り組み，辞書情報を用いることによってモデルの性能が向上したことを報告している．彼らの手法は我々の提案手法と直交する関係にあり，ふたつの手法を組み合わせることが可能である．島岡ら [6] は[10]

Entity Typing において，ラベルの階層構造を考慮してラベルベクトルを計算する手法を提案し，モデルの性能が向上したこ[11]とを報告している．本研究では，階層構造に限られていた彼ら[12]の手法を，任意の構成要素の集合に適用可能なように一般化し，― 1482 ―Masayuki Asahara et al. “Universal Dependencies Version 2 forJapanese”. In: Proceedings of the Eleventh International Conference on the LREC. Miyazaki, Japan: European Language Resources
Association (ELRA), May 2018.
Yoshua Bengio and Yann LeCun, eds. 3rd International Conference
on Learning Representations, ICLR 2015, San Diego, CA, USA,May 7-9, 2015, Conference Track Proceedings. 2015.
Jason P.C. Chiu and Eric Nichols. “Named Entity Recognition with
Bidirectional LSTM-CNNs”. In: Transactions of the Association for
Computational Linguistics 4 (2016), pp. 357–370.
Jacob Devlin et al. “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”. In: Proceedings of the 2019
Conference of the North American Chapter of the Association for
Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Minneapolis, Minnesota: Association for Computational Linguistics, June 2019, pp. 4171–4186.
Guillaume Lample et al. “Neural Architectures for Named EntityRecognition”. In: Proceedings of NAACL-HLT. 2016, pp. 260–270.
Mirella Lapata, Phil Blunsom, and Alexander Koller, eds. Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, EACL 2017, Valencia,Spain, April 3-7, 2017, Volume 1: Long Papers. Association for
Computational Linguistics, 2017.
Xuezhe Ma and Eduard Hovy. “End-to-end Sequence Labeling via
Bi-directional LSTM-CNNs-CRF”. In: Proceedings of ACL. 2016,
pp. 1064–1074.
Khai Mai et al. “An Empirical Study on Fine-Grained Named Entity
Recognition”. In: Proceedings of the 27th International Conference
on Computational Linguistics. Santa Fe, New Mexico, USA: Association for Computational Linguistics, Aug. 2018, pp. 711–722.
Yuichiroh Matsubayashi, Naoaki Okazaki, and Jun’ichi Tsujii.
“A Comparative Study on Generalization of Semantic Roles inFrameNet”. In: Proceedings of the Joint Conference of the 47th
Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP. Suntec,
Singapore: Association for Computational Linguistics, Aug. 2009,pp. 19–27.
Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata, eds. Proceedingsof the Third International Conference on Language Resources andEvaluation, LREC 2002, May 29-31, 2002, Las Palmas, CanaryIslands, Spain. European Language Resources Association, 2002.
柴田 智秀, 河原 大輔, and 黒橋 禎夫. “BERT による日本語構文解析の精度向上”. In: 言語処理学会第 25 回年次大会. 2019.
橋本 泰一, 乾 孝司, and 村上 浩司. “拡張固有表現タグ付きコーパスの構築”. In:
情報処理学会研究報告. 自然言語処理研究会報告 188 (Nov. 2008), pp. 113–120.

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.