# ニューラル日本語固有表現認識における格フレームの有効性検証

除山宗一
筑波大学情報学群
s1913548@coins.tsukuba.ac.jp

## 1 はじめに

近年, 固有表現認識 (Named Entity Recognition, NER)課題に対して, LSTM やBERT 等, ニューラルネットワーク（Neural Network，NN）に基づく解析モデルが多く提案されている $[1,2]$. これらのモデルでは, $\mathrm{NN}$ の特徴であるモデル設計の柔軟さを生かして, 解析対象となる文書以外の外部情報を特徴量として容易に取り込むことができる．例えば， Luら [3] は解析対象文書の関連画像情報を外部特徴量として取り込むことで NER の性能向上に繋げている.

本研究では, NER 課題で標準的に用いられる Bi-LSTM-CRF モデルに格フレーム情報を外部情報として取り込むことを考え，その有効性を検証する。例文「太郎が筑波大学へ行く」において, 述語「行く」のガ格には人間 (PERSON) や組織 (ORGANIZATION)等をあらわす固有表現が現れやすく, また, へ格には場所（LOCATION）をあらわす固有表現が現れやすい.このように述語と格関係にある要素の中には特定の固有表現クラスが現れやすいと考えられ，格フレー ムを参照することで, この固有表現の現れやすさに関する情報を解析モデルで利用する.

Bi-LSTM-CRF に格フレーム情報を取り込むにあたり, 取り込むタイミングとして, LSTM 層よりも前側, 後側およびその両方の 3 パターンが考えられる. そこで， 3 パターンのうちのどれが組み込むタイミングとして最良であるかも同時に検証する。

## 2 格フレーム情報

## 2.1 京大格フレーム

河原ら [4] は約 100 億文の大規模 Web コーパスから格フレームを自動構築する手法を提案しており，構築したものを京大格フレームとして公開している1). 本研究では京大格フレームを外部情報として取り込む.京大格フレームには表 1 のような情報がまとめられている. 表 1 は「打つ」の例であり, 述語「打つ」と

1) http://nlp.ist.i.kyoto-u.ac.jp/index.php

\author{
駒田拓也乾孝司 \\ 筑波大学大学院システム情報工学研究科 \\ \{komada@mibel., inui@\}cs.tsukuba.ac.jp
}

関係をもつ項の情報だけでなく, それらの出現頻度が述語の用法ごとにまとめられている点が特徴である.

## 2.2 格フレーム内平均ベクトル（MVC）

格フレーム情報を NN モデルの特徴量として用いる場合, その情報をべクトルへ変換する必要がある. 本研究では, 山城ら [5] が提案した MVC (Mean Vector for Caseframe）特徴量を採用する.

MVC は以下のように計算される.

$
\overline{\boldsymbol{\phi}}_{c f_{l}^{p}(c)}=\frac{\sum_{w \in W_{c f_{l}^{p}(c)}} \operatorname{count}\left(c f_{l}^{p}, c, w\right) \cdot \boldsymbol{\phi}_{w}}{\sum_{w \in W_{c f_{l}^{p}(c)}} \operatorname{count}\left(c f_{l}^{p}, c, w\right)}
$

ある述語 $p$ に対する京大格フレーム中の格フレーム群を $C F_{p}=\left.\{c f_{1}^{p}, c f_{2}^{p}, \ldots, c f_{m}^{p}\right.\}$ としたとき, $l$ 番目の格フレーム $c f_{l}^{p}$ がもつ格 $c$ に対応する MVC を $\overline{\boldsymbol{\phi}}_{c f_{l}^{p}(c)}$ とする.ここで，格フレーム $c f_{l}^{p}$ にまとめられている格 $c$ の要素となる単語の集合を $W_{c f_{l}^{p}(c)}$ とする.また， $\boldsymbol{\phi}_{w}$ を単語 $w$ の分散表現ベクトル, $\operatorname{count}\left(c f_{l}^{p}, c, w\right)$ を単語 $w$ が格フレーム $c f_{l}^{p}$ 内の格 $c$ の要素として出現する頻度とする. MVC は $c f_{l}^{p}$ 内の格 $c$ として出現する単語の分散表現の重み付き平均で計算される。例えば，表 1 の「打つ/うつ:動 1」のガ格 MVC は以下のように計算される。

$
\overline{\boldsymbol{\phi}}_{c f_{\text {動 } 1}^{\text {打つ }}(\text { ガ })}=\frac{253 \cdot \phi_{\text {心臓 }}+134 \cdot \phi_{\text {姿 }}+134 \cdot \phi_{\text {声 }}+\ldots}{253+134+134+\ldots}
$

## 3 Bi-LSTM-CRF (ベースライン)

本研究では, 日本語 NER 課題において高い性能が報告されている Misawa ら [6] の, 文字ベース Bi-LSTM-CRF をべースラインモデルとする.

Misawa らのモデルの入力となる各トークンは，解析対象となる文書に含まれる $j$ 番目の文字の分散表現を $\boldsymbol{c}_{\boldsymbol{j}}, j$ 番目の文字を含む $i$ 番目の単語の分散表現を $\boldsymbol{w}_{\boldsymbol{i}}$ としたとき，それらを繋ぎ合わせた

$
x_{j}=\left[w_{i} ; c_{j}\right]
$

とする．LSTM 層では (4) 式のように，ひとつ前のトークンの出力 $\overrightarrow{\boldsymbol{y}}_{j-1}, \overrightarrow{\boldsymbol{c}}_{j-1}$ と入力 $\boldsymbol{x}_{j}$ を受け, 出力を
表 1 「打つ」の格フレーム例

行う.

$
\overrightarrow{\boldsymbol{y}}_{j}, \overrightarrow{\boldsymbol{c}}_{j}=\operatorname{LSTM}\left(\boldsymbol{x}_{j}, \overrightarrow{\boldsymbol{y}}_{j-1}, \overrightarrow{\boldsymbol{c}}_{j-1}\right)
$

そして, 順方向の LSTM の出力 $\vec{y}_{j}$ と逆方向の LSTM の出力 $\overleftarrow{y}_{j}$ を繋ぎ合わせた

$
\boldsymbol{y}_{j}=\left[\overrightarrow{\boldsymbol{y}}_{j} ; \overleftarrow{\boldsymbol{y}}_{j}\right]
$

が双方向（Bidirectional）LSTM の出力となる. 各 $\boldsymbol{y}_{j}$ は続く $\mathrm{CRF}$ 層に渡され，NEラベルの予測を行う。

## 4 提案手法

## 4.1 提案手法 1 : 前側挿入

1 つ目の提案手法は, LSTM 層の手前で MVC で表現された格フレーム情報を取り込む手法である．具体的には以下の式で示すゲート機構を導入することで，解析対象文書から得られる言語情報と外部情報である格フレーム情報を組み合わせる。なお，このゲート機構は $\mathrm{Lu}[3]$ らが提案した Modulation Gate からパラメータを減らして簡略化したものである.

$
\begin{aligned}
\beta & =\sigma\left(W_{w} \boldsymbol{h}_{j}+U_{w} \boldsymbol{v}_{j}+b_{w}\right) \\
\boldsymbol{m} & =\tanh \left(W_{m} \boldsymbol{h}_{j}+U_{m} \boldsymbol{v}_{j}+\boldsymbol{b}_{m}\right) \\
\hat{\boldsymbol{h}}_{j} & =\beta \cdot \boldsymbol{h}_{j}+(1-\beta) \cdot \boldsymbol{m}
\end{aligned}
$

このゲートにおいて, $\boldsymbol{h}_{j}$ に

$
\boldsymbol{h}_{j}=\boldsymbol{x}_{j}=\left[\boldsymbol{w}_{\boldsymbol{i}} ; \boldsymbol{c}_{\boldsymbol{j}}\right]
$

のように文書由来の単語と文字データを割り当てる. また, 入力文書を格解析した結果, 単語 $\boldsymbol{w}_{i}$ が述語 $p$ と格 $c$ の関係にある場合は, $\boldsymbol{v}_{j}$ に

$
\boldsymbol{v}_{j}=\overline{\boldsymbol{\phi}}_{\boldsymbol{w}_{i}, c f_{l}^{p}(c)}
$

のように格フレーム由来の MVC を割り当てる．格関係にない単語については MVC 情報の代わりにゼロべクトルを割り当てる.このようにして格フレーム情報を取り込んだ $\hat{\boldsymbol{h}}_{j}$ を（3）式の代わりにLSTMへの入力とする. 本稿ではこの提案手法を後述の提案手法と区別するために「前側挿入」と呼ぶ。ここで MVC を $\overline{\boldsymbol{\phi}}_{\boldsymbol{w}_{i}, c f_{l}^{p}(c)}$ と表記している理由は, $\overline{\boldsymbol{\phi}}_{c f_{l}^{p}(c)}$ が $\boldsymbol{w}_{i}$ に対応した MVC であることを示すためである．前側挿入モ
デルのその他の構成はベースラインモデルと同じである.

## 4.2 提案手法 2 : 後側挿入

2 つ目の提案手法は, LSTM 層の直後に格フレーム情報を取り込む手法である. 4.1 節で説明したゲートにおいて, $\boldsymbol{h}_{j}$ に

$
\boldsymbol{h}_{j}=\boldsymbol{y}_{j}
$

のように $j$ 番目の LSTM の出力 $\boldsymbol{y}_{j}$ を割り当てる. また, 前側挿入の（10）式と同様に $\boldsymbol{v}_{j}$ には MVC を割り当てる.このようにして格フレーム情報を取り込んだ $\hat{\boldsymbol{h}}_{j}$ を CRF 層へ渡す. 本稿ではこの提案手法を「後側挿入」と呼ぶ.

## 4.3 提案手法 3 : 両側挿入

3 つ目の提案手法は, 前側挿入と後側挿入によって 2 つのゲートを同時に適用する手法である。本稿ではこの提案手法を「両側挿入」と呼ぶ。両側挿入モデルの概要図を図 1 に示す.

## 5 評価実験

## 5.1 実験設定

実験には, 搪張固有表現タグ付きコーパス (ENEコー パス)[7]を用いた.このコーパスのうち, 出現頻度の高い 6 つの固有表現クラス (PRODUCT, NUMBER, LOCATION, TIME, ORGANIZATION, PERSON）を解析対象とした。表 2 に実験データの基本情報を示す.

本研究では Misawa ら [6] のモデルをベースラインモデルとして採用しているが，彼らの実験とは以下の点で実験データの設定が異なる． Misawa らは ENE コーパスに収録されているデータの内，新聞記事のみを解析対象にしているが，本研究では全ジャンルのデータを解析対象にしている。また，Misawa らは 4 つの固有表現クラス（PRODUCT, LOCATION, ORGANIZATION, TIME）を解析対象として選択したが, 本研究では, 格フレーム情報との相性が良いと考

図 1 提案モデル（両側挿入モデル）の概要

表 2 実験データ

えられる PERSON クラスを含めたいため，上記で述べた 6 つの固有表現クラスを解析対象とした.

モデルパラメータは Misawa ら [6] にならい設定した。単語分散表現の次元数は 500 , 文字分散表現の次元数は 50 , LSTM のユニット数は 300 , バッチサイズは 60 とし, 最適化には Adam[8] を用いた。単語, 文字分散表現は, BCCWJ[9] と毎日新聞の記事 11 年分 （1991-2000 年, 2004 年)を用いて GloVe[10] で作成した. MVC 作成に必要となる単語分散表現も同様の手法を用いた。本実験では，MVC の作成に用いた京大格フレームとの対応をとるため, Misawa らとは違い,分かち書きには Juman $++^{2}$ を用いた。また，格解析には $\mathrm{KNP}^{3}$ を用いた。

固有表現のチャンク表現には BIO モデル [11]を用い, 完全一致以外は誤りとして, F1 值で解析結果を評価した。

## 5.2 実験結果

実験結果を表 3 に示す. 表の各列における最良値をボールドで示す. 結果より， 4 つのモデルの中では後側挿入が最も高い $\mathrm{F} 1$ 値となった． F1 值に対する文書単位での並べ替えを行う並べ替え検定を行った結果，後側挿入とベースラインモデルの間には有意水準 0.01 で有意な差があることを確認した。このことから, 取り込み方にもよるが, 日本語 NER 課題に対して格フレーム情報が有効に作用することが確認できた。一方，前側挿入と両側挿入はベースラインモデルよりも性能が低くなった．MVC 自体は文脈情報から切り離した情報であるため, 格フレーム情報を LSTM 層に通過させる場合（前側挿入と両側挿入）と通過させない場合 （後側挿入）で，性能差があらわれたと考えられる.

後側挿入での解析結果の例を図 2 および図 3 に示す.これらはベースラインモデルでは正しく予測できなかったが，後側挿入では正しく解析できるようになった例である。例えば，図 2 の事例は，漢数字を含む文字列の例である. ベースラインモデルでは漢数字が含まれている文字列に対して NUMBER クラスを予測してしまう誤りがあるが, 後側挿入ではそのような事例の解析が改善されていた。また, 図3のように, ベースラインモデルでは Other クラスと予測する未抽出誤りがあるが，後側挿入ではそのような事例でも改善がみられた。

2) http://nlp.ist.i.kyoto-u.ac.jp/?JUMAN\%2B $\% 2 B$

3) http://nlp.ist.i.kyoto-u.ac.jp/?KNP
表 3 実験結果（各モデルの比較, F1 值）

表 4 MVC 情報の有無に注目した性能比較（ベースラインと後側挿入）

## 5.3 考察

提案手法において，MVC 情報は入力文書中の述語と格関係をもつ一部の単語のみに付与される。例えば，例文「北イタリアのラベンナに住むごく普通の市民」における「ラベンナ」は「住む」と二格の関係をもつが，「北イタリア」は格関係をもたない. そこで，評価データ中の事例群を MVC が付与できたものと付与できなかったものに二分割し，ベースラインモデルと後側挿入それぞれの $\mathrm{F} 1$ 值を再評価した。その結果を表 4 に示す. MVC が付与できた割合を表の最下段に示している。また，表中の MVC 付与無し，MVC 付与有りのそれぞれの事例について, ベースラインモデ

矢印で示す。

表から，まず，MVC が付与できない事例よりも MVC が付与できる事例の方が， ベースラインモデル，後側挿入共に性能が高いことがわかる．MVC 情報を組み込んでいる後側挿入だけでなくベースラインモデルにおいても性能差が生じていることから，格フレー 么情報が得られるような事例群はそうでない事例群に比べて解析が容易な事例が集まっていることが示唆される。

また，表中の矢印の向きに注目すると，多くの固有表現クラスでは後側挿入がベースラインモデルよりも改善されていることがわかるが，MVC 付与率の低い LOCATION クラスでは MVC 付与無し事例群において性能が下がっている。この群の事例を観察すると， LOCATION クラスでは，以下の例文の下線部分のように述語と直接的な格関係をもたないため MVC が付与されない事例が目立っていた。このような事例に関して，MVC 情報の付与方法の改良については今後の課題である.一死から八角が（省略）出塁したが...

図 2 解析結果の例 1

企画したのは、西陣で織屋を経営する...

経営/けいえい：動1：デ格

図 3 解析結果の例 2
- 2 年前の世界選手権（カナダ・ハミルトン）で、 （省略）を獲得した日本がお家芸の座を守れるか。 ・米国向けの輸出割合が（省略）まで低下している二方で...

## 6 おわりに

本研究では日本語 NER 課題おける格フレーム情報の有効性を検証した。評価実験の結果，Bi-LSTM-CRF モデルに格フレーム情報を取り込んだ提案手法（後側挿入）は，格フレーム情報を取り込まない場合に比べて 1 ポイント以上高い F1 值を示した。

今後は，LSTM 系モデルよりも高い性能が報告されている BERT 等の Transformer 系モデルをベースラインモデルとして同様の検証を実施し，格フレーム情報の日本語 NER 課題への有効性を評価する予定である.

謝辞本研究の一部は JSPS 科研費 JP18K11982 の助成を受けたものです。

## 参考文献

[1] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270, 2016.

[2] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[3] Di Lu, Leonardo Neves, Vitor Carvalho, Ning Zhang, and Heng Ji. Visual attention model for name tagging in multimodal social media. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1990-1999, 2018.

[4] 河原大輔, 黒橋禎夫ほか. 高性能計算環境を用いた web からの大規模格フレーム構築. 情報処理学会研究報告自然言語処理 (NL), Vol. 2006, No. 1 (2006-NL-171), pp. $67-73,2006$

[5] 山城颯太, 西川仁, 徳永健伸. 大規模格フレームによる解候補削減を用いたニューラルネットゼロ照応解析.自然言語処理, Vol. 26, No. 2, pp. 509-536, 2019.

[6] Shotaro Misawa, Motoki Taniguchi, Yasuhide Miura, and Tomoko Ohkuma. Character-based bidirectional lstm-crf with words and characters for japanese named entity recognition. In Proceedings of the First Workshop on Subword and Character Level Models in NLP, pp. 97-102, 2017.

[7] 橋本泰一, 中村俊一. 拡張固有表現タグ付きコーパスの構築. 言語処理学会第 16 回年次大会発表論文集（2010 年 3 月）, pp. 916-919, 2010.

[8] Diederik P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[9] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced corpus of contemporary written japanese. Language resources and evaluation, Vol. 48, No. 2, pp. 345-371, 2014.

[10] Jeffrey Pennington, Richard Socher, and Christopher D Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pp. 15321543, 2014.

[11] 黒橋禎夫. 改訂版自然言語処理. 一般財団法人放送大学教育振興会, 2019.