# BERT-CRF を用いた日本語機能表現意味ラベル付与

田所佑一平博順
大阪工業大学大学院
\{m1m22a21, hirotoshi.taira\}@oit.ac.jp

## 概要

複数の形態素から構成され，一つの機能語として働く表現である機能表現は，モダリティ解析などの応用タスクでも利用されており，機能表現解析の精度向上は，重要な課題である. 本研究では，解析モデルとして，BERT-CRFを用いることで，日本語機能表現意味ラベル付与の精度向上を試みた. 評価実験の結果，BERT-CRF は既存モデルと比較して，高い精度を達成し，機能表現意味ラベル付与においても有効であることを確認した。

## 1 はじめに

複数の形態素から構成され，一つの機能語として働く表現は，「機能表現」と呼ばれ，文の意味に大きく関わっている。機能表現を正確に抽出し，意味ラベルの付与を行うことは，事実性解析やモダリティ解析などの応用タスクでも重要である。佐野ら [1] は機能表現を考慮したモダリティを用いて, 文末述語を用いた 2 文間の接続関係推定を行っている．亀甲ら [2] は，将棋の解説文生成において，機能表現を考慮した，モダリティ情報のアノテーションを行っている. また, 友利ら [3] は, モダリティ表現認識と事象の事実性解析のマルチタスク学習を行い，モダリティ情報の解析を行っている.

一方，様々な自然言語処理のタスクで，BERT [4] などの，大規模汎用言語モデルを利用した手法が提案されており，系列ラベリングタスクにおいても，優れた性能を達成している。田川ら [5] は，医療分野における日本語固有表現認識において, BERT-CRF [6] を用いた系列ラベリングタスクを行い，優れた性能が得られることを報告している。本研究では，系列ラベリングタスクにおいて，大規模汎用言語モデルを用いた手法が有効であることに注目し, 系列ラベリングタスクの 1 つと見なすことができる，機能表現意味ラベル付与においても， BERT-CRF が有効であるかを検証する。これまで，日本語機能表現に対して系列ラベリングを行っている研究としては， CRFを用いた手法 [7] などがある. この CRF をべースラインモデルとし，事前学習済みの BERT モデルに対して，ファインチューニングを行うことで，機能表現意味ラベル付与を行った。 CRF，BERT，BERT-CRFのそれぞれに対して実験を行い，性能の比較を行った。

## 2 関連研究

本節では，日本語の機能表現に関する研究について述べる. 吉松ら [8] は，日本語機能表現の網羅的な辞書である「つつじ」を作成している。また，土屋ら [9] は，機能表現の検出をチャンク同定問題みなし，機械学習を用いることで高い精度が得られることを示している. 機能表現に対するラベリングの研究としては，今村ら [10]が，機能表現辞書「つつじ」と最尤パス探索を用いて，述部に対する機能表現にラベリングを行っている。岡ら [7] は，機能表現意味ラベルを付与したコーパスを作成し， そのコーパスに対して機能表現解析を行っている.文末述語における機能表現検出については，佐野ら [1] が，文末述語解析システム「Panzer」を開発している.

また，系列ラベリングに関する研究としては，友利ら [3] が，モダリティ表現認識のマルチタスク学習において， CRF のみを用いた手法に対して，エンコーダに BERT，出力層に CRF 層を用いた手法が，有効であることを示している，田川ら [5] は，固有表現抽出タスクにおいて, CRF と BERT-CRF の比較を行い，日本語においても BERT-CRF が有効であることを確認している. BERT-CRF は，BERT の出力層に $\mathrm{CRF}$ を繋げたものであり，ラベルの制約を学習することができるため，単純な BERT と比較して高い性能が期待できる.

## 3 BERT-CRF

## 3.1 CRF

CRF（Conditional Random Field）[11] は，系列ラベリングタスクを解くことができる識別モデルである. 入力文の系列を $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$, 出力ラべルの系列を $Y=\left(y_{1}, y_{2}, \ldots, y_{n}\right)$ とした際に， $X$ から $Y$ の系列を予測するモデルであり，条件付き確率 $P(Y \mid X)$ は，以下の式で表すことができる.

$
P(Y \mid X)=\frac{1}{Z_{X}} \exp \left(\sum_{i=1}^{N} \sum_{k=1}^{K} \lambda_{k} f_{k}\left(y_{i-1}, y_{i}, X\right)\right)
$

ここで， $f_{k}$ は素性関数， $\lambda_{k}$ は素性関数 $f_{k}$ に対する重みである. また， $Z_{X}$ は，全系列の確率和を 1 にするための正則化項であり，

$
Z_{X}=\sum_{Y} \exp \left(\sum_{i=1}^{N} \sum_{k=1}^{K} \lambda_{k} f_{k}\left(y_{i-1}, y_{i}, X\right)\right)
$

で表される. 入力文の系列 $X$ に対する最適なラベル $y^{*}$ は，以下の式で求めることができる.

$
y^{*}=\underset{Y}{\operatorname{argmax}} P(Y \mid X)
$

## 3.2 BERT

BERT [4] は，双方向エンコーダにより構成される事前学習済みモデルである。事前学習済みの BERT に対して，ファインチューニングを行い，系列ラベリングタスクを解けるように調整を行う. 入力文の系列 $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$ を BERT に入力し, 分散表現に変換する. 得られた系列の分散表現を Softmax を用いることで各系列のラベルの予測スコアに変換する．予測スコアに対して，ビタビアルゴリズムを用いることで，最終的なラベルの系列 $Y=\left(y_{1}, y_{2}, \ldots, y_{n}\right)$ を決定する.

## 3.3 BERT-CRF

BERT-CRF [6] は, BERT の出力層に CRF 層を組み合わせたモデルである. 入力文の系列を $X=\left(x_{1}, x_{2}, \ldots, x_{n}\right)$, 出力ラベルの系列を $Y=\left(y_{1}, y_{2}, \ldots, y_{n}\right)$ とすると, 系列のスコアは以下の式で求めることができる. BERT の出力スコア $P$ は，CRF 層に与えられる。ここで，A は遷移スコアを表す行列でり, $A_{i, j}$ は行列 $A$ の $(i, j)$ 要素を表す. また, $P_{i, y_{i}}$ は系列 $P$ の $i$ 番目の要素が, クラス $y_{i}$ で
あるスコアを表す

$
s(X, Y)=\sum_{i=0}^{n} A_{y_{i}, y_{i+1}}+\sum_{i=1}^{n} P_{i, y_{i}}
$

正しい出力ラベルの系列が得られるように，対数確率が最大となるように学習を行う.

$
\log (p(Y \mid X))=s(X, Y)-\log \left(\sum_{\tilde{Y} \in Y_{X}} e^{s(X, \tilde{Y})}\right)
$

ここで $Y_{X}$ は，ありうる全ての系列であり，ビタビアルゴリズムを用いて最終的なラベルの系列を求める.

## 4 評価実験

本節では，BERT-CRF を用いた日本語機能表現解析に対しての評価実験を行った結果について述べる.

## 4.1 実験設定

評価実験には，「機能表現タグ付与コーパス」[12] （ver. 2.1a）の開発セットを用いた.このコーパスは，1,627 文からなり，文内のすべての機能表現に， IOB2 フォーマットで意味ラベルが付与されている.意味ラベルのクラス数としては， 67 種類であり，特殊なラベルとして，意味ラベルチャンクの一つ前の系列に現れる C ラベルを含んでいる．また，Cラベルを除いた，意味ラベルが付与された機能表現の総数は，9,843 個である.

評価実験では，機能表現タグ付与コーパスを，訓練データ，検証データ，テストデータとしてそれぞれ 8:1:1 に分割して使用した. 各手法で，実験条件を揃えるため，同一の分割されたデータセットを利用し，シャッフルなどは行っていない. また，CRF， BERT，BERT-CRF のそれぞれの実験で，訓練データとテストデータを揃えるために，CRF の実験の際には，検証データは利用していない. 出力ラベルの形式としては IOB2 形式を使用している.

CRF の学習には，特徴量として，前後 2 トークンまでの表層形態素と品詞，品詞細分類を利用した.また，CRF の実装には CRFsuite [13] を用いた。 BERT と BERT-CRF の実験には，事前学習済みモデルとして，東北大学の BERT-base を使用した. バッチサイズを 32 ，学習率を $1 \times 10^{-5}$ として学習を行い，検証データを用いて評価し，最も精度が高かったエポックのモデルをテストで使用した. 実験は， 10 分割交差検定で評価を行った.
表 1 実験結果

表 2 クラスごとの結果

 & B-CRF & ラベル & 頻度 & CRF &  & B-CRF & ラベル & 頻度 & CRF &  & B-CRF \\

## 4.2 評価手法

実験の評価には，適合率，再現率， $\mathrm{F}$ 值を使用し， ラベルのクラスとスパンが共に一致した場合に，正解とした. Cクラスは，機能表現意味ラベルではないため，評価の際は除外した。

## 4.3 実験結果

CRF，BERT，BERT-CRF のそれぞれについて，10 交差検定を用いた場合の結果を，表 1 に示す. 実験の結果，BERT-CRFが，適合率, 再現率, F1 のそれぞれに対して，最も精度が高い結果となった。CRF と比較して, BERT, BERT-CRF ではマイクロ平均とマクロ平均の両方で， $\mathrm{F}$ 值の向上がみられた. CRF と比較し，BERT では適合率が少し減少したものの,再現率が値が向上した. また，BERT-CRFでは適合率と再現率が，ともに向上しており，特に再現率
は， $\mathrm{CRF}$ と比較して大きく向上した. 今回使用したデータセットは，クラスごとの要素数の偏りが大きい. そのため, マクロ平均でも評価したところ, BERT-CRF は，適合率，再現率，F1 の全てにおいて大きく改善しており，本タスクにおいて最も精度の高いモデルであることがわかった.

10 交差検定を実施した結果における，各クラスでの精度の平均值を表 2 に示す. 各クラスの結果についても，ほとんどのクラスで，BERT-CRFを用いた場合に，精度が高かった. 特に，クラスの要素数が多い場合には, CRF と比較して BERT, BERT-CRF で $\mathrm{F}$ 值が改善する傾向にあった。一方，要素数が比較的少ない場合には, CRF と比較して BERT の $\mathrm{F}$ 值が低くなる傾向があったが，BERT-CRF の F 值は，高くなる傾向があった.

## 4.4 考察

CRF と比較して，BERTを使用した実験では，要素数が多いクラスで，F 値が改善する傾向があった.逆に，要素数が少ないクラスでは， $\mathrm{F}$ 值が悪化する傾向が見られた．BERTでは，チャンクに対するラベルをそれぞれ判定しているため，ラベルの遷移を考慮した推論を行うことが難しく, 学習データ量が少ないクラスでは $\mathrm{F}$ 值が悪化したと考えられる。また，適合率が減少したものの，再現率は改善しており, CRF で検出できなかった意味ラベルが，検出できるようになったと考えられる。

BERT-CRF の特徴としては，多くのクラスで $\mathrm{F}$ 値が，改善していたことがあげられる．BERT の傾向と同じく, 要素数が多いクラスでは, $\mathrm{F}$ 值が改善しており，また改善している項目も多かった. CRF と比較した際に，BERT では，要素数が少ない場合に， $\mathrm{F}$ 値が悪化する傾向がみられた。一方，BERT-CRF では，「付帯-続行」を除き，全てのクラスで $\mathrm{F}$ 值が改善していた. BERT-CRFでは BERT の埋め込みを用いることで，CRFでは検出できなかった意味ラべルが検出できるようになった．また， CRF 層を用いることで，ラベルの遷移を学習し，学習データが少ない場合に BERT で悪化していたクラスについても, CRF と同程度かそれ以上の精度を達成することができたと考えられる.

各手法に共通して，正しく抽出できなかったラべルの例として, 同じ助動詞でも, 他の形態素と連結することで，異なるラベルに変化するラベルなどがあった．その例を表 3 に示す. 文末の「です」は 「判断」としてラベルが付与されていることが多いが，「事も無いです」では，一つの機能表現として 「不必要」のラベルが付与されている。 そのため, 各手法で「I-不必要」とラベリングするところを，「B判断」としてラベリングしている.「判断」の学習データ量が多いのに対して，「不必要」のデータ量が少ないため, 学習にバイアスが発生し, 正しく抽出できていないと考えられる。

## 5 おわりに

本稿では，機能表現タグ付与コーパスに対して BERT-CRF を用いた機能表現意味ラベル抽出を行い，有効性を検証した。実験の結果，BERT， BERT-CRF を用いた手法は， CRF を用いた手法と比較して，有効であることが分かった. 特に，表 3 ラベリングエラー例

BERT-CRF では，再現率が大きく改善するとともに，学習データ量が少ないクラスについても精度が改善し，より多くの意味ラベルを抽出できることが分かった. しかし, 極端にデータ量が少ないクラスでは，精度が低くなる場合もあるため，意味的に近いクラスのデータを援用するなどの方法で，そのようなクラスの意味ラベル付与の精度を向上させることも今後，検討する予定である。

## 参考文献

[1] 佐野正裕, 佐藤理史, 宮田玲. 文末述語における機能表現検出と文間接続関係推定への応用. 言語処理学会第 26 回年次大会発表論文集, pp. 1483-1486, 2020.

[2] 亀甲博貴, 松吉俊, 牛久敦, 笹田鉄郎, 村脇有吾, 鶴岡慶雅, 森信介. 将棋解説文への固有表現・モダリティ情報アノテーション. 自然言語処理, Vol. 28, No. 3 , pp. 847-873, 2021.

[3] 友利涼, 村脇有吾, 松吉俊, 龟甲博貴, 森信介ほか. モダリティ表現認識・事象の事実性解析の同時学習.研究報告自然言語処理 (NL), Vol. 2019, No. 13, pp. $1-8,2019$.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapo-
lis, Minnesota, June 2019. Association for Computational Linguistics.

[5] 田川裕輝, 西埜徹, 谷口友紀, 大熊智子. 生成された読影所見の自動評価に向けた固有表現認識とモダリティ推定. 言語処理学会第 26 回年次大会, 2020 .

[6] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Portuguese named entity recognition using bert-crf. arXiv preprint arXiv:1909.10649, 2019.

[7] Yudai Kamioka, Kazuya Narita, Junta Mizuno, Miwa Kanno, and Kentaro Inui. Semantic annotation of Japanese functional expressions and its impact on factuality analysis. In Proceedings of the 9th Linguistic Annotation Workshop, pp. 52-61, 2015.

[8] 松吉俊, 佐藤理史, 宇津呂武仁. 日本語機能表現辞書の編纂. 自然言語処理, Vol. 14, No. 5, pp. 123-146, 2007.

[9] 土屋雅稔, 注連隆夫, 高木俊宏, 内元清貴, 松吉俊,宇津呂武仁, 佐藤理史, 中川聖一. 機械学習を用いた日本語機能表現のチャンキング. 自然言語処理, Vol. 14, No. 1, pp. 111-138, 2007.

[10] 今村賢治, 泉朋子, 菊井玄一郎, 佐藤理史. 述部機能表現の意味ラベルタガー. 言語処理学会第 17 回年次大会発表論文集, pp. 308-311, 2011.

[11] John Lafferty, Andrew McCallum, and Fernando Pereira. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. 2001.

[12] 機能表現タグ付与コーパス, (2022-12 閲覧）. https://www.cl.ecei.tohoku.ac.jp/Open_ Resources-Japanese_FE_Corpus.html.

[13] Naoaki Okazaki. CRFsuite: a fast implementation of Conditional Random Fields (CRFs), 2007. http://www. chokkan.org/software/crfsuite/.