# 複数の補助教師データを用いた固有表現抽出の学習手法

渡邊 大貴 ${ }^{\dagger,+\dagger}$ - 市川 智也 ${ }^{\dagger \dagger}$ - 田村 晃裕 ${ }^{\dagger \dagger}$ - 岩倉 友哉 $\dagger$ - 馬 春鵬 $\dagger \cdot$加藤

固有表現抽出 (Named Entity Recognition; NER) は, テキストからの知識獲得に用い られる要素技術の一つであり，たとえば，化学物質や医療の知識抽出に用いられてい る. NER の性能改善のため, 対象タスクの教師データとは別の教師データを補助教師データとして用いる補助学習が提案されている. 従来の補助学習では補助教師デー 夕として 1 種類の教師データしか用いていない. そこで, 本研究では, 複数種類の 教師データを補助教師データとして活用する NER の学習手法 (Multiple Utilization of NER Corpora Helpful for Auxiliary BLESsing; MUNCHABLES) を提案する.具体的には, 補助教師データ毎の補助学習を順次行うことで, 対象タスクのモデル を補助教師データの種類の数だ再学習する方法と, 全種類の教師データを一つの 補助学習で用いる方法の 2 種類の学習手法を提案する。評価実験では, 化学物質名抽出タスクにおいて, 7 種類の化学／科学技術分野の補助教師データを用いて提案手法で学習したモデルの評価を行った. その結果, 提案手法によるモデルはマルチ タスク学習や 1 種類の補助教師データを用いる補助学習手法によるモデルと比べて, 7 種類のデータセットにおける $\mathrm{F} 1$ 値のマイクロ平均, マクロ平均ともに高い性能と なることを確認した。また， s800 のデータセットにおいて従来手法と比較をして最 も高い F1 値を達成した。

キーワード：固有表現抽出，マルチタスク学習，補助学習
## Auxiliary Learning for Named Entity Recognition with Multiple Auxiliary Training Data

Taiki WatanaBE ${ }^{\dagger, \dagger \dagger}$, Tomoya IchikaWa ${ }^{\dagger \dagger}$, Akihiro Tamura ${ }^{\dagger \dagger}$, TOmoya Iwakura ${ }^{\dagger}$ Chunpeng $\mathrm{Ma}^{\dagger}$ and Tsuneo $\mathrm{Kato}^{\dagger \dagger}$

Named entity recognition (NER) is one of the core technologies for knowledge acquisition from text and has been used for knowledge extraction of chemicals, medicine, and so on. As one of the NER improvement approaches, multi-task learning that learns a model from multiple training data has been used. Among multi-task learning, an auxiliary learning method, which uses training data of an auxiliary task for improving its

target task, has shown higher NER performance than conventional multi-task learning for improving all the tasks simultaneously. The conventional auxiliary learning method uses only one auxiliary training dataset. We propose Multiple Utilization of NER Corpora Helpful for Auxiliary BLESsing (MUNCHABLES). MUNCHABLES utilizes multiple training datasets as auxiliary training data by the following methods: the first one is to fine-tune the NER model of the target task by sequentially performing auxiliary learning for each auxiliary training dataset, and the other is to use all training datasets in one auxiliary learning. We evaluate MUNCHABLES on eight chemical/biomedical/scientific domain NER tasks, where seven training datasets are used as auxiliary training data. The experimental results show that our methods achieve higher micro and macro average F1 scores than a conventional auxiliary learning method using one auxiliary training dataset and conventional multi-task learning method. Furthermore, our method achieves the highest F1 score on the s800 dataset.

Key Words: Named Entity Recognition, Multi-task Learning, Auxiliary Learning

## 1 はじめに

固有表現抽出 (Named Entity Recognition; NER) は，テキストから固有表現 (Named Entity; NE) や専門用語を抽出する自然言語処理技術の一つであり，様々な場面で用いられている．たとえば，新材料や新薬の開発，材料を用いた製品開発には化学物質に関する知識が必要不可欠であり，NER は，論文や特許で日々報告される化学物質間の相互関係や化学物質の物性値といった情報を構造化し蓄積するための要素技術の一つとして用いられている.

NER に関する研究は古くから盛んに行われている。近年では, ニューラルネットワーク (Neural Network; NN) による手法が主流となっており, 再帰的ニューラルネットワーク (Recurrent Neural Network; RNN) と条件付確率場 (Conditional Random Fields; CRF) を組み合わせた Bidirectional LSTM-CRF モデル（BiLSTM-CRF モデル）による手法 (Huang et al. 2015) や Transformer による手法 (Lee et al. 2019) が，NER において高い性能を実現している。また，近年では，対象夕スクの教師データ（メイン教師データ）とは別の教師データも用いるマルチタスク学習により,複数の教師データから特徴量を同時に学習することでモデルの性能が改善することが報告されている (Wang et al. 2019; Crichton et al. 2017; Khan et al. 2020; Mehmood et al. 2020; Wang et al. 2019). 特に，バイオ分野の NER (BioNER) においては，複数のタスクを同時に学習するマルチタスク学習と比較し, 対象タスク以外のタスクを補助タスクとして用いる補助学習を行うことで対象タスクにおいて高い性能を示すことが報告されている (Wang et al. 2019). 補助学習では，対象タスクから作成したメインバッチとそれ以外の教師データから作成した補助バッチを用いて学習を行う。学習時に補助バッチでパラメータを更新し，その後メインバッチでパラメータを更新する。この操作を対象タスクのデータに対する損失が収束するまで繰り返し行う.
本研究では, 先行研究の補助学習が 1 種類の補助教師データしか用いなかったのに対し, 複数の教師データを補助教師データとして用いる手法 (Multiple Utilization of NER Corpora Helpful for Auxiliary BLESsing; MUNCHABLES) を提案する。提案手法では, 複数の補助教師デー 夕を用いることで，より多くの単語や文のパタンを学習する。また，複数の補助教師データを扱う際の学習方法や, 補助教師データの組み合わせ，学習順について，性能向上の観点で検討する．具体的には，補助教師データ毎の補助学習を順次行うことで，対象タスクのモデルを補助教師データの種類の数たけ再学習する方法（MUNCHABLES-スタック手法）と, 全種類の補助教師データを一つの補助学習で用いる方法の 2 種類の学習手法を提案する. 後者の学習方法としては，補助教師データを全て結合させた教師データからランダムにデータ選択して作成したバッチに基づき学習を行う方法（MUNCHABLES-結合手法）と，エポック毎に補助教師デー 夕の種類を変えて学習を行う方法（MUNCHABLES-反復手法）を提案する.

本研究では, 提案手法によるモデルの有効性を計 8 種類の化学／バイオ／科学技術分野の NER タスクで評価した。評価実験より，各タスクにおいて 7 種類の補助教師データを用いる提案手法によるモデルは従来手法によるモデルと比べて, F1 值の平均が向上することを確認した。そして，提案手法によるモ出るは，従来手法と比較して最も高い F1 値を達成した。

## 2 従来手法

本節では，対象タスクの教師データ以外の教師データも用いる従来のマルチタスク学習手法と補助学習を説明する．2.1 節では，まず本研究のべースモデルとして用いる NER モデルを概説する．そして， 2.2 節では，その NER モデルを複数のタスクで同時に学習するマルチタスク学習に拡張したモデルについて述べる。このマルチタスク学習では, 対象タスクとその他の夕スクは同等に扱われる，2.3節では，対象タスクの性能を上げるために，対象タスクではない夕スクの教師データを補助教師データとして用いる補助学習を説明する。

## 2.1 シングルタスク学習

本研究では, Huang ら (Huang et al. 2015) により提案された BiLSTM-CRF モデルを NER モデルとして使用する，BiLSTM-CRF モデルは，双方向 LSTM と CRF を用いた系列ラベリングモデルである.

BiLSTM-CRF モデルは，まず，双方向 LSTM により，入力文中の各単語の中間表現を算出する. 入力文を $\mathbf{w}=w_{1}, w_{2}, \cdots, w_{N}$, 各単語 $w_{i}$ を埋め込み層でベクトル化した結果を $\mathbf{x}=$ $\mathbf{x}_{1}, \mathbf{x}_{2}, \cdots, \mathbf{x}_{N}$ とすると, 単語 $w_{i}$ の中間表現 $\mathbf{e}_{i}$ を以下のように算出する.

$
\overrightarrow{\mathbf{h}_{i}}=L S T M^{(f)}\left(\mathbf{x}_{i}, \overrightarrow{\mathbf{h}_{i-1}}\right)
$

$
\begin{gathered}
\overleftarrow{\mathbf{h}_{i}}=\operatorname{LST} M^{(b)}\left(\mathbf{x}_{i}, \overleftarrow{\mathbf{h}_{i+1}}\right) \\
\mathbf{h}_{i}=\left[\overrightarrow{\mathbf{h}_{i}} ; \overleftarrow{\mathbf{h}_{i}}\right] \\
\mathbf{e}_{i}=\mathbf{W}^{(\mathbf{e})} \mathbf{h}_{i}
\end{gathered}
$

ここで， $\rightarrow$ とは，それぞれ，順方向と逆方向を表し， $L S T M^{(f)}$ と $L S T M^{(b)}$ は，それぞれ，順方向と逆方向の LSTM を表す。また, [ $\cdot ; \cdot]$ はベクトルの結合を表す. $\mathbf{W}^{(\mathbf{e})} \in R^{k \times d}$ は重み行列であり,$d$ は隠れ状態ベクトル $\mathbf{h}_{i}$ の次元数, $k$ は識別対象のラベルの数である.

その後, 双方向 LSTMにより算出された中間表現 $\mathrm{e}$ を CRF に入力し, ラベル系列を求める. ラべル系列 $\mathbf{y}=\left(y_{1}, y_{2}, \cdots, y_{N}\right)$ に対するスコア関数は, 双方向 $\operatorname{LSTM}$ の出力系列 $\mathbf{e}=\left(\mathbf{e}_{1}, \mathbf{e}_{2}, \cdots, \mathbf{e}_{N}\right)$ をスコア行列に変換した $\mathbf{P}=\left(\mathbf{e}_{1}, \mathbf{e}_{2}, \cdots \mathbf{e}_{N}\right)^{T}$ と遷移スコア行列 $\mathbf{A}$ を用いて次のように定義する.

$
\mathrm{s}(\mathbf{e}, \mathbf{y})=\sum_{i=0}^{N} A_{y_{i}, y_{i+1}}+\sum_{i=1}^{N} P_{i, y_{i}}
$

ここで， $A_{i, j}$ は $i$ 番目のラベルから $j$ 番目のラベルに遷移するスコアを表す. また, $P_{i, j}$ は $i$ 番目の単語に対応する夕グ $j$ のスコアである。このスコア関数を用いてラベル系列 $\mathbf{y}$ の出力確率を次のように softmax 関数により計算する.

$
p(\mathbf{y} \mid \mathbf{w})=\frac{\exp (\mathrm{s}(\mathbf{e}, \mathbf{y}))}{\sum_{\tilde{\mathbf{y}} \in \mathbf{Y}_{\mathbf{w}}} \exp (\mathrm{s}(\mathbf{e}, \tilde{\mathbf{y}}))}
$

ここで， $\mathbf{Y}_{\mathrm{w}}$ は入力文 $\mathbf{w}$ に対するすべての可能なラベル系列である. このように, BiLSTM-CRF モデルは, ラベリング問題を各単語に対して独立にモデル化するのではなく, 系列全体で同時にモデル化する.

学習時には正解ラベル系列を用いて次式の損失関数を最小化するパラメータを求める.

$
L=-\sum_{(\mathbf{w}, \hat{\mathbf{y}}) \in D} \log (p(\hat{\mathbf{y}} \mid \mathbf{w}))
$

ここで， $D$ は教師データである，予測時は，次式のようにスコアを最大化する $\mathbf{y}$ 求めることで出力ラベル系列 $\mathbf{y}^{*}$ を獲得する。

$
\mathbf{y}^{*}=\underset{\tilde{\mathbf{y}} \in \mathbf{Y}_{\mathbf{w}}}{\arg \max } \mathrm{s}(\mathbf{e}, \tilde{\mathbf{y}})
$

BiLSTM-CRF モデルでは，言語モデルを活用することで性能が改善されている． BiLSTMCRF モデルに言語モデルを用いる手法としては, Contextual String Embeddings (CSE) (Akbik et al. 2018) がある．CSE は，大規模なテキストを用いて，文字レべルの BiLSTM を事前学習したものである. CSEで学習されたべクトルは, 式 (1) と式 (2)の $\mathbf{x}_{i}$ の一部に用いられる. 提案手法の MUNCHABLES では, CSE を用いたBiLSTM-CRF モデルを拡張する。

## 2.2 マルチタスク学習

図 1 にマルチタスク学習用に拡張した BiLSTM-CRF モデルを示す.このマルチタスク学習では, 単語埋め达み層と BiLSTM 層は全ての教師データで共有し, 共通の重みを用いる。一方で， $\mathrm{CRF}$ 層はタスクごとに用意し， $\mathrm{CRF}$ 層の重みは共有しない。各タスクの $\mathrm{CRF}$ 層における損失を $L_{i}(i=1,2, \cdots M)$ とすると, このマルチタスク学習の目的関数は次式のように定義される。

$
L o s s=\frac{1}{M} \sum_{i=1}^{M} L_{i}
$

$M$ は教師データの種類数であり, 各 $L_{i}$ は式 (7)のように算出される.

このマルチタスク学習手法の学習では, 対象タスクとそれ以外のタスクを同等に扱うことで,全てのタスクで共通の一つのモデルを学習する。学習の収束判定は, 対象タスクの損失のみで行わず，全てのタスクの損失を用いて行う。推論時には，学習したモデルにおいて目的のタスクに該当する CRF 層を用いて NER を行う。

## 2.3 補助学習

Wang ら (Wang et al. 2019) は, 対象タスクの教師データとそれ以外の教師デー夕（補助教師データ）を区別する補助学習を行うことで，対象タスクに対する NER の性能改善を行った。この補助学習手法の概要を図 1,2 に示す. 補助学習手法では, メイン教師データから作成したメインバッチと補助教師データから作成した補助バッチを用いて学習を行う，イテレーション毎に, 補助バッチでモデルのパラメータを更新し, その後でメインバッチでモデルのパラメータ

図 1 シングルタスク学習, マルチタスク学習と補助学習の概要図

を更新する。このメイン教師データと補助教師データの交互の学習を，メイン教師データに対する損失が収束するまで繰り返す。図 2 において，メインのボックスがメイン教師データを表し, 補助のボックスが補助教師データを表す。この 2 種類の教師データを区別して切り替えながら学習する手法が補助学習手法である。2.2 節のマルチタスク学習手法では対象タスクとそれ以外の教師データを区別せずに同時に学習する点が異なる。

補助学習のアルゴリズムを Algorithm 1 に示す. Algorithm 1 において, 添え字は対象タスク (main) と補助タスク (aux)を表す. EPOCH, ITERATION は，それぞれ，メイン教師デー 夕に対するエポック数とイテレーション数であり，BATCHSIZE はバッチサイズを表す。各エポックのイテレーション回数は，メイン教師データの総数をバッチサイズで割った值である $\left(I T E R A T I O N=\left|D_{\text {main }}\right| / B A T C H S I Z E\right) .4$ 行目と 5 行目の extract は教師データからバッチサイズの数だけデータを抽出することでバッチを作成する関数であり，6行目と 7 行目のtrain はバッチデータに基づき NER モデル Model のパラメータを更新する関数である。また， 8 行目のis_converge は対象タスク $D_{\text {main }}$ に対する損失に基づき学習の終了判定を行う関数である.

図 2 従来の補助学習の概要図

## 3 提案手法 MUNCHABLES：複数の補助教師データを用いる補助学習

2.3 節で説明した Wang ら (Wang et al. 2019) の補助学習では, 補助教師データとして 1 種類の教師データしか用いていない. 本節では, 複数種類の教師データを補助教師データとして活用する手法を提案する 1 .

3.1 節と 3.2 節では複数の補助教師データを一つの補助学習で用いる手法（MUNCHABLES結合手法と MUNCHABLES-反復手法）を提案し， 3.3 節では, 補助教師データの種類の数だけ補助教師データ毎の補助学習を順次行い BiLSTM-CRF のパラメータを再学習して更新する手法（MUNCHABLES-スタック手法）を提案する．MUNCHABLES 手法では， 2.1 節で述べた通り，CSEの出力をLSTM-CRF の入力として用いる.

## 3.1 MUNCHABLES-結合手法

MUNCHABLES-結合手法は，複数の補助教師データを結合した教師データを一つの補助教師データとみなし， 2.3 節で説明した補助学習を行う手法である．MUNCHABLES-結合手法の概要を図 3, アルゴリズムを Algorithm 2 に示す. 図 3 において, メインのボックスはメイン教師データを示し, 補助のボックスは補助教師データを示している。図 3 の通り, MUNCHABLES結合手法は, 補助 1 , 補助 $2, \cdots$, 補助 M の複数の補助教師デー夕をまとめたデー夕を一つの補助教師データとして用いる. MUNCHABLES-結合手法は, 2.3 節の補助学習手法と同様, メイン教師データから作成したメインバッチと補助教師データから作成した補助バッチを用意する。そして, メイン教師データに対する損失が収束するまで, 補助バッチを用いた学習とメインバッチを用いた学習を交互に繰り返す。従来の補助学習手法との違いは, 複数の補助教師デー 夕を結合した教師データからデータを抽出することで補助バッチを作成する点である。一つの補助バッチには複数種類の補助教師データが混在し得る.

図 3 MUNCHABLES-結合手法の概要図
^{1}$ Wang ら (Wang et al. 2018) は複数種類のデータをマルチタスク学習で用いているが, 提案手法はメイン教師デー 夕と複数の補助教師データを用いる補助学習である.
}

## 3.2 MUNCHABLES-反復手法

MUNCHABLES-反復手法は, エポック毎に補助教師データとして使用する教師データの種類を変える補助学習である．MUNCHABLES-反復手法の概要を図 4，アルゴリズムを Algorithm 3 に示す. MUNCHABLES-反復手法においても，メイン教師データから作成したメインバッチを用いた学習と補助教師データから作成した補助バッチを用いた学習を，メイン教師データに対する損失が収束するまで交互に繰り返す。MUNCHABLES-結合手法との違いは, 補助バッチは特定の補助教師データから作成し, 補助バッチの作成元とする補助教師データはエポック単位で切り替える点である.

## 3.3MUNCHABLES-スタック手法

MUNCHABLES-スタック手法は, 補助教師データ毎の補助学習を順次行うことでBiLSTM のパラメータを学習する。この手法では, 補助教師データの種類の数だけメイン教師データを

図 4 MUNCHABLES-反復手法の概要図

図 5 MUNCHABLES-スタック手法の概要図

用いてメインモデルの再学習を行う.

MUNCHABLES-スタック手法の概要を図 5，アルゴリズムを Algorithm 4 に示す. MUNCHABLES-スタック手法では, 特定の補助教師データを用いた補助学習を行う。そして, メイン教師データに対する損失が収束したときに，新しい補助教師データに切り替え，新しい補助教師データを用いて，メインモデルの再学習を行う．MUNCHABLES-結合手法と MUNCHABLES反復手法では，メインモデルの収束判定は一度だけだが，MUNCHABLES-スタック手法では，各補助教師データごとに，1 エポックごとの学習終了時に収束判定を行う.

## 4 実験

## 4.1 実験設定

本研究では, 8 個の化学/バイオ／科学技術分野の NER タスクで提案手法によるモデルの評

} & Test & Train & Dev & Test & \multicolumn{4}{c}{ アrain } & Pev & Test \\

表 1 データセット

価を行う．表 1 に各 NER タスクのデータセットを示す。JNLPBA では, 複数の NE の種類が定義されているが, BioBERT (Lee et al. 2019) の実験設定にならい, Gene/Protein のNEのみを使用した．本実験では， 3 節で説明した 3 つの提案手法によるモデル（MUNCHABLES-結合手法による MUNCH.-Conc，MUNCHABLES-反復手法による MUNCH.-Iter，MUNCHABLES-スタック手法による $M U N C H$.-Stack）の性能を，2 節で説明した 3 つの従来手法により学習したモデル （シングルタスク学習による SingleTask, 標準的なマルチタスク学習による MultiTask, 従来の補助学習による SingleAux) の性能と比較することで，提案手法の有効性を検証する． singleAux を学習する際に用いる 1 種類の補助教師データは，対象タスクの開発データに対する性能に基

づき選択した。具体的には，対象タスク以外の 7 種類の教師データをそれぞれ補助教師データとして用いたモデルの中で，開発データで最も性能（F1 值）が高かったモデルを評価データで評価した．従来モデルのMultiTask 及び提案モデルは 8 種類全ての教師データを学習で用いる. ただし，提案モデルは，対象タスク以外の 7 種類の教師データは補助教師データとして用いる. MUNCH.-Iter 及び MUNCH.-Stack の補助教師デー夕は, 固有表現の種類が同じ補助教師デー夕が連続しないように 7 種類の補助教師データをランダムに並び替えて用いた。補助教師データの入力順に関する考察は 4.3 節で行う.

各 NER モデルはオープンフレームワーク FLAIR (Akbik et al. 2019) を拡張して実装した. BiLSTMへの入力である単語埋め込みは, FLAIR で提供されている CSE (Akbik et al. 2018) と FastText (Bojanowski et al. 2017) を使用した. CSEと FastTextの各モデルはともに, PubMed のウェブサイトの医学文献コーパス MEDLINEの要旨より学習したモデルを使用した． MEDLINE の要旨は，約 45 億の単語を含む．BiLSTM 層の次元数は 256 とした。

オプティマイザーは SGD を使用し，スケジューリングにより学習率を調整した。具体的には，エポックごとの損失が 4 回連続してこれまで損失の最低値より小さくならなかったときに，学習率を 2 分の 1 倍にした。 そして，学習率が $1 \mathrm{e}-4$ 以下になったときに学習を終了した. 評価時は，学習を終えたときのモデルを使用した。ハイパーパラメータのチューニングでは，学習率の初期値として 0.1，0.05の 2 通り，バッチサイズとして 16,32 の 2 通りを試した。これらの学習率とバッチサイズを組み合わせた 4 つのモデルを開発データで評価し，一番性能が良いハイパーパラメータの組み合わせを選択した。モデルを評価する際は, 教師データと開発デー 夕を合わせたデータからモデルを学習し，テストデータに対する性能を比較，評価した． NER の評価指標は以下の Rrecision, Recall, F1 值を用いた。

$
\begin{aligned}
\text { Precison } & =\frac{T P}{T P+F P} \\
\text { Recall } & =\frac{T P}{T P+F N} \\
\text { F1-score } & =\frac{2 \times \text { Precision } \times \text { Recall }}{\text { Precision }+ \text { Recall }}
\end{aligned}
$

TP，FP，FNはそれぞれ True Positive，False Positive，False Negative を表す.

## 4.2 実験結果

実験結果を表 2 に示す．表 2 の結果は，初期値を変えて各モデルの実験を 3 回行った平均値である. 表 2 において,「MA. AVG.」と「MI. AVG.」はそれぞれ F1 值のマクロ平均とマイクロ平均を表す。また，太字は各タスクにおいて最も性能が高い值を示している。

表 2 より, SingleAux は SingleTask や MultiTask よりも F1 值のマイクロ平均とマクロ平均が

表 2 実験結果（各データセットの Precision, Recall, F1 値㧍よび F1 値のマクロ平均とマイクロ平均 (\%)，F1 値の括弧内の数字は標準偏差. )

高いことが確認できる。これは, 従来研究で報告されている通り, 対象タスクに着目した補助学習の方が全てのタスクの教師データを同等に扱うマルチタスク学習よりも性能改善に寄与することを示している。また, 表 2 より, MUNCH.-Stack とMUNCH.-Iter は SingleAux よりもF1 値のマクロ平均とマイクロ平均が共に高いことが確認できる。これらの結果より, 教師データが複数ある場合, 提案手法のように補助学習において複数の補助教師データを用いることでNER 性能が改善できることが分かり，提案手法の有効性を実験的に確認できる.

また, ベースラインモデルである MultiTask と SingleAux と, 提案手法によるモデル MUNCH.Conc, MUNCH.-Iter, MUNCH.-Stackの比較を行った. 表 3 に提案手法によるモデルとベースラインモデルの F1 値の差を示す. そして，検定として，単語に割り当てられたラベルの一致および不一致に基づくマクネマー検定を行った (Sha and Pereira 2003). この検定は, 各モデルにおいて F1 值が最大となった実験結果に対して行った. 表 3 内で太字で表しているものは, マクネマー検定の結果, 提案手法によるモデルの結果がベースラインモデルの結果と比較して, $p<0.05$ で有意であるものである. ベースラインモデルとの F1 値の差が大きい, BC5CDR-Disease や BC5CDRChem といったデータセットでは有意差があった. BC5CDR-Disease や BC5CDR-Chem といっ

 &  &  &  & BC2GM & JNLPBA &  & s800 \\

表 3 提案手法によるモデルとべースラインモデルの $\mathrm{F}$ 値の差. 太字は, マクネマー検定を行った結果,提案手法によるモデルがベースラインモデルより,$p<0.05$ で有意であるものを示している.

た対象タスクのアノテーション数が少ない場合，複数の補助教師データを使用することで性能の改善を行うことができる．提案手法によるモデルとベースラインモデルとの間で $\mathrm{F} 1$ 値の差が小さい JNLPBA では, どの提案手法のモデルでも有意差は確認できなかった. JNLPBA は,本実験において最も学習データのアノテーション数が多いデータセットであるため, 対象タスクのデータが十分である場合, 提案手法の効果は小さいと考えられる.

## 4.3 補助教師データの入力順に関する考察

MUNCH.-Iter と MUNCH.-Stack の性能は, 補助教師デー夕の使用順 (Algorithm 3 や 4 の $D_{a u x}^{(1)}$, $D_{a u x}^{(2)}, \cdots 」 ）$ に影響を受ける可能性がある。本節では補助教師デー夕の使用順が NER 性能に与える影響を考察する。

4.2 節の実験では, MUNCH.-Iter 及び MUNCH.-Stack の補助教師デー夕は, 固有表現の種類が同じ補助教師データが連続しないようにランダムに並び替えた。しかし，MUNCH.-Iter および MUNCH.-Stackでは，メインモデルの学習終了時点に近い補助教師データほど大きな影響を持つ可能性がある. そこで, MUNCH.-Iter や MUNCH.-Stackにおいて, 対象タスクの性能改善に寄与する度合いの小さい順に補助教師データを並べて用いた場合の性能を評価する．以降では，それらのモデルを MUNCH.-Iter (sort)と MUNCH.-Stack (sort)と表記する。具体的には, MUNCH.-Iter (sort) と MUNCH.-Stack (sort) では, まず，各補助教師デー夕単体で従来の補助学習を行ったモデルの開発データに対する性能を評価する。そして, その性能の昇順で補助教

例として，CHEMDNER タスクにおける MUNCH.-Iter (sort)と MUNCH.-Stack (sort) の補助教師データの並び順の決め方について説明する．表 4 に，各 NER タスクの教師データを用いた場合の SingleAux の CHEMDNER 開発データにおける性能を示す。ハイパーパラメータは全ての組み合わせで評価する。この SingleAuxの性能に基づき，ハイパーパラメータの各組み合わせで MUNCH.-Iter (sort) と MUNCH.-Stack (sort)の CHEMDNER 開発デー夕における性能を評価する，具体的には，同じハイパーパラメータの設定で，SingleAux の性能が低い順に補助教師データを用いて MUNCH.-Iter (sort)やMUNCH.-Stack (sort)を評価する。その結果,表 4 より, MUNCH.-Iter (sort) ではバッチサイズが 32 , 学習率が 0.1 , 補助教師デー夕の使用順は「JNLPBA $\rightarrow$ BC2GM $\rightarrow$ BC5CDR-Disease $\rightarrow$ s800 $\rightarrow$ BC5CDR-Chem $\rightarrow$ LINNAEUS $\rightarrow$ NCBI-Disease」となる。また, MUNCH.-Iter (sort)ではバッチサイズが 16 , 学習率が 0.05 , 補助教師データの使用順は「s $800 \rightarrow$ JNLPBA $\rightarrow$ BC5CDR-Disease $\rightarrow$ BC2GM $\rightarrow$ NCBI-Disease $\rightarrow$ LINNAEUS $\rightarrow$ BC5CDR-Chem」となる.

各テストデータにおける MUNCH.-Iter, MUNCH.-Iter (sort), MUNCH.-Stack, MUNCH.-Stack (sort)の性能を表 5 に示す. 表 5 より，MUNCH.-Iter (sort)の F1 値のマクロ平均と MUNCH.Stack (sort)の F1 值のマイクロ平均及びマクロ平均はそれぞれ MUNCH.-Iter と MUNCH.-Stack より低いが，MUNCH.-Iter (sort)は MUNCH.-Iter よりも高い F1 値のマイクロ平均を獲得できたことが分かる。この結果より, MUNCH.-Iter とMUNCH.-Stackの性能は補助教師デー夕の使用順序に影響を受け，対象タスクの開発データにおける SingleAuxの性能の昇順で補助教師デー 夕を使うことで, いくつかの NER タスクでは性能改善できることが分かった. しかし, 補助教師データをソートすることにより性能を改善できないNER タスクも多い.これは，開発デー 夕とテストデータの傾向の違いが原因の一つであると考えられる.

表 4 CHEMDNER タスクにおける MUNCH.-Iter (sort) とMUNCH.-Stack (sort) の補助教師データの使用順及びハイパーパラメータのチューニング（CHEMDNER 開発データにおける F1 値 (\%))

} & \multicolumn{2}{c|}{ MUNCH.-Iter } & \multicolumn{2}{c}{ MUNCH.-Stack } \\
\cline { 2 - 5 } & 無 (ランダム) & 有 & 無(ランダム) & 有 \\

BC5CDR Disease & 86.86 & $\mathbf{8 6 . 9 1}$ & $\mathbf{8 6 . 8 2}$ & 86.78 \\
BC5CDR Chem & $\mathbf{9 4 . 3 5}$ & 94.25 & 94.3 & $\mathbf{9 4 . 5 2}$ \\
CHEMDNER & 92.13 & $\mathbf{9 2 . 2 4}$ & 92.3 & $\mathbf{9 2 . 3 2}$ \\
BC2GM & 83.48 & $\mathbf{8 3 . 6 2}$ & 83.67 & $\mathbf{8 3 . 7 6}$ \\
JNLPBA & $\mathbf{7 7 . 8 4}$ & 77.31 & $\mathbf{7 7 . 6 6}$ & 77.14 \\
LINNAEUS & $\mathbf{8 8 . 9}$ & 88.76 & 88.76 & $\mathbf{8 8 . 8 2}$ \\
s800 & $\mathbf{7 7 . 1 4}$ & 76.72 & $\mathbf{7 6 . 5 2}$ & 76.51 \\

MI. AVG. & 88.62 & $\mathbf{8 8 . 6 6}$ & $\mathbf{8 8 . 5 6}$ & 88.54 \\

表 5 補助教師データの順序の違いによる性能差

表 6 対象タスクの教師データと補助教師データとの単語の一致率 (BC5CDR-Chem と BC5CDR-Disease は同じテキストに対してラベル付けを行ったものであるため省略した. ）

表 6 に対象タスクの教師データと補助教師データとの単語の一致率を示す。これは, 対象タスクの教師データに出現する単語が, 補助教師データ内に出現する割合を表している. JNLPBA, LINNAEUS, s800, NCBI-disease は, 対象タスクの教師データ中の単語が補助教師データ内に出現する割合が高いデータセットである。このうち NCBI-disease を除いたデータセットでは,補助教師データをソートしない手法によるモデルが補助教師データをソートする手法によるモデルより F1 値が高い. 一方, BC4CHEMD や BC2GM は, 対象タスクの教師データ中の単語が, 補助教師データ内に出現する割合が低いデータセットである。これらのデータセットでは,補助教師データをソートする手法によるモデルが高性能である。これらのことから, 補助教師データと対象タスクの教師データの一致率が低いものは，対象タスクの性能改善に寄与する度合いの小さい順に補助教師データを並べることで，性能が高くなる傾向があることが分かる.

## 5 関連研究

## 5.1 従来研究の結果との比較

本節では，提案の MUNCHABLES 手法によるモデルの性能と従来研究で報告されている性能を比較する ${ }^{2}$. 表 7 に比較結果を示す。また, 表 8 に比較結果の概要として, 本研究の評価実験で用いた NER タスクと従来研究で用いられている NER タスクで共通するタスクに対する F1 値のマクロ平均を示す. 表 8 の太字は提案手法によるモデルの $\mathrm{F} 1$ 値が従来手法の結果よりも高いことを示す. 表 7 と表 8 より, 提案の MUNCHABLES 手法によるモデルは全体的に従来の結果と同等かよりよい NER 性能を達成できていることが分かる.

HanPaNE と MUNCHABLES が LSTM であるのに対し, 他の手法は Transformer に基づく事前学習を用いている。表 2 の SingleTask（F1 値のマクロ平均 85.64）と表 8 の BioBERT（F1

 &  &  & CHEMDNER & BC2GM & JNLPBA & LINNAEUS & s800 \\

SingleAux (reimpl) & 88.77 & 86.16 & 94.37 & 92.25 & 83.11 & 77.12 & 88.6 & 76.85 \\

HanPaNE & - & - & - & $\mathbf{9 2 . 5 7}$ & - & - & - & - \\
SciBERT & 88.57 & - & - & - & - & 77.28 & - & - \\
BioMegatron & 87.0 & 88.5 & 92.5 & - & - & - & - & - \\
SciFive & 88.46 & 87.62 & $\mathbf{9 4 . 6 1}$ & 91.56 & 83.57 & 77.55 & - & 76.33 \\
PubMedBERT (PubMed) & 87.82 & 85.62 & 93.33 & - & $\mathbf{8 4 . 5 2}$ & 79.10 & - & - \\
PubMedBERT (+PMC) & 88.04 & 85.76 & 93.34 & - & 84.37 & $\mathbf{7 9 . 1 6}$ & - & - \\

MUNCH.-Iter & 88.55 & 86.82 & 94.35 & 92.13 & 83.48 & 77.84 & 89.0 & $\mathbf{7 7 . 1 4}$ \\
MUNCH.-Stack & 87.67 & 86.82 & 94.29 & 92.3 & 83.67 & 77.66 & 88.76 & 76.52 \\

表 7 従来研究の結果との比較 (F1 值 $(\%)$ )

} \\

表 8 従来研究の結果との比較の概要（F1 值のマクロ平均 (\%). 共通タスクを対象. ）
 1$ 值のマクロ平均が最も高いモデルの性能と比較する。
}
值のマクロ平均 85.99）との比較から，今回の評価で用いたデータセットでは, Transformerに基づく事前学習モデルを用いる方が全般的に高い性能を示すことが確認できる．しかしながら， MUNCHABLES によって, LSTM に基づくモデルであっても，今回の評価デー夕において，高いF1值が得られる場合があることがわかる.

なお, MUNCHABLES は従来研究と組み合わせることが可能であり，また，今後提案される事前学習モデルに適用することで，更なる性能改善が期待できる，以降，各手法との比較を述ベる.
- BioBERT (Lee et al. 2019) はバイオ分野のテキストで事前学習した BERT に基づくモデルである. 本研究では, PubMed と PMC から事前学習した BioBERT v1.0 と提案モデルを比較した， BioBERTの F1 値のマクロ平均は 85.99 なのに対して, 提案の $M U N C H .-$ Iterの F1 值のマクロ平均は 86.16, MUNCH.-Stackの F1 值のマクロ平均は 85.96 であり, MUNCH.-Iter は BioBERT よりも高い性能を実現できた。
- HanPaNE (Watanabe et al. 2019) は, マルチタスク学習により, LSTM に基づく化合物名の言い換えモデルと同時学習する BiLSTM-CRF NER モデルである. HanPaNE は CHEMDNER タスクでしか評価されていないが, CHEMDNER タスクでは最高性能である 92.57 の F1 値を達成している。 MUNCH.-Stack及び MUNCH.-Iter は HanPaNE よりも性能が低い。しかし, 提案手法と HanPaNE のマルチタスク学習の枠組みは相補的であるため，組み合わせることでより高い性能を達成できる可能性がある.
- SciBERT (Beltagy et al. 2019) は科学技術分野のテキストで事前学習した BERT に基づくモデルである. SciBERT は NCBI-Diseases と JNLPBAタスクで評価されており，それらの F1 值のマクロ平均は 82.93 である。 MUNCH.-Iterはそれら 2 つのタスクで SciBERT より高い $\mathrm{F} 1$ 値のマクロ平均 (83.19) を達成している.
- BioMegatron (Shin et al. 2020) は Megatron-LM (Shoeybi et al. 2020) と呼ばれる Transformerに基づく言語モデルをバイオ分野に適応したモデルである. BioMegatron は NCBIDisease, BC5CDR Disease, BC5CDR Chem の 3つの NER タスクで評価されており，50k のバイオ分野の語彙と $345 \mathrm{~m}$ のパラメータを用いた BioMegatron の F1 値のマクロ平均は 89.33 である。一方, MUNCH.-Iter と MUNCH.-Stackの F1值のマクロ平均はそれぞれ 89.91 と 89.59 であり, BioMegatronよりも高い値を実現した.
- SciFive (Phan et al. 2021) は大規模なバイオ医療分野のコーパスから事前学習した Textto-Text Transfer Transformer (T5) (Raffel et al. 2020)に基づくモデルである. SciFive は本研究で用いた 8 つのタスクの内，LINNAEUS を除いた 7 つのタスクで評価されており, NER タスクのF1 值のマクロ平均が最も良い PMC から事前学習した SciFive (PMC) Large のマクロ平均 F1 值は 85.67 である. 一方, MUNCH.-Iter の F1 值のマクロ平均は 85.76 であり，SciFive より高い性能を実現した.
- PubMedBERT (Gu et al. 2021) は, バイオ分野のテキストだけを用いて一から事前学習した BERT モデルである. PubMedBERT (PubMed) は PubMed だけ, PubMedBERT (+PMC) は PubMed に加えて PMC を事前学習に用いている.これらの事前学習を基に NCBI-Disease, BC5CDR Disease, BC5CDR Chem, BC2GM, JNLPBA の固有表現抽出タスクで評価を行っている. PubMedBERT (PubMed) に基づく固有表現抽出器の F1 値のマクロ平均は 86.08 , PubMedBERT (+PMC) に関しては, 86.13 と報告されている. MUNCH.-Stack は, PubMedBERT (PubMed)に基づく固有表現抽出器と同等の性能を示している。また, MUNCH.-Iterは, PubMedBERT (+PMC) より高い性能を示している.

## 5.2 マルチタスク学習

マルチタスク学習は，NER を含めて様々な自然言語処理タスクの性能を向上させるために利用されている (Liu et al. 2015; Luong et al. 2016; Dong et al. 2015; Hashimoto et al. 2017; Liu et al. 2018)． Rei (Rei 2017) は言語モデルを用いた系列ラベリングのマルチタスク学習手法を提案した. Aguilar ら (Aguilar et al. 2018)や Cao ら (Cao et al. 2018) は NER と単語分割のマルチタスク学習を提案した. Clarkら (Clark et al. 2018) は品詞付与や構文解析などのいくつかの自然言語処理タスクとNERのマルチタスク学習を提案した. Crichton (Crichton et al. 2017) や Wang ら (Wang et al. 2018) は化学医療のいくつかの自然言語処理タスクとのマルチタスク学習により NER の性能を改善した. Watanabe ら (Watanabe et al. 2019) は化合物名の言い換えとNERのマルチタスク学習を提案した。また, マルチタスクのためのサンプリング手法も提案されている. Guoら (Guo et al. 2019) は, Beta-Bernoulli multi-armed bandit with Thompson Sampling に基づいて最も有効と判断される補助タスクを選択する. Kung ら (Kung et al. 2021) は, 対象タスクとの類似度に基づいて，補助タスクを選択する手法を提案している。これらの手法は，異なる夕スクを用いてマルチタスク学習を行っているが，MUNCHABLES では，同じタスクの異なる教師データを用いて補助学習を行う点が異なる.

また, Daume (Daumé III 2007), Peng ら (Peng and Dredze 2017), Yang ら (Yang et al. 2017) のように同じタスクで分野が異なるデータを用いて学習を行う分野適応がある. MUNCHABLES は, 複数の補助教師データを切り替えながら学習する点がこれらの手法とは異なる。これにより, 補助教師データの入力順を変更することができ, 補助教師データと教師データの単語の一致率が低いものは, 図 5 のように性能改善を行うことができる.

## 6 おわりに

本研究では, 複数の補助教師データを活用する NER の補助学習手法 MUNCHABLES を提案した。学習方法として, (i) 複数の補助教師データを結合したデータを一つの補助教師デー夕と

みなして補助学習を行う MUNCHABLES-結合モデル，(ii) エポックごとに補助教師データを変えて補助学習を行う MUNCHABLES-反復モデル, (iii) 補助教師デー夕毎の補助学習を順次行い補助教師データの種類の数だけメインモデルの再学習を行う MUNCHABLES-スタックモデルを提案した．化学／バイオ／科学技術分野のデータセットを用いた評価実験を通じて，提案手法で学習したモデルは従来のマルチタスク学習手法によるモデルや一つの補助教師データしか用いない従来の補助学習手法によるモデルよりも高い平均 $\mathrm{F} 1$ 値を実現できることを確認し， s800 のデータセットにおいて最も高い F1 值を達成した，今後の課題として，他のデータセットや，Transfomerに基づく事前学習を用いた評価，NER 以外の自然言語処理タスクでの提案手法の有効性の確認が挙げられる。

## 参考文献

Aguilar, G., López Monroy, A. P., González, F., and Solorio, T. (2018). "Modeling Noisiness to Recognize Named Entities using Multitask Neural Networks on Social Media." In Proceedings of the 2018 Conference of the NAACL-HLT, Volume 1 (Long Papers), pp. 1401-1412.

Akbik, A., Bergmann, T., Blythe, D., Rasul, K., Schweter, S., and Vollgraf, R. (2019). "FLAIR: An Easy-to-Use Framework for State-of-the-Art NLP." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 54-59.

Akbik, A., Blythe, D., and Vollgraf, R. (2018). "Contextual String Embeddings for Sequence Labeling." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1638-1649.

Beltagy, I., Lo, K., and Cohan, A. (2019). "SciBERT: A Pretrained Language Model for Scientific Text." In Proceedings of the 2019 EMNLP-IJCNLP, pp. 3615-3620. Association for Computational Linguistics.

Bojanowski, P., Grave, E., Joulin, A., and Mikolov, T. (2017). "Enriching Word Vectors with Subword Information." Transactions of the Association for Computational Linguistics, 5, pp. 135-146.

Cao, P., Chen, Y., Liu, K., Zhao, J., and Liu, S. (2018). "Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism." In Proceedings of the 2018 EMNLP, pp. 182-192.

Clark, K., Luong, M.-T., Manning, C. D., and Le, Q. (2018). "Semi-Supervised Sequence Modeling with Cross-View Training." In Proceedings of the 2018 EMNLP, pp. 1914-1925. Asso-
ciation for Computational Linguistics.

Crichton, G., Pyysalo, S., Chiu, B., and Korhonen, A. (2017). "A Neural Network Multi-task Learning Approach to Biomedical Named Entity Recognition." BMC Bioinformatics, 18 (1). 368 .

Daumé III, H. (2007). "Frustratingly Easy Domain Adaptation." In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 256-263, Prague, Czech Republic. Association for Computational Linguistics.

Doğan, R. I., Leaman, R., and Lu, Z. (2014). "NCBI Disease Corpus: A Resource for Disease Name Recognition and Concept Normalization." Journal of Biomedical Informatics, 47, pp. $1-10$.

Dong, D., Wu, H., He, W., Yu, D., and Wang, H. (2015). "Multi-Task Learning for Multiple Language Translation." In Proceedings of the 53rd ACL and the 7th IJCNLP (Volume 1: Long Papers), pp. 1723-1732.

Gerner, M., Nenadic, G., and Bergman, C. M. (2010). "LINNAEUS: A Species Name Identification System for Biomedical Literature." BMC Bioinformatics, 11 (1), pp. 1-17.

Gu, Y., Tinn, R., Cheng, H., Lucas, M., Usuyama, N., Liu, X., Naumann, T., Gao, J., and Poon, H. (2021). "Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing." ACM Transactions of Computing for Healthcare, 3 (1).

Guo, H., Pasunuru, R., and Bansal, M. (2019). "AutoSeM: Automatic Task Selection and Mixing in Multi-Task Learning." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3520-3531. Association for Computational Linguistics.

Hashimoto, K., Xiong, C., Tsuruoka, Y., and Socher, R. (2017). "A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks." In Proceedings of the 2017 EMNLP, pp. 1923-1933.

Huang, Z., Xu, W., and Yu, K. (2015). "Bidirectional LSTM-CRF Models for Sequence Tagging." arXiv preprint arXiv:1508.01991.

Khan, M. R., Ziyadi, M., and AbdelHady, M. (2020). "Mt-bioner: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers." arXiv preprint arXiv:2001.08904.

Kim, J.-D., Ohta, T., Tsuruoka, Y., Tateisi, Y., and Collier, N. (2004). "Introduction to the Bioentity Recognition Task at JNLPBA." In Proceedings of the International Joint Workshop
on Natural Language Processing in Biomedicine and Its Applications, pp. 70-75. Citeseer.

Krallinger, M., Rabal, O., Leitner, F., Vazquez, M., Salgado, D., Lu, Z., Leaman, R., Lu, Y., Ji, D., Lowe, D. M., et al. (2015). "The CHEMDNER Corpus of Chemicals and Drugs and Its Annotation Principles." Journal of Cheminformatics, 7 (1), pp. 1-17.

Kung, P.-N., Yin, S.-S., Chen, Y.-C., Yang, T.-H., and Chen, Y.-N. (2021). "Efficient MultiTask Auxiliary Learning: Selecting Auxiliary Data by Feature Similarity." In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 416-428. Association for Computational Linguistics.

Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., and Kang, J. (2019). "BioBERT: A Pre-trained Biomedical Language Representation Model for Biomedical Text Mining." Bioinformatics, 36 (4), pp. 1234-1240.

Li, J., Sun, Y., Johnson, R. J., Sciaky, D., Wei, C.-H., Leaman, R., Davis, A. P., Mattingly, C. J., Wiegers, T. C., and Lu, Z. (2016). "BioCreative V CDR Task Corpus: A Resource for Chemical Disease Relation Extraction." Database, 2016.

Liu, L., Shang, J., Ren, X., Xu, F., Gui, H., Peng, J., and Han, J. (2018). "Empower Sequence Labeling with Task-Aware Neural Language Model." In AAAI, pp. 5253-5260.

Liu, X., Gao, J., He, X., Deng, L., Duh, K., and Wang, Y.-Y. (2015). "Representation Learning Using Multi-Task Deep Neural Networks for Semantic Classification and Information Retrieval." In Proceedings of the 2015 NAACL-HLT, pp. 912-921.

Luong, M.-T., Le, Q. V., Sutskever, I., Vinyals, O., and Kaiser, L. (2016). "Multi-task Sequence to Sequence Learning." In Proceedings of the 2016 ICLR.

Mehmood, T., Gerevini, A. E., Lavelli, A., and Serina, I. (2020). "Combining Multi-task Learning with Transfer Learning for Biomedical Named Entity Recognition." Procedia Computer Science, 176, pp. 848-857.

Pafilis, E., Frankild, S. P., Fanini, L., Faulwetter, S., Pavloudi, C., Vasileiadou, A., Arvanitidis, C., and Jensen, L. J. (2013). "The SPECIES and ORGANISMS Resources for Fast and Accurate Identification of Taxonomic Names in Text." PLoS One, 8 (6). e65390.

Peng, N. and Dredze, M. (2017). "Multi-task Domain Adaptation for Sequence Tagging." In Proceedings of the 2nd Workshop on Representation Learning for NLP, pp. 91-100, Vancouver, Canada. Association for Computational Linguistics.

Phan, L. N., Anibal, J. T., Tran, H., Chanana, S., Bahadroglu, E., Peltekian, A., and AltanBonnet, G. (2021). "SciFive: A Text-to-Text Transformer Model for Biomedical Literature." CoRR, abs/2106.03598.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Rei, M. (2017). "Semi-supervised Multitask Learning for Sequence Labeling." In Proceedings of the 55th ACL (Volume 1: Long Papers), pp. 2121-2130. Association for Computational Linguistics.

Sha, F. and Pereira, F. (2003). "Shallow Parsing with Conditional Random Fields." In Proceedings of the North American Chapter of the Association for Computational Linguistics, pp. 134-141.

Shin, H.-C., Zhang, Y., Bakhturina, E., Puri, R., Patwary, M., Shoeybi, M., and Mani, R. (2020). "BioMegatron: Larger Biomedical Domain Language Model." In Proceedings of the 2020 EMNLP, pp. 4700-4706. Association for Computational Linguistics.

Shoeybi, M., Patwary, M., Puri, R., LeGresley, P., Casper, J., and Catanzaro, B. (2020). "Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism." arXiv preprint arXiv:1909.08053.

Smith, L., Tanabe, L. K., nee Ando, R. J., Kuo, C.-J., Chung, I.-F., Hsu, C.-N., Lin, Y.-S., Klinger, R., Friedrich, C. M., Ganchev, K., et al. (2008). "Overview of BioCreative II Gene Mention Recognition." Genome biology, 9 (2), pp. 1-19.

Wang, X., Lyu, J., Dong, L., and Xu, K. (2019). "Multitask Learning for Biomedical Named Entity Recognition with Cross-sharing Structure." BMC Bioinformatics, 20 (1), pp. 1-13.

Wang, X., Zhang, Y., Ren, X., Zhang, Y., Zitnik, M., Shang, J., Langlotz, C., and Han, J. (2018). "Cross-type Biomedical Named Entity Recognition with Deep Multi-task Learning." Bioinformatics. bty869.

Wang, X., Zhang, Y., Ren, X., Zhang, Y., Zitnik, M., Shang, J., Langlotz, C., and Han, J. (2019). "Cross-type Biomedical Named Entity Recognition with Deep Multi-task Learning." Bioinformatics, 35 (10), pp. 1745-1752.

Watanabe, T., Ichikawa, T., Tamura, A., Iwakura, T., Ma, C., and Kato, T. (2022). "Auxiliary Learning for Named Entity Recognition with Multiple Auxiliary Biomedical Training Data." In Proceedings of the 21st Workshop on Biomedical Language Processing, pp. 130-139. Association for Computational Linguistics.

Watanabe, T., Tamura, A., Ninomiya, T., Makino, T., and Iwakura, T. (2019). "Multi-Task Learning for Chemical Named Entity Recognition with Chemical Compound Paraphrasing." In Proceedings of the 2019 EMNLP-IJCNLP, pp. 6244-6249. Association for Computational

Linguistics.

Yang, Z., Salakhutdinov, R., and Cohen, W. W. (2017). "Transfer Learning for Sequence Tagging with Hierarchical Recurrent Networks." In 5th International Conference on Learning Representations, ICLR 2017, Toulon, France, April 24-26, 2017, Conference Track Proceedings. OpenReview.net.

## 略歴

渡邊大貴：2017 年愛媛大学工学部情報工学科卒業. 2019 年同大学院理工学研究科修士課程修了. 2022 年より同志社大学大学院理工学研究科博士課程に在学. 2019 年（株）富士通研究所入社. 現在，富士通株式会社に在籍.

市川智也 : 2021 年同志社大学理工学部インテリジェント情報工学科卒業. 2023 年同大学院理工学研究科修士課程修了. 同年より楽天グループ株式会社入社.

田村晃裕：2005 年東京工業大学工学部情報工学科卒業. 2007 年同大学院総合理工学研究科修士課程修了. 2013 年同大学院総合理工学研究科博士課程修

了. 日本電気株式会社, 国立研究開発法人情報通信研究機構にて研究員として務めた後, 2017 年より愛媛大学大学院理工学研究科助教. 2020 年より同志社大学理工学部准教授となり, 現在に至る. 博士 (工学). 情報処理学会, 言語処理学会, 人工知能学会, ACL 各会員.

岩倉友哉：2003 年株式会社富士通研究所入社. 2011 年東京工業大学大学院総合理工学研究科物理情報システム専攻博士課程修了. 博士 (工学)。自然言語処理の研究開発に従事. 現在，富士通株式会社シニアリサーチマネージャー,奈良先端科学技術大学院大学客員教授. 情報処理学会, 言語処理学会各会員.

馬春鵬: Chunpeng Ma is currently a researcher in Megagon Labs, Tokyo. He received his B.E., M.E., Ph. D from Harbin Institute of Technology in 2010 2014, 2020, respectively. Since 2020, he has been working as a researcher in Fujitsu Laboratory, Japan. His research interests include machine translation, syntactic parsing, dialogue generation, and multimodal artificial intelligence. He is a member of the Association for Natural Language Processing in Japan.加藤恒夫：1994 年東京大学工学部電子工学科卒業. 1996 年同大学工学系大学院電子工学専攻博士前期課程修了。同年，国際電信電話株式会社入社．KDD 研究所, KDDI 研究所を経て, 2015 年より同志社大学理工学部. 現在同志社大学理工学部教授. 博士 (情報理工学). 言語処理学会, 情報処理学会, 電子情報通信学会, 日本音響学会, 日本音声学会, ヒューマンインターフェー 入学会, ACM, IEEE 各会員.

(2022 年 8 月 1 日受付)

(2023 年 1 月 8 日再受付)

(2023 年 2 月 17 日採録)