# 化学分野の固有表現抽出のための化合物名を含む文の 言い換え学習を用いたマルチタスク学習手法

本論文では，言い換えが複数存在する化合物名称の固有表現抽出 (NER) の精度を向上するため，NER モデルと化合物名を含む文の言い換えモデルを同時に学習するマ ルチタスク学習を提案する。提案手法では, long short-term memory (LSTM) に基 づくエンコーダーおよび単語・文字 embedding パラメータを，NER モデルと言い換 えモデルで共有することで，NER モデルにおいて，化合物名の言い換えを捉えるこ とができるようにする。化合物名抽出タスク BioCreative IV CHEMDNER トラック で評価した結果，本言い換え学習が精度改善に貢献することが確認された。

キーワード：マルチタスク学習，固有表現抽出，言い換え
## Multi-Task Learning for Chemical Named Entity Recognition with Chemical Compound Paraphrasing

\author{
Taiki Watanabe ${ }^{\dagger, \dagger \dagger}$, Akihiro Tamura ${ }^{\dagger \dagger}$, Takashi Ninomiya ${ }^{\dagger \dagger \dagger}$, \\ TAKUYa MaKino ${ }^{\dagger \dagger \dagger}$ and TOMOYa IwakURa ${ }^{\dagger}$
}

\begin{abstract}
We propose a method to improve named entity recognition (NER) for chemical compounds using multi-task learning by jointly training a chemical NER model and a chemical compound name paraphrase model. Our method enables the NER model to capture chemical compound paraphrases by sharing the parameters of NER and the character embeddings based on long short-term memories (LSTM) with the paraphrase model. Experimental results on BioCreative IV CHEMDNER show that our method learning paraphrase contributes to improved accuracy.
\end{abstract}

Key Words: Multi-task Learning, Named Entity Recognition, Paraphrasing

## 1 はじめに

固有表現抽出 (NER) は, 人名, 組織名, 化学物質名, 日付や時間といった固有名詞や数値表現を抽出するタスクであり，関係抽出 (Zhou et al. 2016; Wu and He 2019; Shen and Huang


2016; Wang et al. 2016) やエンティティリンキング (Ganea and Hofmann 2017; Le and Titov 2018; Radhakrishnan et al. 2018; Raiman and Raiman 2018; van Hulst et al. 2020; Kolitsas et al. 2018) といった技術に用いられる要素技術の一つである. たとえば， 2 つの固有表現 (NE) 間の関係を識別する関係抽出タスクでは，文中の NE を特定するため NER が利用され，エンティティリンキングでは，実体判別の候補抽出に利用される.

固有表現技術の適用先は, 新聞記事といった一般的な文書に留まらず，化学や医学分野などの専門分野の特許や論文に広がりを見せている。化学分野であれば, 新材料や新薬の開発, 材料を用いた製品開発などにおいて，化合物に関する知識が必要不可欠であり，論文や特許で日々報告される化合物間の相互関係や物性値といった情報を構造化し知識として蓄積することが行われている.しかしながら，2015 年の時点で 2 分 30 秒に 1 件のペースで新たな物質が CAS (Chemical Abstracts Service) に追加されているという報告が示すように ${ }^{1}$, 刻々と増え続ける化合物に対して，専門的な知識を必要とする人手による知識構築作業が課題となっている。そこで，知識構築に必要な化合物名を抽出するために NER が化学分野でも注目を集めている (Leaman et al. 2015; Lu et al. 2015; Lin et al. 2018).

近年では, LSTM-CRF モデルといった, long short-term memory (LSTM) に条件付確率場 (CRF) を組み合わせたモデル (Lample et al. 2016; Ma and Hovy 2016) や, Transformer (Vaswani et al. 2017)を用いたモデル (Devlin et al. 2019; Yamada et al. 2020) が高い精度を示している. また，大規模なラベルなしコーパスから事前学習したニューラル言語モデル (Akbik et al. 2018; Peters et al. 2018; Devlin et al. 2019; Yamada et al. 2020; Lee et al. 2020; Beltagy et al. 2019) を用いた手法が CoNLL 2003 shared task データセット (Sang et al. 2003) や化学分野の NER (Lu et al. 2015) などにおいて, 高い精度を示している. しかし, 化合物には多様な表記があることが，化学分野の NER を難しくしている。図 1 にあるように，Acrylic acid 4-tert-butylphenyl ester は Acrylic acid 4-(1,1-dimethylethyl)phenyl ester のように異表記で表現される。ここでは， tert-butyl を表す構造が methyl と ethyl から構成されることから，1,1-dimethylethyl とも言い換え可能となっている。このように同じ化合物が複数の異表記で記述される状況から，学習デー 夕には含まれない表記が多数存在しており，学習デー夕中の表記に基づき学習する従来の NER モデルでは， 新規の化合物名抽出において精度低下につながると考えられる。

たとえば，登録数が 1 億を超えている PubChem (Kim et al. 2020) 上の化合物の異表記の平均数は 3.88 個 2 である。このように既に存在する大規模な化合物の言い換えに加えて, 今後増え続ける化合物に対応するために従来の NER 用の教師データだけから異表記パタンを学習するアプローチは困難な状況にある。


図 1 化合物の異表記の例. Acrylic acid 4-tert-butylphenyl ester とその言い換えである Acrylic acid 4-(1,1-dimethylethyl)phenyl ester について示している。ここでは, tert-butyl を表す構造が 1,1dimethylethyl に言い換えられている.

そこで，本研究では，化合物名抽出と化合物名を含む文の言い換えをマルチタスク学習により同時に学習することで, 表現の同一性を学習し化合物名抽出を行う手法, Handling Paraphrase in NER (HanPaNE) を提案する。 HanPaNE では, 同一化合物の異なる表記を考量するために，既存のDBに登録されている化合物の言い換えパタンを用いて自動生成される言い換え用の学習データから, attention-based neural machine translation (ANMT) (Luong et al. 2015; Bahdanau et al. 2015) を基に言い換え生成モデルを学習する際に, NER モデルと言い換えモデルの Encoder のパラメータを共有することで，言い換えパタンを NER で考慮する.

提案手法を, BioCreative IV CHEMDNER (Krallinger et al. 2015) と PubChem から得られる言い換えパタンを用いて，評価を行った。その結果，従来の辞書を使った教師データの自動拡張 (Yi et al. 2004)を超える精度が得られ，化合物名抽出における NER と言い換え生成のマルチタスク学習の有効性を確認した。

## 2 提案手法

図 2 に提案手法 HanPaNE の全体像を示す。まず，NER と化合物名を含む文の言い換えモデルについて述べ，その後，言い換えモデルと NER モデルのマルチタスク学習の方法について述ベる.

## 2.1 文字レベルの言語モデルを使用した NER

本章では， ベースラインモデルとして用いる，Bidirecional (Bi) LSTM-CRF と Contextual String Embeddings (CSE)に基づく NER モデル BiLSTM-CRF+CSE について述べる (Akbik et al. 2018). このモデルは, CoNLL2003 のデータセットにおいて高い精度を示している.

図 2 提案手法 $\operatorname{HanPaNE}$ の全体図 $L S T M^{(f)}, L S T M^{(b)}, L S T M^{(w c)}$ と $L S T M^{(s c)}$ のパラメータは言い換えモデルと NER モデルで共有される.

このモデルでは, 入力文の単語列として, $\mathbf{w}=w_{1}, w_{2}, \cdots, w_{N}$ が与えられたとき, 各単語 $w_{i}$ はべクトル $\mathrm{x}_{i}$ に変換される。 ベクトル $\mathrm{x}_{i}$ は, 下記, 図 2 中の 1) から 3) の 3 つの embedding を結合したものである。

・ 1) ルックアップテーブルから取得される単語 embedding
- 2) 単語を構成する文字列上で計算される $\operatorname{BiLSTM}\left(L S T M^{(w c)}\right)$ の隠れ層 CWSE (Lample et al. 2016)
- 3) 文全体から構成される文字列から計算される $\operatorname{BiLSTM}\left(L S T M^{(s c)}\right)$ の隠れ層 $\mathrm{CSE}$ (Akbik et al. 2018)

CWSE は，ある単語に対して，LSTM ${ }^{(w c)}$ の順方向 LSTM と逆方向 LSTM の最後の隠れ層の結合である. CSE は，ある単語に対して，LSTM $M^{(s c)}$ の順方向 LSTM の単語を構成する最後の文字の隠れ層と， $L S T M^{(s c)}$ の逆方向 LSTM の単語を構成する最初の文字の隠れ層を結合したものである。 $L S T M^{(s c)}$ は，事前学習を行った文字レベルの言語モデルである．文字単位の文の生成確率は，下記の式を用いて表現される.

$
P\left(\mathbf{c}_{1: T}\right)=\prod_{t=1}^{T} p\left(c_{t} \mid \mathbf{c}_{1: t-1}\right)
$

ここで， $c_{t}$ は文中の $t$ 番目の文字を表し， $T$ は文中の文字数を表す.

入力単語列 $w$ に対するべクトル表現 $\mathbf{X}=\mathbf{x}_{1}, \cdots, \mathbf{x}_{N}$ を得た後に, 各単語の BiLSTM の隠れ層 $\mathbf{h}_{i}$ と対象の $\mathrm{NE}$ タグのスコアベクトル $\mathbf{e}_{i}$ を，下記のように計算する。

$
\begin{aligned}
& \overrightarrow{\mathbf{h}_{i}}=L S T M^{(f)}\left(\mathbf{x}_{i}, \overrightarrow{\mathbf{h}_{i-1}}\right), \\
& \overleftarrow{\mathbf{h}_{i}}=\operatorname{LST} M^{(b)}\left(\mathbf{x}_{i}, \overleftarrow{\mathbf{h}_{i+1}}\right) \\
& \mathbf{h}_{i}=\left[\overrightarrow{\mathbf{h}_{i}} ; \overleftarrow{\mathbf{h}_{i}}\right] \\
& \mathbf{e}_{i}=W_{e} \mathbf{h}_{i}
\end{aligned}
$

ここで, $\overrightarrow{\mathbf{h}_{i}}$ と $\overleftarrow{\mathbf{h}_{i}}$ の次元数は $d, \mathbf{h}_{i}$ の次元数は $2 d, \quad W_{e} \in \mathcal{R}^{k \times 2 d}$ は重み行列であり, $k$ は識別対象の NEの種類である。 [ $\cdot ; \cdot]$ は二つのべクトルを結合する演算を行う． $\mathbf{h}_{i-1}$ は， $\mathbf{h}_{i}$ の一つ前の単語に対する隠れ層, $\mathbf{h}_{i+1}$ は, $\mathbf{h}_{i}$ の一つ後ろの単語の隠れ層を表す。また, $\overrightarrow{\mathbf{h}_{0}}$ と $\overleftarrow{\mathbf{h}_{N+1}}$ は, ゼロベクトルである.

BiLSTM-CRF $+\mathrm{CSE}$ モデルでは， スコア行列 $\mathbf{P}=\left(\mathbf{e}_{1}, \cdots, \mathbf{e}_{N}\right)^{T} \in \mathcal{R}^{N \times k}$ と CRF を使用してタグの系列を予測する。ここで， $P_{i, j}$ は $i$ 番目の単語に対応する夕グ $j$ のスコアである. また,出力のタグ系列 $\mathbf{y}=y_{1}, \cdots, y_{N}$ の確率は，下記により計算される.

$
\begin{aligned}
& s(\mathbf{w}, \mathbf{y})=\sum_{i=-1}^{N} A_{y_{i}, y_{i+1}}+\sum_{i=1}^{N} P_{i, y_{i}} \\
& p(\mathbf{y} \mid \mathbf{w})=\frac{e^{s(\mathbf{w}, \mathbf{y})}}{\sum_{\tilde{\mathbf{y}} \in \mathbf{Y}_{\mathbf{w}}} e^{s(\mathbf{w}, \tilde{\mathbf{y}})}}
\end{aligned}
$

ここで， $\mathbf{Y}_{\mathbf{w}}$ はすべての可能なタグ系列の集合を表し， $\mathbf{A}$ はタグ遷移スコアの行列， $A_{y_{i}, y_{j}}$ は $i$番目の夕グから $j$ 番目の夕グへ遷移するスコア， $y_{-1}$ と $y_{N+1}$ はそれぞれ文頭と文末を表す夕グである.

学習では, モデルは正解のタグ系列を用いて下記の式を最大化するように学習する.

$
\log (p(\mathbf{y} \mid \mathbf{w}))=s(\mathbf{w}, \mathbf{y})-\log \left(\sum_{\tilde{\mathbf{y}} \in \mathbf{Y}_{\mathbf{w}}} e^{s(\mathbf{w}, \tilde{\mathbf{y}})}\right)
$

ここで， $\mathbf{y}$ は $\mathrm{w}$ 正解のタグ系列である． NE を抽出する際，モデルは，下記の式によって得られるスコアが最大のタグ系列を出力する.

$
y^{*}=\underset{\tilde{\mathbf{y}} \in \mathbf{Y}_{\mathbf{w}}}{\arg \max } s(\mathbf{w}, \tilde{\mathbf{y}})
$

## 2.2 言い換えモデル

提案手法では，LSTM ゙ースの NER モデルのエンコーダーに言い換え知識を取り入れるた

め, NER モデルと LSTM ベースのエンコーダーデコーダー手法の ANMT モデル (Luong et al. 2015; Bahdanau et al. 2015) で共有のエンコーダーを用いて，化合物を含む文の言い換えモデルを学習する，言い換えモデルは，入力文の単語列 $\mathbf{w}$ を化合物の言い換えを含む文の単語列 $\mathbf{y}^{t r g}=y_{1}^{t r g}, y_{2}^{t r g}, \cdots, y_{U}^{t r g}$ に変換する. ここで， $U$ は言い換え後の文の単語数である. LSTM エンコーダーは，入力文 $\mathrm{w}$ を固定長のべクトルへ変換し，その後 LSTM デコーダーは変換された固定長のベクトルを使用して, 出力単語列 $\mathbf{y}$ を生成する．LSTM エンコーダーは, 式 (2) と式 (3) によって定義される双方向 LSTM を使用し，NER モデルと同じくベクトル $\mathbf{x}_{i}$ を入力文の単語列の $i$ 番目の単語の embedding として使用する. 双方向 LSTM のエンコーダーの最後の隠れ層の状態である, 式 (2)の $\overrightarrow{\mathbf{h}}_{N}$ と, 式 (3)の $\overleftarrow{\mathbf{h}}_{1}$ は, LSTM デコーダの初期状態として, $\mathbf{s}_{0}=\left[\overrightarrow{\mathbf{h}}_{N} ; \overleftarrow{\mathbf{h}}_{1}\right]$ で表される式の形で用いられる.

デコーダは， $j$ 番目の単語の隠れ層 $\mathbf{s}_{j}$ を下記のように計算する.

$
\mathbf{s}_{j}=L S T M_{d e c}\left(\left[\mathbf{v}_{j-1} ; \hat{\mathbf{s}}_{j-1}\right], \mathbf{s}_{j-1}\right),
$

ここで, $\mathbf{v}_{j-1}$ は, $y_{j-1}^{\operatorname{trg}}$ の単語 embedding, $\hat{\mathbf{s}}_{j-1}$ は $(j-1)$ 番目のアテンションベクトルである.本モデルでは，コンテキストベクトル $\mathbf{o}_{j}$ を用いて,$j$ 番目のアテンションベクトルを以下のように計算する。

$
\hat{\mathbf{s}}_{j}=\tanh \left(W_{e}\left[\mathbf{s}_{j} ; \mathbf{o}_{j}\right]\right)
$

ここで， $W_{e}$ は重み行列であり, $\tanh$ はハイパボリックタンジェント関数である. コンテキストベクトル $\mathbf{o}_{j}$ は，エンコーダの隠れ層の重み平均によって下記のように算出される.

$
\begin{aligned}
\mathbf{o}_{j} & =\sum_{i=1}^{N} \alpha_{j}(i) \mathbf{h}_{i} \\
\alpha_{j}(i) & =\frac{\exp \left(\mathbf{h}_{i} \cdot \mathbf{s}_{j}\right)}{\sum_{k=1}^{N} \exp \left(\mathbf{h}_{k} \cdot \mathbf{s}_{j}\right)},
\end{aligned}
$

$\exp$ は, 指数関数である. デコーダは, 学習時には, 下記のように $j$ 番目の正解トークン $y_{j}^{\operatorname{trg}}$ の確率を計算する。

$
p\left(y_{j}^{t r g} \mid \mathbf{y}_{<j}^{t r g}, \mathbf{w}\right)=\operatorname{softmax}\left(W_{s} \hat{\mathbf{s}}_{j}\right)
$

ここで， $W_{s}$ は重み行列である。文章の生成時には, 最も確率の高い単語が選択される. 目的関数は下記のように定義される.

$
J(\theta)=-\sum_{\left(\mathbf{w}, \mathbf{y}^{\operatorname{trg}}\right) \in \mathbf{D}} \log p\left(\mathbf{y}^{\operatorname{trg}} \mid \mathbf{w}\right)
$

$D$ は学習データであり, $\theta$ はモデルパラメータの集合である.

## 2.3 固有表現抽出における言い換えの考慮

提案手法である HanPaNE は， 2.1 章で述べた NER モデルと 2.2 章で述べた化合物名を含む文の言い換えモデルを同時にマルチタスク学習を行う。化合物名を含む文の言い換えモデルは，入出力ともに文であり，化合物名を含む文の言い換えモデルの入力文と出力文は，言い換えの対象である化合物名が異なる。マルチタスク学習では, 式 (2) と式 (3) で述べた, 文字 embedding の重み行列と LSTM パラメータ， $L S T M^{(w c)}$ が 2 つのモデルで共有される。 パラメータの共有では, NER モデルの LSTM の部分は異なる表記のある化合物を，類似するべクトル表現へと変換することが期待される．2つのモデルの目的関数は，それぞれ式 (8) と式 (15) である.

今回は, 最適化の方法を決めるために，(A) ミニバッチごとに，式 (8) による NER モデルの最適化と式 (15) による言い換えモデルの最適化を交互に行う方法, (B) NER モデルの学習が終了した後に, 言い換えモデルの最適化を行う方法, (C) 言い換えモデルの学習が終了した後に, NER モデルの最適化を行う方法の 3 パタンを比較し, 開発データ上の精度が高かった $(\mathrm{A})$ を採用した。

## 3 実験

## 3.1 実験設定

実験では, テキスト中の化合物名と薬物名を抽出するタスクである BioCreative IV CHEMDNER のデータセットを使用した。本実験では，CHEMDNER に対し, Lin et al. (2018) らが配布しているデータ3を利用して実験を行った，文字レベルの言語モデルは，PubMedのウェブサイト4 の MEDLINE アブストラクト (PubMedAbs)を使用して事前学習を行い, 単語 embedding 層は word2vec (Mikolov et al. 2013)を用いて PubMedAbs から学習したものを使用した.

また，PubChem から作成した化合物の言い換えの集合 PubChemDic を作成し，言い換え生成に用いた。言い換えの生成には，PubchemDic 中で最長一致した文字列に対する変換を行った. 最長一致でマッチングする際は大文字と小文字は区別しなかった.

表 1 に実験で使用したモデルのパラメータを示す．単語 embedding 層, 文字 embedding 層の次元数は, Lin et al. (2018) らの手法にならい決定した. 文字言語モデルの LSTM の次元数は, Akbik et al. (2018) らの手法にならい決定した. NER モデルの LSTM は, 開発データを用いて, 100,150,200 次元で精度評価を行い決定した。最適化には SGDを使用し，学習率の初期値は 0.1 とした. 前回のエポックより $\operatorname{loss}$ が 3 回増加した場合, 学習率を半分とし, 学習の終了条件としては, 150 エポックを最大として，学習率が 0.0001 より小さくなる場合学習を終了とする.
^{4}$ https://www.nlm.nih.gov/databases/download/pubmed_medline.html
}

表 1 モデルのパラメータ. LSTM 内で扱われる各べクトルの次元数.

ミニバッチサイズは 32 とした。プログラムは，Akbik et al. (2018) らの実装を基に言い換え生成の機能を追加実装した。

提案手法の有効性を示すため，下記のモデルと比較した。“+P”は，PubChemDic から取得される言い換えを考慮していることを示し，“-P”は，言い換えを考慮していないことを示す。

・ ベースラインモデル： 2.1 章で述べた (Akbik et al. 2018) の BILSTM-CRF+CSE を用いる.
- VE-P : PubChemDic を用いて, (Yi et al. 2004) と同様に, 学習データ内の化合物をランダムに置き換えた virtual examples (VEs) で学習するモデルである。入力が，... $<$ CHEM $>$ Phenylalanine $</$ CHEM $>$ is ... の場合，たとえば，化合物の個所を他の化合物である ethylene に置き換えた... < CHEM>ethylene</CHEM> is ... が追加の NER 用学習データとして自動作成される。
- $\mathrm{VE}+\mathrm{P}$ : PubChemDic を用いて，学習データ内の化合物を対応する言い換えの化合物に置き換えた VEs で学習するモデルである. Phenylalanine とその言い換えである L- $\beta$ phenylalanine から，入力が，... < CHEM $>$ Phenylalanine</CHEM $>$ is ... の場合, ... $<$ CHEM $>$ L- $\beta$-phenylalanine $</$ CHEM $>$ is ... が追加の NER 用学習データとして自動作成される.
- HanPaNE-P : PubChemDic を用いてランダムに生成された文により, NER と文生成をマルチタスク学習するモデルである。 入力が, ... Phenylalanine is ... の場合, Phenylalanine を置き換える化合物を PubChemDic からランダムに選択することで, たとえば, ... ethylene is ...を生成対象として作成する.
- HanPaNE +P : PubChemDic を用いて, 文中の化合物を対応する言い換えの化合物に置き換えた文のぺアにより，NERと言い換えをマルチタスク学習を行う提案モデルである。入力が, ... Phenylalanine is ... の場合, Phenylalanine に対する言い換えとして PubChemDic から，L- $\beta$-phenylalanine を選択し， ... L- $\beta$-phenylalanine is .. を生成対象として作成する. ベースラインモデルは, CHEMDNER の学習データ 55,458 文を使用して学習を行う．VE-P と
$\mathrm{VE}+\mathrm{P}$ は，言い換えのありなしの比較である。VE-P は, CHEMDNERの学習データから自動的に生成された追加の NER 用学習データ 55,458 文を含む 110,916 文を用いて学習を行う。 VE $+\mathrm{P}$ (Small) は, 化合物の言い換えによって, CHEMDNER の学習データから自動的に生成された 3,575 文と CHEMDNER の学習データから構成される NER 用の 59,033 文を用いて学習する ${ }^{5}$. HanPaNE $-\mathrm{P}$ と HanPaNE $+\mathrm{P}$ は，言い換えのありなしの比較である。また, VE とHanPaNE の違いは，言い換えを考慮する手法の比較である，HanPaNE-P と HanPaNE +P (Large) は，言い換えの学習データとして, PubMedAbs に対して PubChemDic を用いて化合物の変換が行われた文章からランダムに選択した 100,000 文を用いた。また，NER の学習データには CHEMDNER を使用する．本実験では，計算時間の制約上，言い換えの学習データ数は 100,000 文とした．また，一つの事例に対して複数の言い換えを生成することが可能であるが，本実験では，計算時間の制約上，一つの事例に対して一つの言い換えのみ生成した.

例として, +Pでは, “... Phenylalanine is ...” は, “... L- $\beta$-phenylalanine is ...” ゃ “.. (S)-2Benzylglycine is ..."に変換される. ここで，L- $\beta$-phenylalanine や (S)-2-Benzylglycine の Phenylalanineの言い換えである. -Pでは, “... Phenylalanine is ...”は, “... ethylene is ....”のように変換される。ここで, ethyleneは PubChemDic からランダムにサンプリングされたものである.表 2 に各モデルの言い換えの学習について例を示す.

また, 二種類の言い換え学習データサイズで評価を行った. VE $+\mathrm{P}$ (Small)と VE $+\mathrm{P}$ (Large), HanPaNE $+\mathrm{P}$ (Small) と HanPaNE +P (Large)の比較は, 学習データのサイズの違いの比較で

 &  \\

表 2 各モデルの学習データ生成の例. ここでは, Phenylalanineが出現する文に対して, 生成された学習データの例について示している. L- $\beta$-phenylalanineは, PubChemDic から取得された Phenylalanine の言い換えであり, ethyleneは, PubChemDic からランダムにサンプリングされたもので，言い換えではない. $<\mathrm{CHEM}>$ と $</ \mathrm{CHEM}>$ に囲まれた箇所が， NER の学習データ内の化合物名となる.
^{5} \mathrm{VE}+\mathrm{P}$ は，PubChemDic に含まれる NE を言い換えに置き換えたのみのため，VE-P より少量の学習デー夕量となる.
}

ある。一つ目は, HanPaNE $+\mathrm{P}$ を, CHEMDNER の学習データ内の 3,575 文の化合物に対して, PubChemDic を用いて言い換えをマルチタスク学習する HanPaNE $+\mathrm{P}$ (Small) の実験を行った。二つ目は，言い換えデー夕量を増やすことによる効果を調べるために, , CHEMDNER の学習データと 10 万文の PubMedAbs 内の化合物を抽出対象とした学習データを用いた $\mathrm{VE}+\mathrm{P}$ (Large) の実験を行った.

## 3.2 実験結果

実験結果を表 3 に示す。実験結果より，HanPaNE+P (Large) は最も高い F-score を示しており，また，言い換えを考慮した HanPaNE $+\mathrm{P}$ や $\mathrm{VE}+\mathrm{P}$ はベースラインモデルより高い F-score を示した．実験結果から，言い換えを考慮することで，精度向上に貢献していることがわかる.

二種類の言い換え学習データサイズでの評価について下記に示す。一つ目の, CHEMDNER の学習データに対して拡張を行い, マルチタスク学習を行う HanPaNE +P (Small)の場合, F-score は, 92.49 となり, VE+P (Small)の 92.47 より高い F-score を示した. 二つ目の, CHEMDNER

 & 55,458 文 & $93.11 \%$ & $91.40 \%$ & $92.25 \%$ \\

表 3 実験結果. $+\mathrm{P}$ が付いている結果は言い換えを考慮しており, ベースラインおよび-P が付いている結果は言い換えを考慮していない。

+ PubMedAbs 内の化合物を抽出対象として 10 万文サンプリングを行い学習した VE $+\mathrm{P}$ (Large) では, F-score が 92.48 となり, HanPaNE +P (Large)が 92.57 であるため, HanPaNE $+\mathrm{P}$ が高い F-score を示した，本実験から，自動生成した化合物の言い換えを含む文ぺアを HanPaNE $+\mathrm{P}$ で学習することで精度改善に貢献する結果が示された.

また， 2 種類の検定を行った。検定では，HanPaNE +P (Large) と， ベースラインモデル， VE-P, VE+P (Small), HanPaNE-Pの比較を行った. 一つ目は, HanPaNE +P (Large) とべー スラインモデル, $\mathrm{VE}-\mathrm{P}, \mathrm{VE}+\mathrm{P}$ (Small), HanPaNE-P を比較し, 単語に割り当てられたラべルの一致および不一致に基づくマクネマー検定を行った (Sha and Pereira 2003). HanPaNE +P (Large)は, ベースラインモデルと比較して， $p<0.01$ で有意であった. HanPaNE $+\mathrm{P}$ (Large) と, VE-P, VE+P (Small), HanPaNE-P を比較した結果, 有意差はなかった. 二つ目は, Sasano and Kurohashi (2008)が用いたbi-nominal test を行った. この検定では, HanPaNE +P (Large) によってのみ正しく認識された $\mathrm{NE}$ の数と, その他の手法によって正しく認識された $\mathrm{NE}$ の数を数え上げる。 その後, 出力が二項分布であるという仮定に基づき, bi-nominal test を適用する. 提案手法は, その他の手法と比較して, すべての結果において, 有意であった $(p<0.05)$. これらの結果より, HanPaNE $+\mathrm{P}$ (Large) により，より大規模な言い換え学習用データを用いて，言い換えを考慮することが有効であることがわかる.

また，学習データと PubChemDicによって，開発データにおけるカバーされていないNEの正解率も評価を行った. 表 4 より, 提案手法は学習データや PubChemDic でカバーされている $\mathrm{NE}$ とカバーされていない NEの両方で高い正解率を示していることがわかる.

ここで, PubChemDic と学習データにおける開発データの化合物名に対するカバー率について, 下記に記す。学習データには， 8,508 個の化合物名が含まれており, 開発デー夕の化合物の $70.94 \%$ が学習データに含まれている. PubChemDic には， $337,289,536$ の化合物名が含まれており，開発データの化合物の $29.11 \%$ PubChemDic に含まれている。二つを含めた場合, 開発データの化合物名をカバーしている割合は, $75.42 \%$ である. HanPaNE $+\mathrm{P}$ は $\mathrm{VE}+\mathrm{P}$ と比較し, カバーされていない化合物の抽出性能も向上している. これは, 化合物を言い換える学習によって，さまざまな化合物が近いべクトルとして表現できたと考えられ，NER 用の教師デー 夕から学習した化合物以外のものも高い性能で抽出できたと考えられる.

$\mathrm{VE}+\mathrm{P}$ (Small) と, HanPaNE $+\mathrm{P}$ (Large)の抽出結果の具体例を比較する. 表 5 に, 抽出結果について示す. 入力「TFF2 N - glycopeptide」から「N」のみを抽出する例では, HanPaNE $+\mathrm{P}$ では「 $\mathrm{N}\rfloor$ のみを正しく抽出できたが， $\mathrm{VE}+\mathrm{P}$ は，「 $\mathrm{N}\rfloor$ を抽出できなかった．また「pluronic ( $\mathrm{Plu})\rfloor$ から「pluronic」と「Plu」のみ抽出する例では, VE $+\mathrm{P}$ の出力は, 「pluronic」と「Plu」 に加えて「(」を抽出した.このことから，言い換えを学習することで，化合物の部分構造を取得でき, 単語列の一部のみが抽出対象である場合も正しく識別ができたと考えられる。一方で,「OVX DMII rats」は,「DMII」は抽出対象ではないが, HanPaNE $+\mathrm{P}$ は誤って抽出してしまっ

表 4 学習データと PubChemDic によってカバーされている NE (Acc.C) とカバーされていない NE (Acc.NC) の開発データ上での正解率

 &  &  &  \\

表 $5 \mathrm{VE}+\mathrm{P}$ と HanPaNE $+\mathrm{P}$ の出力結果の例.この例では, TFF2 N-glycopeptide, pluronic ( Plu ), OVX DMII rats の抽出結果を示している.

た. このように, $H a n P a N E+P$ (Large) では, 化合物でない単語に対しても化合物として多く抽出する傾向にあった. また, 表 3 の実験結果においても, HanPaNE $+\mathrm{P}$ (Large) は, Recall の改善が F-score の改善に貢献していることは, この傾向と一致する. この問題を改善することは今後の課題としたい.

## 4 先行研究

## 4.1 化学分野における固有表現抽出

表 6 に, 先行研究との比較を示す. Leaman et al. (2015) は, 化学の NER の精度を向上するために, 品詞や単語が大文字であるかといった素性を利用し, その素性に基づく分類からなる手法である．Lu et al. (2015)は， skip-gram と k-means を用いて分類を行う手法である．Lin et al. (2018)は，文間での夕グ付けの一貫性を保持するために，ドキュメントレベルの情報を扱うニューラルネットワークベースの手法である. Lee et al. (2020)は, BERT を用いた手法であり，生物医学の文章を用いて事前学習を行ったモデルである。言い換えを学習することで，提案手法は, これらの手法より高い精度で抽出できることがわかる. Kocaman and Talby (2020)

表 6 先行研究の BioCreative IV's CHEMDNER タスクとの比較

は，提案手法と同じくLSTM ベースのモデルである。ただし，本研究とは違い PubMed から学習された word embeddings を用いて学習している。また，言い換えモデルは組み达まれていない. 表 6 より, Kocaman and Talby (2020)の手法は提案手法より高い精度を達成していることが分かる. 提案手法の枠組みは Kocaman and Talby (2020)にも適用することが可能であり, Kocaman and Talby (2020) に化合物を含む文の言い換えモデルを組み込んで学習することで， さらなる精度改善が期待できる。

Liu et al. (2021)は, UMLS (Bodenreider 2004) と呼ばれる様々な形式の生物医学の同義語を包括的に収集したデー夕を用いて, Transformer ベースの言語モデルを学習した手法を提案している.この手法では, UMLS から学習ぺアをサンプリングし, 同じ概念の同義語をクラスター 化する自己アライメントにより，学習を行っている，提案手法では, Liu et al. (2021)の手法とは異なり，周辺の文脈を考慮して言い換えを生成することで，周辺の単語列から出現しやすい化合物やその部分的な異表記のベクトルが得られる.

## 4.2 マルチタスク学習

マルチタスク学習は，NERを含む NLP のタスクで精度向上において用いられる枠組みの一つである (Liu et al. 2015; Luong et al. 2016; Dong et al. 2015; Hashimoto et al. 2017). Liu et al. (2018) と Rei (2017) は, 言語モデルを用いた系列ラベリングのマルチタスク学習の研究である. Aguilar et al. (2018) and Cao et al. (2018)は, word segmentation と NER のマルチタスク学習を提案した手法である. Peng and Dredze (2017) らのマルチタスク学習の手法では, ドメイン適用の精度改善を行っている. Clark et al. (2018) らの手法では, POS tagging や parsing などのさまざまな NLPのタスクを用いて, NER とマルチタスク学習を行っている. Crichton et al. (2017) や Wang et al. (2019b) の手法では, 生物医学のさまざまな NLP夕スクを用いて, NER とマルチタスク学習を行い，精度改善を行っている。

Khan et al. (2020)は, BERT を用いたマルチタスク学習の手法であり, 下層ではパラメータの学習を各タスクで共有したものを用いて, 上層は, 各タスクごとでパラメータの学習を行っている. Wang et al. (2019a)は, LSTM を用いてメインタスクと補助タスクのマルチタスク学
習を行った手法であり，双方向 LSTM を各タスクで共有したものと，夕スクごとに学習したものを使用して NER の精度改善を行っている。

先行研究と本研究の大きな違いとして, 言い換えを学習していることがあげられる. 先行研究では, NER の様々なデータセットや, POS tagging や parsing などの NLP タスクを使用してマルチタスク学習を行い精度改善を行っているのに対し, 提案手法では, 既に存在する化合物の言い換え辞書から，自動的に言い換え文のペアを作成することで学習を行う。

## 5 おわりに

本論文では，言い換えのぺアを効率的に活用する言い換えモデルと NER モデルをマルチ夕スク学習する手法を提案した，BioCreative IV CHEMDNERトラックで評価した結果，提案手法が先行研究の手法より高い精度が得られることが示された。今後の課題として, BioCreative IV CHEMDNER トラック以外の NER タスクの評価および，今回使用した LSTM ベースの言語モデルに加えて，Transformer ベースの言語モデルでの評価が挙げられる。また，言い換えモデルの学習データを増やすことで，精度の改善が得られるか検証する。

## 謝 辞

本論文は，理研 AIP-富士通連携センターに所属時に国際会議 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing で発表した論文 (Watanabe et al. 2019)の内容に対して, 説明や評価を追加したものである.

## 参考文献

Aguilar, G., Lopez Monroy, A. P., Gonzalez, F., and Solorio, T. (2018). "Modeling Noisiness to Recognize Named Entities using Multitask Neural Networks on Social Media." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1401-1412.

Akbik, A., Blythe, D., and Vollgraf, R. (2018). "Contextual String Embeddings for Sequence Labeling." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1638-1649.

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Proceedings of the 3rd International Conference on Learning

Representations.

Beltagy, I., Lo, K., and Cohan, A. (2019). "SciBERT: A Pretrained Language Model for Scientific Text." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3615-3620.

Bodenreider, O. (2004). "The Unified Medical Language System (UMLS): Integrating Biomedical Terminology." Nucleic Acids Research, 32 (Database issue), pp. D267-D270.

Cao, P., Chen, Y., Liu, K., Zhao, J., and Liu, S. (2018). "Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 182-192.

Clark, K., Luong, M.-T., Manning, C. D., and Le, Q. (2018). "Semi-Supervised Sequence Modeling with Cross-View Training." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1914-1925.

Crichton, G., Pyysalo, S., Chiu, B., and Korhonen, A. (2017). "A Neural Network Multi-task Learning Approach to Biomedical Named Entity Recognition." BMC Bioinformatics, 18 (1), pp. 368:1-368:14.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186.

Dong, D., Wu, H., He, W., Yu, D., and Wang, H. (2015). "Multi-Task Learning for Multiple Language Translation." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1723-1732.

Ganea, O.-E. and Hofmann, T. (2017). "Deep Joint Entity Disambiguation with Local Neural Attention." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2619-2629.

Hashimoto, K., Xiong, C., Tsuruoka, Y., and Socher, R. (2017). "A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1923-1933.

Khan, M. R., Ziyadi, M., and Abdelhady, M. (2020). "MT-BioNER: Multi-task Learning for Biomedical Named Entity Recognition using Deep Bidirectional Transformers." CoRR, abs/2001.08904.

Kim, S., Chen, J., Cheng, T., Gindulyte, A., He, J., He, S., Li, Q., Shoemaker, B. A., Thiessen,

P. A., Yu, B., Zaslavsky, L., Zhang, J., and Bolton, E. E. (2020). "PubChem in 2021: New Data Content and Improved Web Interfaces." Nucleic Acids Research, 49 (D1), pp. D1388-D1395.

Kocaman, V. and Talby, D. (2020). "Biomedical Named Entity Recognition at Scale." In Proceedings of the Pattern Recognition. ICPR International Workshops and Challenges-Virtual Event, pp. 635-646.

Kolitsas, N., Ganea, O.-E., and Hofmann, T. (2018). "End-to-End Neural Entity Linking." In Proceedings of the 22nd Conference on Computational Natural Language Learning, pp. 519-529.

Krallinger, M., Leitner, F., Rabal, O., Vazquez, M., Oyarzabal, J., and Valencia, A. (2015). "CHEMDNER: The Drugs and Chemical Names Extraction Challenge." Journal of Cheminformatics, 7 (1). S1.

Lample, G., Ballesteros, M., Subramanian, S., Kawakami, K., and Dyer, C. (2016). "Neural Architectures for Named Entity Recognition." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 260-270.

Le, P. and Titov, I. (2018). "Improving Entity Linking by Modeling Latent Relations between Mentions." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1595-1604.

Leaman, R., Wei, C.-H., and Lu, Z. (2015). "tmChem: A High Performance Approach for Chemical Named Entity Recognition and Normalization." Journal of Cheminformatics, $\mathbf{7}$ (1). S3.

Lee, J., Yoon, W., Kim, S., Kim, D., Kim, S., So, C. H., and Kang, J. (2020). "BioBERT: A Pre-trained Biomedical Language Representation Model for Biomedical Text Mining." Bioinformatics, 36, pp. 1234-1240.

Lin, H., Wang, J., Luo, L., Yang, P., Yang, Z., Zhang, Y., and Wang, L. (2018). "An Attentionbased BiLSTM-CRF Approach to Document-level Chemical Named Entity Recognition." Bioinformatics, pp. 1381-1388.

Liu, F., Shareghi, E., Meng, Z., Basaldella, M., and Collier, N. (2021). "Self-alignment Pretraining for Biomedical Entity Representations." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4228-4238.

Liu, L., Shang, J., Ren, X., Xu, F., Gui, H., Peng, J., and Han, J. (2018). "Empower Sequence Labeling with Task-Aware Neural Language Model." In Proceedings of the 32nd AAAI

Conference on Artificial Intelligence, the 30th innovative Applications of Artificial Intelligence, and the 8th AAAI Symposium on Educational Advances in Artificial Intelligence, pp. 5253-5260.

Liu, X., Gao, J., He, X., Deng, L., Duh, K., and Wang, Y.-Y. (2015). "Representation Learning Using Multi-Task Deep Neural Networks for Semantic Classification and Information Retrieval." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 912-921.

Lu, Y., Ji, D., Yao, X., Wei, X., and Liang, X. (2015). "CHEMDNER System with Mixed Conditional Random Fields and Multi-scale Word Clustering." Journal of Cheminformatics, 7 (1). S4.

Luong, M.-T., Le, Q. V., Sutskever, I., Vinyals, O., and Kaiser, L. (2016). "Multi-task Sequence to Sequence Learning." In Proceedings of the 4th International Conference on Learning Representations.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

Ma, X. and Hovy, E. (2016). "End-to-end Sequence Labeling via Bi-directional LSTM-CNNsCRF." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1064-1074.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." In Proceedings of the 1st International Conference on Learning Representations.

Peng, N. and Dredze, M. (2017). "Multi-task Domain Adaptation for Sequence Tagging." In Proceedings of the 2nd Workshop on Representation Learning for NLP, pp. 91-100.

Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 2227-2237.

Radhakrishnan, P., Talukdar, P., and Varma, V. (2018). "ELDEN: Improved Entity Linking Using Densified Knowledge Graphs." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1844-1853.

Raiman, J. and Raiman, O. (2018). "DeepType: Multilingual Entity Linking by Neural Type System Evolution." In Proceedings of the 32nd AAAI Conference on Artificial Intelligence,
the 30th innovative Applications of Artificial Intelligence, and the 8th AAAI Symposium on Educational Advances in Artificial Intelligence, pp. 5406-5413.

Rei, M. (2017). "Semi-supervised Multitask Learning for Sequence Labeling." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2121-2130.

Sang, T. K., F., E., and De Meulder, F. (2003). "Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition." In Proceedings of the 7th Conference on Natural Language Learning at HLT-NAACL 2003, pp. 142-147.

Sasano, R. and Kurohashi, S. (2008). "Japanese Named Entity Recognition Using Structural Natural Language Processing." In Proceedings of the 3rd International Joint Conference on Natural Language Processing: Volume-II, pp. 607-612.

Sha, F. and Pereira, F. (2003). "Shallow Parsing with Conditional Random Fields." In Proceedings of the North American Chapter of the Association for Computational Linguistics, pp. 134-141.

Shen, Y. and Huang, X. (2016). "Attention-Based Convolutional Neural Network for Semantic Relation Extraction." In Proceedings of the 26th International Conference on Computational Linguistics: Technical Papers, pp. 2526-2536.

van Hulst, J. M., Hasibi, F., Dercksen, K., Balog, K., and de Vries, A. P. (2020). "REL: An Entity Linker Standing on the Shoulders of Giants." In Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 2197-2200.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Proceedings of the Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, pp. 5998-6008.

Wang, L., Cao, Z., de Melo, G., and Liu, Z. (2016). "Relation Classification via Multi-Level Attention CNNs." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1298-1307.

Wang, X., Lyu, J., Dong, L., and Xu, K. (2019a). "Multitask Learning for Biomedical Named Entity Recognition with Cross-sharing Structure." BMC Bioinformatics, 20 (1), pp. 427:1-427:13.

Wang, X., Zhang, Y., Ren, X., Zhang, Y., Zitnik, M., Shang, J., Langlotz, C., and Han, J. (2019b). "Cross-type Biomedical Named Entity Recognition with Deep Multi-task Learning." Bioinformatics, 35 (10), pp. 1745-1752.

Watanabe, T., Tamura, A., Ninomiya, T., Makino, T., and Iwakura, T. (2019). "Multi-Task

Learning for Chemical Named Entity Recognition with Chemical Compound Paraphrasing." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 6244-6249.

Wu, S. and He, Y. (2019). "Enriching Pre-trained Language Model with Entity Information for Relation Classification." In Proceedings of the 28th ACM International Conference on Information and Knowledge Management, pp. 2361-2364.

Yamada, I., Asai, A., Shindo, H., Takeda, H., and Matsumoto, Y. (2020). "LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 6442-6454.

Yi, E., Lee, G. G., Song, Y., and Park, S.-J. (2004). "SVM-Based Biological Named Entity Recognition Using Minimum Edit-Distance Feature Boosted by Virtual Examples." In Proceedings of the 1st International Joint Conference on Natural Language Processing, pp. 807-814.

Zhou, P., Shi, W., Tian, J., Qi, Z., Li, B., Hao, H., and Xu, B. (2016). "Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 207-212.

## 略厤

渡邊大貴：2017 年愛媛大学工学部情報工学科卒業. 2019 年同大学院理工学研究科修士課程修了. 2022 年より同志社大学大学院理工学研究科博士課程に在学. 2019 年 (株) 富士通研究所入社. 現在, 富士通株式会社に在籍.

田村晃裕：2005 年東京工業大学工学部情報工学科卒業. 2007 年同大学院総合理工学研究科修士課程修了. 2013 年同大学院総合理工学研究科博士課程修了. 日本電気株式会社, 国立研究開発法人情報通信研究機構にて研究員として務めた後, 2017 年より愛媛大学大学院理工学研究科助教, 2020 年より同志社大学理工学部准教授となり, 現在に至る. 博士 (工学). 言語処理学会, 情報処理学会, 人工知能学会, ACL 各会員.

二宮崇: 2001 年東京大学大学院理学系研究科情報科学専攻博士課程修了. 同年より科学技術振興事業団研究員. 2006 年より東京大学情報基盤センター講師. 2010 年より愛媛大学大学院理工学研究科准教授, 2017 年同教授. 東京大学博士 (理学). 言語処理学会, アジア太平洋機械翻訳協会, 情報処理学会,人工知能学会, 電子情報通信学会, 日本データベース学会, ACL 各会員.

牧野拓哉：2012 年東京工業大学大学院総合理工学研究科物理情報システム専攻修士課程修了. 同年, (株) 富士通研究所入社. 2020 年同大学院工学院情報
通信系情報通信コース博士課程修了。博士（工学）。現在, 株式会社リクルー 卜 Megagon Labsにて自然言語処理の研究開発に従事. 言語処理学会会員.

岩倉友哉：2003 年 (株) 富士通研究所入社. 2011 年東京工業大学大学院総合理工学研究科物理情報システム専攻博士課程修了. 博士 (工学). 現在, 富士通株式会社主任研究員. 自然言語処理の研究開発に従事. 情報処理学会, 言語処理学会各会員.