# HTML 構造を補助情報として利用する 日本語ブログ記事からの固有表現抽出

植 塁 ${ }^{1}$ 數見 拓朗 ${ }^{2}$ 小泉和之 ${ }^{1}$
1 横浜市立大学大学院 2 株式会社サイバーエージェント
 }^{1}\left.\{}.$ w205607d,zumi\}@yokohama-cu.ac.jp ${ }^{2}$ kazumi_takuro@cyberagent.co.jp

## 概要

Web 上のテキストからの固有表現抽出では, HTML タグが除去され自然言語のテキストのみが利用されていることが多い. 本研究では, HTML 構造を補助情報として利用する固有表現抽出手法を提案する。提案手法は複数あり，グラフニューラルネットワークを用いて HTML 構造を読み取るアプロー チの手法と，単語と HTML タグの系列を既存の固有表現抽出モデルに入力するアプローチの手法に分けられる．また，ブログ記事を用いた実験を通して，提案手法の中でも BERT と Graph Attention Networks を組み合わせた手法と BERT に HTML タグを入力する手法の 2 つが優れた性能を持つことを示す.

## 1 はじめに

現在，Web 上には様々なテキストが蓄積されており，その 1 つとしてブログ記事が挙げられる. 2000 年以降のブログサービスの急速な普及に伴い，日々増加する大量の記事から有用な情報を抽出する技術が求められ，盛んに研究されている $[1,2,3,4]$.

本研究では，HTMLテキストとして記述された日本語ブログ記事からの固有表現抽出を扱う. HTML テキストからの固有表現抽出に関する先行研究では，前処理として HTML タグを除去し自然言語のテキストのみを利用していることが多い $[5,6]$. そこで本研究では，HTML 構造を補助情報として利用する固有表現抽出手法を提案しその有効性を検証する。

本研究では複数の手法を提案するが，それらは大きく 2 種類に分けられる. 1 つ目は，既存の固有表現抽出モデルに HTML タグをトークンとして入力する単純なアプローチである． 2 つ目は，グラフニューラルネットワークを用いて HTML 構造情報を処理するモジュールと既存の固有表現抽出モデル
を用いて自然言語情報を処理するモジュールとを組み合わせるアプローチである.

レシピに関するブログ記事を対象とした実験を行い，提案手法を用いて HTML 構造を補助情報として活用することで既存手法に比べて性能が向上することを確認した．提案手法の中でも特に，BERT [7] と Graph Attention Networks [8] とを組み合わせた手法と，BERT に HTML タグをトークンとして入力する手法の 2 つが高い性能を示すことを確認した.

## 2 関連研究

近年，ニューラルネットワークを用いた固有表現抽出モデルが注目を集め盛んに研究されている. Lample et al. [9] は双方向の LSTM と Conditional Random Field (CRF) を組み合わせた BiLSTM-CRF モデルを提案し，この手法は現在の固有表現抽出の主流となり様々な自然言語データに適用されている. また，自然言語処理分野において汎用的なモデルである BERT [7] をべースにした手法が，いくつかのデータセットにおいて最高性能を記録する [10] などして注目を集めている. Web 上のテキストを扱った研究の例として, Duc et al. [6] が提案した Web 上から固有表現を収集するシステムでは, Google 検索によって収集した Web ページに対して HTML タグを削除した上で固有表現抽出モデルが適用されている.

## 3 手法

## 3.1 HTML タグをトークンとして入力する アプローチ

提案手法 1 : BiLSTM-CRF with Tag この提案手法では，HTML テキストを「単語と HTML タグが入り混じった系列」と見なし，それを埋め込みべクトル系列に変換し BiLSTM-CRF [9] に入力する. 例えば
「今日は<b>ハンバーグ</b>を作る」という文があった場合, 先行研究では HTML タグを除去した系列「今日ハは/ハンバーグにを/作る」を BiLSTM-CRF に入力する場合が多い（例えば [5]など）が，この提案手法では「今日/は/<b>>/ハンバーグ|</b>/を/作る」というそのままの系列を入力する．各トークンの埋め込みべクトルは, 単語については東北大学の研究グループによる日本語 Wikipedia エンティティベクトル [11]で初期化した上でファインチューニングを行い，各種 HTML タグについては乱数で初期化した上で学習させる。なお，HTML タグ内の属性は全て事前に除去し利用せず，開始タグと終了タグは区別して扱う。

提案手法 2: BERT with Tag この提案手法では,前項の手法と同様に HTMLテキストを「単語と HTML タグが入り混じった系列」と見なし，そのまま BERT [7]に入力する．単語の埋め込みベクトルと BERT 内部の Transformer Encoder [12] のパラメー タについては東北大学の研究グループによる事前学習済み BERT モデル [13] で初期化した上でファインチューニングを行い，各種 HTML タグの埋め込みべクトルは乱数で初期化した上で学習させる.

## 3.2 グラフニューラルネットワークを用い て HTML 構造を読み取るアプローチ

本節では，グラフニューラルネットワーク (GNN) を用いて HTML 構造情報を処理するモジュールと既存の固有表現モデルを用いて自然言語情報を処理するモジュールとを組み合わせるアプローチの提案手法を 3 つ説明する.

HTML テキストのグラフ表現 Document Object Model (DOM) [14] は，マークアップされたテキストをツリー構造で表現し操作する仕組みである. HTML テキストは HTML タグでマークアップされたテキストであるため，DOM を用いることでツリー構造のグラフとして表現することができ，これを本論文では DOM グラフと呼ぶこととする．DOM グラフのノードは要素ノードとテキストノードの 2 つに大別できる。例えば「<h1>見出し</h1>」という HTMLテキストは，要素ノード「h1」とテキストノード「見出し」がエッジで繋がった DOM グラフとして表される. 本研究で扱うブログ記事の HTML テキストとそれをDOM グラフとして表したものを図 1 の左側に示す.
GNN によるノード埋め込み抽出したい固有表現はグラフ中の一部のテキストノードに含まれる. そこで本節の提案手法では，GNNを利用しHTML 構造情報を考慮した上で各テキストノードをべクトルに埋め込むことを考える。まず，ノード埋め込みを行う様々な GNN の共通事項を述べる。ノー ド集合 $V$ とエッジ集合 $E$ の組からなるグラフ $G$ において，各ノードの特徵量ベクトル $\boldsymbol{x}_{v}[v \in V]$ を用意する. 最終的な出力は各ノードの埋め込みべクトル $\boldsymbol{y}_{v}^{\mathrm{GNN}}[v \in V]$ である. また，内部に学習可能なパラメータ $\Theta$ を持ちグラフ構造を考慮した変換を行う関数 $f(\cdot ; G, \Theta)$ をレイヤ数の分だけ複数用意する. この関数 $f$ はグラフ上の近傍ノードの特徴量ベクトルを集約するように構成され，具体形は手法によって異なる。また， $\sigma$ を活性化関数とし，ネットワークのレイヤ数は $L$ とする。そして，次式のように更新していくことで，ノードの特徵量 $X_{V}:=\left[x_{1}, x_{2}, \ldots, x_{|V|}\right]^{T}$ を埋め込み表現 $Y^{\mathrm{GNN}}:=\left[\boldsymbol{y}_{1}^{\mathrm{GNN}}, \boldsymbol{y}_{2}^{\mathrm{GNN}}, \ldots, \boldsymbol{y}_{|V|}^{\mathrm{GNN}}\right]^{T}$ に変換する.

$
\begin{aligned}
& \boldsymbol{X}^{(0)}=\boldsymbol{X}_{V} \\
& \boldsymbol{X}^{(l)}=\sigma\left(f\left(\boldsymbol{X}^{(l-1)} ; G, \Theta^{(l)}\right)\right)[l=1,2, \ldots, L-1] \\
& \boldsymbol{Y}^{\mathrm{GNN}}=\boldsymbol{X}^{(L)}=f\left(\boldsymbol{X}^{(L-1)} ; G, \Theta^{(L)}\right)
\end{aligned}
$

次に，本節の 3 つの提案手法それぞれで利用する Graph Convolutional Networks (GCN) [15], GraphSAGE [16], Graph Attention Networks (GAT) [8] について説明する. GCNでは，まずグラフ $G$ の全ノードに自己ループ (自分自身と接続するエッジ)を追加する。 その状態での隣接行列を $\widehat{\boldsymbol{A}}$, 次数行列を $\widehat{\boldsymbol{D}}$ とする. GCN では, 式 (2), (3) の関数 $f$ として, 次式の $f_{\mathrm{GCN}}$ を用いてノード特徴量を変換する。

$
f_{\mathrm{GCN}}(\boldsymbol{X})=\widehat{\boldsymbol{D}}^{-\frac{1}{2}} \widehat{\boldsymbol{A}} \widehat{\boldsymbol{D}}^{-\frac{1}{2}} \boldsymbol{X} \boldsymbol{W}
$

ここで重み行列 $\boldsymbol{W}$ は学習対象のパラメータである. GraphSAGE では複数のモデルが提案されており, その中で本研究では GraphSAGE-mean (GSAGE) を利用する. このモデルでは, 式 (2), (3) の関数 $f$ として,次式の $f_{\mathrm{GSAGE}}$ を用いて各ノードの特徴量ベクトル $v \in V$ を変換する.

$
f_{\mathrm{GSAGE}}\left(\boldsymbol{x}_{v}\right)=\boldsymbol{W}_{1} \boldsymbol{x}_{v}+\boldsymbol{W}_{2} \operatorname{MEAN}\left(\left.\{\boldsymbol{x}_{u} \mid u \in \mathcal{N}^{\prime}(v)\right.\}\right)
$

ここで重み行列 $\boldsymbol{W}_{1}, \boldsymbol{W}_{2}$ は学習対象のパラメータであり，MEAN は平均べクトルをとる操作を表す。また, $\mathcal{N}^{\prime}(v)$ はノードvの近傍ノードをランダムサンプリングして得られる集合であり，これは計算コス

トの削減を目的としている，GATでは，式 (2) の関数 $f$ として, 次式の $f_{\mathrm{GAT}}$ を用いて各ノードの特徴量ベクトル $v \in V$ を変換する.

$
\begin{aligned}
& f_{\mathrm{GAT}}\left(\boldsymbol{x}_{v}\right)=\operatorname{CONCAT}\left(\boldsymbol{h}_{v}^{(1)}, \boldsymbol{h}_{v}^{(2)}, \ldots, \boldsymbol{h}_{v}^{(K)}\right) \\
& \boldsymbol{h}_{v}^{(k)}=\sum_{u \in \mathcal{N}(v)} \alpha_{v u}^{(k)} \boldsymbol{W}^{(k)} \boldsymbol{x}_{u} \\
& \alpha_{v u}^{(k)}=\frac{\exp e_{v u}^{(k)}}{\sum_{u^{\prime} \in \mathcal{N}(v)} \exp e_{v u^{\prime}}^{(k)}} \\
& e_{v u}^{(k)}=\operatorname{LReLU}\left(\boldsymbol{a}^{(k)^{T}} \operatorname{CONCAT}\left(\boldsymbol{W}^{(k)} \boldsymbol{x}_{v}, \boldsymbol{W}^{(k)} \boldsymbol{x}_{u}\right)\right)
\end{aligned}
$

ここで重み行列 $\boldsymbol{W}^{(1)}, \boldsymbol{W}^{(2)}, \ldots, \boldsymbol{W}^{(K)}$ と縦べクトル $\boldsymbol{a}^{(1)}, \boldsymbol{a}^{(2)}, \ldots, \boldsymbol{a}^{(K)}$ は学習対象のパラメータであり, K は Multi-head Attention のヘッド数である.また， $\mathcal{N}(v)$ はノード $v$ の近傍ノードの集合であり，LReLU は活性化関数 Leaky ReLU [17] である.

提案手法 3, 4, 5 : BERT + GCN, GSAGE, GAT 提案手法 3, 4, 5 は，言語情報を処理する BERT 部と HTML 構造情報を処理するGNN 部で構成される. その概要図を図 1 に示す. BERT 部では，HTML タグを除去して自然言語のみとなったテキストのサブワード系列 $w_{1}, w_{2}, \ldots, w_{N}$ を BERT に入力し，さらに出力次元が固有表現ラベル数となるように線形変換を行い，ベクトル系列 $\boldsymbol{y}_{1}^{\mathrm{BERT}}, \boldsymbol{y}_{2}^{\mathrm{BERT}}, \ldots, \boldsymbol{y}_{N}^{\mathrm{BERT}}$ を得る.これを行列 $\boldsymbol{Y}^{\mathrm{BERT}}:=\left[\boldsymbol{y}_{1}^{\mathrm{BERT}}, \boldsymbol{y}_{2}^{\mathrm{BERT}}, \ldots, \boldsymbol{y}_{N}^{\mathrm{BERT}}\right]^{T}$ にまとめる。 GNN 部では，まず HTMLテキストを DOM グラフで表現し，ノード特徴量 $\boldsymbol{x}_{v}[v \in V]$ としてノード種別 (h1 要素ノード, $\mathrm{p}$ 要素ノード, ...,テキストノード）の One-Hot ベクトルを用意する．このグラフを式(1),(2), (3) からなる GNNに入力し，ノー ド埋め込み表現 $\boldsymbol{Y}^{\mathrm{GNN}}:=\left[\boldsymbol{y}_{1}^{\mathrm{GNN}}, \boldsymbol{y}_{2}^{\mathrm{GNN}}, \ldots, \boldsymbol{y}_{|V|}^{\mathrm{GNN}}\right]^{T}$ を得る.ここで，埋め込み次元は固有表現ラベル数と一致するようにしておく. BERT 部の出力 $\boldsymbol{Y}^{\text {BERT }}$ と GNN 部の出力 $\boldsymbol{Y}^{\mathrm{GNN}}$ を合わせるために, サブワードと DOM グラフ上のノードの対応を表す行列 $\boldsymbol{I}_{\text {Word,Node }}$ を用意する. この行列の第 $i, j$ 成分は「第 $i$ サブワードが第 $j$ ノードに含まれていれば 1 でそ

提案手法の最終的な出力とする.

$
\boldsymbol{Y}^{\mathrm{BERT}+\mathrm{GNN}}=\boldsymbol{Y}^{\mathrm{BERT}}+\boldsymbol{I}_{\mathrm{Word}, \mathrm{Node}} \boldsymbol{Y}^{\mathrm{GNN}}
$

$Y^{\mathrm{BERT}}$ と $Y^{\mathrm{GNN}}$ とをこのように組み合わせることで，各サブワードに対して BERT が出力したスコアベクトルに，そのサブワードが属するノードの埋め込み表現ベクトルが足し合わされ，言語情報と HTML 構造情報とを両方とも利用した固有表現抽出が行わ表 1 各モデルの F1 スコア

 &  \\

BiLSTM with Tag & 75.3 & 54.4 & 77.6 \\
BERT (既存手法) & 78.5 & 72.5 & 80.2 \\
BERT with Tag & 80.2 & 72.6 & $\mathbf{8 6 . 9}$ \\
BERT + GCN & 80.3 & 76.4 & 80.8 \\
BERT + GSAGE & 80.9 & 76.6 & 80.4 \\
BERT + GAT & $\mathbf{8 1 . 2}$ & $\mathbf{7 8 . 0}$ & 81.6 \\

れる。ここで，上記の GNN 部に GCN, GSAGE, GAT を用いた 3 パターンの提案手法をそれぞれ BERT + GCN, BERT + GSAGE, BERT + GAT と呼ぶ.

## 4 実験と考察

## 4.1 データセット

本節では，提案手法の性能評価実験のために構築したデータセットについて述べる。まず，ブログサービス「アメーバブログ1)」上の料理レシピに関する 2 つのブログ $\mathrm{A}, \mathrm{B}{ }^{2}$ から，それぞれ 100 個ずつの記事を HTML テキストとして取得した. 次に，株式会社サイバーエージェントから提供を受けたアノテーションシステム Orion Annotator [18] を利用し，その 200 記事に 3 種類の固有表現「料理」「材料」「分量」をアノテーションした.

## 4.2 実験設定

前項で構築したデータセットを比率 $6: 2: 2$ で Train, Valid, Test に分割し，Train で訓練を行い Valid で八イパーパラメータをチューニングすることで，提案手法 $1,2,3,4,5$ それぞれのモデルを作成した. また，比較のために， HTML タグを除去したテキス卜を利用する BiLSTM-CRF, BERT のモデル（すなわち提案手法 1,2 から HTML タグを削除したモデル) も作成した. そして，この7つのモデルを Test セッ卜に適用し，F1 スコアで性能を評価・比較した。なお，同様の実験をブログ $\mathrm{A}, \mathrm{B}$ それぞれの 100 記事のみを含むデータセットに対しても行った。

## 4.3 実験結果と考察

実験結果を表 1 に示す. 表中の評価値において， BiLSTM with Tag が BiLSTM を上回っていることと，


図 1 提案手法 3, 4, 5 の概要図. GNN 部に GCN, GSAGE, GAT レイヤを用いた手法をそれぞれ BERT + GCN, BERT + GSAGE, BERT + GAT と呼ぶ. 図中の A ではノード特徴量としてノード種別の One-Hot ベクトルを持つグラフを作成している．B では各テキストノードに含まれる文を BERT のトークナイザでサブワード化している．Cでは各サブワードの BERT 出力ベクトルに対してそのサブワードが属していたノードの GNN 埋め込みべクトルが足し合わされている.

BERT with Tag, BERT + GCN, BERT + GSAGE, BERT + GAT が BERT を上回っていることから，提案手法を用いて HTML 構造を補助情報として活用することで既存手法に比べて性能が向上することを確認した.また，提案手法の中でも特に，BERT + GAT と， BERT with Tag の 2 つが高い性能を示している.

BERT + GCN, BERT + GSAGE, BERT + GAT はいずれも GNNを用いて HTML 構造情報を読み取るが，表 1 で性能を比較すると BERT + GAT が他 2 つを上回っている.これは, GAT が持つ Multi-head Attention 機構によるものだと考えられる. HTMLテキストのDOM グラフには，異質なノードが混在している. 例えば，太字を表す $\mathrm{b}$ ノード, 画像の存在を表す img ノード, 段落を表す $\mathrm{p}$ ノード, ハイパー

このようなノードの異質性に対して Attention 機構の「異なる近傍ノードに異なる重みを与えて集約する」という仕組みが有効に作用したと考えられる.

また，ブログ B のみを対象とした実験では，ブログ A とは異なり BERT with Tag の性能が BERT +GATを上回っている. ここで，固有表現のうち HTML の開始タグ（<b> や<p>など）の直後に現れているもの比率を調べたところ，ブログ A では 20.4 $\%$, ブログ B では $52.0 \%$ であったため，ブログ B で
は固有表現が開始タグの直後に現れやすい傾向があると言える．BERT + GAT では HTML 情報を DOM として扱うため, 開始タグとその中の単語との位置関係を参照することはできず，先程のような傾向を利用することはできない. 一方 BERT with Tag では HTML タグと単語の系列を BERTに入力するため, 先程のような傾向を学習し利用することができる.このことが，ブログ B において BERT with Tag が BERT + GAT を上回った理由の 1 つとして考えられる。

## 5 おわりに

本研究では，Web上のテキストを対象とした固有表現抽出タスクにおいて, HTML 構造を補助情報として利用する手法を提案した。そして，レシピに関するブログ記事を対象とした実験を通して提案手法の有効性を検証した。提案手法は複数あり, 単語と HTML タグの系列を既存の固有表現抽出モデルに入力するアプローチの手法と，GNNを用いて HTML 構造情報を読み取るアプローチの手法に分けられる. 今後の課題として, どちらのアプローチがどのような特徴を持つ HTML テキストに有効であるかを明らかにするため，様々なブログでデータセットを構築し性能評価実験を行うことが挙げられる。

## 参考文献

[1] Tetsuya Nakatoh and Sachio Hirokawa. Extraction of Tourist Behavior Contexts from Blog by Verbs and Their Objects. In Proceedings of the 2012 IIAI International Conference on Advanced Applied Informatics, 2012.

[2] 齋藤邦子, 鈴木潤, 今村賢治. CRF を用いたブログからの固有表現抽出. 言語処理学会第 13 回年次大会発表論文集, 2007.

[3] 堀達也, 白井清昭. ブログページからのウェブサイト情報・作成者情報の抽出. 言語処理学会第 21 回年次大会発表論文集, 2015.

[4] 池田流弥, 安藤一秋. 深層学習によるブログ記事からの土産の品名・店名抽出. 言語処理学会第 25 回年次大会発表論文集, 2019.

[5] 近江崇宏. Wikipedia を用いた日本語の固有表現抽出のデータセットの構築. 言語処理学会第 27 回年次大会発表論文集, 2021 .

[6] Nguyen Tuan Duc, Danushka Bollegala, 石塚満. エンティティペア間類似性を利用した潜在関係検索. 情報処理学会論文誌, Vol. 52, No. 4, pp. 1790-1802, 2011.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019.

[8] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio. Graph Attention Networks. In International Conference on Learning Representations, 2018.

[9] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural Architectures for Named Entity Recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2016.

[10] Xiaoya Li, Xiaofei Sun, Yuxian Meng, Junjun Liang, Fei $\mathrm{Wu}$, and Jiwei Li. Dice Loss for Data-imbalanced NLP Tasks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[11] 日本語 Wikipedia エンティティベクトル. https: //github.com/singletongue/WikiEntVec.

[12] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, 2017.

[13] 日本語 BERT 訓練済みモデル. https://github.com/ cl-tohoku/bert-japanese.

[14] WHATWG. DOM Living Standard. https://dom. spec. whatwg.org/.

[15] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. In International Conference on Learning Representations (ICLR), 2017.

[16] William L Hamilton, Rex Ying, and Jure Leskovec. Inductive representation learning on large graphs. In Neural Information Processing Systems, 2017.
[17] Andrew L. Maas, Awni Y. Hannun, and Andrew Y. Ng. Rectifier nonlinearities improve neural network acoustic models. In Proceedings of the International Conference on Machine Learning, 2013.

[18] 上辻慶典. アノテーションを支える Orion Annotator の紹介. CyberAgent 秋葉原ラボ技術報告, Vol. 2, pp. 32-37, 2019.

[19] Diederik P. Kingma and Jimmy Ba. Adam: A Method for Stochastic Optimization. In International Conference on Learning Representations, 2015.

## A 実験設定の詳細

ここでは，本文の 4.2 に記載しなかった実験設定の詳細について述べる。

まず，提案手法 $1,2,3,4,5$ と HTML タグを利用しない BiLSTM-CRF, BERT の計 7 つの手法の訓練において共通で，エポック数を 10 , バッチサイズを 1, オプティマイザを Adam [19] とした. 学習率は, BiLSTM を用いる 2 つの手法では 0.001 とし, BERT を用いる 5 つの手法では 0.00001 とした. また，全ての実験は NVIDIA T4 (16GB) を利用して実行した.

BiLSTMを用いる 2 つ手法においては，ハイパーパラメータとして隠れ状態べクトルの次元を 10,50,100,150,200 の中から選択した.

グラフニューラルネットワークを用いる 3 つの提案手法では, レイヤの数と各レイヤの出力次元をハイパーパラメータとしてチューニングした. レイヤの数の候補値は, GCN と GSAGE では $2,3,4$ 層とし, GAT では 2,3 層とした. 出力次元の候補值は $16,32,64,128,256$ とした. なお，組み合わせを減らす目的で, 同一モデルの各レイヤの出力次元は同じ値とした. ただし, 最後のレイヤの出力次元は固有表現ラベル数で固定した. また, GAT の Multi-head Attention のヘッド数は, 2 層のモデルでは順に 4,6 で固定し, 3 層のモデルでは順に $4,4,6$ で固定した. また, GATの最終レイヤでは, [8] に倣って式 (6)の CONCAT の部分を平均ベクトルをとる操作に置き換えている。

## B 実験結果の詳細

各手法の F1 スコアを記した表 1 に Precision と Recall の評価值を追記したものを表 2 に示す.

表 2 各モデルの F1 スコア, Precision, Recall