言語処理学会第28回年次大会 併設ワークショップ
JED2022（日本語における評価用データセットの構築と利用性の向上）

学習データセット改善によるアスペクト感情分析モデルの性能改善
2022.3.18

テクノロジー＆マーケティング本部
先端技術研究所
亀谷 聡© 2022 INTEC Inc.

目次

1. はじめに
2. 学習データセットの改善方法一覧
3. アスペクト感情分析モデル概要
4. 学習データセットの改善方法試行
5. まとめ
6. 今後の課題© 2022 INTEC Inc.

2

１．はじめに• 本発表の背景– マーケティングオートメーション、コールセンター、CRM、医療、企業評価などでアスペクト感情分析を活用できる可能性がある。
– それら業務での活用可能性を検証するにあたり、学習データセットを作成し、改善していく方法を整理する必要がある。
– 公開データセットを用いてアスペクト感情分析の技術評価や学習データセットの作成及び改善方法を検討している。

• 本発表の目的– アスペクト感情分析を業務活用する際の学習データセットの作成及び更新方法について気付きを得たい。
• 検討した学習データセット改善方法の紹介。
• 改善方法の試行結果の紹介。

© 2022 INTEC Inc.

3

2．学習データセットの改善方法一覧• モデルを運用する上で、学習データセットを改善していくことは必要不可欠。
– 主目的の違いにより、改善方法は2つに分けられる。
No
1
2

主目的
継続的データ更新※1

方法

新旧データの入替

内容✓ 期間を決めて新旧データを入れ替える。
✓ 新規データについては人手で正解ラベルを付与。

無作為抽出を ✓ 新規データが多い場合、無作為抽出により学習データセット基に追加に追加するデータを選別。

3

誤判定傾向の緩和✓ 誤判定しやすい傾向を把握。
✓ 学習データセットを追加して上記傾向を緩和する。

4

能動学習による追加✓ モデル判定結果が中程度スコアの文書を収集。
✓ 上記文書に人手で正解ラベルを付与。

5モデル
性能改善※2…

不適切な正解✓ 不適切な正解ラベルを把握し、適切なラベルに修正。
ラベルの修正6

リバランシング ✓ アップサンプリング/ダウンサンプリングを行う。
※1 : モデル運用中に行われる学習データセットの継続的な更新を目的に行う。学習データセットの入れ替えが激しく、現行モデルの性能を下回る可能性がある。
※2 : 現行モデルの性能改善を目的に行う。「継続的データ更新」によりモデル性能が低下した際は、こちらの方法を試しモデルの性能改善を目指す。

– 誤判定傾向の緩和（No.3）によりモデル性能を改善できるか試行。
© 2022 INTEC Inc.

4

目次

1. はじめに
2. 学習データセットの改善方法一覧
3. アスペクト感情分析モデル概要
4. 学習データセットの改善方法試行
5. まとめ
6. 今後の課題© 2022 INTEC Inc.

5

3．アスペクト感情分析モデル概要
モデル作成方法～ 適用手法

評価結果～• アスペクト感情分析とは？
– 文書中の人・物・事に対する感情（肯定的 or 中立的 or 否定的に書かれているか）を自動的に判定する技術。
ハンバーグはおいしいです。
肯定的– 特徴• 何に対する感情か判定できる。
• ひとつのテキストに複数の感情が含まれる場合、それらを適切に判定できる。
肯定的

ハンバーグはおいしいですが、店員の対応は不親切でした。
否定的© 2022 INTEC Inc.

6

3．アスペクト感情分析モデル概要
モデル作成方法～ 適用手法

評価結果～• アスペクト感情分析の手法– 出力の違いによって2つに分けることができる。
No手法

出力研究論文✓ Exploiting BERT for End-to-End Aspect-based
感情Sentiment Analysis
対象 ✓ DOER: dual cross-shared RNN for aspectterm-polarity co-extraction

1

TSD(Target-Sentiment joint Detection)

2

感情TASD✓ Target-Aspect-Sentiment Joint Detection for
対象(Target-Aspect-Sentiment Detection)
Aspect-Based Sentiment Analysis
観点（例）アスペクト感情分析結果

TSD
感情対象
肯定的 ハンバーグ

ハンバーグはおいしいですが、店員の対応は不親切でした。

アスペクト感情分析モデル– 今回はTSD（No.1）の手法を採用。
© 2022 INTEC Inc.

否定的

店員

感情TASD
対象観点

肯定的 ハンバーグ

料理・味

否定的サービス店員

7

3．アスペクト感情分析モデル概要
モデル作成方法～ 適用手法

評価結果～• 作成条件
項目

条件

備考

アスペクト
感情分析手法

TSD

Exploiting BERT for End-to-End
Aspect-based Sentiment Analysis

事前学習済みモデル

bert-base-japanese-wholeword-masking※1

東北大学 乾・鈴木研究室
日本語Wikipedia

学習データセット

chABSA-dataset※2

TIS株式会社
有価証券報告書※1:https://huggingface.co/cl-tohoku/bert-base-japanese-whole-word-masking※2:https://github.com/chakki-works/chABSA-dataset• 作成手順
No

実施項目

1

データ変換

学習データセットをモデル入力形式に変換。

2データ分割訓練データ：検証データ：テストデータ＝6：2：2に分割。

3

モデル作成

訓練、検証データを使ってモデル作成。

4

モデル評価

テストデータにモデルを適用。
汎化性能としてF値（micro-F1）を確認。

© 2022 INTEC Inc.

概要

8

3．アスペクト感情分析モデル概要
モデル作成方法～ 適用手法

評価結果～• モデル選定：検証データF値最高モデル
学習曲線（損失関数）

学習曲線（F値）

F値

損失関数

ー:訓練データ
ー:検証データ

ー:訓練データ
ー:検証データ

ステップ数 2200

ステップ数

• テストデータ評価結果
指標© 2022 INTEC Inc.

値

Precision

0.804

Recall

0.769

F値

0.786
9

3．アスペクト感情分析モデル概要
モデル作成方法～ 適用手法

評価結果～• 誤判定傾向– 正解ラベル（対象：感情）の訓練データ数が少ないとF値は小さい。

F値

F値(全体)
0.786

正解ラベルの訓練データ数– 訓練データ数19以上の正解ラベルの汎化性能は高い。
– 訓練データ数の少ない正解ラベルは訓練データ数を増やすことで汎化性能を高められる可能性がある。
© 2022 INTEC Inc.

10

目次

1. はじめに
2. 学習データセットの改善方法一覧
3. アスペクト感情分析モデル概要
4. 学習データセットの改善方法試行
5. まとめ
6. 今後の課題© 2022 INTEC Inc.

12

４．学習データセットの改善方法試行～ 改善方法検討 改善方法試行 改善効果確認 ～• 誤判定傾向を緩和する方法の検討– 訓練データ数0かつ偽陰性だった正解ラベルを含む文書を収集し、正解ラベルを付与後、訓練データへ追加。
– モデルを再学習することで偽陰性を真陽性に変え、汎化性能の改善を目指す。
（例）訓練データ数0かつ偽陰性だった正解ラベル

正解ラベル（対象：感情）訓練 テストデータ データ

偽陰性

真陽性

偽陽性

新規店舗：肯定的

01010

国内人材募集領域：肯定的

01011

圧縮機：肯定的01010

業務用塩ビラップ：肯定的01010

流れ：肯定的01010

不動産業：否定的

01010

大型タンカー：否定的01010

新政権：否定的

01010

山陰製袋工業：否定的

0

1010

機能樹脂製品：肯定的01010© 2022 INTEC Inc.

（計215種類）13

４．学習データセットの改善方法試行～ 改善方法検討 改善方法試行 改善効果確認 ～• 試行手順
No

実施項目

概要

1

データ収集

EDINET※1の全文検索機能を使い、「新規店舗」を含む文書を取得。

2

正解ラベル付与

アノテーション仕様書※2を参考に正解ラベルを付与。
収集した4文書に対して下記正解ラベルを付与。
新規店舗：肯定的 … 2文書
新規店舗：否定的 … 2文書

3

訓練/検証データ追加

上記文書を訓練/検証データ（前回と同じ）へ追加。
新規店舗：肯定的 → 訓練データ（1文書）、検証データ（1文書）
新規店舗：否定的 → 訓練データ（1文書）、検証データ（1文書）4

モデル作成

訓練、検証データを使ってモデル作成。

5

モデル評価

テストデータにモデルを適用し、以下を確認。
・汎化性能、正解ラベル（新規店舗：肯定的）の判定結果※1:https://disclosure.edinet-fsa.go.jp/※2:https://github.com/chakki-works/chABSA-dataset/tree/master/annotation/doc

追加文書
一方、店舗数の純増に加え、新規店舗が好調に推移したことから、増収を確保しました。

2020年、当行は、郡レベルの地域の店舗31を含め63の新規店舗を開設し、新たに8つの郡に進出した。
その他、当社が想定する海外の新規店舗の出店時期に遅れが生じるリスクがあります。
さらに、新規店舗が成功しない可能性もあり、１店舗当たり売上高を従前のように維持できない可能性もあります。
© 2022 INTEC Inc.

14

４．学習データセットの改善方法試行～ 改善方法検討 改善方法試行 改善効果確認 ～• テストデータ評価結果（1）– 汎化性能指標

前回

今回

Precision

0.8040.821

Recall

0.769

0.786

F値

0.7860.803– 正解ラベル（新規店舗：肯定的）の判定結果
正解ラベル（対象：感情）
前回
今回

新規店舗：肯定的

訓練 テスト真陽性 偽陰性 偽陽性
データ データ
0101011100• 学習データを追加することで、追加した正解ラベルの判定が改善し、汎化性能も改善することを確認。

© 2022 INTEC Inc.

15

４．学習データセットの改善方法試行～ 改善方法検討 改善方法試行 改善効果確認 ～• テストデータ評価結果（2）

今回モデルF値– 今回追加した正解ラベル以外の判定性能が変わるため、汎化性能が必ず改善するとは言い切れない。

前回モデルF値© 2022 INTEC Inc.

16

５．まとめ• アスペクト感情分析の業務活用可能性を検証するために、技術評価や学習データセットの作成及び改善方法を検討している。
• アスペクト感情分析モデルの改善を目的に、学習データセットの改善方法を試行した。
– 学習データセット（chABSA-dataset）を使いアスペクト感情分析モデル（TSD）作成。
– 訓練データの少ない正解ラベル（新規店舗：肯定的）の文書を収集し、正解ラベルを付与。
• 新規店舗：肯定的（2文書）、新規店舗：否定的（2文書）– 上記文書を訓練、検証データに追加してモデルを再作成。
• 前回誤判定した正解ラベルを正しく判定し、汎化性能も改善。
• 訓練データの少ない各正解ラベルの数を増やすことで、モデル性能を改善できる可能性がある。

© 2022 INTEC Inc.

17

６．今後の課題（１）• 学習データセット改善方法の課題と対策の整理– 今回、誤判定傾向を緩和する方法（No.3）を試行し、課題と対策を検討した。
– それ以外の方法についても試行し、課題と対策を整理する。
No12

主目的

継続的
データ更新

新旧データの入替

モデル
性能改善

対策

正解ラベル付け文書数が多い。 ユーザからフィードバックを収集。

旧データ削除の条件、時機。

正解ラベルを含む文書の収集。 文書収集の自動化。
正解ラベル付け作業負荷。

アノテーションツールの利用。

能動学習による追加

5

不適切な正解ラベルの修正

6

リバランシング© 2022 INTEC Inc.

課題

無作為抽出を基に追加
誤判定傾向の緩和

34

方法

学習データセットを１つ１つ確認するのは負荷が高い。

18

【再掲】3．アスペクト感情分析モデル概要
モデル作成方法 評価結果
～ 適用手法～• 誤判定傾向– 正解ラベル（対象：感情）の訓練データ数が少ないとF値は小さい。

F値

F値(全体)
0.786

正解ラベルの訓練データ数– 訓練データ数19以上の正解ラベルの汎化性能は高い。
– 訓練データ数の少ない正解ラベルは訓練データ数を増やすことで汎化性能を高められる可能性がある。
© 2022 INTEC Inc.

19

６．今後の課題（２）• 各正解ラベルの学習データ数目標の決定– 今回、各正解ラベルについて訓練データを19個以上用意することで汎化性能の高いモデルを作れる示唆が得られた。
– 訓練データ数の多い正解ラベルは、正解ラベルの種類が数個と少ないため、種類を増やして検証する必要がある。
60058840011720050 31 19 17 7 8 4 3 3 4 2 2 2
1 4 1 1 1 1 1 1 1 1 2 1 1 1 1 1 2 1 1 1

178159908056524847444240

144

正解ラベルの訓練データ数

3837353432201916151412111098765432100– 学習データセットに1個しかない正解ラベルは74.5%あるため、これらの汎化性能を高める工夫が必要。
正解ラベル数

正解ラベル数800© 2022 INTEC Inc.

正解ラベルの学習データ数20

６．今後の課題（３）• 各正解ラベルの学習データ数目標の削減– 訓練データ数19個は現実的な目標値ではない。
– 目標値を下げる有効な方法を探す（リバランシングや層化分割）。

• 正解ラベル付け作業負荷の削減– アノテーションツールを使っても作業負荷は高い。
– ラベル付け作業負荷の軽減、自動化する方法を検討する。

• 学習データセット作成/改善に向けた関係者の動かし方– 作業負荷が高いため、お客様や社内メンバーに受け入れられ難い。
– 作業負荷軽減に加え、説得の仕方、有効な根拠の示し方を検討する。
学習データセットの作成や維持管理をされている方、同じような課題を持っている方、ぜひ今後も意見交換させてください。 連絡先：kamegai_satoshi@intec.co.jp© 2022 INTEC Inc.

21

THANK YOU