自己教師あり学習を用いた文書分類のためのマルチタスク学習フレームワーク
〇木村 優介1
1チームMIL

森羅プロジェクト 交流会

1

自己紹介
名前： 木村優介
所属： 同志社大学大学院文化情報学研究科
研究対象： 文書分類

リーダーボードに掲載されている結果：
個人的なベースラインとして複数回実験した結果
最大系列長：256，バッチサイズ：128
（Bi-LSTM 層を複数追加・dropout 層を追加．
MSDは Multi Sample Dropout の略 ）

森羅プロジェクト 交流会

2

今日の話の結論
文書分類を目的とした提案手法は，英語で書かれた有名なデータセット（不均衡データ）において高精度を達成

しかし，森羅プロジェクトにおいてはサブタスクがメインタスクに悪影響を及ぼし，提案手法をそのまま適用できなかった
⇒その原因と対策について説明

3

はじめに提案手法

先行研究

評価実験

おわりに

文書分類におけるフレーズの有用性
昔からフレーズを用いて文書分類を行うことは有用 [1,2]

人

文書分類
各クラスで特徴的なフレーズ

[1] Yongzheng Zhang, Nur Zincir-Heywood, and Evangelos Milios. 2005. Narrative text classification for automatic key phrase extraction in web document
corpora. In Proceedings of the 7th annual ACM international workshop on Web information and data management (WIDM '05). Association for Computing
Machinery, New York, NY, USA, 51–58. https://doi.org/10.1145/1097047.1097059
[2] Fabrizio Sebastiani. 2002. Machine learning in automated text categorization. ACM Comput. Surv. 34, 1 (March 2002), 1–47.
https://doi.org/10.1145/505282.505283
[3] Rich Caruana. Multitask learning. Machine Learning, Vol. 28, No. 1, pp. 41–75, 1997

森羅プロジェクト 交流会

4

はじめに提案手法

先行研究

評価実験

おわりにマルチタスク学習
深層学習モデルは一つのモデルで複数のタスクを同時に解くことができ，汎化性能が向上する可能性がある [3]
例：文書分類とフレーズ抽出のマルチタスク学習の一例
主として評価したいタスク：

メインタスク
文書分類
深層学習
モデル

メインタスクの精度をキーフレーズ抽出 向上させる
可能性を持つタスク：

固有表現抽出 サブタスク
・・・

[3] Rich Caruana. Multitask learning. Machine Learning, Vol. 28, No. 1, pp. 41–75, 1997

森羅プロジェクト 交流会

5

はじめに

提案手法

先行研究

評価実験

おわりに既存のサブタスクのコスト
従来のサブタスク[4]には人手によるラベル付けが必要なため，金銭的・人的コストがかかる
ラベルの用意

教師あり

➡ 一般的に，サブタスクのラベルが付与されていない文書分類用データセットにマルチタスク学習を適用することは難しい
[4] Honglun Zhang, Liqiang Xiao, Yongkun Wang, and Yaohui Jin. A generalized recurrent neural architecture for text classification with multi-task learning.
In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence, IJCAI 2017, Melbourne, Australia, August 19-25, 2017, pp. 3385–3391, 2017.

森羅プロジェクト 交流会

6

はじめに

提案手法

先行研究

評価実験

おわりに文書分類フレームワーク
本研究では，人手によるラベル付けが必要ないサブタスク（自己教師あり学習）を用いたメインタスク（文書分類）のためのマルチタスク学習フレームワークを提案

森羅プロジェクト 交流会

7

はじめに

提案手法

先行研究

評価実験

おわりにサブタスクの設計
マルチタスク学習において，難易度が高いタスクは難易度が低いタスクから情報を得て，容易に学習が進められる（盗み聞き）[5]
⇒ シンプルなサブタスクとして，カテゴリ別で特徴的なサブワードフレーズを認識するタスクを用いる（頻度ベース）

[4] Rich Caruana. Multitask learning. Machine Learning, Vol. 28, No. 1, pp. 41–75, 1997

森羅プロジェクト 交流会

8

はじめに提案手法

先行研究

評価実験

おわりにサブワードフレーズ
トークナイザの分割結果に基づいて，機械的にフレーズのラベリングを行うために，サブワードのフレーズ（以後，サブワードフレーズと呼称）を利用
例：Prices are lower in the country than in the city.
サブワード

トークナイザ

['▁Price', 's', '▁are', '▁lower', '▁in', '▁the', '▁country', '▁than', '▁in', '▁the', '▁city', '.']
サブワードフレーズ

サブワードフレーズ
※構成要素が単語でもサブワードフレーズと呼称することとする
森羅プロジェクト 交流会

9

はじめに

提案手法

先行研究

評価実験

おわりに高頻度なサブワードフレーズの作成（1 / 2）
1. 事前学習済み言語モデルのトークナイザで文書を分割

例：Prices are lower in the country than in the city.

トークナイザ
['▁Price', 's', '▁are', '▁lower', '▁in', '▁the', '▁country', '▁than', '▁in', '▁the', '▁city', '.']

森羅プロジェクト 交流会

10

はじめに提案手法

先行研究

評価実験

おわりに高頻度なサブワードフレーズの作成（2 / 2）
2. 高頻度なサブワードフレーズをクラス別にN 語抽出するために，特定の語彙サイズになるまで頻度が高い文字同士を結合する
Bite Pair Encoding(BPE) [6]をサブワード単位に変更する
例：サブワードフレーズを 2 個得る場合（共起頻度が高いサブワードから結合）
['▁Price', 's', '▁are', '▁lower', '▁in', '▁the', '▁country', '▁than', '▁in', '▁the', '▁city', '.']
['▁Prices', '▁are', '▁lower', '▁in', '▁the', '▁country', '▁than', '▁in', '▁the', '▁city', '.']
['▁Prices', '▁are', '▁lower▁in', '▁the', '▁country', '▁than', '▁in', '▁the', '▁city', '.']
[6] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units. In Proceedings of the 54th Annual
Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715–1725, Berlin, Germany, August 2016. Association for
Computational Linguistics.

森羅プロジェクト 交流会

11はじめに

提案手法

先行研究

評価実験

おわりにサブワードフレーズのラベリング
3. 教師なしサブワードフレーズ
抽出手法で得られたサブワードフレーズを固有表現抽出で使われるIOB2タグ[7] でラベリング

例： ▁Prices, ▁lower▁in がサブワードフレーズの場合
['▁Price', 's', '▁are', '▁lower', '▁in', '▁the', '▁country', '▁than', '▁in', '▁the', '▁city', '.']
[‘B', ‘I', ‘O', ‘B', ‘I', ‘I', ‘O', ‘O', ‘O', ‘O’, ‘O', ‘O']
‘B’: サブワードフレーズの頭に位置するトークン，
‘I’: サブワードフレーズの２番目以降に位置するトークン，
‘O’: サブワードフレーズに含まれないトークン
[7] Lance Ramshaw and Mitch Marcus. Text chunking using transformation-based learning. In Third Workshop on Very Large Corpora, 1995.

森羅プロジェクト 交流会12はじめに提案手法

先行研究

評価実験

おわりに高頻度なサブワードフレーズのラベリング
4. クラスごとに文書の意味を表さないサブワードフレーズを表現するために B, I タグにクラスの番号（クラス名を一意の番号に変換）を付与

例： ▁Prices, ▁lower▁in がクラス1で特徴的なサブワードフレーズの場合
['▁Price', 's', '▁are', '▁lower', '▁in', '▁the', '▁country', '▁than', '▁in', '▁the', '▁city', '.']

[‘B-1', ‘I-1', ‘O', ‘B-1', ‘I-1’, ‘O', ‘O', ‘O', ‘O', ‘O’, ‘O', ‘O’]
※2クラス以上に共通するサブワードフレーズには, B-0，I-0 タグを付与
森羅プロジェクト 交流会

13

はじめに提案手法

先行研究

評価実験

おわりにマルチタスク学習
4. 文書分類とサブワードフレーズ抽出のマルチタスク学習

文書分類：
サブワードフレーズ抽出：

各ラベルへの分類と考え，Binary Cross Entropy Loss で得られた双方のタスクの Loss を足した値で学習を行う（今後改良）

森羅プロジェクト 交流会

14

はじめに

提案手法

先行研究

評価実験

おわりに

BertGCN
本研究の比較相手として，文書分類の精度が高いBertGCN（BERTとGCNを組み合わせた手法）[7]と比較
GCNで学習
分類の予測確率（λ倍）

ベクトル

文書

予測確率の和が大きいクラスに分類

学習済み
BERT
入力

分類の予測確率（1-λ倍）
[7] Yuxiao Lin, Yuxian Meng, Xiaofei Sun, Qinghong Han, Kun Kuang, Jiwei Li, and Fei Wu. BertGCN: Transductive text classification by combining GNN
and BERT. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 1456–1462, Online, August 2021. Association for
Computational Linguistics.

森羅プロジェクト 交流会

15

はじめに

提案手法

先行研究

評価実験

おわりに評価方法
シングルタスクと比べて分類精度が向上したかを確認するために，５種類のデータセットを利用
• 20 News Group (20NG)：ニュース文書 他データセットと比べると，不• R8，R52：ロイター
均衡なデータ
また，R52はクラス数が多い
• Ohsumed (OHS)：医療文書
• Movie Review (MR)：映画レビュー

森羅プロジェクト 交流会

16

はじめに

提案手法

先行研究

評価実験

おわりに結果
マクロ，マイクロF 値で評価表の説明：

Proposed w / cmn は他クラスにも出現するフレーズを考慮した手法
Proposed w / cmn は他クラスにも出現するフレーズを削除した手法

4種類のデータセットでRoBERTa-baseより高く，クラス数が多くかつ不均衡なデータでRoBERTaGCNより高精度
森羅プロジェクト 交流会

17

はじめに

基礎分析

提案手法

先行研究

評価実験

おわりに考察各クラスの上位10語の高頻度なサブワードフレーズを確認

各クラスに特徴的なフレーズが取得できている
Bop（国際収支）：money supply や business loan
orange （オレンジ）：consumer prices や consumer price index（消費者物価指数）

真のサブワードで構成されたフレーズが抽出されていないのは
18
高頻度なサブワードフレーズを対象としたため

はじめに

基礎分析

提案手法

先行研究

評価実験

おわりにまとめと今後の課題
• 従来のマルチタスク学習のサブタスクは人的・金銭的コストが高く，文書分類にマルチタスク学習を適用することは難しい
• 本研究では，メインタスクの精度向上のために機械的にサブタスクのラベリングを行う汎用的なマルチタスク学習フレームワークを提案
• 今後，文書分類に有効な他の低コストなサブタスクを設計・利用する
• 名詞句抽出
• MLM など

森羅プロジェクト 交流会

19

森羅プロジェクトへの適用
そのままの適用は難しいことが分かった
提案手法をそのまま適用すると，サブワードフレーズ認識タス
クの分類先が多すぎて（343種類＞文書分類クラス219種類），サブタスクの精度が低い

⇒「盗み聞き」の性質（簡単なタスクが難しいタスクに良い影響を与える）がうまく働かなかった可能性あり．
対策：盗み聞きの性質を考え，サブタスクをより簡単にする
クラス固有にせず，トレーニングデータ全体で高頻度なサブワードフレーズのみ抽出対象とする [8]
（B,I,Oの3種類）
[8]木村優介, 駒水孝裕, 波多野賢治. ストップフレーズ抽出を併用した文書分類. 第 14 回データ工学と情
20
報マネジメントに関するフォーラム予稿集, 2022.