言語処理学会 第30回年次大会 発表論文集（2024年3月）

LLM を利用した文書分類のための Data Augmentation
小野寺優 1 新納浩幸 2
1 茨城大学工学部情報工学科 2 茨城大学大学院理工学研究科情報科学領域
20t4022l@vc.ibaraki.ac.jp hiroyuki.shinnou.0828@vc.ibaraki.ac.jp

概要
大規模言語モデル (Large Language Model:LLM) は様々な自然言語処理タスクに利用され，多くの成果を挙げている．本研究では，文書分類に対するData Augmentation に LLM を利用することを試みる．
LLM を Data Augmentation に利用する場合，少数のラベル付きデータからどのようなプロンプトで文書を生成すればよいかが重要となる．ここでは，少数の訓練データからキーワードと要約文を生成し，その 2 要素で構成されたプロンプトを試みる．実験
では，livedoor ニュースコーパスの文書分類タスクを行い，本プロンプトの有効性を調査した．その結果，本プロンプトの有効性を示すことはできなかった．これを踏まえて，LLM を用いて文書分類に対するデータを生成する上での課題を考察する．

1

はじめに大規模言語モデル (Large Language Model:LLM) は，膨大な量のテキストデータから学習された言語モデルであり，質問応答，文章要約，あるいは機械翻訳など様々な自然言語処理タスクに利用され，多くの成果を挙げている．また同時に LLM の高い文生成能力を生かした様々な利用方法も検討されている．
本研究では，LLM の利用の一つとして文書分類タスクに対する訓練データの自動構築を試みる．具体的には，Data Augmentation のアプローチを取る．
つまり，少数の訓練データを元に，LLM を利用して各分類ラベルに対する文書を生成し，そのラベル付き文書を元の少数の訓練データに追加することで分類精度を向上させる．
LLM を用いた Data Augmentation の手法はいくつか提案されている．Yoo ら [1] は，文とラベルの組から構成されたプロンプトを用いて，文とラベルを同時に LLM に自動生成させる手法を提案した．
また，Sahu ら [2] は，特定のラベルに属する文からfew-shot プロンプトを作成し，Data Augmentation を行うアプローチを提案した．しかし，これらの手法で扱われるデータは短い文であり，長文のようなfew-shot プロンプトを構成するのが難しいデータに対する有効性は明らかになっていない．
本 研 究 で は，ChatGPT(GPT-3.5) を 用 い て，キ ー
ワードと文書の要約文で構成されたプロンプトにより，長文に対応した Data Augmentation 手法を試みる．キーワードは各分類ラベルの文書から抽出することから獲得し，要約文は訓練データとなる文書を LLM に要約させることで生成する．実験では，
livedoor ニュースコーパス1）の文書分類タスクを行い，本プロンプトの有効性を調査した．しかし，モデルの精度向上は見られず，本プロンプトの有効性を示すことはできなかった．ここでは上記実験結果を報告するとともに，LLM を用いて文書分類に対するラベル付きデータを生成する上での課題を考察する．

関連研究

2

自然言語処理において，データ不足を緩和させることを目的とする手法は広く研究されている．Heら [3] は，LLM にアノテーションを行う際の思考過程を説明させ，それを元にしたプロンプトを作成し利用することで，LLM によるラベルなしデータに対するアノテーション作業を行わせる AnnoLLM という手法を提案した．これにより，LLM によってアノテーション作業が代替できる可能性が示された．
少数の訓練データに対してデータを水増しすることでモデルの性能を向上させることを目的とする
Data Augmentation というアプローチがある．Wei ら[4] は，訓練データの文書に対して，類義語置換，ランダム挿入，ランダム交換，あるいはランダム削除の 4 つの方法を用いた EDA(Easy Data Augmentation)という手法を提案した．
近年では，LLM を用いた Data Augmentation の手法も検討されている．Yoo ら [1] は，画像処理の分
1） https://www.rondhuit.com/download.html― 3265 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

野に利用される Mix-up というアプローチを参考にし，GPT3Mix という手法を提案した．この手法では，文とラベルの組からなるプロンプトを作成しGPT-3 に与えることで，新たな文とラベルの組を自動生成させる．また，Sahu ら [2] は特定の一つのラベルに属する文のみから構成されるプロンプトを作成し GPT-3 に与えることで，ラベルを考慮した新たな文を生成する Data Augmentation 手法を提案しあなたは最高のニュース記事ライターです。
以下の制約を守ったニュース記事を書くことができます。例文は実際の記事の要約文の例です。
制約とキーワード、例文を参考にして、まったく新しいニュース記事を書いてください。
#制約(1)生成する記事の文字数は1000文字程度とする(2)記事全体の流れが自然になるようにする#キーワード{出力したいカテゴリのキーワード3つ}#例文
例1：{出力したいカテゴリのテキストの要約文_1}
例2：{出力したいカテゴリのテキストの要約文_2}…
例10：{出力したいカテゴリのテキストの要約文_3}
#出力
生成文1：

た．更に，中町ら [5] は特定の一つのラベルに属す

図2

る文に加えて，キーワードとなる単語をプロンプトに与えることで，語彙と品質を考慮した文生成による Data Augmentation 手法を提案している．

あなたは最高のニュース記事ライターです。以下の制約を守ったニュース記事を書くことができます。
例文は9つにカテゴリ分けされたニュース記事の要約文を1つずつ提示したものです。
制約とキーワード、例文を参考にして、まったく新しいニュース記事を書いてください。
#制約(1)生成する記事の文字数は1000文字程度とする(2)記事全体の流れが自然になるようにする(3)カテゴリ「{出力したいカテゴリ名}」の記事を書くこと

プロンプトの作成

3

本研究では，キーワードと文書の要約文を含むプ
ロンプトを LLM に与えることで，データの生成を行う．文生成を行うための LLM は，ChatGPT(GPT-3.5)を使用する．本研究の流れを図 1 に示す．

#キーワード{出力したいカテゴリのキーワード3つ}#例文「独女通信」の例：{独女通信ラベルに属するテキストの要約文}「ITライフハック」の例：{ITライフハックラベルに属するテキストの要約文}…
「トピックニュース」の例：{トピックニュースラベルに属するテキストの要約文}
#出力
生成文1：

図3
訓練データ追加#制約(1)生成する記事の文字数は1000文字程度とする(2)記事全体の流れが自然になるようにする#キーワード{出力したいカテゴリのキーワード5つ}

LLM(ChatGPT)#例文
例１：{出力したいカテゴリ以外のテキストの要約文_1}
例２：{出力したいカテゴリ以外のテキストの要約文_2}…
例８：{出力したいカテゴリ以外のテキストの要約文_8}

生成

訓練データの要約文

プロンプト 2 のテンプレート

あなたは最高のニュース記事ライターです。以下の制約を守ったニュース記事を書くことができます。
例文は実際のニュース記事の要約文です。
制約とキーワード、例文を参考にして、まったく新しいニュース記事を書いてください。

拡張データ
生成

キーワード

プロンプト 1 のテンプレート

#出力
生成文１：

プロンプト・キーワード
・要約文

図4

プロンプト 3 のテンプレート

要約文は，ChatGPT に元となるニュース記事の本

図 1 本研究における Data Augmentation の流れ

文を一つずつ入力することで生成する．各プロンプ

3.1

プロンプトに使用するデータ

トにおける要約文の用い方を以下に示す．

プ ロ ン プ ト に 使 用 す る デ ー タ と し て，livedoor

プロンプト 1
特定の一つのカテゴリに属するニュース記事本

ニュースコーパスを使用する．これは，NHN Japan

文の要約文 10 個与える (図 2)．

株式会社が運営する「livedoor ニュース」からニュース記事を収集し，可能な限り HTML タグを取り除いプロンプト 2たものである．このコーパスには，９つのカテゴリ各カテゴリに属するニュース記事本文の要約文のニュース記事が格納されている．

を 1 個ずつ与える (図 3)．

3.2

プロンプト 3

プロンプトの構成

特定の一つのカテゴリに属するニュース記事本
文の要約文を除いた，他の 8 カテゴリのニュース記事本文の要約文を 1 個ずつ与える (図 4)．

本研究では，使用される文書が長文であることを想定し，キーワードと文書の要約文から構成される3 種類のプロンプトを考案する．

また，キーワードは ChatGPT に生成した要約文― 3266 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

10 個を与えることでカテゴリごとに生成させる．
与えるキーワードの数は，プロンプトの種類により変わり，プロンプト 1 及びプロンプト 2 では 3 つ，た場合の最大エポック数は 100 と設定する．

4.4

プロンプト 3 では 5 つとする．具体的なキーワード
は，付録の表 4 に示す．

4実験

4.1

文書分類に使用するモデル

実験結果

RoBERTa を訓練データで ﬁne-tuning することで，モデルの構築を行う．構築したモデルは，文書分類タスクの正解率により評価する．
実験では，以下の 5 つのパターンにおける訓練データセットを作成し，正解率を比較した．
• 元の訓練データ 90 件 (baseline)

rinna 社 か ら 公 開 さ れ て い る 日 本 語 RoBERTa• 拡張訓練データ (プロンプト 1)

モ デ ル を 使 用 し た．こ れ は Hugging Face 社 の• 拡張訓練データ (プロンプト 2)

Transformers ライブラリから，”japanese-roberta-base”• 拡張訓練データ (プロンプト 3)という名前で公開されているモデルである2）．この• 元の訓練データ 117 件

モデルは事前学習に日本語 Wikipedia と CC-100 が用いられている．

4.2

この評価結果を以下の表 1 に示す．
表1

データセット

モデルの評価結果

訓練データ

正解率

元データ 90 件

0.7655

拡張データ (プロンプト 1)

0.7636を行う．各カテゴリに対してラベルを割当て，各ラ拡張データ (プロンプト 2)

0.7573

ベルの文書をランダムに同数取り出す．そして，取拡張データ (プロンプト 3)

0.7573

り出したラベルとテキストの組から，訓練データ，元データ 117 件

0.7989

本 研 究 で は，提 案 手 法 の 評 価 を 行 う た め に，livedoor ニュースコーパスを用いた文書分類タスク

検証データ，テストデータの 3 つを作成する．このときのデータの割当ては，訓練データと検証データが各カテゴリ 10 件ずつの文書を取り出した合計 90件，テストデータが各カテゴリ 100 件ずつの文書を結果として，Data Augmentation を行った場合，モデルの性能をわずかに悪化させてしまうことが分かった．

取り出した合計 900 件となる．

5

考察

拡張訓練データは，ここで割当てられた 90 件の訓練データを元に作成する．拡張データは，提案す5.1

実験結果の考察るプロンプト一つにつきカテゴリごとに 3 件ずつ，すなわち 27 件のデータを作成する．したがって，拡張後の訓練データの数は元の訓練データ 90 件に拡張データ 27 件を加えた 117 件のデータとなる．

4.3

livedoor ニュースコーパスの文書分類において本プロンプトによる Data Augmentation を試みた場合，モデルの性能はわずかに低下してしまった．これは，新たに生成したデータの中にノイズとなるデータが含まれていたことが要因だと考えられる．

文書分類モデルの学習

文書分類モデルの学習時の設定を以下に示す．
• 最適化関数：確率的勾配降下法 (SGD)

図 5 は，実験におけるカテゴリごとの正解率を示している．Livedoor HOMME や SMAX，トピック• 学習率：0.001

ニュースは，全てのプロンプトにおいて正解率が減少していることが読み取れる．これは，Livedoor• バッチサイズ：3

HOMME やトピックニュースは多様な分野を取りエポック数の決定には，アーリーストッピングを扱うニュースカテゴリのため，LLM が少量の訓練用いる．検証データの Loss が 3 エポック連続で最データの中からニュース記事の特徴を学習するのが小値に更新されなかった場合に学習が中断され，モデルの構築を行う．このとき，学習の中断がなかっ難しかったのではないかと考える．また，SMAX は似た内容のニュース記事を持つ IT ライフハックや家電チャンネルと分類モデルが混同してしまい正解

2） https://huggingface.co/rinna/japanese-roberta-base率が減少してしまったと考えられる．

― 3267 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 5 カテゴリごとの正解率

5.2

表 3 データ数変更時のモデルの評価結果

キーワード変更による実験

3.2 節では，ChatGPT にテキストの要約文を 10 個与えることでキーワードの生成を行っていた．本節では，主観的ではあるが，人手で要約文を読み，カテゴリごとのキーワードを作成した場合で同様の実験を行う．ここで作成した具体的なキーワードは，付録の表 5 に示す．人手作成のキーワードによる拡張訓練データの評価結果を以下の表 2 に示す．
表2

正解率

拡張データ (プロンプト 1)
拡張データ (プロンプト 2)

0.75810.7537

拡張データ (プロンプト 3)

0.7474

元データ 144 件

0.7935

表 1 と表 3 の結果を比較すると，拡張するデータ数を増やしてもモデルの性能は向上させることができないことが分かった．これは，拡張データの数がキーワード変更時のモデルの評価結果増えたことによりノイズとなるデータが更に増えて訓練データ正解率

拡張データ (プロンプト 1)しまったことや本プロンプトが ChatGPT において0.7570

多くのデータを生成するのに適したものではなかっ

拡張データ (プロンプト 2)

0.7552たことが要因として考えられる．

拡張データ (プロンプト 3)

0.76

おわりに

6
表 1 及び表 2 より，キーワードの変更は，本プロンプトにおいてモデルの性能を向上させることはできないことが分かった．すなわち、キーワードは本プロンプトにおいてモデルの性能に与える影響が小さいと考えられる．

5.3

訓練データ

本研究では，キーワードと文書の要約文により構成されたプロンプトによる LLM を利用した DataAugmentation の手法を試みた．キーワードや要約文の与え方を変えた 3 種類のプロンプトを考案し，日本語 RoBERTa による livedoor ニュースコーパスのデータ数変更による実験

文書分類タスクにより評価を行った．その結果，モ

4.4 節では，各カテゴリ 3 件ずつ，合計 27 件の拡張による実験を行った．ここで有効性が見られなかった要因の一つとして，拡張するデータ数がカテゴリによっては少なすぎた可能性もある．本節では，拡張するデータ数を各カテゴリ 6 件ずつの合計54 件とし，同様の実験を行い評価する．この評価結デルの性能の向上は見られず，試みたプロンプトから生成された文による Data Augmentation の有効性を示すことはできなかった．
今後は，Data Augmentation のみに括らず，LLM による質の良いデータ生成とその活用方法の可能性の調査に取り組んでいきたい．

果を表 3 に示す．

― 3268 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は国立国語研究所の共同研究プロジェクト「テキスト読み上げのための読みの曖昧性の分類と読み推定タスクのデータセットの構築」及び JSPS科研費 23K11212 の助成を受けています．

参考文献[1] Kang Min Yoo, Dongju Park, Jaewook Kang, Sang-Woo
Lee, and Woomyeong Park. Gpt3mix: Leveraging largescale language models for text augmentation, 2021.
[2] Gaurav Sahu, Pau Rodriguez, Issam Laradji, Parmida
Atighehchian, David Vazquez, and Dzmitry Bahdanau.
Data augmentation for intent classiﬁcation with oﬀ-the-shelflarge language models. In Bing Liu, Alexandros Papangelis,
Stefan Ultes, Abhinav Rastogi, Yun-Nung Chen, Georgios
Spithourakis, Elnaz Nouri, and Weiyan Shi, editors, Proceedings of the 4th Workshop on NLP for Conversational AI, pp. 47–57, Dublin, Ireland, May 2022. Associa-tion for Computational Linguistics.
[3] Xingwei He, Zhenghao Lin, Yeyun Gong, A-Long Jin, HangZhang, Chen Lin, Jian Jiao, Siu Ming Yiu, Nan Duan, andWeizhu Chen. Annollm: Making large language models tobe better crowdsourced annotators, 2023.
[4] Jason Wei and Kai Zou. Eda: Easy data augmentation
techniques for boosting performance on text classiﬁcation
tasks, 2019.
[5] 中町礼文, 西内沙恵, 浅原正幸, 佐藤敏紀. 語彙と品質を考慮したデータ水増しの言語教育支援への適用. 言語処理学会第 29 回年次大会発表論文集, pp.
1924–1929, 2023.

― 3269 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

キーワードの詳細Aプロンプトと生成文の例

B4 節及び 5.2 節で使用したキーワードを以下に

3.2 節では，各プロンプトにおけるテンプレート示す．プロンプト 1，2 では，各表の左から 3 つのを作成した．本節では，テンプレートに従い作成しキーワードを使用し，プロンプト 3 では，5 つ全てたプロンプト 1 とその生成文の一例を以下の図 6 及のキーワードを使用する．

び図 7 に示す．

A.1

あなたは最高のニュース記事ライターです。
以下の制約を守ったニュース記事を書くことができます。例文は実際の記事の要約文の例です。
制約とキーワード、例文を参考にして、まったく新しいニュース記事を書いてください。

ChatGPT が生成したキーワード

ChatGPT に生成させたカテゴリごとのキーワードを以下の表 4 に示す．

#キーワード「ダイエット」、「女性」、「映画」

表4
カテゴリ名
独女通信

ChatGPT が生成したキーワード
キーワード
ダイエット，女性，映画，女優，ヨーグルト
IT ライフハック
Ultrabook，Android，テクノロジー，アプリ，セキュリティスマートフォン，テクノロジー，プ
家電チャンネル
ロジェクター，マッサージャー，メディア
Livedoor HOMME 借金，ファッション，ゴルフ，ドライブ，転職
映画，公開，日本，主題歌，俳優
MOVIE ENTER
Peachy女性，ファッション，IPhone，イベント，チャリティ
SMAX
ソフトウェア更新，Android，スマー
トフォン，不具合修正，ＮＴＴドコモ
Sports Watch
W 杯，日 本 代 表，選 手，イ ン タ
ビュー，マッチ・試合
トピックニュース ネット掲示板，ニュース記事，メデ ィ ア，反 応・コ メ ン ト，イ ベ ン
ト・出来事

A.2

#制約
(1)生成する記事の文字数は1000文字程度とする(2)記事全体の流れが自然になるようにする#例文
例1：多くの人が様々なダイエットを試みても、その継続が難しいことを経験している…(省略)例2：最近、女性専用車両での通勤中に見かける女性のマナーの悪さについての記事です。…(省略)…
例10：近年、アイドルがメディアで注目を浴びており、特にAKB48がその代表格となって…(省略)
#出力
生成文1：

図 6 独女通信におけるプロンプト 1 の例
「映画ヨガ」が女性たちのダイエットに革命をもたらす多くの女性が悩む「ダイエット」。その継続が難しいことはよく知られています。しかし、今回、新たな方法が登場し、女性たちに大きな魅力を持って受け入れられています。ヨガインストラクターの城所恵美先生が、「続けやすい」ダイエット方法として、家で映画を観ながら行える「映画ヨガ」を紹介し、多くの女性たちの注目を浴びています。
この方法の魅力は、家庭で手軽に実践できる点です。必要なのはインターネット接続とXbox 360で利用できるZuneビデオのみ。このアプローチは、映画好きな女性にとって理想的で、ダイエットを楽しみながら続けることができます。
「映画ヨガ」では、異なるヨガポーズがさまざまな映画ジャンルに合わせて紹介されています。たとえば、アクション映画を鑑賞する際には「ウォーリア」のポーズをとることで、力強く勇敢な気分を味わえます。恋愛映画には「鳩」のポーズが適しており、心が開放され感情豊かになる手助けになります。サスペンス・ホラー映画を楽しむ際には「舟」のポーズがおすすめで、身体が不安定なバランスポーズをとることで、恐怖感と緊張感をより感じやすくなります。そして、SF映画に対して「飛行機」のポーズが紹介されており、キープが難しいため高いダイエット効果が期待されます。
映画ヨガは、ダイエットだけでなく、映画鑑賞の楽しみも提供します。紹介された映画はすべてZuneビデオで配信されており、映画ヨガを試しながら観賞することができます。これはXbox 360、Zuneビデオ、およびZuneファンに関連する情報で、多くの女性たちにとって魅力的なダイエット方法として注目されています。映画ヨガを通じて、ダイエットを続けつつ映画の楽しみを味わう新たなアプローチが女性たちに提供されています。

図 7 上記のプロンプト 1 による生成例

図 7 のように，生成文にはタイトルが同時に生成されるときがある．本研究では，このようなタイトル部分は取り除き，本文のみを使用した．

人手で作成したキーワード

ニュース記事の要約文を読み，独自に作成したカテゴリごとのキーワードを以下の表 5 に示す．
表 5 人手で作成したキーワード
カテゴリ名
キーワード
独女通信
女性，恋愛，結婚，健康，美容IT ライフハック
スマートフォン，タブレット，アプ
リ，セキュリティ，ネットワーク
家電チャンネル
家電，携帯電話，電子，機器，映像Livedoor HOMME 仕事，ブランド，キャリア，転職，金MOVIE ENTER
映画，主人公，監督，俳優，演技
Peachy女性，ファッション，かわいい，手軽，イベント
SMAX
スマートフォン，モバイル，発表，機能，アップデート
Sports Watch
選手，試合，スポーツ，監督，記者
トピックニュース 芸能人，事件，政治，話題，意見― 3270 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).