情報処理学会研究報告
IPSJ SIG Technical Report

アスペクト文判別のための大規模言語モデルを用いたデータ拡張の有効性
川嵜 慎乃介1

嶋田 和孝2

概要：レビューから評価項目（アスペクト）を自動的に抽出するタスクをアスペクト推定と呼ぶ．アスペク
ト推定は，詳細なレビュー分析などの為に重要なタスクである．しかし，データセットによってはアスペ
クトごとのデータのばらつきやデータの不足が起きる場合がある．その結果，推定精度が十分ではない場
合が存在していた．その解決策としてデータを拡張することが考えられるが，旧来は単語置換などの手法
によって行われており，文意が変わってしまうなどの問題があった．本研究では生成 AI である ChatGPTを利用してデータの拡張を行う．本論文では拡張データの有無によりアスペクト推定精度がどのように変化するのかを実験的に検証し，考察する．
キーワード：分類学習，評判・感情解析，自然言語生成・言い換え

Eﬀectiveness of Data Augmentation Using LLM
for Aspect Classiﬁcation
Shinnosuke Kawasaki1

Kazutaka Shimada2

Abstract: Aspect classification is an important task for review analysis. However, depending on the dataset,there may be a lack of data for certain aspects. Consequently, classification accuracy can sometimes be insufficient. One solution is to augment the data, but this could lead to issues such as altering the meaning of
the text. In this study, we employ ChatGPT, an AI text generation tool, to augment the data. We experimentally investigate and discuss how aspect classification accuracy is affected by the presence or absence ofaugmented data.
Keywords: Classification Training，Review/Emotion Analysis，Natural Language Generating

1. はじめにを自然言語処理分野においてはアスペクトという．多量のレビュー文集合から特定のアスペクトに関するレビュー文

近年，通販サイトの普及などによりインターネット上にを抜き出すことはユーザにとって有意義なことであるが，は日夜多くのレビュー文が投稿されている．レビュー文の大量のレビュー文を人手で分類することは非常にコストが中には機能に対する意見や値段に対する意見など，複数のかかってしまう．そのため，システムによって自動的にレ

評価項目に対する意見が混在している．これらの評価項目

ビュー文中に含まれるアスペクトを特定し，ラベル付けす
ることが望ましい．そのようなタスクをアスペクト推定と

1

2

九州工業大学 大学院情報工学府
Department of Creative Informatics, Kyushu Instituteof Technology 680-4 Kawazu, Iizuka, Fukuoka 820-8502,
JAPAN
九州工業大学 大学院情報工学研究院 知能情報工学研究系
Department of Artiﬁcial Intelligence, Kyushu Instituteof Technology 680-4 Kawazu, Iizuka, Fukuoka 820-8502,
JAPAN

c 2023 Information Processing Society of Japan⃝いう．アスペクト推定によってラベル付けされたレビュー
文集合から，任意のアスペクトに関するレビュー文を抜き出すことは非常に容易となり，ユーザにとって大きなコス
ト削減につながる．

Nakamuta ら [1] は，複数のアスペクト情報が内在する

1

情報処理学会研究報告
IPSJ SIG Technical Report

ゲームレビュー文を対象にアスペクト推定を行っている．

5SBJOJOHୱԸխ԰

Nakamuta らの手法では，レビュー文中の単語情報からアスペクトの特定に繋がりやすい語彙に絞ってベクトル化をᛘᑇԸխ԰$IBU(15行ったのち，SVM という機械学習モデルを用いてアスペクトの推定を行っている．Nakamuta らによる手法の問題՝ՄՖխᡭԓԪՋԠԹ᝖ᇽՓԸ՜

ԓԪՋԠԹ԰ԡ঳
՝ՄՖխᡭ

点として，元のレビュー文集合の数が不十分なため訓練が47.

十分に行うことができず，いくつかのアスペクトにおける#&35

低い推定精度に繋がっていることが論文中に指摘されている．本研究では，この問題点を踏まえたうえでゲームレ
ビュー文に対するアスペクト推定の精度を向上させることを目的とする．

図 1

ฅん
દᲙ

本研究における精度向上のための取り組みの概要．

Fig. 1 Summary of eﬀorts for improving accuracy in this study.

図 1 に，本研究で提案する手法を表した概略図を示す．

からその有効性を検証する．また，生成モデルに分類結果

前述の問題点への対応として，本研究では 2 段階のアプを出力させることで，分類モデルと同等の精度を示す研究

ローチを提案する．1 つ目は，推定モデルの変更である．

が示されている [6]．高性能な生成 AI である ChatGPT も

Nakamuta らが使用している SVM は訓練に使用したゲー

同様に分類問題に適応できるのではないかと考え，分類モ

ムレビュー文から得られる情報のみを用いてアスペクトのデルとして実装し，SVM や BERT との精度比較を行う．

推定を行っていた．しかし，近年の自然言語処理分野で広く用いられている事前学習済みモデル BERT[2] を用いる

2. 関連研究

ことで，SVM と同量の訓練データでもより高い推定精度

自然言語処理分野においてアスペクト推定は ABSA（As-を期待する事ができる．事前学習済みモデルとは，事前にpect Based Sentiment Analysis） と呼ばれる感情分析タス

大規模コーパスによる事前学習により汎用的言語特徴をと

クのサブタスクとして位置づけられている．ABSA タスク

らえている言語モデルである．事前学習を行った後，特定は，テキスト中の様々な側面（アスペクト）に対する感情のタスクに適応させる学習が必要となるが，この際に用い極性（ポジティブ，ネガティブ，中立）を判定するタスク

るデータセットはたとえ少量であっても従来の機械学習モである．過去に様々なドメイン（特定の分野やテーマ）のデルより高精度な推論を行えることが知られている．そのデータセットが公開されており，例としてレストランやホため，本研究で用いるゲームレビューデータセットに対しテルのレビューを収集した SemEval-2016[7] や，金融関係ても SVM より高精度な推論を行えることを期待して実装のツイートデータを収集した FiQA-2018[8] などが存在す

する．

る．ABSA タスクにデータ拡張手法を取り込んだ研究は数

2 つ目は，拡張データの生成である．自然言語処理分野多く行われている．Wei ら [9] は，ランダムに文中単語のにおいては，データセットの量的不足に対して，単語置換

置換や削除を行うデータ拡張手法 EDA を提案し，精度のなどのデータ拡張手法を用いることで訓練データ量を増向上を確認した．Kobayashi ら [10] は，ラベル情報を考慮加させることが一般的である．しかし，本研究で使用する

しつつ言語モデルを使用した単語置換を行うデータ拡張手

ゲームレビュー文は，各ゲームに関する用語や登場人物等

法 Contextual Augmentation を提案し，精度の向上を確を置換してしまうと本来のゲームに関するレビューです

認した．しかし，これらのデータ拡張手法ではそれ以外のらなくなってしまい，推定精度を一方的に下げてしまうノ

コーパスではあまり見られないゲーム用語に影響を与え，イズとなってしまう恐れがある．そこで，本研究では拡張

ゲームレビューデータという属性を変更してしまう恐れがデータの生成に大規模言語モデルである ChatGPT を使用ある．また，拡張手法に ChatGPT を使用した研究はまだする．ChatGPT とは，OpenAI 社の AI サービスの１つ

数少なく，議論の余地がある．

である．その特徴として，まるで人と対話するように応答

Nakamuta らと同様のデータセットを用いてアスペクト

することができる点，人間から見ても非常に自然な文を生推定の後段タスクに取り組んでいる研究は複数存在してい成することができる点が挙げられる．また，文章生成モデ

る．Takeo ら [11] はデータ中のアスペクト情報を使用し，ルを用いた拡張データの有効性を示す研究も示されてい各アスペクトの評価値推定を行った．Tadano ら [12] はク

る [3]．しかし，ChatGPT システム内部に存在する言語モ

ラスタリング手法を用いて複数アスペクトの要素を含む要

デル GPT-3.5 や GPT-4.0 の詳細な性能は公開されていな約文生成を行った．アスペクト推定の精度を向上させるこい．そのため，研究分野における実用性について，様々なとで，これらの後段タスクにおいてアスペクト情報を活用研究が盛んに行われている [4] [5]．本研究では ChatGPTすることが容易となる．

をゲームレビューデータにおける拡張データ生成に使用す

ChatGPT の推定モデルや生成手法としての有効性を検ることで，推定精度に与える変化や実際に生成された文章証する研究は，徐々に増加している．Tang ら [13] は金融ドc 2023 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report

ԓԪՋԠԹ
⼨ੇદ

熱中度
B



ᓎ㊕ӈ
D



難易度
E



ԡ՚ՆԔԴԠ

㛆ᬺԛ՛ԩԻ՛ԷԔ

H

N

P







満足度
T



表 1

各アスペクトラベルが付与されているデータ数．

Table 1 Number of data instances with each aspect label.

・T E初心者〜上級者まで楽しめるѶ

アスペクト名・T঩ӱӚӡԤխԪҿҵӾӡӢҹӿӊҷѶ

熱中度

429

快適さ

354

難易度

353

グラフィック229

T঩ӱӚӡՏ՛ԛԜխԹӡॅӚढ∺ӓӛᓰҹѶ
良い所 ・・PԜխԹӡ┯㜓ҿႜҷѶ・ワイファイをやっているとき、突然電源を切る人が多い。
・Dここは消しても通信切断ではなくѵ$16ҿӚәӀәӂӿӿӣӻҾӖӒᕑҷᙫ ・あと、ワイファイでは直線ドリフトが多すぎ
・直線ではドリフトなしのほうがよかったと思う。
ҷҷᙫӚӵҷҷӱӊӒҿT঩ӱӚӡՏ՛ԛԜխԹӡॅӚढ∺ӓӛᓰҹѶᖦᖁӝӜ ただ、直ドリを改善すればもっと良い作品が出来たと思う。
ᰶ༷ਐӞӌӇӂᦒᒇӊӱӌѶ

図 2

実際のレビュー例．

データ数

音楽

258

オリジナリティ

2339

満足度

2252

合計

4719

Fig. 2 Example of actual review.

メインの感情分析タスクにおいて，ChatGPT を含むいく

ついて言及している場合は，その全てのアスペクトに対しつかの推定モデルの精度を検証した．その結果 Zero-shot，てラベル付けが行われている．本研究ではこれらアスペク

Few-shot 設定における ChatGPT の推定精度は BERT を

トラベルが付与されている文章のみを使用する．具体的に下回ることが示されている．Piedboeuf ら [14] は多クラス

は，タグで囲まれている部分を抜き出して使用する．そのの文書分類タスクに対して，元データに ChatGPT によっため，実験で使用するレビュー文は全部で 4719 文となる．

て生成された拡張データを追加し，推定精度の変化を検証

アスペクトラベルの付与は文単位で行われており，本研究した．Cegin ら [15] は多クラスの文書分類タスクに対して，

ではそれらを正解ラベルとして用いる．アスペクトラベル

複数のデータ拡張手法に対して ChatGPT など複数の大規は評価値と同様に 7 種類存在している．それぞれアスペク

模言語モデルを使用し，推定精度の変化を検証した．これ

トラベルが付与されているデータ数を表 1 に示す．前述のらの研究は本研究と同様に多クラス分類タスクにおける通り 1 文に複数のアスペクトラベルが付与されている場合

ChatGPT の拡張データの有効性を検証している．しかし，もあるため，アスペクトごとのデータ数の合計が全データ

ゲームレビューという特異性の高いドメインのデータセッ

数と等しくならないことに注意が必要である．

トに対しての ChatGPT の有効性は検証できていない．

3. データセット

4. アスペクト推定
本節では，アスペクト推定に使用する機械学習モデル及本研究では，Nakamuta らが使用したものと同様のゲー

び，拡張データを使用しない状態でのアスペクト推定実験

ムレビューデータセットを使用する．本データセットはの設定及び結果について述べる．4.1 項では，本研究で使Nakamuta らにより Web サイト*1 から収集されたデータ用するアスペクト推定のフレームワークと機械学習モデル

である．Web サイトには任天堂のゲーム機であるニンテについて述べる．4.2 項では，アスペクト推定実験の実験

ンドー DS を対象に発売されたゲームソフトへのレビュー

設定について述べる．4.3 項では，アスペクト推定実験のが投稿されている．図 2 に，実際のレビューの例を示す．

結果について述べる．

1 つの投稿につき 1 つのゲームソフトへのレビューが投稿されており，上部のアスペクトごとの評価値欄と，ゲームの感想を記述する記述欄に分かれている．記述欄には各ア

4.1 推定モデル
図 3 にアスペクト推定のフレームワークを示す．本研究

スペクトの評価値を裏付けるための良かった点や悪い点なでは，Nakamuta らの先行研究に倣い，与えられたレビュー

どが記されている．本研究では，これら記述欄のみを使用

文に対し各アスペクトの内容が含まれているか否かを判定

し，文単位のアスペクト推定を行う．また，今回のアスペ

する 2 値分類器を実装する．このとき，各アスペクトの推クト推定ではあくまで文中のアスペクトに関する記述を抜定モデルは独立しており，パラメータの共有等は一切行わ

き出すことが目的であり，内容が良い評価であるか悪い評

ない．以下の項では，図 3 中の 2 値分類器に用いられる言価であるかという違いは影響しないため，それらの区別は語モデルについて説明する．

しないものとする．

4.1.1 SVM

図 2 のように，本データセットには記述欄の文章に対しNakamuta らの研究においてアスペクト推定に用いられて，どのアスペクトに対する記述であるかを示すためのア

た SVM (Support Vector Machine) を再現して実装する．

スペクトラベルがタグ形式で人手によって付与されてい入力文をベクトル化する際に用いる素性は Nakamuta らにる．図 2 の 1 文目のように，1 文中で複数のアスペクトにならい，条件付き BoW (Bag of Words) とする．素性の条*1

件付き BoW を表した式を式 1 に示す．

http://ndsmk2.net

c 2023 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical Report

熱中度モデルᓎ㊕ӈՓԸ՜
難易度モデルԡ՚ՆԔԴԠՓԸ՜
㛆ᬺՓԸ՜ԛ՛ԩԻ՛ԷԔՓԸ՜
満足度モデル՝ՄՖխᡭ

図 3

PS
PS
PS
PS
PS
 PS
 PS

アスペクト推定モデルのフレームワーク．

5

(2)

ここで，numij はアスペクト i における単語 wj の頻度を表し sent (aspi ) はアスペクト i ラベルが付与された文章の数を表す．各アスペクトの総データ数は異なるため，正規化のために sent (aspi ) が用いられる．これら wi の語
彙は訓練データ中の単語によって作成され，テストデータ
においては訓練時に作成された語彙を使用する．また，素

5

㮷㮷㮷

5

㮷㮷㮷
㮷㮷㮷

ӊӒ

5SBOTGPSNFS㮷㮷㮷

5SBOTGPSNFS
ҿ

ᣘଚ
図 4

を表す．値 V al を求める式を式 2 に示す．

numij
sent (aspi )

5

(1)

ここで，wji は単語 wj のアスペクト i における値 V al

V al (aspi , wj ) =

$

<$-4>

Fig. 3 Framework of aspect estimation model.
acsf = {w1a , w2a , ..., wna, w1c , ..., wnc, ..., w1s , ..., wns}

PS

➗㨺

BERT による処理の流れ．
Fig. 4 BERT.

Ո՞դՈԹᡭ

ҵӝӒӢԣխՑ՝ՄՖխӡ⼨ੇ㛓⍋ఈ㜓໮Ӛӌ㮷"_&ӡએӡ՝ՄՖխӞቊӊ᛭ᇽӈӿӒ⼨ੇ㛓⍋Ӟ㕕ӌӾ⻩൓ҿගӱӿәҷӒӼගӱӿәҷӝҷဋඃӢԅӐӿӑӿ㈤ӊәӂӓӈҷ㮷
以下はその例．
命令文 ᛭ᇽ⼨ੇ㛓⍋㯃ԡ՚ՆԔԴԠ
՝ՄՖխᡭ㯃
" ԡ՚ՆԔԴԠҿ⡷ӊӂәᴨ஋ᖦҿҵӾ༷◶㯃" " %4ӛӊәԡ՚ՆԔԴԠҿ➗㨺԰խԣԴԹ # ԤխԪҿՁ՚ԙԷԔӞሣԆӚҷӾǟᡭ& 画像がとても綺麗で見やすい
図 5$IBU(15

" 
# 
ǟ
& 

ChatGPT によるアスペクト推定の流れ図．

Fig. 5 Flowchart of aspect estimation with ChatGPT.

性に含まれる語彙の品詞は名詞，形容詞，動詞のみとする．

4.1.2 BERTを検証するために，ChatGPT によるアスペクト推定を実図 4 に BERT の処理の流れを示す．BERT (Bidirectional

装する．ChatGPT によるアスペクト推定には OpenAI 社

Encoder Representations from Transformers) は，Googleが提供する API を使用し，そのモデルは GPT-3.5-turbo

社によって開発された事前学習済み言語モデルである．12とする．ChatGPT によるアスペクト推定の流れを図 5 に層の Transformer によって構成されており，文章の先頭の示す．API を利用する際には ChatGPT に対して入力とな

特殊トークン [CLS] を使用して 2 値分類を行う．事前に大るプロンプト文が必要となる．プロンプト文の内容は図 5規模コーパスによって訓練されているため，文章中の汎用に示すようにタスクの説明となる命令文と推測を行うター

的言語特徴をタスク適応前に捉えることができる．また，ゲット文からなる．命令文はタスクの説明部分と出力形式

文脈情報を捉えた推測を行えることも BERT の特徴としを誘導するための実例部分に分かれる．タスクの説明部分て知られている．BERT は事前学習の後ファインチュー

はいずれのアスペクトについてもほぼ同様の文を使用す

ニングと呼ばれる適応学習を行うことによって特定のタるために，図 5 に赤字で示されているアスペクト名のみ

スクに適応させることができる．ファインチューニングのを変更して各アスペクトの推定を行うよう指示する．実例

際には大規模なデータセットを必要とせず，小規模なデー

部分は実データの中から 1 文とその文中にアスペクトがタセットであっても高精度な推定が行えることが知られ存在しているかを示すラベル（1 もしくは 0）をペアとしている．Nakamuta らの研究において，幾つかのアスペクて与える．ターゲット文は 5 文単位でテストデータからトデータが少量であったためにアスペクト推定精度が不抜き出され，ChatGPT に与えられる．ターゲット文と命十分であったことが示唆されている．そのため，本研究で令文の実例部分は同じ文が与えられないようになっていは Nakamuta らと同量の訓練データ量であってもより高いる．ChatGPT が生成する文章のランダム性を設定するパ推定精度であることを期待する．本研究では東北大学が提ラメータ Temperature は 0 に設定する．

供している日本語用事前学習済み BERT モデル*2 を使用
する．

4.1.3 ChatGPT
生成 AI である ChatGPT の推定モデルとしての有効性*2

https://huggingface.co/cl-tohoku/bert-base-japanesewhole-word-maskingc 2023 Information Processing Society of Japan
⃝4.2 実験設定
アスペクト推定実験を行う際，Nakamuta らの実験に倣
い，訓練データ中のアスペクトデータ数の偏りによって不十分な訓練が行われないようにするため，訓練データに対してデータ数の調整を行う．訓練データに使用するデータ

4情報処理学会研究報告
IPSJ SIG Technical Report
表 2

熱中度

アスペクトのデータ調整結果．
熱中度

Table 2 Adjustment results of
元データ数

表 3

aspect data.

アスペクト推定実験結果．

Table 3 Results of aspect classiﬁcation.

調整後データ数

SVM

BERT

ChatGPT

熱中度

429

429

熱中度

0.772

0.901

0.688

快適さ

354

26

快適さ

0.874

0.895

0.659

難易度

353

26

難易度

0.903

0.926

0.753

グラフィック229

17

グラフィック

0.931

0.963

0.832

音楽

258

19

音楽

0.926

0.947

0.792

オリジナリティ

2339

173

オリジナリティ

0.829

0.874

0.633

満足度

2252

166

満足度

0.787

0.834

0.660

427

数 uses を求める式を式 3 に示す．

reals (aspi )uses (aspi , aspj ) = reads (aspj )×(3)
alls − reals (aspi )reals (aspi ) はアスペクト aspj の文の数、alls は全デー
タ数 4719 文である．式 3 をアスペクト

熱中度

に適応

した場合を表 2 に示す．アスペクト 熱中度 のデータ数

429 文に合わせてそれ以外のアスペクトのデータ数の合計

Ո՞դՈԹᡭ
ҵӝӒӢԣխՑӡ՝ՄՖխᡭԅᯋ᪨ᇓ⢟∅ӞᛘᑇӊӝӄӿӣӝӽӱӎԆ㮷՗խԧխҾӼयһӼӿӾԣխՑ԰ԕԹ՜ӡ㛆ᬺӞ㕕ӌӾ՝ՄՖխԅசਇ⌁ӝԣխՑதӡഅ⽟ӝӜӛӛӵӞ個出力してください．
ӐӡҹӔએӢ⤩ᇽ⌁ӝதሖ㮵᱿ӽએӢ඗ᇽ⌁ӝதሖӞӊәӂӓӈҷ㮷ӗӡᡭӢ〜文字程度に収めてください．
出力はDTW形式で行ってください．
入力：㯅ԣխՑ԰ԕԹ՜㯇が 427 文となる．

SVM のカーネルは RBF カーネルを使用する．BERT の学習率は 0.00001，epoch 数は 5，バッチサイズは 16 を使用する．評価指標は F1 値を使用する．実験の際には 10 分

図 6

$IBU(15 ԦԠԦԠӛӊӒ՛ԫՑҿᬺӊҷ㮪 ՝խԪॅӡ#(.ҿ⁀ᓎӚԷդԨ՘դҿफҿӾ㮷ǟ ՝խԪॅӡ#(.ҿഅ⽸Ӛ㝔Ӏәӊӱҹ㮷

ChatGPT による拡張データ生成の流れ図．

Fig. 6 Flowchart of augmented data generation with ChatGPT.

割交差検証を行い，その平均値を評価値とする．データのでは実験設定について述べる．5.3 項では拡張データを追分割は SVM においては訓練 : テスト = 9 : 1 とし，BERT

加したアスペクト推定実験の結果とその考察を述べる．

においては訓練 : 検証 : テスト = 8 : 1 : 1 とする．

5.1 提案手法
図 6 に，ChatGPT を使用した拡張データ生成の流れを4.3 実験結果
表 3 にアスペクト推定実験の結果を示す．全てのアスペ示す．ChatGPT への入力としてプロンプトを使用し，生クトにおいて，BERT が最も精度が高く，ChatGPT が最成するべきデータの設定や出力形式を指定する．拡張デー

も精度が低い結果となった．全モデルに共通する特徴としタの多様性を担保するために，生成させる 10 文のうち肯定は精度が高くなる傾向が的な文と否定的な文が 5 文ずつとなるように指定する．1

あった．これらのアスペクトでは，そのアスペクト内容をリクエストごとにゲームタイトルを 1 種指定し，1 文 20〜

表す特徴的な語彙（アスペクト語）が少なく，推定がしや

30 文字程度の拡張データを 10 文生成させる．ゲームタイすかったためであると考えられる．また，全モデルにおい

トルは，元データ中に含まれているゲームタイトルの中かて オリジナリティ と 満足度 に対しては精度が下がら 10 個にしぼり，各ゲームタイトルに対し 10 文ずつ拡張る傾向が見られた．これらのアスペクトは，前述の グラ

データ生成を行う．このようにして 100 文の拡張データをフィック 等と比べ内容の抽象度が高く，推定難易度の高

生成した時点で 1 サイクルとする．図 6 のプロンプト中にいアスペクトであったと考えられる．さらに抽象度が高い

赤字で示されているアスペクト名のみを切り替えてこのサ

アスペクトではレビュー記述者ごとに用いる単語が異なイクルを n 回実行し，拡張データをアスペクトごとに同数る．その結果，推定のための有効な語彙が広範となり，素生成する．生成の際には OpenAI 社の提供する API を使性に BoW を使用している SVM において 熱中度 や 満

用し，モデルは GPT-3.5-turbo を使用する．GPT が生成て， グラフィック

足度

と

音楽

の精度は下がる傾向にあったと考えられる．

5. データ拡張
本研究では，Nakamuta らの先行研究によって言及されする文章のランダム性を指定するパラメータ Temperature
は 1.0 に設定する．

5.2 実験設定たアスペクトデータの不足を補うために，ChatGPT によっ使用する推定モデルは，4.3 項にて最も精度の高かったて生成した拡張データを追加する．本節では，その手法とBERT に絞り拡張データを追加し，精度の変化を検証する．

実験結果及び考察について述べる．5.1 項では ChatGPTBERT のパラメータは 4.3 項と同じく，学習率 0.00001，を利用した拡張データ生成の手法について述べる．5.2 項

バッチサイズ 16，epoch 数 5 で訓練したものを使用する．

c 2023 Information Processing Society of Japan⃝5

情報処理学会研究報告
IPSJ SIG Technical Report
表 4

200 文の拡張データを追加した場合の訓練データ中に占める拡

表 5＜少＞及び＜多＞設定における各アスペクト訓練データ中に張データの割合．

占める拡張データの割合．

Table 4 The proportion of augmented data in the training

Table 5 The proportion of augmented data in the training
data for each aspect setting of ＜少＞ and ＜多＞.

data when adding 200 sentences of augmented data.
訓練データ中の拡張データ割合

＜少＞

＜多＞

熱中度

6.0% (43 / 711)

26.0% (235 / 903)

快適さ

6.0% (36 / 593)

26.4% (200 / 757)

26.4% (200 / 755)

難易度

6.0% (36 / 591)

26.4% (200 / 755)

グラフィック

36.3% (200 / 550)

グラフィック

6.0% (23 / 373)

36.3% (200 / 550)

音楽

33.0% (200 / 606)

音楽

6.0% (26 / 432)

33.0% (200 / 606)

オリジナリティ

6.0% (200 / 3324)

オリジナリティ

6.0% (200 / 3324)

26.0% (1097 / 4221)

満足度

6.1% (200 / 3255)

満足度

6.1% (200 / 3255)

26.0% (1073 / 4128)

熱中度

23.0% (200 / 868)

快適さ26.4% (200 / 757)

難易度

ChatGPT によって生成した拡張データにはすべて正解ラベルを付与し，訓練データにのみ追加する．拡張データ生
成のサイクル数 n は n = 2 とし，アスペクトごとに 200

表 6

データ拡張実験結果．

Table 6 Results of aspect classiﬁcation with data augmentation.
拡張データ割合

文の拡張データを生成する．各アスペクトの訓練データに
アスペクト

0%

＜少＞

＜多＞

熱中度

0.901

0.888

0.875

快適さ

0.895

0.886

0.832

難易度

0.926

0.907

0.873

には偏りが存在している．ゆえに元データの少ない グラ

グラフィック

0.963

0.957

0.917

フィック では拡張データが訓練データ中の 36.4%を占め

音楽

0.947

0.954

0.946

るのに対し，元データの多いオリジナリティ

0.874

0.874

0.865

満足度

0.834

0.878

0.816

対しそれぞれ 200 文の拡張データを追加した場合の，訓練
データ中における拡張データの割合を表 4 に示す．しかし，3 節中の表 1 で示したように，アスペクトのデータ数

満足度

ではわずか 6%となる．そのため，200 文の拡張データを全アスペクトにおいて一様に追加してしまうと，元データ数の少ないアスペ
クトほど元データが少なくなり，適切な学習が行えない恐ChatGPT によって生成された拡張データ内に指定したアれがある．そこで，本研究では訓練データ中の拡張データ

スペクトに該当しないデータがどのアスペクトにおいても割合を＜少＞と＜多＞の 2 つの場合に分け，拡張データの見られた．このことから，ChatGPT によって生成される効果検証を行う．

拡張データは質が悪く，多量に追加することでアスペクト

各アスペクトにおける＜少＞と＜多＞それぞれの場合における訓練データ中の拡張データの割合を表 5 に示す．＜

推定に悪影響となることが考えられる．
熱中度について，拡張データ割合が増加するにつ少＞においては，表 4 の下限である オリジナリティ のれて推定精度が減少した．この傾向は 難易度 や グラ

6%付近に統一し，＜多＞においては，全アスペクトにおフィック など多くのアスペクトにおいて見られた傾向で

いて拡張データの割合が 25%以上となるように統一する．

ある．しかし，これらのアスペクトは拡張データ追加前か

表 4 においてこれらの条件に当てはまるアスペクトは 200

ら高い推定精度を示しており，少量であっても拡張データ

文のまま使用する．拡張データが不足しているアスペク

がノイズとなってしまったと考えられる．そのため，精度

トは ChatGPT を使用した拡張データを追加で生成したのの向上につながる拡張データを生成するために，プロンプ

ち，それらの中から無作為に抽出して割合を調節する．まトの改良や生成データの前処理の改善に取り組む必要があ

た，拡張データが過剰に存在しているアスペクトは 200 文る． 満足度 について，＜少＞では精度が向上したが，＜中から無作為に拡張データを抽出し，割合を調節する．＜

多＞では精度が大きく減少した．＜少＞では満足度という少＞及び＜多＞という 2 つの場合における精度の変化を確

抽象的なアスペクトを捉えるというタスクに，ChatGPT

認し，ChatGPT によって生成した拡張データの質や有効の生成した拡張データがデータの多様性に貢献したと考え性を検証する．評価値は F1 値を使用する．4.3 項と同様にられる．一方で，＜多＞では質の悪い拡張データによって10 交差検証を行い，その平均値を評価値とする．

ノイズとしての悪影響が大きくなり，精度が低下したのではないかと考えられる． 音楽 のように，ほぼ精度が変化

5.3 実験
拡張データを追加したアスペクト推定実験の結果を表6 に示す．拡張データが＜多＞の場合ではすべてのアス
ペクトにおいて推定精度が低下する結果となった．また，

c 2023 Information Processing Society of Japan⃝

しないアスペクトも見られた．

6. おわりに本研究では，ゲームレビュー文を対象とするアスペクト

6

情報処理学会研究報告
IPSJ SIG Technical Report

推定の精度向上を目的として推定モデルの変更と，拡張データの追加に取り組んだ．複数の推定モデルを使用した
アスペクト推定実験の結果から，事前学習済みモデルである BERT の有効性がすべてのアスペクトにおいて確認された．また，ChatGPT の推定結果から，SVM と同様に特徴的なアスペクト語が出現しやすい グラフィック などの推定は高精度である一方，アスペクトの粒度が広く広範なアスペクト語が出現する オリジナリティ などのアスペ[8]

クト推定は低精度であるという特徴が見られた．拡張デー
タ追加実験の結果から，ChatGPT によって生成された拡張データは多くのアスペクトにおいて悪影響を与えるノ[9]

イズとなってしまうことが確認された．その理由としては

ChatGPT によって生成される拡張データの内容が本来指定したアスペクトと異なっていることで，誤った正解デー
タとして訓練されている事が考えられる．
今後の課題として，ChatGPT 以外の大規模言語モデル[10]によって生成された拡張データを利用した場合の精度変化
や，ChatGPT による拡張データが精度向上に寄与できるアスペクトの特徴や要件の分析，またはプロンプトの改良などが挙げられる．

[11]

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

Takuto Nakamuta and Kazutaka Shimada. Multi-aspects
rating prediction using aspect words and sentences. In
Proceedings of the 29th Paciﬁc Asia Conference on
Language, Information and Computation, pp. 513–521,
2015.
Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Longand Short Papers), pp. 4171–4186, 2019.
An Wang, Junfeng Jiang, Youmi Ma, Ao Liu, and Naoaki
Okazaki. Generative data augmentation for aspect sentiment quad prediction. In Proceedings of the 12th Joint
Conference on Lexical and Computational Semantics(*SEM 2023), pp. 128–140, 2023.
Md Tahmid Rahman Laskar, M Saiful Bari, Mizanur
Rahman, Md Amran Hossen Bhuiyan, Shafiq Joty, andJimmy Huang. A systematic study and comprehensive
evaluation of ChatGPT on benchmark datasets. In Findings of the Association for Computational Linguistics:
ACL 2023, pp. 431–469, 2023.
Bartlomiej Koptyra, Anh Ngo, Lukasz Radliński, andJan Kocoń. Clarin-emo: Training emotion recognition
models using human annotation and chatgpt. In Computational Science – ICCS 2023: 23rd International
Conference, Prague, Czech Republic, July 3–5, 2023,
Proceedings, Part I, p. 365–379, 2023.
Jian Liu, Zhiyang Teng, Leyang Cui, Hanmeng Liu, and
Yue Zhang. Solving aspect category sentiment analysis
as a text generation task. In Proceedings of the 2021
Conference on Empirical Methods in Natural Language
Processing, pp. 4406–4416, November 2021.
Maria Pontiki, Dimitris Galanis, Haris Papageorgiou,

c 2023 Information Processing Society of Japan
⃝

[12]

[13]

[14]

[15]

Ion Androutsopoulos, Suresh Manandhar, Mohammad
AL-Smadi, Mahmoud Al-Ayyoub, Yanyan Zhao, Bing
Qin, Orphée De Clercq, Véronique Hoste, Marianna
Apidianaki, Xavier Tannier, Natalia Loukachevitch, Evgeniy Kotelnikov, Nuria Bel, Salud Marı́a Jiménez-Zafra,
and Gülşen Eryiğit. SemEval-2016 task 5: Aspect based
sentiment analysis. In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval2016), pp. 19–30, 2016.
Macedo Maia, Siegfried Handschuh, André Freitas, Brian
Davis, Ross McDermott, Manel Zarrouk, and Alexandra Balahur. Www’18 open challenge: Financial opinion
mining and question answering. p. 1941–1942, 2018.
Jason Wei and Kai Zou. Eda: Easy data augmentation
techniques for boosting performance on text classification tasks. In Proceedings of the 2019 Conference on
Empirical Methods in Natural Language Processing andthe 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6382–6388,
2019.
Sosuke Kobayashi. Contextual augmentation: Data augmentation by words with paradigmatic relations. In Proceedings of the 2018 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short
Papers), pp. 452–457, 2018.
Masaki Takeo, Shinnosuke Kawasaki, and Kazutaka Shimada. Rating prediction of multi-aspect reviews using simultaneous learning. In 2023 International Conference
on Asian Language Processing (IALP), pp. 358–363,
2023.
Ryosuke Tadano, Kazutaka Shimada, and Tsutomu
Endo. Multi-aspects review summarization based on
identification of important opinions and their similarity.
In Proceedings of the 24th Paciﬁc Asia conference on
language, information and computation, pp. 685–692,
2010.
Yixuan Tang, Yi Yang, Allen Huang, Andy Tam, andJustin Tang. FinEntity: Entity-level sentiment classification for financial texts. In Proceedings of the 2023
Conference on Empirical Methods in Natural Language
Processing, pp. 15465–15471, 2023.
Frédéric Piedboeuf and Philippe Langlais. Is ChatGPT
the ultimate data augmentation algorithm? In Findings of the Association for Computational Linguistics:
EMNLP 2023, pp. 15606–15615, 2023.
Jan Cegin, Branislav Pecher, Jakub Simko, Ivan Srba,
Maria Bielikova, and Peter Brusilovsky. Effects of diversity incentives on sample diversity and downstream
model performance in llm-based text augmentation.
arXiv preprint arXiv:2401.06643, 2024.

7