一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
社団法人 電子情報通信学会
INFORMATIONAND COMMUNICATION ENGINEERS

信学技報
IEICE Technical Report
NLC2022-3(2022-07)

信学技報
TECHNICAL REPORT OF IEICE.

THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

機械学習モデルを使用した Kyutech コーパスのトピック分類
川嵜慎乃介†

嶋田 和孝††† 九州工業大学 大学院情報工学府 情報創成工学専攻 〒820-8502 福岡県飯塚市川津 680-4†† 九州工業大学 大学院情報工学研究院 知能情報工学研究系 〒820-8502 福岡県飯塚市川津 680-4
E-mail: †kawasaki.shinnosuke933@mail.kyutech.jp, ††shimada@ai.kyutech.ac.jp
あらまし

複数人議論を行う際，議事録は決定事項の記録や非参加者への情報共有のために必要不可欠である．議論の自動議事録生成のためには，議論の文脈に沿った話題（トピック）を捉えることが第一に必要である．そこで，本研究では発話単位のトピック分類に取り組む．データセットには複数人議論コーパスである Kyutech コーパスを使用する．Kyutech コーパスでは 1 発話に複数のトピックタグが付与されている場合がある．したがって，トピック分類
では，そのうち一つを正しく推定する多値分類と全てのタグを正しく推定するマルチラベル分類の 2 種類の問題を取り扱う．複数の機械学習技術を適用し，その有効性を比較，検証する．
キーワード

トピック分類，マルチラベル分類，機械学習，議論マイニング

Topic Classiﬁcation of Kyutech Corpus by Machine Learning
Shinnosuke KAWASAKI† and Kazutaka SHIMADA††† Department of Creative Informatics, Kyushu Institute of Technology
680-4 Kawazu, Iizuka, Fukuoka 820-8502, JAPAN†† Department of Artiﬁcial Intelligence, Kyushu Institute of Technology
680-4 Kawazu, Iizuka, Fukuoka 820-8502, JAPANE-mail: †kawasaki.shinnosuke933@mail.kyutech.jp, ††shimada@ai.kyutech.ac.jp
Abstract Discussion summarization is one of the most important tasks for discussion analysis. Utterances in a discussion
contains several topics, and the topics have an important role for the summarization. In this paper, we report a topic classiﬁcation task of utterances in a multi-party discussion corpus: Kyutech corpus. In the corpus, each utterance contains one to three
topic tags. We compare several machine learning methods for the topic tag classiﬁcation task.
Key words Topic classiﬁcation, Multi-label classiﬁcation, Machine learning, Argument mining

1. は じ め に

要約生成を行っている．このような自動要約生成を行うには，各発話がどのトピックに該当するかというタグ付けが必要であ

社会生活を送るうえで，組織内の意思決定や意見交換を目的

る．Nakayama らの場合，人手によって付与されたトピックタとした複数人による議論を行う機会は多い．また，議論に直接グを使用した自動要約生成を行っている．しかし，議事録生成

参加していない人が議論の内容を理解するためには議事録が必の自動化のためには，要約の前処理となるトピックのタグ付け要である．議事録を見直すことで議論の内容や決定事項などをも自動的に行われるべきである．

いつでも把握することができる．しかし，人手による議事録作

そこで，本研究では Kyutech コーパスを対象とした発話単位

成では，理解のしやすさが製作者の能力によって大きく左右さ

でのトピック分類に取り組む．Kyutech コーパスには，人手にれてしまうという問題に加え，理解しやすい議事録の作成にはよるアノテーションによって 1 発話につき最低 1 つ，最大 3 つ

時間がかかってしまうという問題も存在する．そのため，シスのトピックタグが付与されている．しかし，それらの中には前テムによる議事録の自動作成が望ましい．

後の発話を参考に付与されたトピックタグが存在する．そのた議論では文脈に沿って様々なトピックが話されるため，議論め，発話単位でのトピックタグの推測はたとえ人間であっても中の発話を分析し，各トピックごとにまとめ上げることで，議困難なタスクである．一方で，複数個のトピックタグのうち少事録を読む時間を短縮することができる．実際に，Nakayama

なくとも 1 つのトピックタグを正しく推定することができれば，ら [1] は，Kyutech コーパス [2] を対象に各トピックごとの自動各発話をいずれかのトピックの要約生成に使用することができ- 13 —1—
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2022 by IEICE

る．そこで，多値分類手法によるトピック分類実験を行い，そ表 1 Kyutech コーパスのデータ例の精度を検証する．しかし，本来は複数のトピックタグすべて

ID

必須

サブ 1 サブ 2

発話文

A

CandX

そうやねー

A

CandX

まあ他の他の比較点とかはないかな

D

CandX

Price

D

CandX

Price
...

...

CandX

...

...

...

D

...

...

...

を正しく推定して適切なトピックの要約生成に使用することがラーメン望ましい．そこで，各発話に含まれるすべてのトピックタグを推定するマルチラベル分類手法によるトピック分類実験についラーメンのかいぶつだけは今のところても同様に行い，その精度も検証する．また，これらの実験の際には複数の機械学習モデルを使用し，各モデルの有効性を検
証する．

高校生に
学割がある

2. 関 連 研 究

(笑)
...

...

トピック分類タスクにおいては，これまでに数多くの研究が行われている．Bharath ら [3] は，Twitter 上のツイートデータを対象とするトピック分類を SVM を用いて行った．彼らは研究の中で企業アカウントや個人アカウントといったアカウントの属性によって使われる語彙に差異がみられることに着目し，特徴量を新たに定義することで高精度なトピック分類を可能にしている．Xu ら [4] は，ニュース記事データセットをはじめ 4 つのデータセットを対象にトピック分類を行い，SVM や k-NN，
ナイーブベイズ分類器，およびランダムフォレスト法などの分類モデルの比較検証を行った．このように，機械学習モデルを用いてトピック分類を行っている研究が多数存在している．しかし，これらの研究の大半は書き言葉がベースのデータセットを対象としている．Kyutech コーパスは議論中の発話を転記して作成されたコーパスであるため，これらの分類モデルが同様に Kyutech コーパスにおいても有効であるか定かではない．そこで，本研究では複数の分類モデルを使用して，精度の比較検証を行う．
議論コーパスを対象にトピック分類を行うことで，議論の事
後分析に役立てるための研究は複数存在する．森崎ら [5] は単語の TF-IDF 値や共起頻度に基づいてトピックの定義，分類を行うことで発話単位での討議の分析を行った．Maria ら [6] はワクチン接種に関する議論を対象に教師なし機械学習モデル

LDA [7] によるトピック分類を行うことで医療分野での議論分
析に役立てた．しかし，これらの研究はルールベースに基づいたトピック分類もしくは教師なし機械学習モデルによるトピッ
ク分類を行っている．一方，本研究では教師あり機械学習モデ
ルを使用することでより精度の高い議論データのトピック分類を行うことが期待できる．

モールの経営陣と仮定して議論を行う．議論のテーマはフードコートに参入させるのにふさわしい飲食店を候補店 3 つの中から 1 つ選ぶ，というものである．候補店や既存店にはそれぞれ
メニュー例，予算，座席数，営業時間，口コミなどの情報が設定されており，議論の参加者はそれらをまとめた資料を事前に手渡される．参加者はそれらの資料を 10 分間黙読した後，20分の議論を行う．対話データは参加者や飲食店の組み合わせなどを変えて全 9 種類存在する．

Kyutech コーパスには転記する発話単位が異なる 2 種類のデータ（転記単位と長い発話単位）が存在するが，本研究では長い発話単位のデータのみを対象に分類実験を行う．発話デー
タの一部を表 1 に示す．各発話文には人手によるアノテーショ
ンによって，話者 ID，発話の開始時間，発話の終了時間，ト
ピックタグ，談話行為タグが付与されている．なお，表 1 では
話者 ID，トピックタグ，発話内容以外の情報は省いている．ト
ピックタグの全てとその説明を表 2 に示す．
表 1 のように，各発話には必須タグとサブタグという 2 種類のトピックタグが付与されている．必須タグはアノテーションの際に前後の文脈を見た後，その文脈に即して付与されている．
そのため，発話単位でトピック分類を行う本研究において，必須タグのみを正解とした場合，たとえ人間であっても非常に困
難なタスクとなってしまう．例として，表 1 の「高校生に学割がある」という発話は，前文脈から同じ候補店についての話が続いているため必須タグは CandX となり，サブタグは Price となる．しかし，この発話のみを見た場合，単語から Price の推定は可能であるが，CandX の推定は非常に困難である．このこ

3. データセットとを考慮し，分類実験において，分類モデルが推定したタグは

本節では，本研究で使用したデータセットについて説明する．

必須タグとサブタグを合わせた最大 3 種類のタグのうち 1 つでも一致していれば正しい結果であると評価する．

3. 1 節では Kyutech コーパスの概要について説明する．3. 2 節

3. 2 Kyutech コーパスの前処理

ではデータセットとして用いるために Kyutech コーパスに施した処理について説明する．

Kyutech コーパスはトピック分類のデータセットとして使用する際に，ノイズとなる発話文やデータのばらつきなどの問題

3. 1 Kyutech コーパス
本研究では，複数人議論コーパスとして Kyutech コーパス 1 をが存在する．本節ではそれらの問題点を解消するために行った処理について説明する．

使用する．Kyutech コーパスは 4 人 1 組で行われる議論の発話

3. 2. 1 発話文の整形を書き起こして作成されている．参加者は架空のショッピング

表 1 中にもみられるように，Kyutech コーパスの発話文の中には笑い声を表す「(笑)」や書き起こしの際に聞き取ることが（注 1）：http://www.pluto.ai.kyutech.ac.jp/~shimada/resources.html- 14 -—2—

表 2 トピックタグの種類

表 3 トピックタグごとのデータ数

トピックタグ

タグの説明

トピックタグ

データ数

トピックタグ

データ数

CandX

候補店 X についてのトピック

CandX

325

OtherMall

13

CandY

候補店 Y についてのトピック

CandY

364

Area

46

CnadZ

候補店 Z についてのトピック

CnadZ

393

Access21

CandS

複数の候補店に関連するトピック

CandS

107

Price

82

Exist1

既存店 1 についてのトピック

Exist1

8

Menu

24

Exist2

既存店 2 についてのトピック

Exist2

14

Atomos0

Exist3

既存店 3 についてのトピック

Exist3

28

Time

8

Exist4

既存店 4 についてのトピック

Exist4

81

Seat

49

Exist5

既存店 5 についてのトピック

Exist5

0

Sell

29

Exist6

既存店 6 についてのトピック

Exist645

Location

15

Exists

複数の既存店に関連するトピック

Exists22

People787

Closed

閉店したレストランについてのトピック

Closed98

Meeting

428

ClEx

既存店及び閉店した店の両方に関連したトピック

ClEx

8

Chat

97

Mall

ショッピングモール全体についてのトピック

Mall

20

Vague

8

OtherMall

他のショッピングモールについてのトピック

Area

地域や都市についてのトピック

Access

ショッピングモールへのアクセスについてのトピック

Price

価格に対するトピック

Menu

メニューに関するトピック

表 2 や表 3 からわかるように，Kyutech コーパスに付与されAtomos雰囲気に関するトピックている 28 種類のトピックタグは非常に細分化されている．しTime

営業時間などに関するトピック

かしながら，これらのタグには候補店や既存店など，ある程度Seat

座席数や回転率などに関するトピック

意味の似通っているタグが存在しており，それらは階層的に集

Sell

売上に関するトピック

約することが可能である．1 節で述べた Nakayama らの自動要

Location

お店の立地に関するトピック

約生成では，28 種類のトピックタグを利用した要約を生成しPeopleターゲットにする顧客についてのトピック

Meeting

議事提案や最終決定部に関するトピック

Chat

雑談 (議題には直接関係のない発話)

Vague

何を言っているか判別不可能な発話なってしまう場合がある．そのため，トピックタグごとのデー
タ数は可能な限り均一であることが望ましい．

ているが，本研究においてトピックタグの集約を行うことで，

Nakayama らが生成した要約とは異なる粒度の要約生成を選択することも可能になる．
そこで，本研究では 28 種類のトピックタグを 8 種類に集約する処理を行う．表 4 に集約前後のトピックタグの対応関係を示できなかった発話を表す「(?)」のような発話としての情報を持たないものが存在する．本研究では Kyutech コーパスからそのような発話を除く処理を行う．その結果，全発話から計 172 発話のデータが削除された．それに伴い，データ数は全 3120 発話となった．

す．表 5 に集約後における必須タグのトピックタグごとのデータ数を示す．集約によって，たとえば，高々数個から数十個のタグしか持ち得なかった Exist1〜Exist6 が Exist として 304 事例で構成されるようになり，集約前と比較して，トピックタグ
ごとのデータ数のばらつきが小さくなっている．このトピック

Kyutech コーパスはその議題の設定から，候補店や既存店の名前には架空の店名が付けられている（表 1 中の「かいぶつ」

タグのアンバランスさの解消は，分類モデルの分類精度の向上にも貢献すると考えられる．

など）．この架空店名は対話データごとに異なるものが定義さ4. 分類モデル

れており，架空店名から得られる情報はトピックの推定には貢献しない．

本節では分類モデルおよび使用する素性について説明する．

そこで，本研究では架空の店名は全て記号に置換して一般化する．例として，表 1 中の「ラーメンのかいぶつだけは今のところ」という発話文中の架空店名「かいぶつ」を一般化した場
合は「ラーメンの候補店 X だけは今のところ」となる．

本研究では各発話につき最低 1 つのトピックタグを推定するために多値分類実験と発話に付与された全てのトピックタグを推定するマルチラベル分類実験の 2 つを扱う．4. 1 節では，多値分類を行う際に用いる分類モデルと素性について説明する．

3. 2. 2 トピックタグの集約

4. 2 節では，マルチラベル分類を行う際に用いる分類モデルと表 3 に Kyutech コーパスにおける必須タグのトピックタグ毎

素性について説明する．

のデータ数を示す．表 3 からわかるように，Kyutech コーパス

4. 1 多値分類モデルに付与されている 28 種類のトピックタグにはタグごとのデー

本節では，多値分類実験で用いる分類モデルについて説明す

タ数の差異が大きいという特徴がある．このようなデータ数の偏りは分類モデルの学習や分類に悪影響をおよぼす．具体的には，データ数の多いトピックタグばかりを選択するモデルとる．4. 1. 1 節では，自然言語処理分野では古くから一般的な素性である Bag-of-Words を使用する分類モデルについて説明する．4. 1. 2 節では，近年の自然言語処理分野で頻繁に用いられ- 15 -—3—

表 4 トピックタグの集約前後の対応関係

䝖䝢䝑䜽䝍䜾

集約後のトピックタグ 集約前のトピックタグ

CandXከ್ศ㢮䝰䝕䝹

CandY

Cand

CandZ

ĂŐͲŽĨͲtŽƌĚƐCandS
Exist1sĞĐƚŽƌŝǌĞƌ

Exist2
Exist3DĞĂď

Exist4
Exist

Exist5Ⓨヰᩥ ࢁ࢔

Exist6
Exists

図 1 Bag-of-Words 利用モデルによるトピック分類

ClosedClEx

詞の単語はすべて除外する．形態素解析には MeCab2 を使用すMallRegionる．素性に Bag-of-Words に使用するモデルを以下に示す．

OtherMall•Area

SVM 𝐵𝑜𝑊 ：Support Vector Machines は深層学習以前によAccessく利用された機械学習モデルである．マージン最大化戦略に基Price

づき，正例と負例を分離する分離超平面を構築する．

Menu

•

Atmos
Info

NB：Naive Bayes 分類器はベイズの定理に基づく確率分類器である．

Time

•

Seat

𝑘-NN：𝑘 近傍法（Nearest Neighbor）は与えられた特徴ベ

Sell

クトルを特徴空間にマッピングし，もっとも距離の近いデータ

Location𝑘 個のラベルから多数決を行いラベルを推定する分類モデルでPeoplePeopleある．

Meeting

Meeting

•

Chat

Chat

ベル推定を行った後，その推定ラベルで多数決を行い，1 つの

Vague

Vague

ラベルを決定する分類モデルである．

RF：Random Forest 分類器は，複数の決定木で個別にラ4. 1. 2 BERT

表 5 集約後におけるトピックタグごとのデータ数

BERT [8] は，事前学習モデルの一つである．事前学習モデ

トピックタグ

長い発話単位

Cand

1189

Exist

304

用的な意味表現を学習する．その後，目的とするタスクのデー

Region100

タセットでファインチューニングすることで様々なタスクに適

Info

207

応可能な汎用言語モデルである．事前学習で大規模コーパスか

ルとは，大規模言語コーパスで事前学習を行うことで単語の汎People787

ら単語の意味表現を学習しているため，タスクを問わず精度のMeeting428

高い分類を行うことが可能である．またその特徴から，小規模

Chat

97

データセットにおいても従来の機械学習モデルと同等もしくは

Vague

8

それ以上の分類精度を期待できるということが知られている．

Kyutech コーパスのデータ数はテキスト分類タスクにおいてはる汎用言語モデル BERT について説明する．4. 1. 3 節では，各

小規模の部類であるため，BERT の有効性を期待して採用する．

分類モデルの出力結果を利用した多層的な分類モデルについて

図 2 に本タスクにおける BERT による推論の流れを示す．各説明する．

発話はサブワード単位に分割され，トピックタグの推定に使用

4. 1. 1 Bag-of-Words を利用するモデル

される．本研究では東北大の乾研究室が公開している日本語用

図 1 に，本節で説明する分類モデルが行う処理の流れを示す．

事前学習済み BERT モデル 3 を Kyutech コーパスでトピック分

Bag-of-Words とは，文中に出現する単語の頻度を数え上げるこ類タスクへファインチューニングしたものを使用する．

とでベクトル化する手法である．具体的には，文書内の全単語

4. 1. 3 SVM 𝑀 𝑒𝑡 𝑎をリスト化し，各発話文中の各単語の頻度をカウントすること
で文書の語彙数と同じ次元数の特徴ベクトルを求める．

機械学習モデルでは，メタ学習という学習方法が用いられることがある．メタ学習とは，複数の機械学習モデルの学習結果

本研究では，単語の出現頻度など表層的特徴から発話文のト
ピックをとらえる目的で使用する．なお，ベクトル化する対象の単語は，名詞，動詞，形容詞の単語のみとし，それ以外の品（注 2）：http://taku910.github.io/mecab/（注 3）：https://github.com/cl-tohoku/bert-japanese- 16 -—4—

表6

䝖䝢䝑䜽䝍䜾
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000&

000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000


7000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
00000000000000000000000000000

000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
00000000000000000000000000000

000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
0000000000000000000000000000



7



000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
1000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
6(3000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
00000000000000000000000000000

000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000

7

7

͙

%(57
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000

000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000

000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000

000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
00000000000000000000000000000

000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
00000000000000000000000000000

000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
0000000000000000000000000000(&/6Ⓨヰᩥ ࢁ࢔

>&/6@

(

:

(

:



000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000

000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000

000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
00000000000000000000000000000

000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
000000000000000000000000000000000



(1

:1

(6(3

>6(3@

図 2 BERT によるトピック分類

多値分類結果分類モデル

Accracy

SVM 𝐵𝑜𝑊

0.551

NB

0.612

k-NN

0.494

RF

0.578

BERT

0.556

SVM 𝑀 𝑒𝑡 𝑎

0.522

生したマルチラベル分類器であり，基本的な処理は最も距離の近い 𝑘 個のデータを使用するという 𝑘-NN と同様である．

䝖䝢䝑䜽䝍䜾

•ࡹࢋ࢚ࢇ

ML-RF：Random Forest 分類器に基づき，各ラベルごとに複数の決定木を使用して多数決を行うことでマルチラベル分΀Ϭ͘ϯ͕Ϭ͘ϭ͕͕͘͘͘Ϭ͘ϱ΁΀Ϭ͘ϰ͕Ϭ͘ϭ͕͕͘͘͘Ϭ͘ϭ΁

類を行う．

΀Ϭ͘ϭ͕Ϭ͘ϯ͕͕͘͘͘Ϭ͘Ϯ΁͘͘͘•࡮࢕ࢃ

䝘䜲䞊䝤䝧䜲䝈ศ㢮ჾ͘͘͘ĂŐͲŽĨͲtŽƌĚƐ

ĂŐͲŽĨͲtŽƌĚƐ

͘͘͘

分類をするモデルを割り当てることでマルチラベル分類を行う

Zd手法である．本研究では SVM と NB をモデルとした BR𝑆𝑉 𝑀と BR 𝑁 𝐵 の 2 つを用いる．

Ⓨヰᩥ ࢔

5. 分 類 実 験

図 3 SVM 𝑀 𝑒𝑡 𝑎 によるトピック分類を利用し，さらに良いモデルを作る学習法である．その中の一つにスタッキングという手法がある．スタッキングでは，複数のベースモデルが学習用データを基に出力した推定値を入力として学習を行う．各ベースモデルの推定値を入力として学習す

本節では各分類実験の結果から精度の比較や考察を行う．なお，評価の際には全 9 対話のうちテストデータに用いる 1 対話と訓練データに用いる 8 対話の組み合わせを変えて 9 回分類実験を行い，その平均値を使用する．

5. 1 多値分類実験

ることで，それぞれのベースモデルの良い点を組み合わせた統合モデルが構築されることを期待する．
本研究では，4. 1. 1 節および 4. 1. 2 節で説明した各モデル（SVM 𝐵𝑜𝑊 ，NB，𝑘-NN，RF，BERT）をベースモデルとし，その結果を学習するメタ学習器を SVM とした SVM 𝑀 𝑒𝑡 𝑎 を用いる．図 3 に，SVM 𝑀 𝑒𝑡 𝑎 による推論の流れを示す．図 3 のように，各ベースモデルは 8 トピックそれぞれの尤度を数値に変換
し，8 つの値で構成されるベクトルを生成する．これを 1 つの特徴ベクトルとみなし，分類モデルの数だけ結合させることで

SVM 𝑀 𝑒𝑡 𝑎 の入力として取り扱う．すなわち，入力ベクトルの次元数は (8 次元のベクトル) × (ベースモデルの数 5) ＝ 40 次
元となる．

SVM 𝐵𝑜𝑊 はカーネルに Linear カーネルを使用し，正則化手
法は L2 正則化，正則化パラメータは 1.0 とした．ナイーブベイ
ズ分類器は多項分布モデルを使用した．k-NN の推論に使用する
近傍サンプル数は 5 とした．ランダムフォレスト分類器の推論に使用する決定木の数は 100 とする．BERT は学習率 0.0001，
エポック数 10，バッチサイズ 64 でファインチューニングしたものを使用する．SVM 𝑀 𝑒𝑡 𝑎 はカーネルに RBF カーネルを使用
し，正則化手法は L2 正則化，正則化パラメータは 1.0 とする．
表 6 に各モデルの Accuracy を示す．この実験では，最大 3つ付与されたトピックタグのうち 1 つが当たれば正解としているため，Precision と Recall の算出はできない．したがって，実験では Accuracy のみを示している．

4. 2 マルチラベル分類モデル
表 1 に示したように，本研究で用いる Kyutech コーパスにはトピックタグが同時に複数個付与されている発話が存在している．しかし，4. 1 節で示した多値分類モデルでは，1 つの発話につき 1 つのトピックしか推定できないため，完全な発話のト
ピック分類ができているとは言い難い．そのため，本来はマル
チラベル分類によって複数のトピックタグを同時に推定することが望ましい．
本節では，マルチラベル分類に使用する分類モデルと使用する素性について説明する．本研究では，素性を Bag-of-Words のみに統一し，マルチラベル分類を行う．本研究のマルチラベル
分類で使用する分類モデルを以下に示す．

•

BR𝑚𝑜𝑑𝑒𝑙：Binary Relevance 手法は，各ラベルごとに 2 値

ML-KNN：マルチラベル k 近傍法 [9] は， 𝑘-NN から派

最高精度は NB であった．最新の大規模事前学習モデルである BERT は，NB 以外にも RF に勝てておらず，SVM 𝐵𝑜𝑊 とも大きな差はない結果となった．BERT とそれ以外のモデルの違いは，BERT が単語の embedding を利用しているのに対し，それ以外のモデルが Bag-of-Words（つまり，単語の表層）を利用している点である．今回実験の対象としている Kyutech コーパスのような特殊な語彙を用いる小規模な対話データにおいては，
事前学習により得られた汎用的な知識を用いるモデルよりも単語の表層的特徴を利用するモデルの方が効果的である可能性が示唆される．追加実験として，各単語の word2vec のベクトルの総和を入力とした SVM 𝑤2𝑣 でも同様の実験を行った．結果として，SVM 𝐵𝑜𝑊 と比較して，精度は向上したが（0.591），本タ
スクでの Bag-of-Words による NB のほうが高精度であった．

- 17 -—5—

表 7 マルチラベル分類結果
分類モデル

Precision Recall

表 8 文脈情報を追加した分類結果

F1

Accuracy

ML-KNN

0.359

0.187

0.198

0.130

ML-RF

0.410

0.230

0.262

0.162

BR𝑆𝑉 𝑀

0.429

0.262

0.298

0.173

BR 𝑁 𝐵

0.446

0.272

0.307

0.193

実験対象
シングル
マルチ

分類モデル

操作なし

NB

0.612

BERT

0.556

BR 𝑁 𝐵

0.193+Addition +Concatenation
0.639

0.632

0.578(+[SEP])
0.226

0.226

図る．
複数のモデルの統合によって精度向上を期待した SVM 𝑀 𝑒𝑡 𝑎

表 8 に各モデルの文脈情報追加前と追加後における Accuracyについても，統合による効果は得られなかった．これは，それを示す．表でシングルとは 5. 1 節の実験設定を意味し，マルチ

ぞれのベースモデルのエラーの傾向 4 が大きく変わらないこと

は 5. 2 節の実験設定を意味する．したがって，表での「操作なや学習のためのデータサイズが十分ではないなどの原因が考えし」の数値は表 6 と表 7 での対応する数値と同じである．結果られる．

として，文脈情報の追加はどのモデルに対しても有効に機能し

5. 2 マルチラベル分類実験た．結果を分析したところ，NB では最もデータ数の多いタグ

ML-KNN の推定に使用する近傍サンプル数は 10 とした．ラである Cand への誤分類が減り，People や Region の正解が増え

ンダムフォレスト分類器の推論に使用する決定木の数は 100るという傾向があった．これは文脈を加味した結果であると考とした．Binary Relevance 手法で用いる SVM のカーネルにはえられる．

Linear カーネルを使用し，正則化手法は L2 正則化，正則化パ

6. お わ り に

ラメータは 1.0 とした．Binary Relevance 手法で用いるナイー
ブベイズ分類器は多項分布モデルを使用した．

本研究では，Kyutech コーパスのトピックタグを使用して発表 7 に各モデルの Precision/Recall/F1-Score のマクロ平均および Accuracy の平均値を示す．ここで示している Accuracy は

話単位のトピック分類実験を行った．今後は分類精度の向上とトピックタグを利用した要約生成に取り組む．

付与されているタグ全てと予測結果が完全一致した場合のみを正解として算出している．表 7 から，マルチラベル分類においてもナイーブベイズ分類器を使用したモデルが一番高いスコアを出すことが分かった．しかしながら，いずれのモデルも十分な精度とはいえず，Recall が低いことから複数のタグを正確に予測することが困難であることがわかった．

5. 3 文脈情報を追加した分類実験
3. 1 節で説明したように，Kyutech コーパスには前後の文脈情報無しには推定が難しいトピックタグが存在している．しかし，発話単位でのトピック分類では，それらを正しく推定するのは困難である．そのため，何らかの文脈情報を素性に追加することによって，分類精度の向上が期待できる．

5. 1 節および 5. 2 節から，Kyutech コーパスにおけるトピッ
ク分類には単語の表層的特徴を使用したナイーブベイズ分類器が最も有効であることが分かった．そこで，本節ではナイーブ
ベイズ分類器の入力に対し，1 つ前の発話文を利用した文脈情報の追加を行い，さらなる分類精度の向上を図る．ナイーブベ
イズ分類器への文脈情報の追加には，以下の 2 つの方法を提案
する．

•

Addition：1 つ前の発話文の Bag-of-Words ベクトルと推定を行う発話文の Bag-of-Words ベクトルを要素ごとに加算する．

•

Concatenation：1 つ前の発話文の Bag-of-Words ベクトルと推定を行う発話文の Bag-of-Words ベクトルを連結する．
また，BERT には文節記号 [SEP] を利用して 2 文を同時に入力することで，文脈情報を追加する入力方法がある．そこで，

BERT に対しても同様に文脈情報の追加を行い，精度の向上を（注 4）：どのモデルも多数派のタグを優先して推定する傾向があり，少数派のト

謝辞

本研究は科研費 20K12110 の助成を受けたものです．
文

献[1] Yuri Nakayama, Tsukasa Shiota, and Kazutaka Shimada. Corpus
construction for topic-based summarization of multi-party conversation. In Proceedings of the 2021 International Conference on Asian
Language Processing (IALP), pp. 229–234, 2021.
[2] Takashi Yamamura, Kazutaka Shimada, and Shintaro Kawahara. The
kyutech corpus and topic segmentation using a combined method.
In Proceedings of the 12th Workshop on Asian Language Resources(ALR12), pp. 95–104, 2016.
[3] Bharath Sriram, Dave Fuhry, Engin Demir, Hakan Ferhatosmanoglu,
and Murat Demirbas. Short text classiﬁcation in twitter to improveinformation ﬁltering. In Proceedings of the 33rd international ACM
SIGIR conference on Research and development in information retrieval, pp. 841–842, 2010.
[4] Baoxun Xu, Xiufeng Guo, Yunming Ye, and Jiefeng Cheng. An improved random forest classiﬁer for text categorization. J. Comput.,Vol. 7, No. 12, pp. 2913–2920, 2012.
[5] 森崎孔太, 塚井誠人, 難波雄二, 桑野将司. 司会者の関与が討議参加者の納得に及ぼす影響. 土木学会論文集 D3 (土木計画学),
Vol. 70, No. 1, pp. 28–43, 2014.
[6] Maria Skeppstedt, Andreas Kerren, and Manfred Stede. Vaccine hesitancy in discussion forums: computer-assisted argument mining with
topic models. In Building Continents of Knowledge in Oceans of
Data: The Future of Co-Created eHealth, pp. 366–370. 2018.
[7] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet
allocation. the Journal of machine Learning research, Vol. 3, pp.
993–1022, 2003.
[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova.
BERT: Pre-training of deep bidirectional transformers for language
understanding. In Proceedings of the 2019 Conference of the North
American Chapter of the Association for Computational Linguistics:
Human Language Technologies, Volume 1 (Long and Short Papers),
pp. 4171–4186, 2019.
[9] Min-Ling Zhang and Zhi-Hua Zhou. Ml-knn: A lazy learning approach to multi-label learning. Pattern recognition, Vol. 40, No. 7,
pp. 2038–2048, 2007.

ピックタグの推定精度は十分ではない場合が多い．この傾向は NB 以外ではさらに顕著であった．

- 18 -—6—