言語処理学会 第30回年次大会 発表論文集（2024年3月）

文脈を考慮した半教師あり学習による対話行為推定
石島 孝俊
白井 清昭
北陸先端科学技術大学院大学 先端科学技術研究科{takatoshi.ishijima,kshirai}@jaist.ac.jp
付き自由対話コーパス [1] を用いた評価実験を行い，提案手法の有効性を検証する．

概要
本研究では発話の先行文脈を考慮して対話行為を推定する半教師あり学習の手法を提案する．一般に発話の対話行為は文脈に依存するが，教師あり学習によって文脈を考慮したモデルを構築する手法は提案されていたものの，教師なし・半教師あり学習において文脈を考慮することの有効性は十分に検証されていなかった．提案手法では，先行する発話の文脈情報を反映した発話の埋め込みを作成し，クラスタリングや k-NN 法に基づいて少数のラベル付き発話からラベルなし発話に対話行為を伝播させる．評
価実験の結果，文脈を考慮することで対話行為推定の正解率が向上することを確認した．

1

はじめに対話行為推定とは，対話における発話の対話行為を分類するタスクであり，その実現は対話システムにおける重要な要素技術の一つである．対話行為を推定する際には，発話そのものではなく，その文脈，すなわちその発話に先行する発話の情報が重要な手がかりとなる．多くの対話行為推定の先行研究
では，このような文脈情報を考慮したモデルが提案されている．しかし，対話行為のラベルが付与されていないコーパスを用いる教師なし学習や，少量のラベル付きデータと大量のラベルなしデータの両方を用いる半教師あり学習では，文脈の情報はそれほど考慮されていなかった．
本研究では，少量の対話行為ラベル付きデータしか存在しないことを仮定し，発話の文脈を考慮して対話行為を推定する手法を提案する．ラベル付き発話とラベルなし発話が与えられたとき，ラベルなし発話の対話行為をそれと類似したラベル付き発話の対話行為から推定し，この処理を漸進的に繰り返す．また，発話間の類似度を計算する際，先行文脈を考慮するいくつかの方法を探究する．JAIST タグ

2

関連研究

対話行為推定の研究は教師あり機械学習に基づく手法が主流である．福岡と白井は，対話行為のクラス毎に最適な特徴のセットを自動的に獲得し，各対話行為の二値分類器を組み合わせて発話の対話行為を推定した [2]．Liu らは，CNN(ConvolutionalNeural Network) を用いて発話をベクトル表現に変換し，その上に別の CNN 層や RNN(Recurrent NeuralNetwork) 層を重ねることで発話の文脈情報を組み込むモデルを提案した [3]．実験では文脈を考慮することによって対話行為推定の正解率が有意に改善することを示した．Bothe らも文脈を取り入れた対話行為推定の手法を提案している [4]．LSTM(LongShort-Term Memory) を用いて発話の埋め込み表現を獲得し，先行する発話の埋め込み表現と分類対象の発話の埋め込み表現を RNN に入力することで，文脈を考慮した対話行為推定モデルを実現した．
発話以外の情報を手がかりに対話行為を推定する研究も行われている．Maraev らは対話行為を推定するための手がかりとして「笑い」に注目し，「笑い」を対話行為推定モデルに組み込むことの効果を実験的に検証した [5]．He らは，話者交替の情報を「話者ターン埋め込み」として表現し，発話の埋め込みとマージすることで，対話行為推定の性能が向上することを示した [6]．
大規模なラベル付きコーパスを必要としない対話行為推定の研究も行われている．Yang らは，半教師あり学習による対話行為推定手法として，少量の対話行為タグが付与された発話と付与されていない発話を同時にクラスタリングすることで未知の発話の対話行為を推定する手法を提案した [7]．ただし，彼らの手法では発話の先行文脈は考慮されていない．

― 1417 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

3

提案手法

3.1

問題設定

w-ave

み付き平均ベクトル．重みは対象発話との距離によって決める．1 つ前の発話に対する重みを0.9 とし，それより前の発話については 0.1 ずつ対話行為のラベルが付与された発話の集合を 𝐿，重みを小さくしていく．
(𝐶)∑1
e𝑤-𝑎𝑣𝑒 =(1 − 0.1 × 𝑖 ) e−𝑖
𝐶 + 1 𝑖=0

付与されていない発話の集合を 𝑈 とする．最初は 𝐿はごく少量の発話から構成されるとし，これをシード発話と呼ぶ．𝐿 と 𝑈 を入力とし，𝑈 における全て(4)

対象発話のベクトルと，先行文脈の発話埋め込みの重み付き平均ベクトルを連結したw-ave-sepの発話の対話行為を推定する．

3.2

対象発話と先行文脈の発話の埋め込みの重発話埋め込み

ベクトル．1 つ前の発話に対する重みは 1 とし，それより前の発話は 0.1 ずつ重みを小さくする．
( 𝐶)
1∑
e𝑤-𝑎𝑣𝑒-𝑠𝑒 𝑝 = e0 ⊕(1 − 0.1× (𝑖 − 1)) e−𝑖 (5)𝐶 𝑖=1提 案 手 法 で は 発 話 を ベ ク ト ル で 表 現 す る．以下，これを発話埋め込みと呼ぶ．本研究では，事前学習した Bidirectional Encoder Representations fromTransformers(BERT)[8, 9] を用いる．発話を BERT に入力し，[CLS] トークンに対する埋め込みを発話埋対話行為の推定

3.3

本項では発話の対話行為を推定する 4 つの手法にめ込みとする．
事前学習済み BERT を対話ドメインに適応させるついて述べる．

ため，対話コーパスを用いた再事前学習を行う．具
体的には，表 1 に示す 3 つの対話コーパスを使用し，Masked Language Modeling タスクによって BERT を

3.3.1

クラスタリングに基づく手法

まず，発話集合 𝐿 ∪ 𝑈 に対してクラスタリングを行う．次に，ラベルなし発話 𝑢 ∈ 𝑈 に対し，その対再事前学習する．
表 1 BERT の再事前学習に用いた対話コーパス
JAIST タグ付き自由対話コーパス [1]96,962 発話
178,619 発話
BTSJ 日本語自然会話コーパス [10]日本語話題別会話コーパス:J-TOCC[11] 158,139 発話

話行為ラベルを以下の手続きで付与する．
1. 𝑢 が属するクラスタの中に 𝐿 に属する発話が存在する場合，それらの発話の対話行為クラスの多数決によって付与する対話行為を決める．最発話埋め込みを作成する際，その発話の先行発多の対話行為クラスが複数あるときは，その中話の情報を文脈として組み込む．分類対象の発話からランダムに選択する．

を 𝑢 0 ，それより前の 𝐶 件の発話を 𝑢 −1 , · · · , 𝑢 −𝐶 とお2. それ以外の場合，𝑢 が属するクラスタの重心とく．また，BERT によって得られる発話 𝑢 𝑖 の埋め込最も近いラベル付き発話を探索し，その対話行みを e𝑖 と記す．以下の 5 通りの方法で発話埋め込みを作成する．

為を 𝑢 に付与する．

ave対象発話と先行文脈の発話の埋め込みの平均用する．𝑘-means ではクラスタ数をあらかじめ設定ベクトル．

する必要がある．本手法では同じクラスタに属する
e𝑎𝑣𝑒 =mp

クラスタリングアルゴリズムとして 𝑘-means を使𝐶∑

1e−𝑖
𝐶 + 1 𝑖=0

ラベル付き発話から対話行為を伝播するため，クラ(1)求される．すなわち，ここでのクラスタリングでは対象発話と先行文脈の発話の埋め込みの Max
Pooling によって得られたベクトル．
e𝑚 𝑝 = max_pooling(e0 , · · · , e−𝐶 )mp-sepPurity(クラスタ内で最多の対話行為クラスが占める割合) が高いことが求められる．一方，ある対話行(2)

対象発話のベクトルと，先行文脈の発話埋め込みの Max Pooling によって得られたベクトルを連結したベクトル．
e𝑚 𝑝-𝑠𝑒 𝑝 = e0 ⊕ max_pooling(e−1 , · · · , e−𝐶 )スタは同じ対話行為の発話で構成されることが要

為の発話は必ずしも 1 つのクラスタとしてまとまる必要はない．そのため，サイズは小さいが Purity の高いクラスタを構築するために，クラスタ数は比較的大きい値に設定する．具体的には，クラスタ数 𝑘を平均クラスタサイズが 5 になるように設定する(3)|(𝑘 ≃ |𝐿∪𝑈5 ). 以下，この手法を DAC-CL と記す．

― 1418 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

クラスタリングとブートストラップに基づく

3.3.2

手法

4.1

実験設定

前述の手法 DAC-CL にブートストラップの手法

JAIST タグ付き自由対話コーパス [1, 12] を用いてを適用し，ラベル付き発話を漸進的に増大させる．

提案手法の評価実験を行う．同コーパスは人間同士

3.3.1 で述べた手続きにおいて，対話行為の決定に用の雑談を書き起した発話に対して対話行為などのタいた最も近いラベル付き発話との距離を求める．そグが付与されている．対話行為タグのうち「自己開の距離が閾値 𝑇𝑐 以下のとき，𝑢 の対話行為を決定示」がおよそ 8 割を占めるが，その定義は広く，『自し，それを 𝑈 から 𝑅 に移す．以上の操作を何回か繰分の好みや弱点をさらけ出す発話』といった狭義のり返す．最初のサイクルでは 𝑈 のうち 2%の発話を自己開示ではない発話に対しても付与されている．

𝑅 に移すように 𝑇𝑐 を決定し，以降のサイクルでは本研究ではその定義を見直し，「自己開示」の対話その 𝑇𝑐 をそのまま用いる．

行為タグが付与された発話を再分類した．結果とし距離が近いラベル付き発話によって推定した対話行為は，その信頼度が高いと考えられる．図 1 に示
すように，信頼度が高いものから順に対話行為を決定することで対話行為推定の性能を向上させることを狙う．以下，この手法を DAC-CL-B と記す．

?

L1?

?

L2 L?
?

?
?

L2L1L2 L

L12?L?

L1?

?

3?

L3L3?
2L3L1L1L2L1L2 L

L3 L
3L3L3L3L22L3

図 1 クラスタリングとブートストラップに基づく半教師あり対話行為推定て表 2 に示す 21 個の対話行為クラスを設定した．
それぞれの定義と発話例を付録 A に示す．
表 2 対話行為クラスの定義と発話数
伝達-意見
152 あいさつ 3 確認
9伝達-体験88 感謝
2 要求
2伝達-他者体験 37 同意
45 フィラー
2伝達-伝聞33 非同意11 質問 (YesNo) 6
伝達-情報
57 独り言9 質問 (What)7
感想
53 自己開示 2 応答 (YesNo) 2
感情表出
30 あいづち 4 応答 (平叙)23

JAIST タグ付き自由対話コーパスにおける 1 つの対話を選び，その発話で「自己開示」のタグが付与されていた 884 個の発話に対して，著者 2 名が表 2のいずれかの対話行為タグを割り当てた．両者のタグ付けの一致率は 0.624，𝜅 係数は 0.560 であった．

3.3.3

k-NN に基づく手法

一致しない発話の対話行為タグは著者 2 名の合議にラベルなし発話 𝑢 ∈ 𝑈 に対し，ラベル付き発話集より決定した．表 2 中の数値はタグ付けされた発話

合 𝐿 の中から最近傍の 𝑘 個の発話を選択し，それに付与された対話行為ラベルの多数決によって対話行数である．

為を付与する．最多の対話行為ラベルが複数あると毎に 3 つの発話をランダムに選択した．3 つ以下のきはその中からランダムに選択する．以下，この手発話しかない対話行為クラスについてはその全てを法を DAC-kNN と記す．

シード発話とした．それ以外の発話をラベルなし発シード発話 𝐿 として，それぞれの対話行為クラス

話集合 𝑈 とし，提案手法によってその対話行為を推
k-NN に基づく手法でもブートストラップ的に定した．評価指標は 𝑈 に対する対話行為推定の正解率とした．また，シード発話の選択を 4 回繰り返

ラベル付き発話を漸進的に増大させることを試みし，その正解率の平均を求めた．文脈を考慮しない

る．最近傍の 𝑘 個のラベル付き発話のうち最多の手法をベースラインとし，提案手法と比較した．

3.3.4

k-NN とブートストラップに基づく手法

対話行為を持つ発話との距離の平均値が閾値 𝑇𝑘 以
下のとき，𝑢 の対話行為を決定し，それを 𝑈 から4.2

結果と考察𝑅 に移す．この操作を繰り返す．閾値 𝑇𝑘 は，手法クラスタリングに基づく手法 DAC-CL の評価結DAC-CL-B と同様に，最初のサイクルで 𝑈 のうち2%の発話を 𝑅 に移すように決定する．以下，この果を表 3 に示す．行は文脈を考慮した発話埋め込手法を DAC-kNN-B と記す．

提案手法はほとんどのケースでベースライン (文脈4評価実験

みの作成方法 (3.2 項)，列は先行文脈の長さを表す．
を考慮しない発話埋め込みを用いる手法) の正解
率 (0.093) を上回った．一番良い組み合わせは，重― 1419 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

み付き平均で発話埋め込みを作成し (w-ave)，文脈

表 5 手法 DAC-kNN(w-ave-sep) の正解率
𝐶=0 𝐶=1 𝐶=2 𝐶=3 𝐶=4 𝐶=5

長が 𝐶 = 1 のときで，そのときの正解率は 0.133 で𝑘=1
𝑘=2𝑘=3𝑘=4𝑘=5𝑘=6𝑘=7あった．ただし，先行文脈の長さの優劣については，はっきりした傾向は読み取れなかった．
表 3 手法 DAC-CL の正解率
𝐶=1 𝐶=2 𝐶=3 𝐶=4ave
mp
mp-sepw-ave
w-ave-sep
文脈なし

0.125
0.125
0.115
0.133
0.115

0.114
0.099
0.096
0.120
0.103

0.101
0.102
0.090
0.101
0.105
0.093

0.111
0.122
0.108
0.131
0.094

𝐶=5
0.129
0.120
0.104
0.124
0.118

0.123
0.178
0.205
0.214
0.211
0.209
0.205

0.129
0.194
0.205
0.210
0.209
0.206
0.196

0.140
0.182
0.211
0.228
0.217
0.210
0.211

0.128
0.194
0.221
0.221
0.233
0.233
0.229

0.117
0.181
0.214
0.224
0.225
0.220
0.219

0.127
0.194
0.220
0.225
0.218
0.207
0.212ている．先行文脈の長さは，表 5 で一番高い正解率が得られた 𝐶 = 3 と設定している．𝑘 = 2 の場合を除き，反復学習を進めるにつれて正解率が向上する傾DAC-CL-B の評価結果を表 4 に示す．発話埋め込み向は見られなかった．また，シード発話によっては正解率が 0.30 程度になることもあるが，4 回の試行は表 3 で一番良い結果が得られた w-ave を用いていの平均では 𝑘 = 2 の場合を除いて手法 DAC-kNN(「0る．反復学習の途中では全ての発話について対話行回目」の結果) を上回ることはなかった．

クラスタリングとブートストラップに基づく手法

為が決定されていないが，その時点で得られたラベ

0.25

ル付き発話 𝐿 を基に手法 DAC-CL で全ての発話の対0.2

話行為を推定し，その正解率を示している．「0 回目」は最初のシード発話のみを用いたときの結果で0.15ある．𝐶 = 2 と 𝐶 = 3 のときでは反復操作によって0.1正解率が向上した．しかし，その効果はそれほど大きくなく，また他の文脈長では正解率は低下した．
表 4 手法 DAC-CL-B(w-ave) の正解率
反復回数 0 回目 1 回目 2 回目
𝐶=1
0.133
0.107
0.104
𝐶=20.120
0.122
0.122
0.101
0.111
0.106
𝐶=3
𝐶=40.131
0.116
0.117
𝐶=50.124
0.114
0.115

0回⽬

1回⽬

2回⽬

3回⽬

4回⽬

5回⽬

6回⽬

k=1

k=2

k=3

k=4

k=5

k=6k=7

図2

手法 DAC-kNN-B(w-ave-sep,𝐶=3) の評価

考察をまとめると，発話埋め込みに文脈の情報を組み込むことで正解率が向上することが確認された．k-NN 法に基づく手法の方がクラスタリングに基づく手法よりも正解率が高かった．どちらの手法

k-NN に基づく手法 DAC-kNN の評価結果を表 3 にでもブートストラップ法によってラベル付き発話の示す．𝑘 は k-NN 法におけるパラメタ，𝐶 は先行文量を漸進的に増加させることの効果は見られなかった．また，正解率自体も最高で 0.233 と低かった．

脈の長さを表す．5 種類の発話埋め込みを用いて実験を行ったが，紙面の都合上，一番結果の良かった分類対象とする対話行為のクラスが 21 と多いこと，w-ave-sep の結果のみを示す．太字は各行においてラベル付き発話の量が少ない半教師あり学習の設定最も正解率が高いことを示す．文脈を考慮することでの実験であることなどが要因として考えられる．

により，おおむね対話行為推定の正解率が改善されている．𝐶 = 3 のときに一番正解率が高くなること

おわりに5が多く，またこのときは全ての 𝑘 について文脈なし

本論文では，文脈を考慮した対話行為推定の半教(𝐶 = 0) の正解率を上回る．最高の正解率は 0.233 で師あり学習手法を提案した．評価実験により発話埋あり，表 3 に示したクラスタリングに基づく手法のめ込みに文脈を反映させることの有効性を確認し最高の正解率よりも高かった．

た．しかしながら，対話行為の正解率は最高でもk-NN とブートストラップに基づく手法 DAC-kNN-0.233 であり，改善の余地が大きい．主な今後の課

B の評価結果を図 2 に示す．横軸は反復回数，縦軸題として，大規模言語モデルなどの外部知識を利用は正解率である．反復学習の各ステップで，その時して，対話行為推定の正解率を改善することが挙げ点でのラベル付き発話 𝐿 を基に手法 DAC-kNN で全られる．ての発話の対話行為を推定したときの正解率を示し― 1420 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献

word masking enabled) – Hugging Face, (2024-[1]bert-base-japanese-whole-word-masking/.

[2]

1 閲覧). https://huggingface.co/cl-tohoku/

Kiyoaki Shirai and Tomotaka Fukuoka. JAIST annotated corpus of free conversation. In Proceedings of[10] 宇佐美 まゆみ (監修). BTSJ 1000 人日本語自然the Eleventh Edition of the Language Resources

会話コーパス. 科研基盤研究 (A)「語用論的分and Evaluation Conference, pp. 741–748, 2018.

析のための日本語 1000 人自然会話コーパスの福岡知隆, 白井清昭. 対話行為に固有の特徴を構築とその多角的研究」(研究代表者: 宇佐美

考慮した自由対話システムにおける対話行為まゆみ), 2023.

推定. 自然言語処理, Vol. 24, No. 4, pp. 523–546,
[3]

2017.

由貴子, 森篤嗣. 日本語話題別会話コーパス:

Yang Liu, Kun Han, Zhao Tan, and Yun Lei. Us-J-TOCC. 計量国語学, Vol. 33, No. 1, pp. 11–21,ing context information for dialog act classiﬁca-2021.

tion in DNN framework. In Proceedings of the[4][11] 中俣尚己, 太田陽子, 加藤恵梨, 澤田浩子, 清水[12] 言語資源協会. JAIST タグ付き自由対話コー

2017 Conference on Empirical Methods in Natu-

パス, (2024 年 1 月閲覧). https://www.gsk.or.

ral Language Processing, pp. 2170–2178, 2017.

jp/catalog/gsk2017-b.

Chandrakant Bothe, Cornelius Weber, Sven Magg,and Stefan Wermter. A context-based approach fordialogue act recognition using simple recurrent neural networks. In Proceedings of the Eleventh International Conference on Language Resourcesand Evaluation, pp. 1952–1957, 2018.

[5]

Vladislav Maraev, Bill Noble, Chiara Mazzocconi,and Christine Howes. Dialogue act classiﬁcation
is a laughing matter. In Proceedings of the 25th
Workshop on the Semantics and Pragmatics ofDialogue, 2021.

[6]

Zihao He, Leili Tavabi, Kristina Lerman, and Mohammad Soleymani. Speaker turn modeling for dialogue act classiﬁcation. In Findings of the Association for Computational Linguistics: EMNLP
2021, pp. 2150–2157, 2021.

[7]

Xiaohao Yang, Jia Liu, Zhenfeng Chen, and Weilan
Wu. Semisupervised learning of dialogue acts using
sentence similarity based on word embeddings. InProceedings of International Conference on Audio, Language and Image Processing, pp. 882–886, 2014.
[8]

Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. BERT: Pre-training of deep
bidirectional transformers for language understanding. In Proceedings of the Conference of theNorth American Chapter of the Association for
Computational Linguistics: Human Language
Technologies, pp. 4171–4186, 2019.

[9]

BERT base Japanese (IPA dictionary, whole― 1421 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

対話行為クラスの定義
実験に用いた対話行為クラスの定義と発話例を表 6 に示す．発話例における ( ) 内は前の発話である．
表6

対話行為クラスの定義と発話例
発話例

対話行為定義伝達-意見

自分の意見、見解、意思、意向を伝える発話(お鍋セット、いいねー。) うーん、家族がた
くさんいる人は良いかもしれないけどさー。
伝達-体験
自分が体験したこと、体験する予定のこと、 あのー、あそこに行ったよ、この間。
今の心理状態を伝える発話
伝達-他者体験 自分が直接見たり聞いたりした他者のことを あいた、あいたって、しょっちゅうやってる伝える発話よ。
伝達-伝聞
人から聞いた状況 (自分はその場にいない) を いつも、なんか、こんなふうにして寝ますって言ってたよ。
伝える発話
伝達-情報
客観的な事実 (知識、常識なども含む) を伝え 受験生も一番多かったよ、B が。
る発話
感想(原則として相手の発話や周りの状況を受け (チョコレートとかねー、ちょっと食べたかって) 自分の感想を表す発話
た ね。) チョコレートかー、ええなー。
感情表出
自身の感情を表現するような発話
かわいそうだねー。
自己開示
自分の好みや弱点をさらけ出す発話
こっちはこっちでねー、小さい人にあこがれてんだから。
あいさつ
一般的なあいさつを行っている発話
先生、こんにちは。
感謝
相手にお礼の気持ちを伝えている発話
ありがとう。
同意
相手の発言に納得や理解を示している発話
うん、ほんとに。
非同意
相手の発言に対して同意できないことを示し (じゃ、友達呼んで、お鍋パーティすれ ばいている発話い。) うーん、そうだけども。
独り言
相手に話しかけているわけではないつぶやき よいしょ。のような発話
あいづち
相手の発話に対して、話の続きを促し、また、 そうだよね。
発話者が相手の話を聞いていることを示す短い発話
確認
発話者がすでに知っている、またはそうだと (すごい混んでたよね。) まじですか。
思っていることに対して、相手にそれが正しいかを確認する発話
要求
相手に対して、具体的な行動を支持もしくは ちゃんとナビしてな。
依頼する発話質問 (YesNo) 「はい」「いいえ」などで答えられる質問をし 知ってる?ている発話
質問 (What)
平叙文で答える必要がある質問をしている発 何で行くの?
話
応答 (YesNo)
質問に対する「はい」「いいえ」などの短い肯 「うん。」 「そう。」
定、否定の発話
応答 (平叙)質問に対して平叙文で答えている応答文に相 うーん、覚えてない。
当する発話
フィラー
言い淀みなど発話の合間に挟み込む短い発話 「えーと。」 「あのー。」― 1422 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).