単一話者特徴を利用したターンテイキング予測モデルの検証
大西 一誉†

田中 宏季†

中村哲†† 奈良先端科学技術大学院大学 〒 630–0192 奈良県生駒市高山町 8916 番地の 5
E-mail: †{onishi.kazuyo.oi5,s-nakamura,hiroki-tan}@is.naist.jp
あらまし

二者間会話の発話予測は、人間とバーチャルエージェントのターンテイキングを自然にするため重要である。多くのモデルは二者の特徴を必要とするが、バーチャルエージェントに組み込む際には、バーチャルエージェント自身の特徴量を取得することが困難といった問題が生じる。本研究では、単一話者特徴のみを用いた Transformerに基づく音声活動予測モデルを提案し、3 つのコーパスで性能の検証を行った。検証では、二者特徴を用いたモデルとの比較、言語や個人差の特性獲得、非言語特徴の効果を調査した。その結果、単一話者モデルの性能はやや低下するものの、言語差によるターンテイキング特性の違いを取り込むことや非言語特徴を追加することで性能が向上することが確認された。
キーワード 話者交替, 単一話者, 音声活動予測

Turn-Taking Prediction Model Using Single Speaker Features
Kazuyo ONISHI† , Hiroki TANAKA† , and Satochi NAKAMURA†† Nara Institute of Science and Technology Takayama–cho 8916–5, Ikoma–shi, Nara, 630–0192 Japan
E-mail: †{onishi.kazuyo.oi5,s-nakamura,hiroki-tan}@is.naist.jp
Abstract Prediction of utterances in two-party conversations is important to make turn-taking between humans
and virtual agents natural. Many models require double-speaker features, but when incorporating them into virtualagents, problems arise, such as the diﬃculty of obtaining the virtual agent’s own features. In this study, we proposeda Transformer-based voice activity prediction model using only single-speaker features and tested its performanceon three corpora. In the validation, we compared the model with a model using double-speaker features, acquiredfeatures by language and individual diﬀerences, and investigated the eﬀect of non-verbal features. The results
conﬁrmed that although the performance of the single-speaker model was somewhat degraded, performance could
be improved by incorporating diﬀerences in turn-taking characteristics due to language diﬀerences and by adding
non-verbal features.
Key words Turn-taking, single-speaker, voice activity prediction

1. は じ め にグを認識し、聞き手の話をよく理解していると示す [3, 4]。
しかし、バーチャルエージェントなどの音声対話システムに二者間対話において話し手と聞き手は内容や場面を共有し、は、まだ充分なそれらの機能が備わっていない [5]。現在の多く交互に発話を行いながらコミュニケーションを進める。ターンの音声対話システムは、頻繁にユーザの話を遮り、反応が遅れテイキングとは、コミュニケーションの円滑化と相互理解の確る傾向があり、迅速なフィードバックの欠如が会話の自然な流保のために、参加者が交互に話す役割を切り替える行為であれを阻害する可能性が指摘されている。ターンテイキング性能

る [1]。人間は平均 200 ミリ秒という高速で話し手と聞き手の役の低下はコミュニケーションを妨げ、ユーザに意図しないメッ割を流暢に切り替え、このような役割分担を効率的に行う [2]。

セージを伝える可能性がある [6]。ユーザは対話システムを礼このようなターンシフトの中には、話し手の発話終了に被さる儀正しく、人格的であると認識することでより利用満足度が高ように聞き手が発話を始める場合がある。このようなオーバーまり、適切なターンテイキング性能はこのような満足度を向上

ラップを生じるターンシフトは会話中にしばしば出現する。ささせるため不可欠である。多くの対話システムは、Automaticらに、対話のもう 1 つの重要な要素としてバックチャネルがSpeech Recognition (ASR) を用いてユーザー発話の終了を検ある。バックチャネルは聞き手が話し手に対して送る短いメッ知して、沈黙時間の閾値によって発話を決定している。しきいセージのことであり、人間はバックチャネルの適切なタイミン値を小さく設定すると、応答時間が短縮されるが、ユーザの発図 1 単一話者特徴を利用した音声活動予測からターンテイクイベントの決定までの流れ話の中断を引き起こすリスクを伴う。一方で、しきい値を大きく設定すると、ユーザはシステムが応答していないと誤解する可能性がある。このように、現在の ASR を用いた閾値による決定はシステム的な限界があり、応答速度が制限され、様々な状況に適応できないといった課題に直面し、より高速にターンを予測するモデルが必要である [7, 8]。

(3) 単一話者モデルに非言語特徴を組み込むことで性能向上に寄与するか。

2. 単一話者特徴を利用したターンテイキングモ
デル
ここでは、単一話者特徴を利用した音声活動予測モデルによ

そこで、機械学習を用いてターンテイキングを予測し、人間るターンテイキングについて説明する。図 1 に単一話者特徴をのような自然な応答を目指すモデルの研究に取り組まれてい利用した音声活動予測からターンテイクイベントの決定までのる [9–12]。中でも Skantze の提案した音声活動予測モデルは、流れを示す。このモデルは、特定のターンテイキングイベントターンテイキングイベントを直接予測することなく、音声活動に学習されたものではなく、将来の音声活動の予測に基づいてを予測しその出力を用いることでターンを決定する [13]。これターンテイキングイベントを決定する。先行研究に基づいて音までターンシフトやオーバーラップ、バックチャネルといった声波形と現在の音声活動を入力するが [15]。これまで、音声波異なるターンテイキングイベントを異なるモデルで解決してい形は二者の音声を用いていたが、ここでは単一話者の音声波形たのに対して、音声活動を予測することで全てのイベントを統とする。Ekstedt らによって提案された離散的な出力窓を採用括的に決定する手法を提案した。私たちはこれまでに、音声活し、0.2 秒、0.4 秒、0.6 秒、0.8 秒の 4 つの不等間隔領域に分動予測モデルが視線方向、Action Unit、頭部運動、関節点の割された 8 つのビンを設定する。各ビンがアクティブの場合を4 つの非言語特徴をどのように取り込むことができるかを検証

1、非アクティブの場合を 0 として、サイズ (2, 4) の離散的なし、ターンシフトの F1 スコアで 0.748 (+0.023)、バックチャワンホット表現を作成する。ベクトルをインデックスに対応付

ネルで 0.687 (+0.018) の有意な改善が得られることを明らか

け、分類問題として扱い学習を行う。将来に渡る音声活動の出にした [14]。

力を用いて、ゼロショットで検出されたターンシフト、バックこれまでのターンテイキングモデルは、二者の特徴量を入力チャネル、オーバーラップにマッピングを行う。ターンシフト、に用いるが、バーチャルエージェントなどの音声対話システムオーバーラップは、1 人の話者のみがアクティブになる領域を自身の特徴量を得られないといった問題が生じる。仮に音声対定義するプリオフセット （1 秒） とポストオンセット （1 秒）話システム自身の音声を入力した場合、人間-人間対話のコーという 2 つのパラメータも定義し検出する。バックチャネルは、パスで評価した場合とは異なる性能になることが予想され十分発話が 1 秒未満かつその発話を囲むその話者による発話がないな評価とは言えない。そこで私たちは、単一話者特徴を用いた領域 （プリサイレンス (1 秒) とポストサイレンス (2 秒)）でTransformer に基づく音声活動予測モデルを提案する。本研究定義される。これらは、先行研究により公開されたソースコー

では、私たちの提案する単一話者特徴モデルが十分な機能を有ドを用いて実装を行った [16]。本研究では、以下の 3 つのターすることを確認するために以下の 3 点について検証を行った。

ンテイキングイベント定義し評価を行う。

(1) 二者の特徴を用いたモデルと比較し、ターンテイキング性能にどのような影響を及ぼすか。

(2) 国や職業ごとにファインチューニングすることで異なる特性を獲得することは可能か。

ターンシフト (S): 小さな沈黙を伴い、違う話者に発話が移り変わること
バックチャネル (BC): 相手が話しているときに、聞き手が短い言葉を返すこと
オーバーラップ (OV): 発言が一部重なるようにして、違う

表 1 学習データの分割
コーパス

SwNoXi

EALD

表 2 テストデータに含まれるターンテイキングイベント数
コーパス

Train [h] Val. [h] Test [h]SSwBC

OV

217.28

24.02

11.07

イギリス

8.79

0.85

1.78

イギリス

77408

37

ドイツ

2.77

1.38

1.49

ドイツ

111

254

31

フランス

5.30

1.12

2.01

70

全て

16.86

3.35

5.28NoXi

1054 2045 330

フランス

173352

全て3611014 138

高齢者 - 介護士

3.77

1.39

1.72

高齢者 - 介護士

8749106

高齢者 - 臨床心理士

2.90

1.31

1.39

高齢者 - 臨床心理士

8230107

高齢者 - 学生

3.68

1.37

1.69

全て

10.35

4.06

4.79

話者に発話が移り変わること

3. 性 能 評 価

EALD

表 3

7581267154294の比較
コーパス イベント

Sw価を行った。

3. 1 コ ー パ ス
NoXiする。

(1) Switchboard Corpus (Sw) [17] 543 人の参加者、2,400 の音声ファイルから構成され、特定のトピックについて

98

全て

単一話者特徴モデルと二者特徴モデルのターンテイキング性能

ここでは、1 章で設定した 3 つの研究課題について実験・評

モデル訓練に使用する異なる 3 つのコーパスについて説明

高齢者 - 学生

EALD

電話越しによるフリーディスカッションが収録されている。約二者特徴

単一話者特徴

差分

S

0.712

0.663

-0.049BC0.7140.683-0.032

OV

0.711

0.694

-0.017

S0.731

0.702-0.029

BC0.6850.663-0.022

OV

0.604

0.591

-0.013

S

0.694

0.647

-0.047

BC0.568

0.555-0.013

OV

0.466

0.458

-0.008259 時間と非常に多くの時間が収録されており、言語は英語のみである。活発な議論が収録されており、音声活動予測を行う観点からは難しい内容である。

(2) NoXi Database (NoXi) [18] 87 人の参加者、84 のモデルとを比較する。

3. 2. 1 実 験 方 法
1 秒の入力窓を 0.5 秒ずつスライドしながら入力する。Trans-

音声と映像ファイルから構成され、特定のトピックについて専

former は隠れ層サイズ 256、2 層、4 ヘッド、ドロップアウト 0.4

門家と初学者によるスクリーン越しの対話が収録されている。

で構成した。早期停止基準を 3 エポックとし、最適化 AdamW、

約 25 時間と時間は多くないものの、映像が収録されているた
め非言語特徴の利用が可能である。さらに、イギリス、ドイツ、フランスの 3 つの国で英語、ドイツ語、フランス語などが収録されている。特定のトピックについて議論している点では Swと同じであるが、専門家と初学者が対話しているため、必然的に専門家の発話比率が高くなり、音声活動予測の観点からはSwitchboard Corpus よりも容易な内容と予想される。
(3) Elderly Attentive Listening Dialogue (EALD)[19] 39 人の参加者、60 の音声と映像ファイルから構成され、学習率 3.63e-4、バッチサイズ 128 で学習を行った。seed を 0から 9 まで変化させて学習した平均を用い、ターンシフト、バックチャネル、オーバーラップの観点から評価を行う。単一話者モデルは片方の話者を入力とするが、Sw は参加者 2、NoXi は初学者、EALD は介護者、心理学者、学生を用いてテストを行った。

3. 2. 2 実 験 結 果
表 3 に単一話者特徴モデルと二者特徴モデルのターンテイキング性能の比較を示す。それぞれのコーパスに対する、ターン介護士、臨床心理士、学生が、高齢者に対してさまざまな情報テイキングイベントの F1 スコアを示している。コーパスによについて共有している様子が収録されている。全て日本で収録

りばらつきはあるものの、ターンシフトは 0.029〜0.049 ポイされており、3 つのコーパスで唯一の日本語である。傾聴対話であるため、高齢者の発話比率が少なく、音声活動予測の観点からは最も容易な内容であると言える。
それぞれのコーパスは、表 1 に示すように Train、Valida-tion、Test データを分割する。テストデータ内に含まれるター
ンシフト、バックチャネル、オーバーラップの数を表 2 に示す。

Test データの時間によってばらつきはあるものの十分なサンプル数を得られた。

3. 2 二者特徴モデルとの比較
ここでは、提案した単一話者特徴モデルと二者特徴を用いたント減少、バックチャネルは 0.013〜0.032 ポイント減少、オーバーラップは 0.008〜0.017 ポイントの減少となった。

3. 2. 3 考察

単一話者特徴モデルと二者特徴モデルの性能差を見ると、ターンシフト予測では大きく低下する場合があり、最大 0.049ポイントの低下となった。これは、ターンシフトが強い相互作用によるものであることを示唆しており、特徴量を単一話者にすることで予測が困難な場合が生じる。しかし、単一話者モデルのターンシフト予測性能を個別に確認すると、7 割弱ほどのスコアであり、先行研究と比較しても決して低いスコアではな
い [13, 15]。一方で、オーバーラップとバックチャネルの予測で

表4

国および職業でのファインチューニング前後の性能変化

NoXi

EALD

表 5 非言語特徴を追加した場合の比較
イベント

NoXi

国イギリスドイツ

フランス

日本

日本

日本

入力

初学者

初学者

初学者

介護士

臨床心理士

学生

S

0.702

+0.083

BC

0.663

OV

0.591

S+0.170+0.156+0.163+0.106+0.035

BC+0.094+0.090+0.143+0.046-0.086+0.080OV+0.127+0.080+0.046-0.044-0.105-0.075

P値

効果量

0.710

0.382

0.376

0.679

0.004

1.344

0.639

0.001

2.213

ユニモーダル マルチモーダル込むことができるかを検証する。
はターンシフトほどの低下は見られなかった。ターンシフトが3. 4. 1 実 験 方 法

相互作用によるものであるのに対して、オーバーラップとバッ

先行研究 [14] で提案した視線方向、Action Unit、頭部運動、クチャネルは片方のユーザのみで判断できる要素が大きいこと

関節点の 4 つの非言語特徴を採用し、音声特徴のみのモデルとが示唆された。

比較してどのように性能が向上するかを確認する。NoXi の映

3. 3 国や職業ごとの特性の取り込み像データを用いて、OpenPose [20]、OpenFace [21] を用いてここでは、提案した単一話者特徴モデルが国や職業ごとに特徴量を抽出した。非言語特徴においても、音声波形と同様にファインチューニングを行うことで、言語や個人差による特徴を取り込むことができるかを調査する。

3. 3. 1 実 験 方 法

単一話者の特徴量を入力とした。

3. 4. 2 実 験 結 果
表 5 に音声特徴のみの場合と非言語特徴を追加した場合のSwitchboard Corpus で学習した単一話者モデルを用いて、F1 スコアを比較する。その結果、ターンシフトには有意差がNoXi の国別、EALD の職業別に表 1 で分割したデータを用い生じかなったものの、バックチャネルおよびオーバーラップにてファインチューニングを行う。ファインチューニング前とファ有意差が生じ性能向上につながった。

インチューニング後を比較し、どの程度 F1 スコアが上昇する

3. 4. 3 考

察かを確認する。国別にファインチューニングを行うことで、言ターンシフトは相互作用によるところが大きく、単一話者の語によるターンテイキング特性の差を取り込む。職業別にファ非言語特徴を追加しても有意差が生じなかった可能性がある。

インチューニングを行うことで、個人差によるターンテイキン

一方で、バックチャネルやオーバーラップは、単一話者からのグ特性の差を取り込む。

動きである程度予測できる部分があると推察される。これは、3. 3. 2 実 験 結 果

直感的にも理解ができる点であり、バックチャネルやオーバー表 4 にファインチューニング後からファインチューニング前ラップといった事象は、双方の特徴量に基づくものではなく、の F1 スコアの差分をとった結果を示す。国別でファインチュー単一話者からの特徴に左右される部分が大きいと考えられる。

ニングを実施すると、すべての項目で大幅にスコアが向上した。
一方で、職業別でファインチューニングをした場合は、ターン4. お わ り にシフトのみに共通して有意な向上が見られた。バックチャネル

本研究では、単一話者特徴を用いた Transformer に基づくは、介護者と学生に有意な向上が生じ、特に学生が高い値となっ音声活動予測モデルを提案した。二者の特徴を用いたモデルとた。オーバーラップには有意な上昇を得ることはできなかった。

比較し、相互作用の大きなターンシフトでは性能がやや低下す

3. 3. 3 考察るものの、バックチャネルやオーバーラップではその低下は小国別でファインチューニングを行うことで、言語による差をさく抑えられることを明らかにした。その上で、私たちは国や得ることができる。言語間でターンテイキングの性質に差があ

職業ごとにファインチューニングすることで言語や個人差の特ることは先行研究で示唆されており、単一話者モデルが上手く性を獲得し性能向上を目指した。国ごとにファインチューニンそれらの特性を取り込めた可能性がある [1]。音声対話システム

グすることで言語差による特性を獲得し、大幅に精度が向上すに適用する場合にも、言語によるファインチューニングが有効ることを示した。職業ごとにファインチューニングすることでである可能性がある。職業別にファインチューニングした場合、ターンシフトなどの部分的に効果があることを示した。さらに、共通して有意差が得られたのはターンシフトのみであった。介非言語特徴を組み込みモデルにどのような影響を及ぼすか調査

護士と臨床心理士は高齢者に対する対話に長けており、特徴的した。その結果、バックチャネルとオーバーラップで有意差がな点が生じたと考えられる。一方で、バックチャネルには介護得られた。本研究により、音声対話システムのターンテイキン

士と学生のみに有意差が生じ、特に学生が高い結果となった。

グ性能の更なる発展が見込まれる。

表 2 から確認できるように、学生は介護士と臨床心理士と比較してバックチャネルの数が多く、特徴的な点をファインチューニングにより捉えることができた可能性がある。しかし、原因の断定にはさらなる検証が必要である。

3. 4 非言語特徴の取り込み
ここでは、提案した単一話者特徴モデルが非言語特徴を取り

5. 謝

辞

本研究は JST-CREST（グラント番号: JPMJCR19M5）の支援によって行われた。
文

献[1] G. Skantze, “Turn-taking in conversational systems and[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]
[17]

[18]

human-robot interaction: a review,” Computer Speech &Language, vol.67, p.101178, 2021.
S.C. Levinson and F. Torreira, “Timing in turn-taking andits implications for processing models of language,” Frontiers in psychology, vol.6, p.731, 2015.
B. Inden, Z. Malisz, P. Wagner, and I. Wachsmuth, “Timing and entrainment of multimodal backchanneling behavior for an embodied conversational agent,” Proceedings ofthe 15th ACM on International conference on multimodalinteraction, pp.181–188, 2013.
B.B. Türker, Z. Buçinca, E. Erzin, Y. Yemez, and T.M.
Sezgin, “Analysis of engagement and user experience with alaughter responsive social robot.,” Interspeech, pp.844–848,
2017.
K. Hara, K. Inoue, K. Takanashi, and T. Kawahara, “Turntaking prediction based on detection of transition relevanceplace.,” INTERSPEECH, pp.4170–4174, 2019.
T. Itoh, N. Kitaoka, and R. Nishimura, “Subjective experiments on inﬂuence of response timing in spoken dialogues,”
Interspeech, 2009.
N.G. Ward, A.G. Rivera, K. Ward, and D.G. Novick, “Rootcauses of lost time and user stress in a simple dialog system,” Interspeech, 2005.
A. Raux, D. Bohus, B. Langner, A.W. Black, and M. Eskénazi, “Doing research on a deployed spoken dialogue system:
one year of let’s go! experience,” Interspeech, 2006.
M. Takeuchi, N. Kitaoka, and S. Nakagawa, “Generationof natural response timing using decision tree based on
prosodic and linguistic information,” Eighth European Conference on Speech Communication and Technology, 2003.
S. Fujie, H. Katayama, J. Sakuma, and T. Kobayashi, “Timing generating networks: Neural network based precise turntaking timing prediction in multiparty conversation,” 22nd
Annual Conference of the International Speech Communication Association, INTERSPEECH 2021, pp.3771–3775,
International Speech Communication Association, 2021.
J. Sakuma, S. Fujie, and T. Kobayashi, “Response Timing Estimation for Spoken Dialog System using Dialog Act
Estimation,” Proc. Interspeech 2022, pp.4486–4490, 2022.
N.G. Ward, D. Aguirre, G. Cervantes, and O. Fuentes,“Turn-taking predictions across languages and genres using an lstm recurrent neural network,” 2018 IEEE Spoken
Language Technology Workshop (SLT), pp.831–837, IEEE,2018.
G. Skantze, “Towards a general, continuous model of turntaking in spoken dialogue using lstm recurrent neural networks,” Proceedings of the 18th Annual SIGdial Meeting on
Discourse and Dialogue, pp.220–230, 2017.
K. Onishi, H. Tanaka, and S. Nakamura, “Multimodal voiceactivity prediction: Turn-taking events detection in expertnovice conversation,” HAI ’23: Proceedings of the 11th International Conference on Human-Agent Interaction, Conference in Human-Agent Interaction ’23, 2023.
E. Ekstedt and G. Skantze, “Voice activity projection: Selfsupervised learning of turn-taking events,” arXiv preprint
arXiv:2205.09812, 2022.
E. Ekstedt, “Vap: Voice activity projection,” 2022. https://github.com/ErikEkstedt/vap_turn_taking.
J.J. Godfrey, E.C. Holliman, and J. McDaniel, “Switchboard: Telephone speech corpus for research and development,” Acoustics, speech, and signal processing, ieee international conference on, pp.517–520, IEEE Computer Society, 1992.
A. Cafaro, J. Wagner, T. Baur, S. Dermouche, M. Torres Torres, C. Pelachaud, E. André, and M. Valstar, “Thenoxi database: multimodal recordings of mediated noviceexpert interactions,” Proceedings of the 19th ACM International Conference on Multimodal Interaction, pp.350–359,

2017.
[19] K. Yoshino, H. Tanaka, K. Sugiyama, M. Kondo, andS. Nakamura, “Japanese dialogue corpus of information
navigation and attentive listening annotated with extended
iso-24617-2 dialogue act tags,” Proceedings of the EleventhInternational Conference on Language Resources and Evaluation (LREC 2018), 2018.
[20] Z. Cao, G. Hidalgo, T. Simon, S.E. Wei, and Y. Sheikh,“Openpose: realtime multi-person 2d pose estimation usingpart aﬃnity ﬁelds,” IEEE transactions on pattern analysis
and machine intelligence, vol.43, no.1, pp.172–186, 2021.
[21] T. Baltrusaitis, A. Zadeh, Y.C. Lim, and L.P. Morency,“Openface 2.0: Facial behavior analysis toolkit,” 2018 13th
IEEE international conference on automatic face & gesturerecognition (FG 2018), pp.59–66, IEEE, 2018.