会議において、相手が自分の発言を支持しているかどうかを知ることは、会議を円滑に進める上で重要である。本研究では、対面会議において、発話と応答のペアに対し、応答が発話を支持するものかどうかをマルチモーダル情報を用いて推定することを検討する。発話および応答の書き起こしテキスト・音声・顔動画を入力とするTransformerEncoderに基づくモデルを利用し、各モーダルの効果を検証した。複数人会議コーパスAMIを用いた実験では、テキストモーダルが最もF1値に影響を与えることが示唆された。

複数人で行われる会議において、合意が取れている項目を整理し会議を円滑に進めるために、自分の発話と相手の応答との関係性を知ることは重要である。関係性として「納得できたかどうか」[1]や「同意・不同意」「支持・不支持」[2,3]などが挙げられる。ここで、「『納得』は自分なりに試行錯誤しながら自ら出した解答である」[4]が、「同意」は「自分も同じ意見であるということを態度に表わすこと」であり「同意」に類する「支持」は「同意」に比べ継続的な行為とされている1）。そこで本研究では、「同意」や「支持」の方が「納得」よりも外から観察・推定することが容易であり、短時間で行われる発話間の関係性においては「同意」と「支持」はほぼ同一と扱うことができると考え、「支持」に主に着目する。会議中のある発言に対し別の発言がなされたときの2発話間の関係性を分類することは議論マイニングタスクの一つであり、多くの研究がなされている[2,5,3]。中でも姫野・嶋田[5]は、企業で頻繁に行1）https://dictionary.goo.ne.jp/thsrs/4366/meaning/m0u/2023/1/4アクセス発話𝐶テキスト𝑇𝑖𝑥音声𝐴𝑖𝑥動画𝑉𝑖𝑥SoImeanIdon‘tthinkanybodycouldactuallystoparemotebeinglost,'causethatwouldmeandoingsomethingaboutthehumanelement,butI'dliketothinkthatwe'vedonesomethingaboutfindingthedamnthingoncewehave.話者𝑆𝑥𝑖話者𝑆𝑦応答𝑅テキスト𝑇𝑗𝑦音声𝐴𝑗𝑦動画𝑉𝑗𝑦Mm.Andmakingitabrightcolourhelpswith𝑗関係性𝑧：PositivethepersonallyIwouldhavegoneforpurple.timeわれる会議と同様の形式である複数人議論コーパスAMI[6]について2発話間の関係性を9種類に分類することを検討している。姫野・嶋田の手法は発話の書き起こしテキストを用いるものであるが、音声の抑揚や表情などパラ言語情報・非言語情報も発話間の支持・不支持の関係性を認識する上で重要である。そこで、本研究では、ある話者の発話と、それに対する別の話者の応答について、2発話間の関係性をマルチモーダル情報を用いて推定することを検討する。ただし、マルチモーダル情報の効果の測定を簡単にするため、相手の発言を支持する発話かそれ以外かという2値分類の問題として検討する。マルチモーダル情報を用いて議論マイニングを行う方法として、各モーダルをBERT[7]やWav2Vec2.0[8]などの事前学習モデルで独立にエンコードした後で連結ベクトルを線形層で変換する方法が提案されている[2,3]。一方で、マルチモーダル情報を統合する方法として、言語・音声・動画を系列方向に連結してTransformerEncoder[9]に入力することでモーダル間の関係性をより効率よく捉える手法が提案されている[10,11]。本研究では、この手法を応用し、発話と応答についてそれぞれTransformerEncoderでマルチモーダル情報を統合した後で線形層を用いて発話と応答の両方を考慮してその関係性を推定する手法について検証する。.Ƹ𝑧ℎLinearLinear+activationconcatEncoderEncoder𝐶𝑅