# マルチモーダル対話コーパス Hazumi

駒谷 和範 $\dagger \cdot$ 岡田 将吾 $\dagger \dagger$

## 1 はじめに

大阪大学マルチモーダル対話コーパス Hazumi を収集し, 国立情報学研究所情報学研究デー タリポジトリ (NII-IDR)1(大須賀, 大山 2022)と GitHubにて公開している.このコーパスには,一般から募集した実験参加者と, Wizard-of-Oz (WoZ) 方式で動作するエージェントとの間の, のべ 214 人分の雑談が収録されている. 1 対話はおおよそ 15 分から 20 分程度である. 対話中の実験参加者の様子を複数のセンサを用いて収録し，交換と呼ぶ単位ごとに複数アノテータによる多様なアノテーションを付与した。対話単位でも，実験参加者の性格特性や，事前事後のアンケート結果を収集している。また，簡便に機械学習の実験が可能となるよう，マルチモー ダルデータから特徴量を抽出したファイルも公開している.

対話は自然言語を使用した他者とのやりとりであるため，言語情報やそれを伝える音声は重要な役割を担う. しかしながら言語以外の要素も対話を構成する重要な要素である. とりわけ,話すこと自体が目的とされる雑談では，言語以外の情報，つまり表情や韻律などから，相手の意図や態度, 感情を読み取ることの重要性が増す。本稿では, 言語情報以外の情報も扱う対話をマルチモーダル対話と呼ぶ.

Hazumi には 6 つのバージョンがある。 バージョンを表す数字 4 桁は, 収集開始年月（西暦の下 2 桁と月）を示す。なお，Hazumi という名前は，話を弾ませることができる対話システムを作りたいという願いから名付けたものである.

## 2 設計・特徴

## 2.1 人とシステムとの対話

「システムと話す」人のデータを収録した. マルチモーダル対話コーパスは, 人どうしの対話を収録したものが多い (Janin et al. 2003; Carletta 2007; Busso et al. 2008). しかしながら,対話システムに対するユーザのふるまいは，人どうしで対話をする場合とは大きく異なる。し
^{1}$ https://www.nii.ac.jp/dsc/idr/rdata/Hazumi/
}

たがって，多様なユーザを想定した実用的な対話システムの設計や，システムに対する人のふるまいを分析・学習するには，人対人ではなく，人対システムの対話データが必要である ${ }^{2}$.

Hazumi の収集では，システムは WoZ 方式で動作させた。つまり別室にいる人間のオペレー 夕 (Wizard)3゙ェエージェントを操作し，対話を行った．多様な実験参加者に対して十分に安定して動作するマルチモーダル対話システムがなかったため, WoZ 方式とした. 対話相手となるエージェント（インタフェース）には MMD-Agent4を用いた。人間のオペレータがエージェントを操作していることは，収録の間は実験参加者に開示せず，収録の終了時に開示した.

タスクは雑談とし，Wizard は基本的に実験参加者が対話を楽しんでいる時間が長くなるように発話を選択した． Hazumi1712のみ，興味のある話題とない話題を 3 つずつ設定し，それらの話題を一定時間継続するよう Wizard に指示した.

## 2.2 ユーザを収録対象

システムと話す人のふるまいを得ることを目的として，実験参加者から顔の映像を含むマルチモーダルデータを収録した。マルチモーダル対話には，対話相手であるユーザを観測対象とするものと，話題の対象（例えば買い物中の対話での商品）を観測対象とするものがある． Hazumi は前者であるが，後者の一例として SIMMC (Kottur et al. 2021) などがある.

実験参加者には，このシステムとの対話が初めてである人を一般から募集した. これはこのシステムを知らないユーザのふるまいを得るためである。一般ユーザがシステム開発者の期待通りにふるまうことはほぼない。ただし Hazumi2105では，一度収録に参加した者を募った。

実験参加者に対して, 例えば感情を強く表出するよう演じさせる等の教示は行っていない.感情ラベルが付与された対話データとして有名な IEMOCAP(Busso et al. 2008)は, 人どうしの対話で，役者が感情を表出するように指示されて，シナリオを演じたものである.

## 3 収集データ

対面とオンラインで収集したデータの概要を，それぞれ表 1 と表 2 に示す. 対面収録とオンライン収録での設定の最大の差異は, 使用したセンサである5 5

利用手続きや，データの仕様, GitHub サイトの URL などを含む詳細情報は, NII-IDRのサイトhttps://www.nii.ac.jp/dsc/idr/rdata/Hazumi/にある。また個人情報が含まれる映像
^{4}$ http://www.mmdagent.jp/

52020 年度以降コロナ禍により対面でのデー夕収集は困難となったため，オンライン収録に移行した。生体信号を含む多様なセンサによる収録や，実験参加者本人による本人心象アノテーションは， Hazumi1911 の特長であったが, オンライン収録では収録手続きの複雑さを減らすため, 残念ながら断念した.
}

 &  & \multicolumn{2}{|c|}{} \\

表 1 対面収録 3 バージョンの概要 (Komatani and Okada 2021)

 & \multicolumn{3}{|c|}{} \\

表 2 オンライン収録 3 バージョンの概要

図 1 アノテーションの対象とする区間（交換）

データやサイズが大きい姿勢データは，NII-IDR から配布している。これら以外のデータは全て GitHub サイトからダウンロード可能である.

## 3.1 使用センサ

映像データ対話中の実験参加者の上半身の映像を，正面からビデオで撮影した．Hazumi1902 と Hazumi1911ではエージェントの映像も別途収録した. Hazumi2010 以降のオンライン収録では，Zoom の画面録画機能により，実験参加者とエージェントを並べた画面構成で収録した．姿勢データ対面収録の 3 バージョンでは，実験参加者の正面に Microsoft Kinect を配置し， その深度センサとマイクロホンアレイにより, 実験参加者の音声, 深度画像, 姿勢を収録した深度画像データは, 深度カメラからの距離情報が各フレームごとに画像として保存されている.姿勢データは，各時刻における，実験参加者の 25 個の関節の 3 次元位置座標の推定値である.生体信号データ Empatica 社製の E4 wristband を用いて, Hazumi1911では対話中の生体信号データを収録した。これはワイヤレスのリストバンド型生体センサであり, 皮膚電位デー夕,容積脈波データ, 心拍データ, 皮膚温度データ, 加速度データを測定できる。

## 3.2 交換ごとのアノテーション

交換を単位として，様々なアノテーションを付与した。具体的には，図 1 のように，システム発話開始時刻から，次のシステム発話開始時刻までを一交換 (exchange) とした。テキスト対話ではエンターを入力するなどして発話の終わりが明示されるのに対して，音声を用いた対話では発話という単位は自明ではない (駒谷 2018)，我々は，システム発話の開始時刻を用いて交換を定義することで，この問題を回避した。具体的には，Wizard が発話開始ボタンを押した時刻を記録して用いた。 6 つのバージョンでの交換の総数は 18,162 である.

各交換には以下のアノテーションを付与した.

第三者心象 5 名（または 3 名）のアノテータが，システム発話を受けて実験参加者がどのように感じているように見えるかを付与した. 主観的印象を表すこの度合を，ここでは心象と呼ぶ。対話の映像を順に見ながら，各交換に対して 7 段階（1をネガティブ， 7 をポジティブ）で付与した。ポジティブの例として，楽しい，話し続けたい，満足などを示し，

図 2 ELANでの表示画面の例。交換ごとに複数のアノテーションが付与されている。

ネガティブの例として，楽しくない，話し続けたくない，不満，困惑などを示した

話題継続 5 名（または 3 名）のアノテータが，自分がシステム役だったとした場合に，実験参加者の発話を聞いた後，次に話題を変えようと思うかどうかを付与した．対話のビデオを最初から順に見ながら，各交換に対して 7 段階（1が「話題を変える」， 7 が「この話題を続ける」）で付与した。

興味度現在の話題に実験参加者が興味を持っているように見えるかどうかを付与した。興味あり $(\mathrm{o})$, 不明 $(\mathrm{t})$, 興味なし $(\mathrm{x})$ の主に 3 段階で付与した. Hazumi1712のみで付与されている。アノテータは 6 名または 3 名である。

本人心象実験参加者本人が，対話終了直後に，各交換で自分がどう感じていたかを，撮影された映像を見ながら付与した。尺度は第三者心象と同じ 7 段階である. Hazumi1902 と

Hazumi1911でのみで付与されている.

各交換には上記に加え，実験参加者の発話の書き起こし，システム発話，システム発話の対話行為も付与されている. 対話行為は簡略化した 9 種類で，作業者 1 名で簡易的に付与した.

これらの全てを含む eaf (ELAN annotation fomat) ファイルを対話ごとに作成し，公開している. ELAN (Wittenburg et al. 2006) で閲覧・分析できる。画面表示の例を図 2 に示す.

## 3.3 対話ごとのアンケート

実験開始前と実験終了後にアンケートを行った．会話者の対人コミュニケーション認知に関する 18 項目 (木村他 2005)を，対話の開始前と終了後に実験参加者に対して尋ねた．各項目は 8 段階である。またWizard も，この 18 項目を簡略化した 3 項目に対して同様に回答した.

Hazumi1911 以降では，対話終了後に，対話相手のエージェントを人間が操作していたことに気づいた度合と，各実験参加者の性格特性を調査した，性格特性の調査には，ビッグファイブの 5 特性を 10 項目で測定する日本語版 TIPI-J(小塩他 2012)の質問文を利用した.

## 3.4 実験用ダンプファイル

簡便に機械学習の実験が行えるように，マルチモーダルセンサデータの処理結果をダンプしたファイルも公開している。対話（実験参加者）ごとの CSVファイルであり, 各行が交換, 各列が時刻情報やアノテーション結果, 特徴量に対応する。特徴量は各センサ情報の処理結果であり, 韻律, 顔表情, 動作（対面収録のみ）, 言語の各特徴量からなる。特徴量の詳細は, NII-IDR のサイトにある概要説明ドキュメントや Githubの README を参照されたい.

## 4 倫理的配慮

収集したデータは顔画像などの個人情報を含む。テキストコーパスは単純に Webに置くなどして公開できるが，個人情報を含むデー夕を配布するには倫理的配慮が必要である.

データは同意書に同意した者のみから収集した。収集したデータを研究者に対して研究開発目的で配布できることも，同意書に明記されている ${ }^{6}$. デー夕公開への同意を得る必要があることから未成年者は対象外とした。また収録したデータの中には, 住所など個人の属性が特定され得る表現を含む発話や, 個人の信条嗜好を表明している発話が一部存在した. これらの部分に対しては，配布に際して，音声を無音化し，書き起こしテキストを伏字にするなどした。

上記の倫理的な配慮から, 同意書に記載されている条件を遵守する旨を含む覚書を, 利用者が所属する組織の代表者との間で交わすことにしている，組織の代表者とされているのは，異動などにより利用者と連絡が取れなくなるリスクを考慮したためである。やや慎重な設定であり，利用開始時に手間が必要にはなっているが，是非多くの方に利用していただきたい7.

## 謝 辞

データの配布には, 国立情報学研究所大須賀智子氏にご尽力いただた。本研究の始点となった人工知能学会 SIG-SLUD 研究会「人システム間マルチモーダル対話共有コーパス構築グループ」のメンバー各位に感謝する。本研究の一部は, JSPS 科研費 19H05692, 19H04171，および，物質・デバイス領域共同研究拠点共同研究プログラムの支援を受けた。

本稿は, 日本音響学会誌に掲載された記事 (駒谷 2022 )を基に加筆・再構成したものである.

## 参考文献

Busso, C., Bulut, M., Lee, C.-C., Kazemzadeh, A., Mower, E., Kim, S., Chang, J. N., Lee, S., and Narayanan, S. S. (2008). "IEMOCAP: Interactive Emotional Dyadic Motion Capture Database." Language Resources and Evaluation, 42 (4), pp. 335-359.

Carletta, J. (2007). "Unleashing the Killer Corpus: Experiences in Creating the Multi-everything AMI Meeting Corpus." Language Resources and Evaluation, 41 (2), pp. 181-190.

Janin, A., Baron, D., Edwards, J., Ellis, D., Gelbart, D., Morgan, N., Peskin, B., Pfau, T., Shriberg, E., Stolcke, A., and Wooters, C. (2003). "The ICSI Meeting Corpus." In Proceedings of IEEE-ICASSP, pp. I-364-I-367.

木村昌紀, 余語真夫, 大坊郁夫 (2005). 感情エピソードの会話場面における表出性ハロー効果の検討. 感情心理学研究, 12 (1), pp. 12-23. [M. Kimura et al. (2005). Expressivity Halo Effect in the Conversation about Emotional Episodes. The Japanese Journal of Research on Emotions, 12 (1), pp. 12-23.].

駒谷和範 (2018). 円滑な対話進行のための音声からの情報抽出. 電子情報通信学会誌, 101 (9), pp. 908-913. [K. Komatani (2018). Obtaining Information from Spoken Utterances for Smooth Dialogues. The Journal of the Institute of Electronics, Information and Communication Engineers, 101 (9), pp. 908-913.].

駒谷和範 (2022). マルチモーダル対話コーパスの設計と公開. 日本音響学会誌, 78 (5), pp. 265-270.

[K. Komatani (2022). Design and Release of a Multimodal Dialogue Corpus. The Journal of the Acoustical Society of Japan, 78 (5), pp. 265-270.].

Komatani, K. and Okada, S. (2021). "Multimodal Human-Agent Dialogue Corpus with Annotations at Utterance and Dialogue Levels." In Proceedings of ACII, pp. 1-8.

Kottur, S., Moon, S., Geramifard, A., and Damavandi, B. (2021). "SIMMC 2.0: A Task-oriented Dialog Dataset for Immersive Multimodal Conversations." In Proceedings of EMNLP, pp. 4903-4912.

大須賀智子, 大山敬三 (2022). 国立情報学研究所「情報学研究データリポジトリ (IDR)」の紹介.自然言語処理, 29 (3), pp. 986-990. [T. Ohsuga and K. Oyama (2022). Introduction about NII Informatics Research Data Repository (IDR). Journal of Natural Language Processing, 29 (3), pp. 986-990.].

小塩真司, 阿部晋吾, カトローニピノ (2012). 日本語版 Ten Item Personality Inventory (TIPI-J)作成の試み. パーソナリティ研究, 21 (1), pp. 40-52. [A. Oshio et al. (2012). Development,

Reliability, and Validity of the Japanese Version of Ten Item Personality Inventory (TIPI-J).

The Japanese Journal of Personality, 21 (1), pp. 40-52.].

Wittenburg, P., Brugman, H., Russel, A., Klassmann, A., and Sloetjes, H. (2006). "ELAN: a

Professional Framework for Multimodality Research." In Proceedings of LREC, pp. 17-20.

## 略歴

駒谷和範：1998 年京都大学工学部情報工学科卒業. 2000 年同大学院情報学研究科知能情報学専攻修士課程修了. 2002 年同研究科博士後期課程修了. 京都大学博士 (情報学). 同年京都大学大学院情報学研究科助手, 同助教, 2010 年名古屋大学大学院工学研究科准教授を経て, 2014 年より大阪大学産業科学研究所教授. 言語処理学会, 人工知能学会, 情報処理学会, 電子情報通信学会, $\mathrm{ACM}$ 各会員.

岡田将吾：2003 年横浜国立大学工学部知能物理工学科卒業. 2005 年東京工業大学大学院総合理工学研究科知能システム科学専攻修士課程修了. 2008 年同研究科博士後期課程修了. 東京工業大学博士 (工学). 同年京都大学大学院情報学研究科特定助教, 2011 年東京工業大学大学院総合理工学研究科助教を経て, 2017 年より北陸先端科学技術大学院大学准教授. 人工知能学会, 電子情報通信学会, ACM, IEEE 各会員.