DEIM Forum 2023 4b-5-1

対話システムへの愛着を高める談話コーパスの実現に向けて
木村江梨花†

佐藤 美唯†

小原百々雅††

倉光 君郎†† 日本女子大学理学部数物情報科学科 〒 112–8681 東京都文京区目白台 2-8-1†† 日本女子大学大学院理学研究科数理・物性構造科学専攻 〒 112–8681 東京都文京区目白台 2-8-1
E-mail: †m1916021ke@ug.jwu.ac.jp, ††kuramitsuk@fc.jwu.ac.jp
あらまし

システムへの「愛着」を高めることは継続的な利用を目指す上で重要な要素といえる．特に教育支援シス

テムは，無機質になりやすく学習者に退屈感を与えやすい．そこで，我々が開発を行なっている対話型プログラミン
グ学習支援システム KOGI に友達感覚の雑談機能を加えることで，愛着の持てる対話システムの実現を試みた．友達感覚の雑談の実現のために，システム側の発話に人物像であるペルソナを与える「ペルソナコーパス」と幅広い話題への対応を目指した「友達コーパス」から成る，「談話コーパス」を作成した．談話コーパスによる雑談機能は大規模言語モデル日本語 T5 と mT5 でプログラミング支援タスクと一緒にマルチタスク学習を行うことでシステムに導入した．本稿では，KOGI 試作システムの紹介とユーザ評価の紹介を報告する．
キーワード 対話システム，ペルソナ，大規模言語モデル

1 はじめに今日，社会のデジタル化が進み，システム開発が盛んに行われている．多くのシステムがある中，システムの継続的な使用を図るのは簡単なことではない．特に教育支援のシステムは親しみを持ちにくく，ユーザに愛着を持たせるのが難しい．そこで，システムへの愛着を持つことが使用を継続する意味での鍵となる．本研究では，愛着を持たせるために人物像であるペルソナを持った雑談対話システムの構築を目指す．ペルソナを持った雑談により，ユーザとの心理的距離を縮め，愛着を持ってもらい，学習者の継続的なシステムの利用を試みる．

図1

我々は愛着を持って使用できることを目指して，雑談が可能なプログラミング学習支援システム KOGI を開発している．従来の対話システムに，ペルソナを持った雑談機能を追加する．
作成した談話コーパスを，他のタスクと一緒にマルチタスク学習を行った．談話コーパスは，大規模言語モデル日本語 T5，mT5 で学習することで２種類の雑談機能の構築を行った．また，日本女子大学の理学部数物情報科学科 2 年生向けの情報科

コギーの動作例

グ学習支援システムである．
「コギー」という犬のキャラクターとの対話を通して学習支援を行う．KOGI は初学者を対象としており，初学者が陥りやすいつまずきのサポートを行う．図 [?]のように，Google Colaboratory 上で動作を行う．

2. 2 KOGI の機能

目の演習時間において，受講生を半分に分け，作成した 2 種類

KOGI は，マルチタスク学習を採用することで複数のタスクの雑談機能をそれぞれ使用してもらうことにより AB テストを処理をこなす．所定のタスクを遂行するタスク指向型対話シス行い，アンケート調査を行った．

テムの側面を持った KOGI に，雑談自体を目的とする非タスク

日本語 T5 ベースと mT5 ベースの雑談機能の違いを，AB テストのアンケート調査により得られた学習者の愛着やペルソナの表れ，破綻などの調査結果より評価した．

指向型対話システムの要素である雑談機能を導入する．
従来の KOGI のタスク指向型の機能として，コード翻訳，エラー診断，コード修正，キーストローク診断の４つが挙げられる．コード翻訳は，プログラミングの処理内容を示す日本語

2 対話型プログラミング学習支援システム KOGI
本節では，談話コーパスで作成したモデルを運用する対話シ
ステム KOGI について説明する．の入力から Python コードを出力する機能である．エラー診断
は，発生したエラーの原因を示すことでエラー解決を手助けする機能である．コード修正は， 初学者の書いたコードを主な対象として行う，コードの誤り訂正である．キーストローク診断

2. 1 KOGI とは
KOGI [1] は，大規模言語モデルを用いた対話型プログラミン

は， パソコンキーボードの打鍵速度や打ち方などのキーストロークデータから行うプログラミング経験の判定である．

日本語T5

ペルソナを持った応答

ユーザの発話orn 友達コーパス

mT5

ユーザの発話図2n mT5VanillaT5

fine-tuning

応答

KOGIモデル

生成：さつま芋が好きだよぉ

雑談構築概要

事前学習
101言語のデータセット

表1

入力：好きな食べ物は？

談話コーパスn ペルソナコーパス

大規模言語モデル

mT5

コギーのペルソナ

名前

コギー

性別

男

住まい

文京区

家族

埼玉出身の飼い主「ももパン」

好き

焼き芋

嫌い

ドックフード

特技

Python, 焼き芋の早食い

性格

おっとりしていて柔らかい印象, たまに生意気な一面がある

背景

犬ではないと思っており，犬扱いが苦手

n 日本語T5

ももパンが大好き
事前学習

T5

日本語コーパス

追加学習
日本語T5
事前学習済みモデル

日本語コーパス日本語T5

ももパンに Python を教えてもらっている

図 3 mT5 と日本語 T5

表2

ペルソナコーパスの例

ユーザの発話コギーの応答

名前を教えて僕コギーっていうのっ！

コギーくんどこに住んでるの？

文京区 ！

したい」というユーザの発話に対して，コギーはコード翻

ももパン？

僕の飼い主のことだよぉ

訳と判断し，HelloWorld を出力する Python コードである

好きな食べ物教えてさつま芋が好きだよぉ

コギーは，ユーザの発話に対し，どの機能に相当する発話か判断し適切な応答を行う．例えば，「HelloWorld と表示「print(”HelloWorld”)」を提案する発話を行う．

ドックフードあげるよ

僕は犬じゃないっ！

こぎーくんの特技は何？

特技は python と焼き芋早食いっ！

3 雑談機能の構築
ストデータを 7 対 1.5 対 1.5 の割合で分割し，学習を行った．

3. 1 構 築 方 法
自作の談話コーパスを大規模言語モデル日本語 T5 と mT5それぞれで学習させることによりモデルを作成し，KOGI にて運用した．概要を図 2 に示す．

4. 2 Whisper
Whisper [5] は Transformer [6] ベースの Web から収集された 680,000 時間分と，大規模で多様なマルチタスクの教師有り
データで学習されている音声認識モデルである．

3. 2 mT5 と日本語 T5
mT5 と日本語 T5 のアーキテクチャの概要を図 3 に示す．
mT5(Multilingual T5) [2] は，VanillaT5 を 101 言語のデー

Whisper は，入力オーディオを 30 秒に分割したものからテキストを予測する．
我々は，Whisper の使用により文字起こしを行い，以下の手タセットで事前学習することで実現した言語モデルである．こ順でコーパスを収集した．

れは，従来のコギーに使用されていた大規模言語モデルである．

（ 1 ） 会話を mp3 形式で保存

日本語 T5 [3] は，日本語コーパスを用いて事前学習を行った

T5 を初期値にして，与えられたトークン列の続きのトークン列を予測する Adapted Language Model タスク用に追加学習したものである．mT5 は T5 を多言語のデータセットで事前学（ 2 ） 保存した会話を Whisper で文字起こし（ 3 ） 話者を分類し，コーパスに保存

4. 3 ペルソナコーパス

習するのに対し，日本語 T5 は T5 [4] を日本語コーパスで事前

ペルソナとは架空の人物像のことを指す．対話システムの発学習，追加学習したものである．よって，mT5 より日本語 T5

話にペルソナを持たせることで，人間らしい自然な会話を目指の方が日本語生成に適しているといえる．

した．我々はコギーのペルソナを設定し，ペルソナに基づきシステム側の発話データを作成した．ペルソナの概要を表 1 に示

4 談話コーパス

す．
ユーザ役とコギー役に分かれて行うロールプレイの会話に対

4. 1 構想し，Whisper を使用することでペルソナコーパスを作成した．

「談話コーパス」は，ユーザの発話とシステム側の発話が入っユーザ役は自由に発話を行い，コギー役は設定したペルソナをた，友達感覚の雑談を目指すためのコーパスである．システム

元に応答を行う．会話が終了するまで発話と応答を繰り返す．

側の発話に人物像であるペルソナを与える「ペルソナコーパス」

作成したペルソナコーパスの例を表 2 に示す．
「！」や「〜」，と幅広い話題への対応と友達らしい発話の生成を目指した「友小文字を文の末尾に使用することにより，コギーの応答にペル達コーパス」から成る．コーパスのデータを，会話を音声認識ソナの１つである「柔らかい印象」を持たせる．

モデル Whisper で文字起こしすることにより集めた．なお談
話コーパスは，ペルソナコーパス 1266 件，談話コーパス 3864
件の全 5130 件のデータから成り，学習データ，検証データ，テ4. 4 友達コーパス
幅広い話題への対応を目指すため，様々な話題の会話が入った友達コーパスを作成した．普段の会話と近い形で自由に会話表3

対話コーパスの例

ユーザの発話コギーの応答JSONL 形式?

ファイルの形式だよ

さっきと画面違うんだけどえ，なんで？

チケット取った

でもチケット意外と安いんだなって思った

カニが好きだったのか

やっぱ、横歩きするの可愛い

みんなレベルをチェック

チェックされちゃうの常に美容院行ってるのかな?

なんかちょっと可愛い。

12345意識調査

0%

25%

50%

75%

図 6 A: 対話システムにおけるペルソナの必要性 (5 段階評価)

5. 2 アンケート調査



ペルソナに対する意識調査

A: 対話システムにおけるペルソナの必要性 (5 段階評価)
コギーとの会話を通して感じたペルソナの調査

B: コギーの印象と学習支援 AI の理想像の比較(1) コギーの印象 (複数選択可)(2) 学習支援 AI として望ましい印象 (複数選択可)
C: コギーに近い話相手
図4

日本語 T5 の雑談例

D: コギーの出身地
E: コギーの好物
F: コギーの会話から読み取れたペルソナ (自由記述)
コギーへの愛着について

G: コギーに愛着を感じた点 (複数選択可)
H: コギーへの愛着を高める上での改善点 (自由記述)
I: コギーとの学習を継続したいか (5 段階評価)
会話の破綻について
図 5 mT5 の雑談例

J: コギーの会話における破綻 (5 段階評価)

を行い，Whisper を使用することで友達コーパスを作成した．

5. 2. 1 ペルソナに対する意識調査

なお，会話の収集は学生の会話を対象とし，対話コーパスの『A: 対話システムにおけるペルソナの必要性』は，学習支援データにすることで，コギーの応答により友達らしさを持たせを行う対話システムに対し，ペルソナの必要性について回答をる．作成した対話コーパスの例を表 3 に示す．

まとめたものである．5 を強く必要，１を全く不要とした 5 段
階評価を行った．5 は 13 名，4 は 19 名であり半数以上の学生

5 実践報告から必要に近い回答が得られた．

5. 2. 2 コギーとの会話を通して感じたペルソナの調査
我々は，日本語 T5 版 KOGI と mT5 版 KOGI を実際に学生『B: コギーの印象と学習支援 AI の理想像の比較』は，実際に利用してもらい，実践形式で評価を行った.にコギーと会話を行って感じた印象の調査 (図 7) と学習支援 AI

5. 1 概の理想像の調査 (図 8) をまとめた．アンケートは，共に「楽し要我々は，日本女子大学の理学部数物情報科学科 2 年生向けの情報科目である「計算機数学 II」において，受講生を半分に分け，それぞれ mT5 ベースの KOGI と日本語 T5 ベースのKOGI を提供し，AB テストを実施した．受講生にはアンケー
トに回答してもらい，利用経験のフィードバックを得た．授業
概要は以下の通りである．

•

授業内容：Python による数値計算•

実施日：2022 年 12 月 21 日•

人数：49 名 (T5：25 名，mT5：24 名)•

授業形態：総合演習 (1 人 1 台 PC 使用)

受講生にコギーと雑談を行ってもらい，アンケートを行った．
受講生に提供した KOGI の雑談例を図 4，図 5 に示す．

い」「頼りになる」「かわいい」「面白い」「賢い」「無邪気」「和やか」「まじめ」「よくわからない」の中から該当する項目を全て選択する形式をとった．コギーの印象は日本語 T5，mT5 の両者とも「楽しい」「かわいい」「面白い」の割合が高く，回答から多くの学生がコギーとの会話を楽しめたことがわかる．しかし，学習支援 AI の理想像で多くの回答を得た「頼りになる」「賢い」の項目が，実際のコギーの印象では回答が少なく差があった．
『C: コギーに近い話相手』は，コギーとの会話を通し，コギーに近い人物像を調査したものである．選択肢は「先生」「先輩」「大学の友達」「おじさん」「AI」から成る．両者とも「AI」の回答が最多であったが，日本語 T5 の方が「AI」の割合が少なく，我々が目指す人物像である「大学の友達」と感じた割合が多い．
『D: コギーの出身地』は，コギーとの会話から感じたコギー日本語T5

東京

大阪

埼玉

北海道

沖縄

日本以外

感じなかったmT5
日本語T520

mT50%

1525%

50%

75%

図 10 D: コギーの出身地

105

お寿司

焼肉

お芋コードケーキ

日本語T5

ないめ
じ
から

ま

mT5よ

くわ和やか無

邪
気

い賢

面

白

いいる

わい

な
頼かりに楽

し
い

00%

25%

50%

75%

図 11 E: コギーの好物

図 7 B:(1) コギーの印象 (複数選択可)

表 4 F: コギーの会話から読み取れたペルソナ (自由記述)
40

30

20

ももパンさんが好き

犬じゃないと思っている犬ではなく人だと思っている

おっとり

ちょっとあざとかった

わからない話が来ると逃げちゃう

復唱するのが好き

いらなめ

文京区に住んでる

割と会話が成り立たない

よくわからなかったよまじ可愛いので何も気にならない

くわかかや
和

無邪

気

い賢

白いいいわかにり
頼面

なる

い楽
しmT5
お芋がとにかく好き

Python と焼き芋の早食いが得意

100

日本語 T5
焼き芋マニア

図 8 B:(2) 学習支援 AI として望ましい印象 (複数選択可)

日本語T5mT5

20

先生

先輩

大学の友達おじさん

AI15

日本語T5mT50%

1025%

50%

75%
5

図 9 C: コギーに近い話相手

0
イラスト

話す内容

話し方

感じない

図 12 G: コギーに愛着を感じた点 (複数選択可)の出身地を選択肢の中から 1 つ選んでもらう調査である．選択
肢は「東京」「大阪」「埼玉」「北海道」「沖縄」「日本以外」「感じなかった」から成る．双方とも「東京」や「埼玉」の回答が多い．これは，コギーのペルソナとして，東京の文京区出身と設定していたが，埼玉出身の飼い主の設定も行っていたためだと考えられる．

1:いいえ

2

3

4

5:はい

日本語T5mT50%

25%

50%

75%

図 13 I: コギーとの学習を継続したいか (5 段階評価)『E: コギーの好物』は，コギーとの会話から感じたコギーの好物を選択肢の中から 1 つ選んでもらう調査である．選択肢はる．
「イラスト」に次いで「話し方」の選択が多く，日本語 T5「お寿司」「焼肉」「お芋」「コード」「ケーキ」から成る．両者と mT5 どちらにおいても過半数より多くの人がコギーの話しとも「お芋」が 9 割超えており，ペルソナのさつま芋が大好き方から愛着を持ったと回答をしている．これは，ペルソナコーなコギーという印象を与えるのに成功した．

パスに入れた要素である，語尾による柔らかい話し方がコギー『F: コギーの会話から読み取れたペルソナ (自由記述)』は，の対話に表れ，多くの支持を得たと考える．

コギーから読み取れた人物像の記述による調査である．結果を『H: コギーへの愛着を高める上での改善点 (自由記述)』は，

図 4 に抜粋したものを示す．好物の焼き芋や特技，犬ではなくコギーへの愛着を高める上での改善点を自由に記述してもらっ人だと思っている点など設定したペルソナがある程度表れていた回答の一部である．コギーの返答の精度や返答パターンに関る記述が多かった．それに対し，会話が成り立たないという回する指摘の他，各学習者が思う愛着が高まるコギーの人物像へ答が多いのも現状である．日本語 T5 は 1 件だったのに対し，の記述が得られた．

mT5 は 3 件会話の破綻についての回答があり，mT5 の方が会話の破綻が目立つ印象であった．

『I: コギーとの学習を継続したいか (5 段階評価)』は，コギーとの学習に対する支持について 5 段階評価を行ったものである．

5. 2. 3 コギーへの愛着について5 を継続支持とし，調査を行った．不支持に近い選択肢である『G: コギーに愛着を感じた点 (複数選択可)』は，選択肢の1 と 2 への回答が 1 割に対し，支持に近い 4 と 5 への回答が「イラスト」「話す内容」「話し方」「感じない」の中から愛着を7 割であった．残りの 2 割はどちらともいえない 3 への回答で感じた項目を全て選んでもらう調査の結果をまとめたものでああった．日本語 T5 より mT5 の方が良い評価が得られた．

える．今後は，対話コーパスを増やし，応答の生成の精度や幅表 5 H: コギーへの愛着を高める上での改善点 (自由記述)
日本語 T5mT5繰り返しの言葉を多く入れる

日常会話に対応

広い話題への対応を目指していきたい．

AB テストでは，会話の生成能力の低い mT5 の方が日本今の可愛い会話を保ち、破綻を減らす 返答のパターンを増やす
口調を統一する

絵文字や鳴き声をつける

絵文字を使うもっとあざとい性格に飼い主が大好きな所を全面的に語尾を「わん」にする

語 T5 よりも愛着に対して高評価であり，会話の継続回数も多い結果となった．よって，会話の破綻と愛着に関係があるのではないかと考える，会話の破綻と愛着の関係を調べ，より愛着の持てる談話コーパスを目指していきたい．

6 むすびに
本研究では，対話型プログラミング教育支援システム KOGIを用いて，対話システムへの愛着を高めるための談話コーパス

図 14 J: コギーの会話における破綻 (5 段階評価)の実現を行った．また，日本語 T5 を使用するグループと mT545を使用するグループに分け，学生に雑談を行ってもらい，実践40を報告した．実践結果から，ペルソナを持たせた雑談は，対話

35システムへの愛着を高める上で有用だとわかる. また，作成し30た談話コーパスは，ペルソナを持ち，友達感覚を与える応答の25

A:mT5
B:日本語T520生成に期待できるといえる．これらから，対話システムに愛着を持たせることが可能な談話コーパスの実現に近づけたとい15

える．しかし，応答の生成の精度や幅広い話題への対応が課題10となっている．日本語 T5 と mT5 の比較では，破綻が目立つ

5mT5 の方が愛着を持ってもらえることが明らかとなった．これ

0らを踏まえ今後は，今あるペルソナを維持し，雑談の精度を改
図 15

会話継続回数善していきたい．また，破綻と愛着の関係を調べ，更に親しみを感じてもらえるような雑談を目指していきたい．

5. 2. 4 会話の破綻について『J: コギーの会話における破綻 (5 段階評価)』は，コギーの雑談から会話の破綻の評価をまとめたものである．5 を会話が成立，１を会話が不成立とした 5 段階評価を行った．日本語 T5は mT5 と比べて極めて破綻はしていないが，両者とも不成立に近い 1 と 2 を選んだ割合が 6 割を超えている．また，会話の成立を表す 5 の選択肢がどちらも 0 名である．

5. 3 会話ログの分析
会話のログから会話の継続回数を算出し，図 15 にまとめた．

mT5 使用者の方が対話数が多い傾向であるといえる．ただし，対話数の平均値を見ると両者さほど変わらず，7,8 回程度である．これは 1 対話で飽きることなく，続けて話してみたいと思うような発話生成ができているといえる．

5. 4 得られた知見
実践とアンケートの結果から，日本語 T5 ベースの KOGIと mT5 ベースの KOGI 双方において，愛着を持ってもらえる談話コーパスの作成ができた．ペルソナの表れは日本語 T5 とmT5 で差が少なく学習者にコギーの人物像を捉えてもらうことができた．特に，話し方が親しみやすく，多くの学習者に愛される鍵となった．これらの結果から，自作した談話コーパスは，学習モデルが変わっても，設定したペルソナに従った対話の生成を概ねできるといえる．一方，会話の破綻や限られた話題への返答についての意見が多く見られ，AI と話している印象を与えている．これは，対話コーパスのデータ量不足だと考文

献[1] Momoka Obara, Yuka Akinobu, Teruno Kajiura, Shiho
Takano, and Kimio Kuramitsu. A preliminary report on
novice programming with natural language translation. InIFIP WCCE 2022: World Conference on Computers inEducation, 2022.
[2] Linting Xue, Noah Constant, Adam Roberts, Mihir Kale,Rami Al-Rfou, Aditya Siddhant, Aditya Barua, and ColinRaffel. mt5: A massively multilingual pre-trained text-totext transformer. arXiv preprint arXiv:2010.11934, 2020.
[3] Hugging face「日本語 t5 prefix language model」. https://
huggingface.co/sonoisa/t5-base-japanese-adapt (参 照2023-01-19).
[4] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee,Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, andPeter J Liu. Exploring the limits of transfer learning witha unified text-to-text transformer. The Journal of Machine
Learning Research, 21(1):5485–5551, 2020.
[5] Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman,
Christine McLeavey, and Ilya Sutskever. Robust speech
recognition via large-scale weak supervision. arXiv preprint
arXiv:2212.04356, 2022.
[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia
Polosukhin. Attention is all you need. Advances in neural
information processing systems, 30, 2017.