# なりきり質問応答と大規模言語モデルに基づく なりきり $\mathrm{AI の$ 構築
}

光田 航 ${ }^{\dagger, \dagger \dagger} \cdot$ 東中竜一郎 ${ }^{\dagger} \cdot$ 李 廷軒 ${ }^{\dagger,+\dagger \dagger} \cdot$ 杉山 弘晃 $^{\dagger} \cdot$ 水上 雅博 $^{\dagger} \cdot$中村 竜太 ${ }^{+\dagger \dagger}$ ・安達 敬武 ${ }^{+1 \dagger \dagger}$ ・川端 秀寿

本研究では, 単一の人物の大規模な対話データを大規模言語モデルと組み合わせる ことで，対象人物を再現するチャットボット（なりきり AI）を構築した。さらに，構築したチャットボットの公開実験とそのエラー分析を行うことで, 現状の到達点 と問題を調査した.その結果, 構築されたチャットボットは高い自然さとキャラク 夕らしさを持つことが明らかになった. さらに, 対象人物を再現するチャットボッ トのエラーは，属性に関するエラーと関係に関するエラーに分けられ，また，自己 に関するエラーと他者に関するエラーに分けられることが明らかになった。

キーワード：対話システム，チャットボット，なりきり AI，エラー分析
## Development of Character-like Chatbot with Role Play-Based Question Answering and a Large Language Model

Koh Mitsuda ${ }^{\dagger, \dagger \dagger}$, Ryuichiro Higashinaka ${ }^{\dagger}$, TingXuan Li ${ }^{\dagger, \dagger \dagger \dagger}$, Hiroaki Sugiyama ${ }^{\dagger}$,

Masahiro Mizukami ${ }^{\dagger}$, Ryuta Nakamura ${ }^{\dagger \dagger \dagger}$, Noritake Adachi${ }^{\dagger \dagger \dagger}$, Hidetoshi Kawabata ${ }^{\dagger \dagger \dagger}$, Sen Yoshida ${ }^{\dagger,+\dagger \dagger \dagger \dagger}$ and Tetsuya Kinebuchi $^{\dagger}$

We developed a chatbot that imitates a specific person by combining a large amount of dialogue data of that person with a large language model. Furthermore, we investigated the current performance and problems of the chatbot by conducting an open experiment and error analysis of the chatbot. The experiment confirmed the high naturalness and characterness of the chatbot. In addition, our investigation revealed that the errors specific to a person can be divided into two types: errors in attributes

and errors in relations, each of which can be divided into two levels: self and other.

Key Words: Dialogue System, Chatbot, Role Play-Based Question Answering, Error Analysis

## 1 はじめに

一貫した個性を持つチャットボットの研究が注目されている (Li et al. 2016b; Zhang et al. 2018; Qian et al. 2018; Zhou et al. 2020). このようなチャットボットを構築するためは, 特定の個性を持った人物の対話データを多量に用意し, 生成べースのモデルを学習する手法が一般的に考えられる。しかしながら，対象人物の対話データを多量に集めることは容易ではない. この問題に対して, 我々は先行研究において, 多くの作業者が対象人物（データ収集の対象とする特定の人物）になりきって質問に回答する枠組み（なりきり質問応答）を提案している (Higashinaka et al. 2013). さらに，提案手法を用いて，有名な人物（例えば, YouTuberやアニメの登場人物） への質問，および，その回答のペア（QAペア）をファンから大規模に収集し，対象人物のように振る舞うチャットボットであるなりきり AIを構築する手法を提案してきた (Higashinaka et al. 2018; Kodama et al. 2020; 水上他 2023).

一方で, 近年, 自然言語処理において言語モデルが高度化している (Vaswani et al. 2017; Devlin et al. 2019; Raffel et al. 2019; Brown et al. 2020). 特に Transformer (Vaswani et al. 2017) に基づく大規模言語モデルである Meena (Adiwardana et al. 2020), BlenderBot (Roller et al. 2021), ChatGPT (Ouyang et al. 2022)は，従来のものと比較してより自然な対話が可能である。なりきり $\mathrm{AI}$ の研究においても，対象人物に対して収集した $\mathrm{QA}$ ペアを大規模言語モデルと組み合わせることで，自然な対話のみならず，その人物らしい対話が実現できる可能性が考えられる。

本研究では，単一の人物に関するなりきり質問応答のデータを大規模言語モデルと組み合わせることでなりきり $\mathrm{AI}$ 構築した。 さらに，インターネットを通じて公開実験を行うことで，対象人物を再現するチャットボットにおける現状の到達点と今後解決すべき課題を調査した. その結果，なりきり $\mathrm{AI}$ の構築を通じて，収集された $45 \mathrm{~K}$ の QA ペアを用いて大規模言語モデルを fine-tuning することで，チャットボットが高い自然さとキャラクタらしさを持つことがわかった。さらに，公開実験で収集された対話を用いて，対象人物を再現するチャットボットのエラー（以降，人物特有エラーと呼ぶ）を分析した。その結果，人物特有エラーは属性に関するエラーと関係に関するエラーの二種類に分けることができ，また，自己に関するエラーと他者に関するエラーという二つのレベルに分けられることがわかった.

本研究の貢献は下記の二点である.

（1）なりきり質問応答を通じて収集した対象人物に関する多量の QA ペアを用いて，大規模言語モデルを fine-tuning することで，高い自然さおよびキャラクタらしさを持った

チャットボットが構築可能なことを示した.

(2) 対象人物を再現したチャットボットの公開実験を行うことで，多数のユーザとの対話データを収集した。公開対象のチャットボットとして，なりきり質問応答，および，なりきり質問応答のデータを拡張した対話データを用いて学習されたモデルを利用した.公開実験を通じて収集された対話データにおいて，不自然なシステム発話に対するアノテーションとエラー分析を行うことで，対象人物を再現するチャットボットにおけるエラー類型を明らかにした。

なお，本研究では大規模なデータ収集や公開実験を行っており，高いコストがかかることから，単一の人物（後述の「アマデウス紅莉栖」）を対象に評価や調査を行った.

以降，本稿では，まず 2 節で関連研究について概観する。 3 節でなりきり質問応答を通じたデータ収集について述べ， 4 節で発話生成モデルの構築について説明する。次に，5 節で評価実験, 6 節で公開実験について述べる。その後, 7 節で人物特有エラーの分析について説明する.最後に 8 節で本研究のまとめを述べる.

## 2 関連研究

本研究は対象人物を再現するチャットボットを対象としており，一貫した個性で発話を生成する研究と関連が深い。また, 対象人物の対話データを扱っており，対話システムの個性に関するリソースを収集した研究とも関連がある。さらに，対象人物の再現は，発話やテキストの表現方法を変化させるスタイル変換の研究でも取り組まれている。また，本研究はチャットボットのエラーについて調査した研究とも関連がある。降，各観点について関連研究を述べる.

一貫した個性で発話を生成する研究について, 個性の一貫性を考慮した初期のモデルとして,話者 ID (Li et al. 2016b) や，テーブル上に表現した個性の情報 (Qian et al. 2018) を考慮するモデルが提案されている。その後, Persona-Chat (Zhang et al. 2018)の登場に伴ない, 個性が一貫した発話を生成するモデルがさまざま提案されている (Madotto et al. 2019; Song et al. 2020; Kim et al. 2020; Liu et al. 2020)，近年は，大規模言語モデルを発話生成に導入して個性の一貫性を改善する手法も取り組まれている (Majumder et al. 2020; Zheng et al. 2020; Han et al. 2022).これらの研究と比較し, 本研究は単一の人物の個性を再現するために, その人物の多量の対話データを利用しているという点が異なる.

対話システムの個性に関するリソースを収集した研究について述べると，前述の Persona-Chat (Zhang et al. 2018) は，個性を表す数文のテキストと，その個性を持った人物の対話を人手で作成した代表的な研究である。また，インターネットを通じて，多数の人物を対象に，個性を表す数文のテキスト，および，その個性に従う対話を収集した研究も存在する (Mazaré et al. 2018). これらの研究と比較し，本研究は単一の人物に焦点を当て，大規模な対話データを収集してい

る点が異なる。また，これらの特定の個性に紐付くリソースを集めた研究とは異なるが，対話において相手の個性を尋ねる代表的な質問を整理した研究も存在する (Sugiyama et al. 2014).

スタイル変換の研究では，発話やテキストの表現方法（言葉の選び方や口調）を変化させることで，対象人物の発話の再現に取り組んだものが存在する。初期の研究では，コーパス中の発話から対象人物の発話の言語的なスタイルを抽出する手法 (Miyazaki et al. 2015) や，発話のスタイルを考慮した単語埋め达みを獲得する手法 (Akama et al. 2018) が提案されている。近年は，生成モデルを用いて所望のスタイルを持つテキストや発話を生成する研究が報告されており, 発話の丁寧さ (Niu and Bansal 2018), 感情表現 (Zhou et al. 2018; Huang et al. 2018), 性格 (Shuster et al. 2020) を考慮する手法が提案されている.

チャットボットのエラー類型については, 特定の個性を持たない一般的なチャットボットのエラーや, 複数の文で記述されたペルソナを持つチャットボットのエラーを扱う研究が存在する.一般的なチャットボットのエラーを類型化した研究として, 対話理論に基づくもの (Higashinaka et al. 2015)，データに基づくもの (Higashinaka et al. 2015)，それらを統合したもの (Higashinaka et al. 2021) が存在する。また, チャットボットの発話そのものではなく, ユーザが示す不満の反応に着目してエラーを類型化した研究も存在する (See and Manning 2021). ペルソナを持つチャットボットのエラーを扱った研究としては, Persona-Chatにおいて個性や文脈と矛盾した発話が生成されることに着目し，アノテーションを行った研究 (Welleck et al. 2019) や, 対話においてシステムが各話者の個性を取り違える問題に着目し, 発話の一貫性を改善する研究 (Shuster et al. 2022) が存在する.

## 3 なりきり質問応答を通じたデータ収集

大規模言語モデルの fine-tuning を行い対象人物のチャットボットを構築するため, 先行研究 (Higashinaka et al. 2013, 2018) にならって, 単一の人物を対象になりきり QAコーパスを作成した。また，QAデー夕のみで学習したモデルの限界を調べるために，作業者が人手で QA ぺアを対話形式に拡張したなりきり対話コーパスを作成した．以下，各コーパスの作成方法について述べる。

## 3.1 なりきり QAコーパスの構築

なりきり QAコーパスは，対象人物のファンが，その人物への質問を投稿したり，質問に対する回答（キャラクタによっては親密度などの付加情報を含む (Kodama et al. 2020)）を，あたかも自分がその人物になったかのように投稿したりすることで収集するなりきり質問応答の枠組みを通じて構築された (Higashinaka et al. 2013, 2018)。なりきり質問応答は, Web サイトを通じてファンから対象人物への質問と回答を収集する枠組みである。先行研究 (Higashinaka
et al. 2018)において，効率的に QA ペアを収集できることが確認されており，例えば， $2 \mathrm{~K}$ 件の QA ペアを収集するまでの時間は，経営者兼 YouTuber である「マックスむらい」は 0.92 日， アニメの登場人物である「新垣あやせ」は 1.12 日と報告されている. 本研究において対象とする人物は，ビデオゲーム「STEINS;GATE 0$\rfloor^{1}$ 登場する人物である「アマデウス紅莉栖」(以降, 単に紅莉栖と呼ぶ）である。なりきり QAの収集は特設の Webサイト2を通じて行われた。

収集される対象人物の発話は対話相手との関係性によって口調や内容が変化する可能性が考えられる.コーパス構築時には, Kodama et al. (2020) と同様に, 対象人物の応答に加えて親密度（他人, 知人, 友人, 親友, 家族/恋人の 5 種類）のラベルを収集した. このラベルを活用することで，ユーザとの関係や親しさによって口調を変化させることも可能と考えられる。しかしながら，対話を通じてユーザとの関係や親しさを推定して対話に用いる方法が自明ではないことから，本研究の実験では収集した親密度のデータは利用せず，全てのデー夕を統合して利用した。

表 1 に，紅莉栖に関して収集された QA ペアの統計情報を示す.最終的に 45,297 ペアの $\mathrm{QA}$ を収集することができ，単一の人物のみを対象としたデータとして最も多い (Higashinaka et al. 2018; Kodama et al. 2020). 以下に収集された QAペアの例を示す.

Q：「名前を教えて。」

$\mathrm{A}_{1}$ ：「私の名前は紅莉栖です。お会いできて嬉しいわ。」

$\mathrm{A}_{2}$ ：「名前は紅莉栖よ。何か用かしら？」

$\mathrm{Q}$ と $\mathrm{A}$ は, 紅莉栖への質問と紅莉栖の回答に対応している. 同じ質問（上記の $\mathrm{Q} ） に$ 対して,

表 1 本研究で対象とする人物（ビデオゲームの登場人物である紅莉栖）に対して収集されたなりきり QAコーパスの統計量. なお, トークン数は, 4 節で述べる日本語版の BlenderBot (Sugiyama et al. 2021)において利用される SentencePiece (Kudo and Richardson 2018) のモデルを用いて計算したものである.


ユーザーは異なる回答（上記の $\mathrm{A}_{1}$ と $\mathrm{A}_{2}$ ）を投稿することができるため, 収集された各質問には複数の回答（平均 1.8 件）が存在している.

## 3.2 なりきり対話コーパスの構築

なりきり質問応答は，対象人物に対する QAペアを多量に収集する効率的な方法であるが，対象人物からの発話（例えば，対象人物からユーザに対する質問）が含まれていなかったり，一問一答を越えた文脈を含む対話のデータが含まれていなかったりする。そこで，なりきり QA コーパスの限界を調べるために，なりきり QAコーパスに基づいて対象人物とユーザ間の対話データをなりきり対話コーパスとして収集し，QAデータと合わせて fine-tuning に利用することにした。

なりきり対話コーパスにおいて様々な対話を収集するために，収集対象として，なりきりQA コーパスのようにユーザから対話が始まるものと，対象人物から対話が始まるものの二種類を

件人手で追加することで対話形式に拡張するようにした。対象人物から始まる対話では，その人物の最初の発話を作成した後, 作成した発話に自然に続くと考えられる 4 件の発話を作成するようにした，最初の発話を作成するための刺激として，人対人のテキストチャットコーパス (Higashinaka et al. 2014) から発話をランダムに抽出し作業者に与えた. このとき, 各対話行為 (Meguro et al. 2010)の分布が一様になるようにした．作業者には，対話行為を変えることなく刺激となる発話を書き換えることで対象人物の最初の発話を作成するよう指示した。なお，刺激となる発話の書き換えが難しい場合（例えば，発話の内容が対象人物の設定と矛盾する場合） は，その発話は使用せずスキップすることとした。下記に，刺激となる発話と書き換え後の発話の例を示す.
- 刺激となる発話：「休みの日は何をされてますか？」(対話行為：質問）

書き換え後の発話：「休みの日は何をしているのかしら？」
- 刺激となる発話：「北海道といえばラーメンですよね。」(対話行為：情報提供）

書き換え後の発話：「北海道といえばラーメンよね。」

## 3.3 なりきり対話

なりきり対話コーパスの構築のために，クラウドソーシングプラットフォーム $\left(\right.$ Lancers $\left.^{3}\right)$ を通じて作業者を募集した。なりきり QAコーパスの作成とは異なり，作成された発話に対して報酬が支払われた，募集した作業者は，対象人物について十分な知識を持つものに限定し，具体的には，対象人物が登場するゲームや映画を少なくとも 1 回以上見たことがある，または，
^{3}$ https://www.lancers.jp/
}

プレイしたことがある者とした. 募集の結果, 作業者の総数は 9 名となった. 9 名の作業者によって作成される対話の内容がなるべく多様になるよう，各作業員には，異なるなりきり QA ペア，および，刺激となる発話を割り振るようにした。なお，事前スクリーニングとして，あらかじめ用意したアンケートを通じて，対象人物に関する知識レベルの主観的な評価（自己申告形式のもの), 対象人物が登場するゲームや映画等の実施, 視聴回数, それらの具体的な作品名を回答させ，募集条件を満たす作業者を選定した。事後フィルタリングについては，作業品質に問題がある作業者に対して行う予定であったが，そのような作業者は発見されなかったため実施しなかった。

表 2 に，紅莉栖のなりきり QAコーパスを人手で拡張したなりきり対話コーパスの統計情報を示す. 収集された対話は 4,500 対話であり，24,750 発話から構成されている。表 2 における 「対象人物の発話の平均トークン数」と表 1 における「応答に含まれる平均のトークン数」とを比較すると，前者が後者よりも少ないことが確認できる。これは，なりきり対話コーパスには対話特有の短い応答（例えば，「そうね。」）や，対話の継続を促す簡単な質問（例えば，「本当なの？」）が含まれているためである. 以下に，なりきりQAペアから拡張されたなりきり対話の例を示す.

$\mathrm{U}_{1}:(\mathrm{Q})$ 「名前を教えて。」

$\mathrm{S}_{1} ：\left(\mathrm{~A}_{1}\right)$ 「私の名前は紅莉栖です。お会いできて嬉しいわ。」

$\mathrm{U}_{2}:$ 「紅莉栖ってかっこいい名前だよね。」

$\mathrm{S}_{2}$ : 「本当？光栄だわ。」

$\mathrm{U}_{3}:$ 「本当だよ。みんなに言って回りたいくらい。」

$\mathrm{S}_{3}:$ 「それはやめて!!恥ずかしいわ。」

$\mathrm{U}$ と $\mathrm{S}$ はそれぞれユーザの発話と対象人物の発話を表す. $\mathrm{U}_{1}$ と $\mathrm{S}_{1}$ は収集されたなりきり QA ぺアの一つであり, $\mathrm{U}_{2}$ から $\mathrm{S}_{3}$ までの発話はそのぺアを拡張して人手で追加した発話である.

表 2 なりきり QAコーパスを拡張して作成したなりきり対話コーパスの統計量

## 4 発話生成モデルの構築

本節では，対象人物について収集したなりきり QAコーパス，および，なりきり対話コーパスを用いて大規模言語モデルを fine-tuning し，その人物らしい応答生成モデルを構築する手法について述べる。大規模言語モデルとして, 杉山らが構築した日本語版の BlenderBotを利用した (Sugiyama et al. 2021)，以降，日本語版の BlenderBot の概要，および，なりきりQAコーパスとなりきり対話コーパスを用いた fine-tuning の方法について述べる.

## 4.1 日本語版 BlenderBot の概要

日本語版 BlenderBot は, 事前学習と fine-tuning の二段階で学習されている。事前学習用のデータとしては, 日本語における Twitter4のリプライが利用されている。具体的には, 2016 年 1 月から 2018 年 3 月までのツイートから取得した 2.1B ペアのツイート (512GB) が利用されており，入力文脈には最大で 4 発話が含まれる。 fine-tuning 用の学習データとしては, 後述する個性, 知識, 共感のスキルを学習する対話と, それらを統合したスキルを学習する対話の 2 種類が利用されている。個性については, Persona-Chat (Zhang et al. 2018) のプロフィール文を日本語に翻訳し対話を人手で作成したもの, 知識に関しては, Wizard-of-Wikipedia (Dinan et al. 2019)を翻訳したもの，共感に関しては, EmpatheticDialogue (Rashkin et al. 2019)を翻訳したものが利用されている。また，これら三つを統合したスキルを学習するための対話として，傾聴対話コーパス (Meguro et al. 2010), 雑談対話コーパス (Higashinaka et al. 2014), 趣味雑談コーパス (Sugiyama et al. 2021) が利用されている.

モデルはパラメタ数 $1.6 \mathrm{~B}$ (エンコーダ 2 層, デコーダ 24 層, 各埋め込みベクトル 1,920 次元) の Transformer ベースのエンコーダ・デコーダモデルである. デコード手法には, dull-response を防ぐため， sample-and-rank が利用されている (Adiwardana et al. 2020). エンコーダへの入力は，以下のテンプレートに従って作成される.

## DialogueName: [SEP] SpeakerID [SEP] [SPK1]Utterance1 [SEP] [SPK2]Utter ance2 [SEP] [SPK1] Utterance3 [SEP] [SPK2] Utterance4 [SEP] TurnNumber

DialogueName, SpeakerID, Utterance1～Utterance4, TurnNumber はそれぞれ,コーパスの種類，ユニークな話者 ID，入力文脈，対話の開始からの発話数に対応する．具体的な例は 4.2 節で述べる。

## 4.2 なりきり QAコーパスとなりきり対話コーパスを用いた fine-tuning

杉山らが構築した日本語版 BlenderBot のモデルに対して, 収集したなりきり QAコーパスとなりきり対話コーパスを用いて fine-tuning を行うことで, 対象人物の発話生成モデルを作成し


た. このとき，なりきり QAコーパスを訓練, 開発, テストセットに $18: 1: 1$ の割合で分割した。分割の際は，データセット間で質問が重複しないようにした。また，なりきり対話コーパスも同様の方法で分割した。このとき，なりきり対話コーパスになりきり QAコーパスの質問が含まれる場合（ユーザから対話が始まる場合），なりきりQAコーパスの分割結果を参照し， その質問が含まれるデータセットと同じセットに対話を含めるようにした。これは，コーパス間でリークが起こらないようにするためである。学習の際は, 開発セットにおける正解の応答の Negative Log-Likelihood (NLL) loss が最小になるようにし，その結果 1 エポックで学習を停止させた. バッチサイズは 64 に設定した。なりきり QAコーパスとなりきり対話コーパスの入力例を以下に示す.

$
\text { なりきり QA: [SEP] idxx [SEP] [SPK2] お名前を教えて頂けますか？ [SEP] ターン } 00
$

“idxx”は対象人物用に設定した ID を表し，“[SPK2]”はユーザ，“[SPK1]”は対象人物を表す. なりきり QAコーパスの例における正解の出力は例えば「牧瀬紅莉栖です。どうぞよろしく。」 となり，なりきり対話コーパスの例では「でもね、決して実現できないものではないわ。」となる。

## 5 評価実験

収集したなりきり QA コーパスとなりきり対話コーパスを用いて学習された発話生成モデルを用いて，対象人物らしい対話が可能かどうかを三種類の方法で評価した。一つ目は，なりきり QAコーパスにおける質問 (Question-In)，または，なりきり対話コーパスの文脈 (Context-In) を入力したときの応答を評価する発話レベルの自動評価である。二つ目は, 同様の入力に対する発話レベルの人手評価である。 三つ目は，作業者が実際にチャットボットと対話しその対話全体を評価する対話レベルの人手評価である.

## 5.1 評価用データとモデルの準備

発話レベルの評価では，なりきりＱAコーパスから抽出した質問，または，なりきり対話コー パスに含まれる対話から最後の対象人物の発話を除いて作成した文脈（最後の発話の直前の 4 発話）を入力として評価に利用した。具体的には，なりきりQAコーパスから抽出した質問 50 個，および，なりきり対話コーパスから作成した文脈 50 個を利用した.

モデルとしては, ベースラインとなる検索べースのモデル 1 種類, および，生成べースのモ

デル 3 種類の計 4 種類を用意した. 以下に各モデルの詳細を示す.

(a) Ret-BERT-NS: ベースラインとなる検索ベースのモデルであり, 東中らの先行研究で提案された手法（入力となる質問に対してなりきり QAコーパス内の QAペアをランキングし，最も良い QA ペアの回答をシステム発話として出力する手法）に対応する (Higashinaka et al. 2018). 東中らの手法では，QA ペアの候補を BM25 (Robertson et al. 1995) で検索した後, 対話研究で利用される様々な特徴量（例：単語ベクトルの類似度，言語モデルに質問を入力したときに回答が生成される確率）を用いて QAペアのランキングを行う。これに対し, Ret-BERT-NS では, BM25で QA ペアの候補を検索した後, BERT (bidirectional encoder representations from Transformers) の教師あり分類モデルを利用して QA ペアのランキングを行う (Devlin et al. 2019)。これは，予備実験の結果，BERT を利用することで応答の自然性が向上することが確認されたためである．利用する BERT は質問と回答が入力として与えられたとき，回答が適切かどうかを二値分類するよう学習し，各回答に対して出力されるスコアに基づいて回答のランキングを行う，BERT の学習データはネガティブサンプリング（なりきり QAコーパス内の各質問に対して，別の質問に対する回答を 5 件ランダムに抽出することで負例を用意した）を用いて作成し，正例と負例の割合は $1: 5$ とした. BM 25 で検索する QAぺアは訓練，開発，評価セットのうち，訓練または開発セットに含まれるものとし，検索結果の上位 20 件を BERT でランキングするようにした。

(b) Gen-QA-Small: 生成ベースのモデルの一つであり, 日本語版の BelnderBot を一部のなりきり QAコーパス（QAペア 10,000万件）で fine-tuning したモデルである. このモデルは,後述の Gen-QA（なりきりQAコーパス全体を利用したモデル）と比較することで，なりきり QAコーパスのサイズが性能に与える影響を調べるために用意した.

(c) Gen-QA: 生成ベースのモデルの一つであり, なりきり QAコーパス全体を用いて日本語版の BelnderBot を fine-tuning したモデルである.

(d) Gen-QA+Dial: 生成ベースのモデルの一つであり，なりきりQAコーパス全体，および， なりきり対話コーパス全体を使用して日本語版の BlenderBot を fine-tuning したモデルである.このモデルは，なりきり QAコーパスを使用した場合のモデル (Gen-QA) と比較するために用意した. Gen-QA 同様, QAコーパスおよび対話コーパス全体のうち, 訓練用セットと開発用セットのみを用いて学習を行った。

なお，評価の際に利用する入力のテンプレートの DialogueName は, 全てのモデルにおいて同じものを利用した，具体的には，なりきり質問応答の質問を入力する際は “なりきり QA”を利用し，対話文脈を入力する際は“なりきり対話”を利用するようにした.

## 5.2 発話レベルの自動評価

表 3 に，質問 (Question-In), および，文脈 (Context-In) を入力したときのシステム発話の自

表 3 質問 (Question-In), および, 文脈 (Context-In)を入力したときのシステム発話の自動評価結果.発話長は出力されたシステム発話の平均トークン長を表す。太字は各評価尺度において数値が最も良い（大きい）ものを示す。

動評価結果を示す. BLEU, distinct (Li et al. 2016a), 発話長（出力されたシステム発話の平均トークン長）の三種類の指標で評価した，BLEU および distinct については，異なる n-gram の値において，評価値の傾向が変わらなかったため，1-gramの結果のみを示している．BLEU の結果から，生成ベースのモデルが検索ベースのモデルよりも正解の応答に類似した応答を生成できることを示している。また，発話長は生成べースと検索べースで同程度の長さになっているものの, distinct は検索べースの方が大きな値になっている。出力の多様性という観点では,現状の生成ベースのモデルでは限界があると考えられるものの，検索べースのモデルと比較して生成ベースのモデルが正解の応答に類似した応答を生成できており，手法の有効性が確認できる。

## 5.3 発話レベルの人手評価

発話レベルの人手評価では，評価指標として以下の三つの尺度を利用し， 5 段階のリッカー 卜尺度（1点：強く非同意 $~ 5$ 点：強く同意）で評価値を付与した.
- 自然さ：対象人物を問わず，システム発話が入力に対する応答として，一般的に自然であるかどうか
- キャラクタらしさ: 入力に対する応答として, システム発話が対象となる人物 (本研究では紅莉栖）にとって適切であるかどうか
- 情報量: システム発話が入力に関連して新しい情報を提供しているかどうか

評価にあたっては, Lancers を通じて, 作業者を 10 名募集して行った. このとき, 評価者は対象人物について十分な知識を有していることを条件とした，評価者は，各指標を独立して評価するという教示のもと，入力された質問または文脈ごとに，各モデルから生成されたシステム発話（ランダムにシャッフルされたもの）を評価した。

表 4 に，質問を入力したとき (Question-In), および，文脈を入力したとき (Context-In)のシステム発話の人手評価結果を示す。Question-Inでは，生成べースのモデルにおける自然さのスコアが検索ベースのモデルのスコアを有意に上回っていることがわかる．検定手法としては，

 & 情報量 & 自然さ &  \\

(b) Gen-QA-Small & $\mathbf{3 . 5 9}_{a}$ & 3.42 & $\mathbf{3 . 4 2}_{a}$ & $3.66_{a}$ & 3.55 & 3.09 \\
(c) Gen-QA & $3.57_{a}$ & 3.48 & 3.37 & $\mathbf{3 . 8 1}_{a}$ & $\mathbf{3 . 7 9}_{a b d}$ & $\mathbf{3 . 1 7}_{a d}$ \\
(d) Gen-QA+Dial & $3.52_{a}$ & $\mathbf{3 . 5 0}$ & 3.32 & $3.62_{a}$ & 3.54 & 2.94 \\

表 4 質問 (Question-In), および, 文脈 (Context-In) を入力したときのシステム発話の人手評価結果.太字は各評価尺度において数値が最も良い（大きい）ものを示す．数字右下のアルファベットは， そのスコアがアルファベットに対応するモデルのスコアよりも有意に良い $(p<0.05)$ ことを示す (Dwass 1960).

Steel-Dwass の多重比較を利用した (Dwass 1960) $(p<0.05)$. スコアは生成ベースのモデル間で類似しており，一問一答においては Gen-QA-Small で飽和していると考えられる。また，キャラクタらしさについては，検索べースと生成べースで同等のスコアとなっている． Context-In では，生成べースと検索べースを比較すると，自然さのみならずキャラクタらしさにも一部に差が見られる．この結果は，検索べースが入力された文脈の全体を考慮することができず，不自然な応答が出力されてしまうことから，キャラクタらしさのスコアも低く評価されたと考えられる，個別のモデルに着目すると，Gen-QA は他と比較して良いスコアとなっており，この結果から，対象人物に関する大量の $\mathrm{QA}$ ペアがあれば，その人物の対話データがなくとも，その人物らしいシステム発話を文脈を考慮して生成することが可能であると結論付けられる。以上の結果から，構築したなりきりＱAコーパスで大規模言語モデルを fine-tuningすることの有効性が確認できた。

## 5.4 対話レベルの人手評価

所与の入力に対して出力されたシステム発話の単体の評価に加えて, 対話がどの程度実際の人物と同じように感じられるかを調査するために, 各作業者がチャットボットと対話を行い,対話全体の評価を行う実験も実施した，結果の信頼性を高めるために，対話レベルの評価では発話レベルの評価に参加した 10 名の作業者だけでなく, Lancers を通じて新しく募集した異なる 10 名の作業者を加えて, 計 20 名の作業者が評価を実施した. 各作業者は, 4 つのモデル (Ret-BERT-NS, Gen-QA-Small, Gen-QA, Gen-QA+Dial) と 3 回ずつ計 12 回 (4つのモデル× 3 回 $=12$ 回）ランダムな順序で対話を行い，各対話の後にその対話全体を評価した．対話の長さは，対話システムライブコンペティション (Higashinaka et al. 2021)のルールと同じく, システム発話とユーザ発話のペアを 1 ターンとし，15 ターンに設定した．各対話の終了時に，発話レベルの評価と同じ尺度（対話全体の自然さ, キャラクタらしさ, 情報量）で 5 段階のリッカー

 & 情報量 \\

表 5 対話レべルの人手評価結果. 太字は各評価尺度において数値が最も良い（大きい）ものを示す. 数字右下のアルファベットは, そのスコアがアルファベットに対応するモデルのスコアよりも有意に良い $(p<0.05)$ ことを示す (Dwass 1960).

ト尺度を用いて評価した。作業者がチャットボットと対話するためのツールとして Telegram ${ }^{5}$ を使用した。

表 5 に，対話レベルでの人手評価結果を示す. 三種類のスコアを平均すると, Gen-QA+Dial が最も良いスコアとなった。また，Gen-QAのスコアから，対話データがなかったとしても，人物らしい自然な対話が可能であることが確認できた，発話レベルの評価結果と同様に，生成ベー スのモデルの自然さは検索ベースのモデルを大きく上回っており，対話レベルの評価ではその差がより顕著に表れる結果となった。 その一方で, キャラクタらしさには差が見られなかった. これは，検索ベースのモデルは人手で書かれたその人物らしい発話を返すため，それが文脈上自然な場合もあり, キャラクタらしさが高く評価されたためと考えられる。情報量については,生成ベースのモデルのスコアが高い傾向が見られるが, Gen-QA-Small を除いて, 有意差は見られなかった. Gen-QA-Smallの評価値が高かった理由としては, fine-tuning で利用された QAぺアのサイズが他のモデルと比較して小さかったために, 事前学習に含まれる多様な話題が応答に出現しやすかった可能性が考えられる.

## 5.5 評価実験の結果に関する分析

本研究では, 発話レベルで評価値が付与されており定量的な分析が容易な 5.3 節の評価結果 （発話レベルの評価結果）に基づき，低いスコアが付与された発話の理由を定量的に分析した. ここでは，発話レベルの人手評価結果において，三種類のスコアのうちいずれか一つ以上のスコアが 3 未満であった場合, システム発話が不適切であるとした。そして, それらの不適切な発話に対して, チャットボットのエラー類型を人手でラベル付けした (Higashinaka et al. 2021). このエラー類型は大きく4つのレベル（発話レベル：該当システム発話の文そのもののエラー,応答レベル：該当システム発話の直前のユーザ発話をふまえたエラー，文脈レベル：当該システム発話までの対話全体をふまえたエラー，社会レベル：対話が行われている社会をふまえたエ


ラー）に分類され，さらに 17 のサブカテゴリ（例えば，繰り返しや情報不足等）に分類されるものである。アノテーションは著者らと同組織に所属する専門のアノテータ二名が行い，二名の間で異なるラべルが付与された場合は，合議で結果をいずれかの結果に統一するようにした。

表 6 に，発話レベルの人手評価におけるスコアの低い発話に対して付与したエラー類型の頻度を示す．生成べースのモデルでは，応答レベル，および，文脈レベルのエラー（全体の $22 \%$, $(2+13+10+2+6) / 150 ）$ が検索べースのモデルよりも少ない（全体の $46 \%,(2+7+12$ + 2）／50）ことが明らかになった。しかしながら，Context-Inでは，生成べースのモデルにおいて文脈レベルのエラーが依然として多く（全体の $42 \%,(27+12+6+4+14) / 150)$, 特にエラー類型のサブカテゴリのうち，発話意図不明確（話題は関連するものの，なぜその発話をしたか意図が不明なもの．全体の $18 \% ，(12+8+7) / 150)$, 繰り返し（システム発話が文脈中の発話の繰り返しになっているもの。全体の $9 \%,(2+5+7) / 150)$.および, 情報不足 （発話に含むべき要素が含まれておらず意味が理解できない，または，理解しづらいもの．全体の $8 \%,(3+4+5) / 150 ）$ が多く見られた. 大規模言語モデルを利用することで，応答レベル

} & \multirow{5}{*}{ エラー類型 } & \multicolumn{5}{|c|}{ Question-In } & \multicolumn{5}{|c|}{ Context-In } \\

表 6 発話レベルの人手評価において不適切と判断された発話（いずれかのスコアが 3 未満のもの）に対し，エラー類型 (Higashinaka et al. 2021) を付与した結果. (a) の列は検索ベースのモデルにおける頻度を表し，(b)-(d) の列は生成べースのモデルにおける合計の頻度を表す.

や文脈レベルのエラーは検索ベースと比較して抑制されているものの, 発話の繰り返しや情報不足のエラーは依然として問題になっていると考えられる。

表 7 に Gen-QA+Dial において最も評価値が高かった対話の例を一つ示す.システムが一貫したキャラクタらしさを持ち, 文脈に応じて自然な発話を生成できていることが確認できる. しかしながら， $\mathrm{S}_{3}$ のように繰り返しが含まれ，情報量が少ない発話も一部見られており，先の考察でも述べた通り，生成モデルを用いた手法における今後の課題であると考えている.

 \\

表 7 Gen-QA+Dial における対話の成功例

## 6 公開実験

前節で構築したチャットボットをインターネット上で公開し，対象人物のファンを中心とする多数のユーザとの対話を大規模に収集することで，構築したチャットボットの到達点，および，解決すべき課題について調査した，本節では，公開実験の概要と結果について述べる.

## 6.1 チャットボット公開の概要

公開対象のシステムとして, 5.4 節で述べた人手の対話評価において, 三種類の評価値の平均値が最も高かった Gen-QA+Dial を利用した. 公開のためのプラットフォームとして, 幅広い任意のユーザにシステムと対話してもらえるよう, Twitter のダイレクトメッセージ (DM) 機能6利用した． TwitterのDM を使用することで，システムとユーザが一対一で自由に対話を行うことができる。図 1 に，公開実験で利用した Twitter アカウントと実際のDM の画面を示す。DM を利用するため，システムの Twitterアカウント7を作成し，DM の公開期間は 2021 年の 7 月 29 日から 31 日の 3 日間とした.

実験に参加するユーザは，アカウントをフォローした後，DM 画面で最初に送付されるメッセージに記載された本公開実験の規約に同意することで, システムとの対話が可能となるようにした，ユーザーはシステムの公開期間中，好きなだけ対話することができ，また，いつでも対話を中止することができるようにした．TwitterのDM には対話のリセット機能が用意されていないため，各ユーザから収集される対話はユーザごとに一対話となる。公開期間の最終日には，ユーザの満足度を調査するために，ユーザアンケートをダイレクトメッセージで送信した.ユーザアンケートの文言は「なりきり AIアマデウス紅莉栖とまたどれぐらい話したいと思

図 1 公開実験で利用した Twitterアカウントと実際の DM 画面
^{6}$ https://help.twitter.com/ja/using-twitter/direct-messages

7 https://twitter.com/narikiri_ai
}

いますか？」とし，ユーザには 5 点満点のリッカート尺度（5 点：とても話したい〜 1 点：全く話したくない）で回答させるようにした。なお，公開実験の実施にあたって，ユーザには参加費等の支払いは一切行っていない.

多数のユーザと並列にチャットを行うため, アマゾンウェブサービス (AWS) ${ }^{8}$ 上に Twitter DM を用いたチャットボットのシステムを構築した，AWSのインスタンスとして， Tesla T4を 8 機備える g4dn.metal を利用し，ロードバランサを設置した。公開期間を通して，システムからのレスポンスはおよそ 5 秒以内に得られるようになっていたため，ユーザはストレスなく対話を行うことができたと考えている。また，ユーザやシステムから発話される不適切な内容を抑制するため，内製の NG 単語リストに基づいて，NG 単語を含むユーザ発話が入力された場合，または， NG 単語を含むシステム発話が生成された場合，無回答を表す「...」で応答するようにした。

## 6.2 収集された対話データとアンケート結果

公開実験の結果，1,170 名の多数のユーザがシステムと対話を行い，ユーザ発話とシステム発話で合わせて 161,216 発話（ユーザ発話とシステム発話は同数であり，それぞれ 80,608 発話） を収集することができた。，各ユーザの平均発話数は 68.9 発話であり，比較的長い時間チャットボットを使用していたことがわかった。また，公開期間の最終日に実施したユーザ満足度に関するアンケートでは，ユーザ満足度の平均は 5 点満点中 4.59 点となり, $90 \%(=76 \%+14 \%)$ のユーザが 4 点以上のスコアというポジティブな回答を行っていた（回答が得られた $63.6 \%$ のユー ザの結果に基づいて算出)，収集された対話ログは，既存の人物を再現したシステムの対話ログとして我々の知る限り世界最大レベルであり，今後対象人物を再現するチャットボットの研究を行う上で貴重なリソースを収集することができた。

## 7 公開実験のデータを対象としたエラー分析

公開実験で得られた対話ログを利用してエラー分析を行い，人物特有エラーを調査した。具体的には，対象人物に関するどの情報がエラーを引き起こしているのか，また，各種のエラー がどの程度存在しているのかを明らかにすることを目的とした。この目的を達成するために，従来の研究で扱われる一般的な対話のエラー (Higashinaka et al. 2021) 全体を対象にするのではなく, 対象人物に関する情報が問題を引き起こしているエラーを抽出して類型化することが適切であると考えた，対象人物に関連するエラーに焦点を当てることで，対象人物を再現するチャットボットの問題点がより明らかになるためである.

図 2 に示すように, 本研究では, 人物特有エラーの分析を行うために, 対話破綻ラベル, 対話破綻の理由を記述したコメント（以降，エラーコメントと呼ぶ）(Higashinaka et al. 2015)， エラーが対象人物に特有かどうかを示す人物特有エラーのフラグ，一般的なチャットボットにおけるエラー類型 (Higashinaka et al. 2021)の 4 種類のラベルをシステム発話に付与して分析を行った。 エラーコメント，および，人物特有エラーのフラグは，エラー類型を明らかにするためのクラスタリングに利用された。また，一般的なチャットボットにおけるエラー類型，および，人物特有エラーのフラグは，既存の類型と人物特有エラーの類型の対応関係を調査するために利用された。

具体的な手順として，まず，対話中でエラーが起きている箇所を特定するため, 対話破綻ラべルを付与する. このとき, 先行研究と同様に, エラーの原因を調査するため, 対話破綻と判断された理由を記述したエラーコメントを合わせて収集する。このエラーコメント中に対象人物に関するキーワードが含まれていた場合，そのエラーコメントは対象人物に特有の内容について言及していると考えられるため，エラーが対象人物に特有であることを示す人物特有エラーのフラグを立てる ${ }^{9}$. そして，人物特有エラーのフラグが付与されたエラーコメントを抽出しクラスタリングすることで，人物特有エラーの類型を作成する。また，既存のエラー類型と人物特有エラーとの対応関係を明らかにするため，一般的なチャットボットにおけるエラー類型を付与し，それぞれの類型が占める割合を調査した。以降，各情報の付与，および，明らかになったエラー類型について述べる.

} & \multirow{2}{*}{} \\

人物特有エラーと既存のエラー類型との比較に利用

図 2 人物特有エラーを分析するために付与する 4 種類のラベル（対話破綻ラベル，エラーコメント，一般的なチャットボットのエラー類型 (Higashinaka et al. 2021), 人物特有エラーのフラグ）の具体例.対話破綻ラベルの列における NB，PB，B，Cはそれぞれ，Not a breakdown, Possible breakdown, Breakdown, PB および B で付与されるエラーコメントの数を表す.


## 7.1 対話破綻ラベルとエラーコメントの付与

対話破綻の情報の付与にあたって，アノテーションのコストを勘案して，収集された対話口グにおけるシステム発話全体のうち， $13 \%$ (=10611/80608) をサンプリングしてアノテーションの対象とした。サンプリングの方法として，ユーザを一名ランダムに選択し，そのユーザとシステムの対話の先頭からシステム発話を最大で 50 件抽出してアノテーション対象とし, 抽出されたシステム発話が全体の $13 \%$ になるまで，ユーザ一名の選択とシステム発話の抽出を繰り返した。その結果, アノテーション対象に含まれるユーザ数は 385 名となり, 平均の対話長は 27.6 発話 $(=10611 / 385)$ となった.

サンプリングした各システム発話に対して，対話破綻のラベル（三種類）として「破綻ではない」を表す Not a breakdown (NB),「破綻の可能性がある」を表す Possible breakdown (PB),「破綻である」を表す Breakdown (B) のいずれかを付与した. これらのラベルは, 対象人物に関して十分な知識を持つ 5 名の作業者（Lancers を通じて募集）によって付与された。このとき，作業者には，対話のエラーを表す $\mathrm{PB}$ または B を付与した場合，そのように判断した理由を具体的にエラーコメントとして記述するよう教示を与えることで，対話破綻ラベル，および，エラーコメントを収集した。

表 8 に，公開実験の対話ログの一部に対して付与された対話破綻ラベルの統計情報を示す. 10,611 件のシステム発話に対して 5 名の作業者が対話破綻ラベルを付与することで， 53,055 $(=10611 \times 5)$ 件の対話破綻ラベルが付与された。このうち, $\mathrm{NB}$ が付与された割合は $89 \%$ (=47200/53055) であり, 多くの場合において適切な対話がなされていることがわかる. Fleiss' kappa (Fleiss and Cohen 1973) でアノテー夕間の一致率を調査したところ，NB，PB，Bを異なるラベルとして扱った場合 $0.23, \mathrm{~PB}$ と $\mathrm{B}$ を統合した場合 0.30 となり, 先行研究 (Higashinaka et al. 2015) で報告されている一致率（0.28, および，0.40）よりも若干低い結果となった. これは，作業者の対象人物についての解釈の違いに起因する可能性がある。この違いについては今

表 8 公開実験の対話ログの一部に対して付与された対話破綻ラベルの統計情報
後調査したいと考えている.

以降の分析では, 半数（3名）以上の作業者が破綻（PB または B）と判断したシステム発話をエラー分析の対象とした。その数は 817 発話であり, アノテーション対象となった発話全体の 7.7\% (= 817/10611) であった. また, エラー分析の対象となった発話に付与されていたエラー コメントの数は 2,846 件であった.

## 7.2 人物特有エラーのフラグと一般のエラー類型の付与

対話破綻と判断されたシステム発話 817 件に対して，人物特有エラーのフラグ，および，一般的なチャットボットのエラー類型を付与した。これらの作業は第一著者と同組織に所属する専門のアノテータ二名によって行われた。一つ目の人物特有エラーのフラグに関して，なりきり QAコーパスをもとに，アノテータが人手で対象人物に関連のある単語を列挙し，単語リス卜（53 語）を作成した．作成したリストに含まれる単語として，例えば「紅莉栖」，「まゆり」 (紅莉栖の友人の名前),「秋葉原」(紅莉栖がよく訪れる場所)，「@channnel」(紅莉栖がよく利用するウェブサイト）等が存在する。この辞書に含まれる単語がシステム発話に対するいずれかのエラーコメントに含まれていた場合，そのシステム発話に対して人物特有エラーのフラグを付与した。また, 二つ目の一般的なチャットボットのエラー類型については, アノテーションの仕様書10を参照しつつ二名のアノテータがラベルを付与し, 判断が摇れた事例については相談の上どちらかに統一することでアノテーションを行った.

表 9 に，一般のエラー類型および人物特有エラーのフラグのアノテーション結果を示す. エラーと判断されたシステム発話のうち, $20.1 \%(=168 / 817)$ が人物特有エラーと判定された. 特に, 人物特有エラーが多いものとして, (I4) 誤情報はエラーの半数以上 $(43 / 81=53.1 \%)$ が人物特有エラーであることがわかった，以降の分析では，端的かつ顕著なエラーを分析対象とするため，エラーが起きている発話全体に占める人物特有エラーの割合がおよそ $1 \%$ 上のもの，具体的には，表中の下線部のエラー（I4：誤情報, I5：質問無視, I9：期待無視, I10：発話意図不明確, I13：自己矛盾, I15：繰り返し）を対象に分析を行うことにした。

## 7.3 クラスタリングを通じた人物特有エラーの類型化

人物特有エラーが起きているシステム発話に対して, 先行研究 (Higashinaka et al. 2015) 同様，エラーと判断された理由を記述したエラーコメントをクラスタリングすることで，人物特有エラーを類型化し特徵を明らかにする。このためのクラスタリング手法として，分類の過程を追跡しやすい階層型クラスタリングを用いた. クラスタリング対象のエラーコメントは人物特有エラーと判定された 168 件のシステム発話に対して付与されたコメントであり, 人物特有


表 9 対話破綻が起きていた発話に対して付与した一般のチャットボットのエラー類型 (Higashinaka et al. 2021)，および，人物特有エラーの割合．各列において，数值と括弧内の割合はそれぞれ発話数とエラー全体における割合を表す。

フラグが付与されたコメントを各システム発話からランダムに一つ選択することで抽出した ${ }^{11}$.

クラスタリング対象のエラーコメントには対象人物に関する固有名詞が多数出現するため,同一の固有名詞に関するコメントをまとめられるよう, 特徵量には Bag-of-words を利用した. クラスタリングの際には, クラスタリング対象のコメント中で出現頻度が少ない語（出現回数が 3 回以下のもの）は除外した。階層クラスタリングの手法にはウォード法を使用し, 距離尺度にはユークリッド距離を使用した，最終的にクラスタ数を決定する際は，最終的な類型間で重複等がないよう，各クラスタのサイズが全コメントの $10 \%$ 以上となるように閥値を設定した. なお, 日本語形態素解析器として JTAG (Fuchi and Takagi 1998)（前述の対象人物に関する単語リストを固有名詞辞書として登録したもの）を利用し，クラスタリングの実装には $\mathrm{SciPy}^{12}$ を利用した。

図 3 にエラーコメントのクラスタリング結果を示す。図には 4 つのクラスタが示されており，


図 3 人物特有エラーに付与されていたエラーコメントのクラスタリング結果. 各クラスタにおいて，クラスタの重心に特徴量が最も近いコメントをそのクラスタの代表的なコメントとして示している.

各クラスタにおいて，クラスタの重心に特徴量が最も近いコメントをそのクラスタの代表的なコメントとして示している。 コメントの内容に基づき，各クラスタの特徴を以下にまとめる.

・クラスタ 1 では, システムが対象人物を取りまく環境（登場人物である「岡部」や，好きなアーティストである「モーツァルト」）に関する内容について，適切に応答できていないというエラーが見られる.
- クラスタ 2 では, システムが突然話題になっている人物（例えば，登場人物の「鈴羽」） とは別の人物（別の登場人物である「まゆり」）について言及してしまったり，突然別の人物（「まゆり」や「漆原」）の名前に言及することで，ユーザを別の人物と間違えてしまったりするというエラーが見られる。
- クラスタ 3 では, システムが対象人物自身に関する誤った情報（例えば, 自分のプロフィー ルを間違えたり，自分の好みを間違えたり）を発話してしまうというエラーが見られる。
- クラスタ 4 では, システムが対象人物自身を別の人物（例えば，登場人物やユーザ）と勘違いしたような内容を発話してしまうというエラーが見られる.
以上の特徴から，クラスタ 1 とクラスタ 3 はシステムが再現する対象人物自身についての誤認識がまとまっており，クラスタ 2 とクラスタ 4 は対象人物とは別の人物や事物についての誤認識がまとまっていると考えられる。また，クラスタ 1 とクラスタ 2 は対象人物自身（例えば，対象人物や登場人物）についてのエラーがまとまっており，クラスタ 3 とクラスタ 4 は， 人物や事物間の関係性に関するエラーがまとまっていると考えられる。

エラーコメントのクラスタリング結果を解釈した結果に基づき，人物特有エラーは，人物や事物に関する属性のエラー，および，それらの間の関係のエラーの二種類に分けることができ， それぞれのエラーはさらに，自己（対象人物自身），および，その他（対象人物以外の人物や事物，すなわち，対象人物の周囲の環境）という二つのレベルに分けられると考えられる。この分類を人物特有エラーの類型としてまとめたものを表 10 に示す。表には二つのレベル，および，二種類のエラーに分かれて 4 つのエラー類型が存在している。表 10 に示すそれぞれの類型は図 3 のクラスタと一対一で対応しており，それぞれ，(P1) 自己認識エラーはクラスタ $3,(\mathbf{P 2})$自己関係エラーはクラスタ $4,(P 3)$ 他者認識エラーはクラスタ $1,(\mathbf{P} 4)$ 他者関係エラーはクラスタ 2 と対応する。

人物特有エラーの各類型について，公開実験を通じて実際に収集された対話例とその説明を示す．以降の対話では，ユーザ，システムをそれぞれ U, S と表記する。また，具体例として示す対話中の発話において，著者らがエラーの原因と考えた箇所を下線で示している.

（P1）自己認識エラー：このエラーは，対象人物となる人物の属性に関する情報（例えば，プ

ロフィール，嗜好，経験など）において，誤った情報を発話するものである．

(1) U: 「I like you Kurisu.」

$\mathrm{S}: \quad$ 私は $\mathrm{AI}$ でも $\mathrm{AI}$ 紅莉栖でもありません。」（注：対象人物は $\mathrm{AI}$ のキャラクタ）

(2) U:「つれないなクリスティーーーナよ!」(注：クリスティーナは対象人物が嫌っているあだ名）

S:「こんばんは。AIのクリスティーナよ。」

 &  &  \\

表 10 人物特有エラーの類型. 括弧内のクラスタ番号は図 3 と対応している.

ルが誤っている．対話 (2)では，システムが自ら「クリスティーナ」と発話しているが，対象人物は「クリスティーナ」というニックネームを嫌っているため, 対象人物の嗜好が誤っている.

(P2) 自己関係エラー：このエラーは, システムが対象人物自身と他の人物や事物（例えば, ユーザ，友人，有名人）を誤って取り違えて発話するものである.

(3) S: 「私の名前は牧瀬紅莉栖よ。今日の実験もそろそろ終わりね。」

$\mathrm{U}: 「 もっと$ 話したいです。」

$\mathrm{S}:$ 「あなたは本当に牧瀬紅莉栖なの？」

(4) U:「まゆりって誰？」(注：まゆりは対象人物の友人)

S: 「彼女は牧瀬紅莉栖とも呼ばれているわ。」

対話 (3) では, システムがユーザを対象人物である「牧瀬紅莉栖」と読んでおり, 対象人物自身を別の人物（この場合はユーザ）と誤認識している。対話 (4)では，ユーザがまゆりについて尋ねているにも関わらず，対象人物自身を別の人物（この場合は友人である「まゆり」） と誤認識している。

（P3）他者認識エラー：このエラーは，対象人物の周囲の人物（例：友人）や事物（例：好きなもの等の関係の深いもの）について，誤った情報を発話したり，適切に反応できなかったりするものである.

（5） S: 「男の子でも、可愛い人は、いるわよ。」

S: 「まゆりとか、まゆりとかね。」

(6) $\mathrm{U}:\lceil ぬるほ ゚ 」($ 注：対象人物がよく知るインターネットスラング）

$\mathrm{S}:$ 「私の名前は牧瀬紅莉栖よ。」

対話 (5) では, 対象人物の友人である「まゆり」は女性であり, 男性ではないため, 対象人物の周囲の人物に関する知識が誤っている。対話 (6) では, ユーザがインターネットスラングを発話しているが，期待と異なる応答をしている。対象人物はインターネットスラングについてよく知っている設定のため, 典型的な応答（この場合は「ガッ」）を返すべきであり，対象人物の周囲の事物に関する内容の発話適切に反応できていないというエラーである.

(P4) 他者関係エラー：このエラーは，対象人物の周囲の人物（例：友人）や事物（例：好きなもの等の関係の深いもの）を別の対象人物以外の人物や事物と誤って取り違えて発話するものである.

(7) U: 「アマデウス紅莉栖 LOVE」

$\mathrm{S}$ :「そうね。私も好きよ。まゆり。」(注：まゆりは対象人物の友人)

（8） U:「鈴羽は今何してる？」(注：鈴羽は対象人物の友人)

$\mathrm{S}:$ 「そうね、マユリの声は世界を救うのよ。」
対話 (7) では, システムが突然「まゆり」と発話していることから, システムは対象人物以外の人物（ユーザ）を別の対象人物以外の人物（マユリ）と誤って発話している。対話 (8)では，ユーザは対象人物の友人である「鈴羽」について質問しているにも関わらず，別の友人である「マユリ」について発話しており，対象人物以外の人物（友人）を取り違えて発話している.

## 7.4 人物特有エラーの類型の評価

7.3 節で述べた人物特有エラーの類型の妥当性を確認するため, クラスタリングの対象として利用していない対話データ中のシステム発話に対して, 人物特有エラーの類型をアノテーションした. 具体的には，人物特有エラーが起きているシステム発話に対して， 4 種類の類型 $(\mathrm{P} 1-\mathrm{P} 4)$ のアノテーションを行い，アノテータ間一致率を調査した。アノテーション対象のシステム発話を抽出するために，対話破綻ラベルのアノテーションを行っていない残りの対話デー夕（全体の $87 \%=(80608-10611) / 80608 ）$ から，まず， 3,200 件のシステム発話をサンプリングした.次に， 7.1 節，および， 7.2 節で述べた人物特有エラーの抽出方法（対話破綻のアノテーション， および，対象人物に関するキーワードを利用した人物特有エラーのフラグの付与）を適用することで， 50 件の人物特有エラーを抽出し類型のアノテーション対象とした. 抽出された 50 件の人物特有エラーが起きているシステム発話の各々に対して，アノテータは人物特有エラーの類型を一つ付与した. このとき，アノテータには対象となる人物特有エラーが起きている発話, および，その直前の 3 発話（文脈）を与え，アノテーション対象の発話に対して付与されていたエラーコメント等は与えなかった。アノテータとして, 第一著者と同組織に所属する専門のアノテータ二名がアノテーションを実施した．教示として， 7.3 節で述べた各類型の対話例とその説明を与えた。その結果, アノテー夕間の一致率は Cohen's kappa で 0.46 となり, 中程度の一致率であることから, 人物特有エラーの妥当性が示唆されたと考えている。

## 7.5 既存のエラー類型との対応

表 11 に, 人物特有エラーの類型と従来のエラー類型（チャットボットの個性を限定しないもの）(Higashinaka et al. 2021) との対応関係を示す.この表は, 表 9 と図 3 の結果をマージすることで作成した。この表から，まず，人物特有エラーの各類型の出現頻度に着目すると， $(\mathrm{P} 1)$自己認識エラーのエラーが最も頻繁に発生しており，半数以上 $(42.3 \%+15.5 \%=57.8 \%)$ を占めることがわかる．また，他者レベルのエラー（P3，および，P4）は合わせて 4 割程度出現していることから，対象人物自身の情報のみならず，対象人物の友人など，その人物を取りまく環境についての話題も頻繁にエラーになっていることが明らかになった．従来のエラー類型における各類型が人物特有エラーの各類型に出現しており，本研究で明らかになった人物特有エラーの類型が従来のエラー類型と異なる観点でエラーを分類できていると考えられる.

 &  &  &  &  &  &  & 全体 \\

表 11 人物特有エラーの類型，および，従来のエラー類型（チャットボットの個性を限定しないもの） (Higashinaka et al. 2021)の対応関係. 表中の各数値は人物特有エラーの分析に利用した全エラー （168 件）における各エラーの割合を示す.

人物特有エラーの類型と従来のエラー類型の対応関係に着目すると, $(\mathrm{P} 1)$ 自己認識エラーは従来のエラー類型における (I4) 誤情報, および, (I10) 意図不明（発話意図不明確）で頻繁に発生していることがわかる，代表的なものとして，（I4）誤情報であれば，対象人物自身のプロフィールや嗜好に関して誤った情報を含む発話（例えば，AIの人物であるにも関わらず「私は AI ではない」と発話する場合）が見られた。（I10）発話意図不明確であれば，対象人物の応答として意図が不明確となる発話（例えば，「私はクリスティーナよ」と自ら嫌っているあだ名で名乗る場合）が見られた。

(P2) 自己関係エラーも (I4) 誤情報, および, (I10) 発話意図不明確で頻繁に発生している. (I4) 誤情報であれば，システムが自身とユーザを混同したり，自身と対象人物の友人を混同したりする発話が見られた。(I10) 発話意図不明確であれば, 例えば，システムが対象人物とその友人を混同し, 対象人物の話題から突然その友人の話題に飛ぶことで発話意図が不明確となる発話が見られた。

(P3) 他者認識エラーや (P4) 他者関係エラーにおいては, 対象人物が深く知っておくべき友人などの人物や，好きなものなどの事物に関して適切に答えることができない発話が見られ，例えば，人物や事物に対して誤った情報を含む発話や，ユーザを含む人物の間で取り違えが起きている発話が見られた。

本研究の調査結果をまとめると，人物特有エラーでは特に対象人物自身に関するエラーが最も多いということが明らかになった. この理由として, 本研究で実施した公開実験に参加したユーザが主に対象人物のファンであり，ユーザが対象人物についての話題に言及しやすい傾向があった可能性が考えられる。また, 従来のエラーの類型を用いた調査の結果, 人物特有エラー では (I4) 誤情報が最も多く発生していることから，個性を一貫させた対話を実現する研究 (Li et al. 2016b)の重要性が確認された。興味染い知見として，対象人物を再現するシステムとの対話では，対象人物だけでなく，対象人物の周辺を取りまく人物や事物等の環境に関する話題

が出現しており，これらの知識に関するエラーが人物特有エラー全体のうちのおよそ 4 割存在することが明らかになった。人物や事物の間の関係を扱うためには，例えばグラフ構造を用いる手法が有効である可能性がある (Ghazvininejad et al. 2018; Dinan et al. 2019).

## 8 まとめ

本研究では，対象人物に関して収集したなりきり質問応答のデー夕を大規模言語モデルと組み合わせることでなりきり AIを構築し，さらにインターネットを通じて公開実験を行うことで，対象人物を再現するチャットボットにおける現状の到達点と今後解決すべき課題（人物特有エラーの類型）を調査した. その結果, 収集された $45 \mathrm{~K}$ の QA ゚゚アを用いることで, 構築されたチャットボットが従来の検索べースの手法と比較して有意に高い自然さとキャラクタらしさを持つことが明らかになった。さらに，公開実験を通じて収集した大規模な対話ログを用いて誤り分析を行うことで，対象人物を再現するチャットボットのエラー (人物特有エラー)を調査した。その結果, 人物特有エラーは属性に関するエラーと関係に関するエラーの二種類に分けることができ，また，自己に関するエラーと他者に関するエラーという二つのレべルに分けられることが明らかになった。

今後の課題として，生成ベースの手法をより改善していきたい，例えば，今回実験に利用した QA ペアは最低でも1万ペアであり，依然として多いため，より少ないデータでも適切に振る舞う手法を検討したい。このために，人物に関する外部知識（テキストや知識グラフなど）を参照しながら対話を行う手法が有用な可能性がある (Zhao et al. 2020). 加えて, 本研究では 5 節の評価実験において, 発話レベルの人手評価結果のみに着目して低い評価値が付与された発話の分析を行ったが，対話レベルの人手評価結果についても，定性的な分析や定量化可能な情報の調査を通じて，評価値が低くなった対話の原因を調査したい。また，エラー分析の結果得られた知見に基づき，Unlikelihood-Training (Li et al. 2019) や話者の識別モデルを利用する発話生成 (Shuster et al. 2022) のアプローチを用いて， 人物特有エラーを抑制することも重要な課題である. 今後, 対話内容の詳細なアノテーション等を追加で実施し, 人物特有エラーにおいて，特に対象人物自身に関するエラーが多く出現していた理由等も明らかにしていきたい．対象人物とユーザの関係や親しさを推定し, それに合わせた対話を行うことも今後の重要な課題である。本研究におけるコーパス構築では，対象人物の応答と併せて親密度のラベル収集したため，対象人物とユーザの関係や親しさを推定し，それに合わせた対話を行う手法を確立したい. さらに, 本研究で収集した対話破綻のラベルを用いて, ChatGPT (Ouyang et al. 2022) 等の大規模言語モデルにおいて利用される Reinforcement learning from human feedback (RLHF) を実施して人物特有エラーを抑制することも考えられる。本論文では単一の人物のみに焦点を当てており，今後異なる人物を対象として，結果の汎用性を検証することも実施していきたい.

## 謝 辞

本論文の一部は, The 12th International Workshop on Spoken Dialog Systems (IWSDS2021) ${ }^{13}$, および, The 60th Annual Meeting of the Association for Computational Linguistics (ACL2022) で発表したものです (Mitsuda et al. 2021, 2022).

## 参考文献

Adiwardana, D., Luong, M.-T., So, D. R., Hall, J., Fiedel, N., Thoppilan, R., Yang, Z., Kulshreshtha, A., Nemade, G., Lu, Y., and Le, Q. V. (2020). "Towards a Human-like Open-Domain Chatbot." In arXiv preprint arXiv:2001.09977.

Akama, R., Watanabe, K., Yokoi, S., Kobayashi, S., and Inui, K. (2018). "Unsupervised Learning of Style-sensitive Word Vectors." In Proceedings of $A C L$, pp. 572-578.

Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). "Language Models are Few-Shot Learners." In Proceedings of NeurIPS, pp. 1877-1901.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL, pp. 4171-4186.

Dinan, E., Roller, S., Shuster, K., Fan, A., Auli, M., and Weston, J. (2019). "Wizard of Wikipedia: Knowledge-powered Conversational Agents." In Proceedings of ICLR, pp. 1-18.

Dwass, M. (1960). "Some k-Sample Rank-order Tests." Contributions to Probability and Statistics, pp. 198-202.

Fleiss, J. L. and Cohen, J. (1973). "The Equivalence of Weighted Kappa and the Intraclass Correlation Coefficient as Measures of Reliability." Educational and Psychological Measurement, 33 (3), pp. 613-619.

Fuchi, T. and Takagi, S. (1998). "Japanese Morphological Analyzer using Word Co-occurrence —JTAG-." In Proceedings of COLING, pp. 409-413.


Ghazvininejad, M., Brockett, C., Chang, M.-W., Dolan, B., Gao, J., Yih, W.-t., and Galley, M.

(2018). "A Knowledge-Grounded Neural Conversation Model." In Proceedings of AAAI, pp. 5110-5117.

Han, S., Kim, B., Yoo, J. Y., Seo, S., Kim, S., Erdenee, E., and Chang, B. (2022). "Meet Your

Favorite Character: Open-domain Chatbot Mimicking Fictional Characters with only a Few Utterances." In Proceedings of NAACL-HLT, pp. 5114-5132.

Higashinaka, R., Araki, M., Tsukahara, H., and Mizukami, M. (2021). "Integrated Taxonomy of Errors in Chat-oriented Dialogue Systems." In Proceedings of SIGDIAL, pp. 89-98.

Higashinaka, R., Dohsaka, K., and Isozaki, H. (2013). "Using Role Play for Collecting QuestionAnswer Pairs for Dialogue Agents." In Proceedings of INTERSPEECH, pp. 1097-1100.

Higashinaka, R., Funakoshi, K., Araki, M., Tsukahara, H., Kobayashi, Y., and Mizukami, M. (2015). "Towards Taxonomy of Errors in Chat-oriented Dialogue Systems." In Proceedings of SIGDIAL, pp. 87-95.

Higashinaka, R., Funakoshi, K., Inaba, M., Tsunomori, Y., Takahashi, T., and Akama, R. (2021).

"Dialogue System Live Competition: Identifying Problems with Dialogue Systems through Live Event." In Proceedings of IWSDS, pp. 185-199.

Higashinaka, R., Imamura, K., Meguro, T., Miyazaki, C., Kobayashi, N., Sugiyama, H., Hirano, T., Makino, T., and Matsuo, Y. (2014). "Towards an Open Domain Conversational System Fully Based on Natural Language Proceedingsssing." In Proceedings of COLING, pp. 928-939.

Higashinaka, R., Mizukami, M., Funakoshi, K., Araki, M., Tsukahara, H., and Kobayashi, Y.

(2015). "Fatal or Not? Finding Errors That Lead to Dialogue Breakdowns in Chat-Oriented Dialogue Systems." In Proceedings of EMNLP, pp. 2243-2248.

Higashinaka, R., Mizukami, M., Kawabata, H., Yamaguchi, E., Adachi, N., and Tomita, J. (2018).

"Role Play-Based Question-Answering by Real Users for Building Chatbots with Consistent Personalities." In Proceedings of SIGDIAL, pp. 264-272.

Huang, C., Zaïane, O., Trabelsi, A., and Dziri, N. (2018). "Automatic Dialogue Generation with Expressed Emotions." In Proceedings of NAACL-HLT, pp. 49-54.

Kim, H., Kim, B., and Kim, G. (2020). "Will I Sound Like Me? Improving Persona Consistency in Dialogues through Pragmatic Self-Consciousness." In Proceedings of EMNLP, pp. 904-916. Kodama, T., Higashinaka, R., Mitsuda, K., Masumura, R., Aono, Y., Nakamura, R., Adachi, N., and Kawabata, H. (2020). "Generating Responses that Reflect Meta Information in User-Generated Question Answer Pairs." In Proceedings of LREC, pp. 5433-5441.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent

Subword Tokenizer and Detokenizer for Neural Text Proceedingsssing." In Proceedings of EMNLP, pp. 66-71.

Li, J., Galley, M., Brockett, C., Gao, J., and Dolan, B. (2016a). "A Diversity-Promoting Objective Function for Neural Conversation Models." In Proceedings of NAACL-HLT, pp. 110-119.

Li, J., Galley, M., Brockett, C., Spithourakis, G., Gao, J., and Dolan, B. (2016b). "A PersonaBased Neural Conversation Model." In Proceedings of ACL, pp. 994-1003.

Li, M., Roller, S., Kulikov, I., Welleck, S., Boureau, Y.-L., Cho, K., and Weston, J. (2019).

"Don't Say That! Making Inconsistent Dialogue Unlikely with Unlikelihood Training." arXiv preprint arXiv:1911.03860.

Liu, Q., Chen, Y., Chen, B., Lou, J.-G., Chen, Z., Zhou, B., and Zhang, D. (2020). "You Impress Me: Dialogue Generation via Mutual Persona Perception." In Proceedings of $A C L$, pp. 1417-1427.

Madotto, A., Lin, Z., Wu, C.-S., and Fung, P. (2019). "Personalizing Dialogue Agents via Metalearning." In Proceedings of $A C L$, pp. 5454-5459.

Majumder, B. P., Jhamtani, H., Berg-Kirkpatrick, T., and McAuley, J. (2020). "Like Hiking? You Probably Enjoy Nature: Persona-grounded Dialog with Commonsense Expansions." In Proceedings of EMNLP, pp. 9194-9206.

Mazaré, P.-E., Humeau, S., Raison, M., and Bordes, A. (2018). "Training Millions of Personalized Dialogue Agents." In Proceedings of EMNLP, pp. 2775-2779.

Meguro, T., Higashinaka, R., Minami, Y., and Dohsaka, K. (2010). "Controlling Listeningoriented Dialogue using Partially Observable Markov Decision Processes." In Proceedings of COLING, pp. 761-769.

Mitsuda, K., Higashinaka, R., Li, T., and Yoshida, S. (2022). "Investigating Person-Specific Errors in Chat-Oriented Dialogue Systems." In Proceedings of ACL, pp. 464-469.

Mitsuda, K., Higashinaka, R., Sugiyama, H., Mizukami, M., Kinebuchi, T., Nakamura, R., Adachi, N., and Kawabata, H. (2021). "Fine-tuning a Pre-Trained Transformer-Based Encoder-Decoder Model with User-Generated Question-Answer Pairs to Realize Characterlike Chatbots." In Proceedings of IWSDS, pp. 1-14.

Miyazaki, C., Hirano, T., Higashinaka, R., Makino, T., and Matsuo, Y. (2015). "Automatic Conversion of Sentence-End Expressions for Utterance Characterization of Dialogue Systems." In Proceedings of PACLIC, pp. 307-314.

水上雅博, 杉山弘晃, 有本庸浩, 東中竜一郎, 光田航, 小林哲生 (2023). なりきり AI プラットフォームを活用した自治体連携による案内務対話システム構築. 人工知能学会論文誌, $\mathbf{3 8}(3)$, B-MA2_1-14. [M. Mizukami et al. (2023). Construction of an Information Service Dialogue

System in Collaboration with Local Governments using the Chatbot Platform of Role Playbased Question-Answering. Transactions of the Japanese Society for Artificial Intelligence, 38 (3), B-MA2_1-14.].

Niu, T. and Bansal, M. (2018). "Polite Dialogue Generation without Parallel Data." Transactions of the Association for Computational Linguistics, 6, pp. 373-389.

Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelton, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P., Leike, J., and Lowe, R. (2022). "Training Language Models to Follow Instructions with Human Feedback." In Proceedings of NeurIPS, pp. 1-15.

Qian, Q., Huang, M., Zhao, H., Xu, J., and Zhu, X. (2018). "Assigning Personality/Profile to a Chatting Machine for Coherent Conversation Generation." In Proceedings of IJCAI, pp. 4279-4285.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2019). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." arXiv preprint arXiv:1910.10683.

Rashkin, H., Smith, E. M., Li, M., and Boureau, Y.-L. (2019). "Towards Empathetic OpenDomain Conversation Models: A New Benchmark and Dataset." In Proceedings of $A C L$, pp. 5370-5381.

Robertson, S. E., Walker, S., Jones, S., Hancock-Beaulieu, M., and Gatford, M. (1995). "Okapi at TREC-3." In Proceedings of TREC, pp. 109-128.

Roller, S., Dinan, E., Goyal, N., Ju, D., Williamson, M., Liu, Y., Xu, J., Ott, M., Smith, E. M., Boureau, Y.-L., and Weston, J. (2021). "Recipes for Building an Open-Domain Chatbot." In Proceedings of EACL, pp. 300-325.

See, A. and Manning, C. (2021). "Understanding and Predicting User Dissatisfaction in a Neural Generative Chatbot." In Proceedings of SIGDIAL, pp. 1-12.

Shuster, K., Humeau, S., Bordes, A., and Weston, J. (2020). "Image-Chat: Engaging Grounded Conversations." In Proceedings of ACL, pp. 2414-2429.

Shuster, K., Urbanek, J., Szlam, A., and Weston, J. (2022). "Am I Me or You? State-of-the-Art Dialogue Models Cannot Maintain an Identity." In Findings of NAACL, pp. 2367-2387.

Song, H., Wang, Y., Zhang, W.-N., Liu, X., and Liu, T. (2020). "Generating Responses with a Specific Emotion in Dialog." In Proceedings of ACL, pp. 5821-5831.

Sugiyama, H., Meguro, T., Higashinaka, R., and Minami, Y. (2014). "Large-scale Collection and Analysis of Personal Question-Answer Pairs for Conversational Agents." In Proceedings of IVA, pp. 420-433.

Sugiyama, H., Mizukami, M., Arimoto, T., Narimatsu, H., Chiba, Y., Nakajima, H., and Meguro, T. (2021). "Empirical Analysis of Training Strategies of Transformer-based Japanese Chitchat Systems." arXiv preprint arXiv:2109.05217.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All You Need." In Proceedings of NeurIPS, pp. 5998-6008.

Welleck, S., Weston, J., Szlam, A., and Cho, K. (2019). "Dialogue Natural Language Inference." In Proceedings of $A C L$, pp. 3731-3741.

Zhang, S., Dinan, E., Urbanek, J., Szlam, A., Kiela, D., and Weston, J. (2018). "Personalizing Dialogue Agents: I Have a Dog, Do You Have Pets too?" In Proceedings of $A C L$, pp. 2204-2213.

Zhao, X., Wu, W., Xu, C., Tao, C., Zhao, D., and Yan, R. (2020). "Knowledge-Grounded Dialogue Generation with Pre-trained Language Models." In Proceedings of EMNLP, pp. 3377-3390.

Zheng, Y., Zhang, R., Huang, M., and Mao, X. (2020). "A Pre-Training Based Personalized Dialogue Generation Model with Persona-Sparse Data." In Proceedings of AAAI, pp. 9693-9700.

Zhou, H., Huang, M., Zhang, T., Zhu, X., and Liu, B. (2018). "Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory." In Proceedings of $A A A I$, pp. $730-738$.

Zhou, L., Gao, J., Li, D., and Shum, H.-Y. (2020). "The Design and Implementation of XiaoIce, an Empathetic Social Chatbot." Computational Linguistics, 46 (1), pp. 53-93.

## 略歴

光田航：2013 年東京工業大学情報工学科卒業. 2015 年同大学大学院情報理工学研究科修士課程修了. 2021 年筑波大学大学院システム情報工学研究科博士課程修了. 2015 年から 2023 年まで日本電信電話株式会社研究員. 2023 年より rinna株式会社 Applied Scientist. 自然言語処理, 対話システムの研究開発に従事. 人工知能学会, 言語処理学会各会員. 博士 (工学).

東中竜一郎：2001 年慶應義塾大学大学院政策・メディア研究科修士課程, 2008 年博士課程修了. 2001 年日本電信電話株式会社入社. 2020 年より, 名古屋大学大学院情報学研究科教授. NTT 人間情報研究所客員上席特別研究員. 慶應義塾大学環境情報学部特別招聘教授. 2004 年から 2006 年まで英国シェフィールド大学客員研究員. 質問応答システム・対話システムの研究に従事. 人工知能学会, 言語処理学会, 情報処理学会, 電子情報通学会各会員. 博士 (学術).

李廷軒：2019 年大連理工大学電子情報・電気工学部卒業. 2023 年筑波大学大学院理工情報生命学術院システム情報工学研究群知能機能システム学位プ

ログラム（博士前期課程）修了.

杉山弘晃：2007 年東京大学工学部機械情報工学科卒業. 2009 年同大学院情報理工学系研究科知能機械情報学専攻修士課程了. 2016 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 2009 年, 日本電信電話株式会社入社. 現在, NTTコミュニケーション科学基礎研究所協創情報研究部主任研究員. 人と自然な対話を行う雑談対話システムの研究に従事. IEEE，人工知能学会, 言語処理学会, 情報処理学会各会員. 博士 (工学).

水上雅博: 2014 年奈良先端科学技術大学院大学情報科学研究科修士課程修了. 2017 年同研究科博士課程修了. 同年, 日本電信電話株式会社入社. 現在, NTT コミュニケーション科学基礎研究所協創情報研究部研究主任. 個人性を持つ対話システムの研究開発に従事. 人工知能学会会員. 博士（工学）.

中村竜太：2008 年国立群馬工業高等専門学校卒業. 2008 年 2016 年ソニーグローバルマニュファクチャリング＆オペレーションズ株式会社. 2016 年〜 2018 年 Gatebox 株式会社. 2018 年より株式会社ドワンゴにて新規事業部署のマネージャに従事.

安達敬武：2000 年日本タイムシェア株式会社入社. 2006 年株式会社ドワンゴ入社. 2013 年スマートフォン音楽サイトセクションマネージャ. 2016 年対話 $\mathrm{AI}$ プロジェクト「なりきり $\mathrm{AI}\rfloor$ 立ち上げに参画. 現在, 新規プロダクトの開発ディレクションに従事.

川端秀寿：2007 年楽天株式会社入社. 2011 年楽天市場事業部西日本エリアマネージャ. 同年, ドワンゴ株式会社入社. 2012 年より, ニコニコチャンネルのセールスマネージャとして Eコマース事業の開発に従事。2016 年「なりきり $\mathrm{AI} 」$ プロジェクト参加. その後，チャンネル事業部部長を経て，現在，株式会社 KADOKAWA ファンコミュニティ事業部部長.

吉田仙：1995 年東北大学大学院情報科学研究科博士前期課程修了. 1995 年から 2022 年まで日本電信電話株式会社, 2003 年から 2007 年まで西日本電信電話株式会社. 2022 年より株式会社三菱ケミカルホールディングス（現：三菱ケミカルグループ株式会社)．現在，自然言語処理の応用業務に従事．情報処理学会, 人工知能学会各会員.

杵渕哲也：1997 年東北大学大学院 ・博士課程前期修了. 同年日本電信電話株式会社入社. 現在, NTT 人間情報研究所共生知能研究プロジェクトプロジェクトマネージャ，メディア処理，人工知能に関する研究開発に従事。電子情報通信学会会員.

(2023 年 6 月 27 日受付)

(2023 年 8 月 1 日再受付)

(2023 年 8 月 22 日採録)