# メタ学習を用いた少量データからの 中国古代思想家のパーソナライズド対話システムの構築

杜 彬 荻野 正樹
関西大学大学院 総合情報学研究科
\{k661612, ogino\}@kansai-u. ac. jp

## 概要

近年，対話的なアプリケーションにおいて， パー ソナライズドチャットボットの普及が進んでいる. パーソナライズドチャットボットを学習させる場合,質問への回答方法を学習させるためには，大量のチヤットデータが必要となる. しかし, このデータの入手は困難な場合が多い. 特に, 特定人物に対して,歴史上に残ったデータが不足している。 また, パー ソナライズド対話データへの獲得は，手作業によるアノテーションが必要な場合が多くて，時間とコストをかかる. 本研究では, これらの問題点を探り,歴史上に残る僅かな少量の対話データから BERT を基礎として事前学習 UNILM モデルを実装し，ディー プランニングのメタ学習技術により, ロボットが他の対話タスクを解く際に過去に学習した知識を利用することで, 中国古代思想家チャットボットのシステムを構築する手法を提案する. 実験結果によって， チャットボットの中国古代思想家にパソナライド度,語彙の正確性, 応答の多様性, において提案手法の有効性が示された。

## 1 はじめに

近年，ソーシャルメディアやインスタントメッセ一ジのアプリケーションにおいて，チャットボットの普及が進んでいる (図 1).チャットボットは人々がより簡単にコミュニケーションをとるのを助け，情報やサービスを提供する。言語学習モデルによってチャットボットを構成する場合, 学習する人間の会話データの量と質がチャットボットの会話能力の決め手となる.

特に，パーソナライズドチャットボットを設計する場合, その傾向が顕著である. パーソナライズドチャットボットは, そのキャラクターの会話履歴や嗜好に基づいて学習し, 言葉遣いを改善する必要がある.しかし, 十分なデータがないと, ボットに十

図 1 パーソナライズドチヤットボット対話システム分な学習機会が与えられず，結果として個人の言葉や考え方をうまくモデル化することができない.

この問題に対処するため, 本研究では, メタラー ニングの手法を用いて， パーソナライズドチャットボットの学習を行う.メタ学習とは, 機械が新しい課題をより速く学習できるようにすることを目的とした機械学習の手法である[1]. 過去のタスクの大量のデータから新しいタスクの解法を学習するメタ学習アルゴリズムを用いることで，十分なデータがないにもかかわらず，よりパーソナライズドされたシミュレーションの学習結果を得ることができると期待される。

中国古代の思想家の思想は, 中国文化の発展に重要な役割を果たしてきた。古代中国語が複雑な文字体系であることも相まって，言語研究には多くの課題がある。そのひとつが, データの不足である。 中国の古文書は保存状態が様々で，多くの古代思想家の著作があまり残されていない，また，古代中国の思想家の著作には, 当時は特定の意味を持っていたものの，現代ではあまり当てはまらない用語や概念が多く含まれている. 古代思想家にパーソナライズドチャットボットと会話することで, ユーザーが古代言葉の意味をより正確に理解することが期待される.

本研究では, 残された少ない会話データをもとに, メタラーニングの手法により中国古代思想家として

パーソナライズドされたチャットボットを実現することを目指す。このようなチャットボットは古代中国語と思想家の研究問題の解決案の一つの手法として活用が期待できる.

## 2 関連研究

メタ学習 (Meta Learning) [2]は, 新しい課題をより速く学習することを目的とした機械学習の手法である. メタ学習アルゴリズムは, 通常, 過去の多数のタスクから得たデータを用いて，新しいタスクの解法を学習する. この手法により, 学習効率を向上させ，新しい環境でも機械がより良いパフォーマンスを発揮できるようになる。一般的なメタ学習アルゴリズムには, モデル共有, 学習ストラテジー, マルチタスク学習などがある.

(1)モデル共有は, 複数の課題を解決するために共通のモデルを用いるメタ学習アプローチである. モデル共有は, 通常, モデルのパラメータを調整することで新しいタスクに適応させるパラメトリックモデルを使用する.

(2)学習ストラテジーも，学習アルゴリズムを用いて複数の課題を解決するメタ学習手法として一般的なものである. MAML (Model-Agnostic Meta-Learning) [3], Reptile[4]など, 学習ストラテジーの具体的な実装方法は存在する。

(3)マルチタスク学習も, 複数の課題を同時に解決するメタ学習手法の一つである. マルチタスク学習法は, 一般的にニューラルネットワークを用い, 複数のタスク間で情報を共有することで学習効率を向上させる.

最近, MAML を自然言語処理の文章生成に適用し，低リソース環境において, 少ない学習例で新しい夕スクでの文章を生成する手法が提案されている[5]. MAML は, モデルが新しいタスクに素早く適応できるように，勾配降下アルゴリズムを用いてモデルのパラメータを調整する. 通常, 少量のサンプルデー 夕を使用してモデルを学習するため, 大量のデータがない場合でも良い結果を得ることが可能である.

MAML $の$ 利点は, 新しいタスクに素早く適応できることと，必要なデータが少ないことである.

本研究では, MAML を使って少量学習データからの対話システムを構築した。

## 3 提案手法

現代中国語の対話データをソース会話データとし
て，初期の会話タスクのモデルを作成. 少量の中国古代対話データを用いて，対話システムの作成の方法をモデルに学習させために，パーソナライズドチヤットボットの応答スタイルに素早く適応できる対話モデルの初期パラメータを学習することを MAML の目標タスクとして設定する。

言語モデルは BERT[6]を基礎として発展した UNILM (Unified Language Model Pre-training) [7]というモデル事前学習方法を用いている. UNILM は，は多層 Transformer ネットワーク, 事前学習によって自然言語処理タスクのパフォーマンスを向上させるように設計された。言語モデルの事前学習では，大量のテキストデータを使って言語モデルを事前学習し， そのモデルを他の自然言語処理タスクに使用する。

図 2 UNILM $の$ Seq2seqLM 概要図

UNILM モデルは, マルチタスク学習の概念に基づき，複数の自然言語処理タスクに同時に対応するものである. UNILM の事前学習は言語モデリングの単方向 LM, 双方向 LM, Seq2seqLM（図 2）に共有 Transformer ネットワークが最適化された. 予測される単語の文脈情報を異なるものにするために，異な

る Attention マスクを使用した。このアプローチにより，UNILM は言語の文脈情報をよりよく捉え，複数のタスクを解く際によりよいパフォーマンスを発揮することができる. UNIML モデルを基本的な対話システムとして, パラメータ学習に MAML を用いる.

MAML では現代中国語の対話データをソースデー タとして, 初期の個別タスクの基本モデルを作成. モデル初期化パラメータをゆとし, $\mathrm{n}$ 番目のテスト文字で学習した後のモデルパラメータを $\hat{\theta}^{n}$ と定義し,全損失関数を以下のように定義する.

$
L(\varnothing)=\sum_{n=1}^{N} l^{n}\left(\hat{\theta}^{n}\right)
$

初期化パラメータの更新は：

$
\varnothing \leftarrow \varnothing-\eta \nabla_{\varnothing} L(\varnothing)
$

図 3 システムパラメータの更新初期化時のソース会話データを用いて, タスクごとに対話モデル全体の微調整を行い，目標モジュー ルのパラメータに L-1 正則化を追加します.ここでの L-1 正則化の目的は，パラメータを疎にし，タスク固有の文の生成に有益なパラメータのみをアクテイブにすることである. 初期化されたパラメータが更新された後, メタ学習時のパラメータは, 学習タスクの各ステップを通じてより強い汎化能力を持つようになる。 MAML を利用してパラメータの更新は図 3 に示す。

## 4 実験

## 4.1 データ

メタ学習のソースデータとして, 既存のオープンソースの中国語対話データセットを使用した. KdConv[8], 知識領域の会話が含まれる. CrossWOZ[9], 会話の種類や, ユーザーの会話状態の注記も含まれる. DoubanCorpus[10], 複数ラウンドの日常会話を含まれる.

目標のデータセットは低リソースの古代中国の年代順に分類された古代中国思想家の中短編文章集,例えば論語, 老子, 戦国策, 孫子兵法などを使用する, その中でおよそ半分は対話データ, 半分は独白データとみられる. 古代中国語データを Classical と表記する.

データの会話文数は表 1 に示す. 現代中国語と古代中国語の両方に, Jiayan というパッケージを使って漢字の文をトークン化した. メタ学習のトレーニングセットとテストセットの比率は $9: 1$ である.

## 4.2 実験設定

モデルは UNILM をベースに実装し，対話ロボットの表現を使用するように改良した。一般化することを確認するために，さまざまなメタ学習のパラメ ータで学習を行なった. 本研究で学習率 $2 \mathrm{e}-5$, バッチサイズ 32, ドロップアウトが 0.1 , 重み減衰が 0.0001 , 最大 seq 長さ 128 に固定し, 事前に学習した中国語モデルを用いて学習を行った。事前学習モデルは epoch（学習回数）を 10 になった，結果を記録する。ソースタスクの選択の効果を調査するために, 様々な会話データセットを用いてメタ学習する.各エピソードでは, デフォルトでは, Adamの単一勾配ステップを用いて，メタ勾配を計算するための計算を行っている.

## 4.3 評価手法

本実験で生成応答に対し, 自動評価および人手評価を行う。モデルについて，すべての訓練タスクのデータを用いて統一的な対話生成モデルを事前学習し, その後, テストタスクで直接テストする。 ベー スとなる生成モデル Seq2seq を試した. 各テストタスクで事前学習を微調整 Finetune して, モデル Seq2seq-F と表記する.コンプリートモデルに対して MAML アルゴリズムを適用し, MAML と表記する.

自動評価指標としては，応答の流暢度を測定する PPL，参照応答との類似度を測定する BLEU[11], 応答の多様性を測定する dist-1[12].

人手評価では古文を読むことができる大学卒業生 3 名を招きた. 各モデルで作成された応答が混ぜ合わられて採点された. 各応答を正確さ, 流暢さとパ ーソナライズド度 3 つの尺度で独立して採点する。評価範囲は $0 \sim 2$ で, 回答の適切さを測り, 2 を合格とする，0 は無関係な内容である

正確さ：ロボットが質問に答える際に使用する言葉に，よく使う古代中国語を参照語彙と比較し， 口ボットが使った語彙のうち，いくつが正しいかを評
価する.

流暢さ : ボットがいかにうまく会話に入り込むかを測定するために，流暢さを評価する。

パーソナ度 : ロボットが質問に答える際に, どの程度パーソナライズされているかを測定するために，ボットが応答する際に使用した中国古代思想家の言葉っぽいかと評価する。

## 5 実験結果

## 5.1 自動評価

モデルの性能は表 2 に自動評価による結果を示す.表 2 自動評価の結果

自動評価の結果によって Finetune の Seq2seq-F は Seq2seq 法より優れている. MAML 法は BLEU スコアでは Finetune 法に及ばないが，Dist-1 スコアは比較的高い值を示した. このことから, MAML は応答の多様性を向上させるのに役立つことが表現された. BLEU の類似度指標は, 生成された応答と参照応答の類似度を比較することを指す。これは， Finetune 法に生成された応答が参照応答との類似度が高ければ，より朵長性が高いと考えられる。

## 5.2 人手評価

モデルの性能は表 3 に人手評価による結果を示す.表 3 人手評価の結果

異なる学習方法を用いたチャットロボットを比較した結果, MAML 技術を用いたロボットの方が, 質問に答える際の語彙の正確さが高いことがわかた. これは, メタ学習技術により, ロボットが他のタスクを解く際に過去に学習した知識を利用することで， タスクを解く際に適切な語彙をよりよく選択できるようになるためと考えられる。また， パーソナライズ度を比べて，MAML の性能が高いことがわかる。
この結果から，現在の対話に関連したパーソナライズ情報が，応答生成に有用な情報を与えていると考えられる。

## 5.3 考察

対話システムで現代中国語の対話内容に対して，生成された回答は古代中国語で, 応答の多様性が高くて, 対話内容との関連で文字通り理解できる程度であった. しかし, 期待されたレベルに達していない会話要素も多く見受けられた。たとえば，「毎年七月三十九日」といって時間を答えるという常識の誤りがあった. また, 経営, 会計, 博士など古今で意味が変化した漢字の知識も正確さに欠ける. 最後に, 古代中国語は少ない単語で意味を伝える傾向があるため, 生成される対話コンテンツは長さが短くなりがちで, 判断文形式の頻度が高い。例えば，それはできない，これはいい，それは聞いていない， などである（表 4）。

表 4 古代思想家対話システムの対話案例の一つ

結果を改善するため, いくつかの課題があることを認識した。まず，より性能がいいパーソナライズドチャットボットを学習させるためには，高品質なデータを使用する必要がある。 さらに, 適切な夕スクを制定して，学習処理の有効性を上がる必要がある.また，モデルの汎化能力にも注目する必要がある. メタ学習技術を用いてパーソナライズドチャットボットを訓練する場合，モデルが新しいタスクでより良いパフォーマンスを達成できるようにする必要がある。

## 6 おわりに

本稿では，メタ学習を使用して，少量の対話デー タでパーソナライズド中国古代思想家チャットボットの対話システムを提案した. 今後は, 続けて研究を通じて，機械学習に不可欠なデータ問題に向けた新しいアイデアや方法を提供したいと考えている.

## 参考文献

[1] Po-Sen Huang, Chenglong Wang, Rishabh Singh, Wen-tau Yih, and Xiaodong He.2018.Natural language to structured query generation via metalearning.In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 732-738.Association for Computational Linguistics.

[2] Tom Schaul and Juergen Schmidhuber.2010. Metalearning.Scholarpedia, 5(6):4650.

[3] Chelsea Finn, Pieter Abbeel, and Sergey Levine. 2017.Model-agnostic meta-learning for fast adaptation of deep networks.In ICML, pages 11261135

[4] Alex Nichol, Joshua Achiam, John Schulman.2018. On First-Order Meta-Learning Algorithms.arXiv preprint arXiv: 1803.02999

[5] Fei Mi, Minlie Huang, Jiyong Zhang, and Boi Faltings. 2019.Meta-learning for low-resource natural language generation in task-oriented dialogue systems . In IJCAI, pages 3151-3157

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding . arXiv preprint arXiv:1810.04805

[7] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu,Yu Wang, Jianfeng Gao, Ming Zhou, and Hsiao-Wuen Hon.2019.Unified language model pre-training for natural language understanding and generation.InH.Wallach,H.Larochelle,A.Beygelzim er, F.d'Alché-Buc, E.Fox, and R.Garnett, editors,
Proc.of NeurIPS, Vol.32, pp.13063-13075.Curran Associates, Inc

[8] Hao Zhou, Chujie Zheng, Kaili Huang, Minlie Huang, Xiaoyan Zhu.2020. KdConv: A Chinese Multi-domain Dialogue Dataset Towards Multi-turn Knowledge-driven Conversation.arXiv preprint arXiv: 2004.04100

[9] Qi Zhu, Kaili Huang, Zheng Zhang, Xiaoyan Zhu, Minlie Huang.2020.CrossWOZ: A Large-Scale Chinese Cross-Domain Task-Oriented Dialogue Dataset.arXiv preprint arXiv: 2002.11893

[10] Yu Wu, Wei Wu, Chen Xing, Ming Zhou, Zhoujun Li.2016.Sequential Matching Network: A New Architecture for Multi-turn Response Selection in Retrieval-based Chatbots.arXiv preprint arXiv: 1612.01627

[11] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. July 2002.Bleu: a method for automatic evaluation of machine translation.In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp.311318, Philadelphia, Pennsylvania, USA, Association for Computational Linguistics

[12] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao,and Bill Dolan. June 2016.A diversitypromoting objective function for neural conversation models.In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp.110-119, San Diego, California, Association for Computational Linguistics