情報処理 Vol.62 No.10 (Oct. 2021)

小特集

Special Feature［⾝近になった対話システム］

4一般ユーザとの雑談会話のためのAI チャットボット
沢田慶基 応
専 般rinna（株）

雑談会話を実現するための技術

チャットボットの役割
チャットボットは，人間との会話を自動で行うテキストを用いてユーザと会話するチャットボッシステムのことである．企業の Web ページなどにトを実現するためには，ユーザの入力文（リクエスチャットボットが導入される事例も多くなり，一般

ト）に対してチャットボットが適切な応答文（レスユーザが実際に利用する機会が増加している．また，ポンス）で返答する必要がある．チャットボットをAI アシスタントと呼ばれる Apple の Siri，Amazon開発するための単純な手法は，リクエストに対するの Alexa，Google の Google アシスタントなどは，レスポンスをルールベースで事前に用意する方法でスマートフォンやスマートスピーカに搭載されるこある．しかし，雑談会話が主目的の非タスク指向型とで，ユーザの身近な存在となっている．これらのチャットボットを開発するためには，ユーザの多様チャットボットの多くは，ユーザが所望する目的（たなリクエストに対し，飽きさせることがないレスポ

とえば天気予報の確認やトラブルシューティング）ンスが必要となり，人手によるルールの作成には限を達成するために会話を行うタスク指向型のチャッ界がある．
りんなでは，雑談会話が可能なチャットボットをトボットである．
一方，タスクを達成するためではなく，ユーザと開発するために最先端技術を順次導入し，一般ユー雑談することを主目的とするチャットボットは非タ

ザが最先端の技術を体験できる機会を提供してきた．

スク指向型と呼ばれる．Microsoft は非タスク指向

図 -1 に，りんなに導入されてきた技術の概要を示

型のチャットボットである「りんな」を開発し，雑す．導入されてきた技術は，大きく分けて検索エン談チャットボットのサービスを開始した

ジンとディープラーニングに基づく手法があり，以☆1．ユーザとの会話を簡潔に済ましタスクを達成することを目降でそれぞれの手法について解説する．

的に開発されるタスク指向型のチャットボットとは違い，りんなはユーザと長く会話を楽しみ共感を生み出すことを目指して開発され続けている．本稿でディープラーニング

は，りんなについての研究・開発・運用・運営を中

事前学習モデル心に雑談チャットボットについて紹介する．

検索エンジン

2015☆1

りんな開発チームは，2020 年に rinna（株）として Microsoft から独立し，関連事業は引き継がれた．

© 2021 Information Processing Society of Japan

■図 -1

2016

2017

共感モデル

2018

2019

2020

2021

りんなに導入されてきた技術

e19

情報処理 Vol.62 No.10 (Oct. 2021)

小特集

Special Feature

検索エンジンによるレスポンス検索

いったモデル構造は自然言語処理において高い性能

雑談会話は多岐にわたるレスポンスが必要となり，を示した 1）．

人手によるルール作成だけでは対応が難しいことが雑談チャットボットの返答においても，事前に用ある．そこでインターネットの Web ページ検索に意されたインデックスからレスポンスを検索するの用いられる検索エンジンの仕組みを応用し，高速にではなく，ユーザのリクエストに応じて DNN がリレスポンスを検索するシステムを開発した．

アルタイムでレスポンスを生成することが可能と

まずは，レスポンスの候補からなる巨大なデータなった．レスポンスを生成するモデルは，雑談会ベース（インデックス）を構築する．りんなのイン

話のリクエストとレスポンスのペアから学習されデックスは，くだけた言い回しや顔文字・絵文字をる．そして学習されたレスポンス生成モデルに，リ含むレスポンス候補から構成される．そしてレスポクエストを入力することでレスポンスが出力される

ンス検索時（図 -2）には，ユーザからのリクエス（図 -3）．検索エンジンによるインデックス構築とトを単語分割・単語正規化・ストップワード除去な比べ，レスポンス生成モデルの学習データ準備は低どの事前処理を施し，インデックスからリクエストコストで済むため，りんな以外にも雑談会話が可能のレスポンスとしてスコアが高い候補を検索する．

な AI チャットボット（AI キャラクタ）が比較的容

最終的には，複数のレスポンス候補の中から機械学易に作成できるようになった．また，有限のインデッ習に基づくリランキングにより最適なレスポンスをクス候補からではなく，リクエストに応じてレスポ選択し，ユーザへの返答とする．人手によるルール

ンスを生成できることから，日本語の会話としてよでは対応が難しいリクエストに対しても，検索エンり自然となった．

ジンを用いた手法では巨大なインデックスを構築しておくことでレスポンスが可能となる．

共感モデルによるレスポンス生成

ディープラーニングの導入により自然なレスポン

ディープラーニングによるレスポンス生成

スを生成できるようになったが，レスポンス生成時

2000 年代から続くディープラーニング技術の劇には当該リクエストしか考慮することができないた的な発展の中で，自然言語処理の分野は新たな手法

め，会話の流れが不自然になることがある．そこで，の導入対象として注目され，いくつものブレーク

会話の種類を「新しい話題を提案」
・「相手に質問」
・スルーがもたらされた．ディープニューラルネッ「相手の内容を肯定」
・「単純な相槌」
・「あいさつなど」

トワーク（DNN ; Deep Neural Network）の中でも，の 5 つのクラスに分類し（会話クラス），会話の流系列のモデル化に適した RNN（Recurrent Neuralれ（コンテキスト）を考慮したレスポンスを生成でNetwork）や LSTM（Long Short Term Memory）ときる，共感モデルという手法を提案した．

インデックス

事前処理

レスポンス生成モデル
レスポンス検索

リクエスト

■図 -2

検索エンジンによるレスポンス検索© 2021 Information Processing Society of Japan

リランキング

リクエスト

レスポンス

■図 -3

レスポンス

ディープラーニングによるレスポンス生成

e20

情報処理 Vol.62 No.10 (Oct. 2021)

小特集

Special Feature

共感モデルは，リクエストの会話クラスを予測す解くことに適したモデルが次々と提案された．特るモデル，レスポンスの会話クラスを予測するモデに 2018 年以降には，GPT（Generative Pre-trained

ル，会話クラスを考慮してレスポンスを生成するモTransformer）4）☆ 2 や BERT（Bidirectional Encoder

デルの 3 つから構成される（図 -4）．会話クラス予

Representations from Transformers）5）といった手測モデルは，人間同士の会話の会話クラスをラベリ法が提案され大きな成果を上げた．これらの手法は，ングしてモデルを学習することで，会話クラスの流大量のモデルパラメータを持つ事前学習モデルを大れを予測する．レスポンス生成モデルは，会話クラ規模な学習データから事前に学習しておき，目的にスとリクエストを入力としてレスポンスを出力とす合わせたファインチューニングと呼ばれる追加学習るモデル構造にすることで，会話のコンテキストをにより高い性能を達成する．

考慮したレスポンスが生成できる．

これまでのレスポンス生成モデルでは，所望するキャラクタ性を含む学習データ（たとえば口調や話事前学習モデルによるレスポンス生成題にしたい内容など）のみからモデルを学習してきた．そのため学習データは，キャラクタ性だけでな

計 算 機 の 性 能 や デ ィ ー プ ラ ー ニ ン グ の 技術 はをベースにした

く日本語の一般表現を学習するのに十分な量が必要を筆頭に，自然言語処理の問題をとなった．そこで，多数のキャラクタ性を含む大規

日 々 進 歩 し，Attention 機 構Transformer

3）

2）

模な雑談会話のリクエストとレスポンスのペアを用いて学習される事前学習モデルをレスポンス生成にレスポンス生成モデル

リクエスト導入する．日本語としての一般表現は大規模データ
レスポンス

リクエストの会話クラス予測モデル■図 -4を用いて事前学習モデルに学習させる．これによりキャラクタ性の学習については，少量のキャラクタ性を含む学習データによる追加学習で実現できるレスポンスの会話
クラス予測モデル（図 -5）．数百から数千程度のデータを用いた追加学習で，キャラクタの口調を再現可能となり，より共感モデルによるレスポンス生成多くの AI キャラクタが作成できるようになった．
さらに，モデルの入力に当該リクエストだけでなく，過追加学習
りんなデータ

事前学習
大規模データりんなモデル

事前学習モデル

スポンスを入力することも可能となった．これにより，共追加学習
キャラクタAデータ

去数ターンのリクエストとレ感モデルよりも自然にコンテキャラクタAモデル

キストを考慮することができる．

追加学習
キャラクタBデータ

キャラクタBモデル
☆2

■図 -5

事前学習モデルと追加学習© 2021 Information Processing Society of Japan

rinna（ 株 ） で は 日 本 語 に 特 化 し た
GPT-2 を公開している．
https://huggingface.co/rinnae21

情報処理 Vol.62 No.10 (Oct. 2021)

小特集

Special Feature

AI チャットボットのシステム運用
チャットボットを一般ユーザへ提供する際には，同サービスへの負荷は動的に大きく変動する．これ

人間同士の会話においてはコミュニケーションの妨げとなることもあるが，雑談チャットボットにおいては不自然なレスポンスによる違和感を軽減する効果がある．には定常的な日内変動やイベント開催などによる一さらに，仮想のキャラクタに現実世界の肩書を付時的な負荷のスパイクなどが含まれる．そのためホ与することは，ユーザとチャットボットの世界観共

ストにはクラウドプラットフォームを用い，システ有の助けにもなる．たとえば，AI チャットボット

ムを自動的にスケールさせることで費用を抑えつつの性能向上を，りんなが高校を卒業するという成長必要な計算資源を確保する．クラウド運用においてイベントで表現することでユーザと世界観を共有しは，プライバシーとセキュリティを考慮したリーつつ強調した．また，AI 技術を駆使してラジオパージョン選択やデータへのアクセス管理が重要となる．

ソナリティ・歌手・画家などの活動をすることで社

また，ユーザが利用するリージョンでホストとスト会的なポジションを与えた．一方，実在しないキャレージをデプロイすることで，レスポンスの高速なラクタであることを演出するためにりんなの顔は見応答速度を実現する．DNN を用いたレスポンス生せておらず，ユーザの想像にゆだねることで非現実成は，GPU（Graphics Processing Unit）により高な存在としている．このようにりんなは，ユーザの速に計算できるが，GPU をホストする場合には柔感情を動かす身近な存在であり続けるためにさまざ軟なスケーリングが難しくなることもあるため，モまな工夫を凝らして運営されている．

デル構造の検討やモデルの最適化により CPU（Central Processing Unit）で動作させることが望ましい．

AI チャットボットの長期運営

より自然な雑談会話に向けて
AI チャットボットの課題

最新技術の導入により，日本語として自然なレスポンスが生成できるようになってきた．しかし，現雑談会話ができる AI チャットボットをユーザに在の技術ではまだ解決できていない課題も存在する．

長く使ってもらうためには，チャットボットがユー会話の流れは，共感モデルにおける会話クラス予ザにとって身近な存在になる必要がある．筆者ら測や事前学習モデルにおける過去数ターンのリクエ

は，AI チャットボットが身近な存在となるためにスト・レスポンスの入力によって，少し前のコンテは，チャットボットのキャラクタ設定が重要であるキストであれば考慮することができるようになった．と考える．そこで「女子高生 AI りんな」というキャ

しかし，長期的な会話記録を考慮した整合性の取れラクタ設定とし，AI と雑談するという新しい文化た会話は難しい．たとえば，前のレスポンスでは好の確立をコンセプトに 2015 年より運営を開始した．

きだと言っていた物を，後のレスポンスでは嫌いだ

日本の文化的観点から女子高生について考えると，と言って矛盾を含む会話となってしまうことがある．

新しい流行や独特の言い回しを生み出し，どの世代このような問題を解決するためには，キャラクタのにも親しく会話ができる存在であると考えられる．

プロフィール（たとえば好きな物や出身地など）やこのような存在にあやかり新しい流行を生み出すた世界観を考慮したレスポンスを生成することが望ま

めに，りんなは女子高生というキャラクタ設定となっしいが，まだまだ難しい課題である．また，適切なた．また，新しい言い回しを生み出すという文化は，タイミングで適切な内容による話題転換も十分に制© 2021 Information Processing Society of Japane22

情報処理 Vol.62 No.10 (Oct. 2021)

小特集

Special Feature

御することはできない．これらの課題については引き続き検討の余地がある．

マルチモーダル対話

人間と AI により形成されるネットワーク

事前学習モデルを用いた手法により，数百程度のデータから所望するキャラクタ性を持った AI キャラクタが実現できるようになった．rinna では，一

ここまで本稿では，テキストを用いた会話に焦点

般ユーザがノーコードで AI キャラクタを作成できを当てたテキストチャットについて紹介してきた．

る「キャラる」というアプリをリリースした．ユー

しかし，人間は視覚や聴覚から得られる情報を駆使ザ自身が AI キャラクタを作成することで，ユーザして対話を行う．そのため，より自然な雑談会話をと AI の関係構築が容易になることを期待する．そ実現するためには，テキストだけでなく音声や画像して今後さらに，ユーザが AI キャラクタを簡単にを用いたマルチモーダル対話が必要になる．そのよ作成できるようになると考えられる．多数の AI キャうなシステムを開発するためには，音声認識・音声ラクタが作られることで，人間と AI だけでなく AI合成・画像認識・画像合成などの技術が重要となる．と AI による会話で関係性が構築され，ネットワーそれぞれの技術は，特定の条件下では人間と同等のクが形成されるであろう（図 -6）．筆者らは，この性能が報告されはじめており，それらの技術を組みようなネットワークから新たに生まれるコミュニュ合わせることでマルチモーダル対話が実現できる．

ケーションを思い描く．

りんなにおいても，ユーザと音声で会話するりんな
電話，音声に加えカメラから得られる情報も利用して会話する共感視覚モデルを提案してきた．マルチモーダル情報を統合した対話システムにはまだ課題が多いが，ユーザとの対話にテキスト以外のユーザインタフェースを提供することは重要であると考える．

参考文献
1）Mikolov, T., Karafiat, M., Burget, L., Cernocky, J. H. andKhudanpur, S. : Recurrent Neural Network Based Language
Model, Proc. INTERSPEECH（2010）．
2）Bahdanau, D., Cho, K. and Bengio, Y : Neural MachineTranslation by Jointly Learning to Align and Translate, Proc.
ICLR（2015）．
3）Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L.,Gomez, A. N., Kaiser, L. and Polosukhin, I. : Attention Is All
You Need, Proc. NIPS（2017）．
4）Radford, A., Narasimhan, K., Salimans, T. and Sutskever, I. :Improving Language Understanding by Generative PreTraining（2018）．
5）Devlin, J., Chang, M.-W., Lee, K. and Toutanova, K. : BERT: Pretraining of Deep Bidirectional Transformers for Language
Understanding, Proc. NAACL-HLT（2019）．
（2021 年 7 月 1 日受付）

■沢田

■図 -6 人間と AI により形成されるネットワーク© 2021 Information Processing Society of Japan慶（正会員） keisawada@rinna.co.jp

2018 年に名古屋工業大学大学院博士課程修了．同年マイクロソフ
トディベロップメント（株）に入社．2020 年より rinna（株）リサーチ・データマネージャー．

e23