高度対話エージェント技術の研究開発・実証
Research and development for Advanced Dialogue Agent Technologies
代表研究責任者 栄藤 稔
研究開発期間株式会社コトバデザイン

平成３０年度～令和２年度【Abstract】
In order to promote social implementation of Japan's natural language processing technology andcontribute to the solution of a wide range of social issues, it is important to develop technologies for
dialogue agents to make it possible to be familiar for users, an environment in which suchtechnologies can be used by many organizations, and developer communities to promote social
implementation of dialogue agents.
This paper describes the results of the research and development project for the Research anddevelopment for Advanced Dialogue Agent Technologies. The project developed the following
technologies for advanced dialogue agent and conducted demonstration experiments.
(1) An engine and platform for dialogue agents to enable familiar dialogue for users.
(2) A technology for efficiently developing a custom natural language understanding model.
(3) A dialogue agent that can handle a wide range of topics in active dialogue by social knowledge.
(4) A dialogue agent for use within automated automobile driving.

１

研究開発体制○代表研究責任者

栄藤 稔（株式会社コトバデザイン）

○

研究分担者

石田 雅一（NEC ソリューションイノベータ株式会社）○

総合ビジネスプロデューサ

東 博暢（株式会社日本総合研究所）○

ビジネスプロデューサ

栄藤 稔（株式会社コトバデザイン）
石田 雅一（NEC ソリューションイノベータ株式会社）○

研究開発期間

平成 30 年度～令和 2 年度○

研究開発予算総額 457 百万円（内訳）
令和 2 年度

平成 30 年度

令和元年度

192

132

（補正）

-1-133

２

研究開発課題の目的および意義

本研究開発及び社会実証を開始した平成 30 年度から現在に至るまで、自然言語処理を利用した AI スピー
カーは大きく普及しその機種の種類やサービスの拡充などにより普及が加速し、国際競争も激しさを増している。さらにそれを支える対話プラットフォームにおいても競争が増し国際的な競争になっている。また、情報通信研究機構（NICT）に代表されるように、最先端の自然言語処理研究を進めてきており、早期の社会実装が求められている。一方で、海外の大手 ICT 企業はそれぞれが独自に構築した大規模対話プラットフォームに大量のデータの蓄積を進めており、我が国の様々な分野における日本語データが当該プラットフォームに独占されてしまう恐れがある。
このような市場及び社会背景の中、我が国の企業が日本語データを蓄積し自然言語処理に活用できるように、プラットフォームの構築と社会実装が求められている。
そこで、「おもてなし」に代表される対話エージェントがユーザに寄り添ったより自然な対話（「よりそい」型対話）を実現するために必要となる高度対話エージェント技術の研究開発・実証を進め、また対話エージ
ェント技術の成果を多くの企業が利用できる環境や、開発コミュニティの構築等を行い、我が国の自然言語処理技術の社会実装を促進するとともに、幅広い社会課題の解決に資することを目的とする。この研究成果を搭載したシステムを利用することにより、我が国の中での日本語データ収集が期待できると考える。

３

研究開発成果（アウトプット）

３．１

高度対話エージェント技術の確立「よりそい」型対話を実現する高度対話エージェント技術を確立する。具体的な達成目標は、研究開発採択時の提案により、具体的な達成目標は以下を設定した。
「よりそい」型対話を実現する高度対話エージェント技術の要件を(a) ユーザの感情状態を認識でき、対話制御のための情報に利用可能なこと、(b) エージェントからの能動的な対話が可能なこと、(c)ユーザの嗜好や希望を理解し能動的な対話が可能なこと、(d) 対話を重ねることで、ユーザを目標達成に導けること、(e)ユーザの入力から正確にユーザの意図を解釈できること、(f) ユーザからの幅広い内容の問いかけに対して常に応答を返せることと定め、本研究課題ではこれらを満たす対話を可能とする（ア）音声対話プラットフォームの基本部、(e)のための（イ）NICT の言語資源を活用した高度意図解釈、(b)(f)のための（ウ）NICT の社会知解析技術を活用した汎用対話サブエージェントを開発した。

（ア）音声対話プラットフォームの基本部の設計・開発
本項目では、前述した(a)から(f)を満たす対話を可能とするプラットフォームを設計し、全体の動作が可能なように各機能を実装し、公開することを目標とした。これに対し、令和 2 年 3 月 30 日に対話エンジン部をオープンソースソフトウェアとして公開し、また、令和 2 年 5 月 11 日に対話エンジンの実行環境のプラットフォーム事業も開始し、広く利用可能にした。
開発した対話プラットフォームは、1)ユーザ発話以外にも JSON 形式での入出力が可能、2)対話記述言語である AIML と AIML 内で Python コードを呼び出せる拡張機能による高い自由度での対話制御が可能、
3)REST API 通信による他システム連携、4)開発した対話エージェントを REST API として利用可能、という特徴があり、これらの性質により(a)(b)(c)(d)が可能な対話エージェントの実装、運用が可能になっている。
(e)については、後述する高度意図解釈が利用でき、(f)についても後述する社会知応答サブエージェントが利-2-用できるため、目標とする「よりそい」型対話を実現する高度対話エージェントを可能とする対話プラットフォームとなっている。

（イ）NICT の言語資源を活用した高度意図解釈
本項目では、前述した(e)のために、分野特化の対話エージェントの高精度な意図解釈器を効率的に開発するための技術を開発することを目指し、数値としては、精度 80%以上で認識でき、従来の 1/3 の人手コストで同等の精度を達成することを目標とした。これに対し、深層学習の大規模事前学習の活用と NICT が開発し高度言語情報融合フォーラム（ALAGIN）を通して公開している言語資源を活用したデータ自動拡張により、平成 30 年度に開発した意図解釈コーパスによる実験にて、平成 30 年度の方式と比較し、1/3 程度の量（インテント毎に約 20 個）の訓練例で、同等以上の精度（正確さもカバー率も 80%以上）が可能となった。
（ウ）NICT の社会知解析技術を活用した汎用対話サブエージェント
本項目は、NICT が開発した社会知解析技術を活用した音声対話システムである WEKDA を活用し、広範囲な話題に対してシステムからユーザに語りかける能動的対話が可能なサブエージェントを開発することを目標とした。これに対し、一般的な生活や店舗内を想定した能動的対話を可能にするサブエージェントを開発し、実証実験により「対話として自然である」「「よりそい」感のある応答である」「トピックに関係のある応答である」の評価項目に過半数の被験者が肯定的に評価し、特に「トピックに関係のある応答である」に関しては 72%が肯定評価する結果を得たことから、社会知により広範囲な話題に対する能動的対話が可能となった。

３．２

実証用高度対話エージェントの開発・実証
本研究開発の成果を普及させるためのベストプラクティスを蓄積・公開することを目的として、３．１において開発した技術を活用して分野特化型の実証用高度対話エージェントを開発し、将来的な実用化を視野に入れた実証実験を実施する。
実証用高度対話エージェントとして、「仕事管理サブエージェント」および「記憶管理サブエージェント」の 2 つの「よりそい」型対話の為のサブエージェントを上記３．１で開発した音声対話プラットフ
ォームと高度意図解釈機能を活用して開発した。
サブエージェントの共通構成要素として「高度サブエージェント共通フレームワーク」および「サブエージェント共通 DB」を設計し、様々なサブエージェントの実用化に向けて開発実装の効率化を図ることが出来るようにした。また、「よりそい」型対話のサブエージェントの基本機能として、ユーザが生活の中ですることを円滑に遂行することを支援するための「行動プラン」機能を実装し、生活の中で行動に合わせて様々な対話サービスを受けられるようにした。
実証対象分野として、今後社会課題になると考えられる高齢者の日常生活における車両移動に着目し、自動運転を模擬した有人運転車両に対話システムの動作に必要なマイク、スピーカー、カメラ、車両端末、通信装置を搭載し、さらに実験を行う上で必要となる車両アプリ、実験支援ツール、メインシナリオコンテンツ、サブエージェントコンテンツ、コンテンツに対応する高度意図解釈モデルを実装した。
この車両を用いて高齢者が寄り道を含めた買い物に出かける行動において、自宅と店舗の移動の間にシナリオを実行することで「よりそい」型対話を行い、結果として快適に買い物ができるかを被験者として実際に高齢者 20 名に参加頂き実証実験を行った。
買い物タスクの達成率については目標である 80%を達成した、また「よりそい」効果については官能-3-

評価としてユーザアンケートから NPS（Net Promotor Score）を計算し、設定した快適に関する５つの指標（「気遣い」、「気づき」、「指示理解」、「パーソナライズ」、「不安への対処」）のうち、３つ（「気遣い」、「パーソナライズ」、「不安への対処」）について目標を達成し効果を確認した。実験データについて定性的分析を行い、課題を検出し今後の対応方法とその効果について見通しを得た。

４

政策目標（アウトカム目標）の達成に向けた取組みの実施状況

本委託研究のアウトカム目標については研究期間中における精力的な目標が掲げられている。主のものは研究成果のオープンソース公開、API サービスローンチによる展開及び改良、開発コミュニティの形成、BP活動によるスマートシティ・MaaS などでの事業展開先模索である。

成果としては、各研究機関とも基本計画（令和元年に研究項目に一部変更あり）に定める目標を達成することができた。API サービスローンチ及び開発コミュニティ形成においては、提案時より半年から一年弱前倒ししで実現したものもある。具体的な成果は以下に挙げる通りである。

・API サービス／オープンソース公開a) API サービスとして令和元年 6 月に「COTOBA Agent クローズドベータ版」をローンチb) 令和 2 年 3 月には対話エンジンを github 上にオープンソース「COTOBA Agent OSS」として公開c)

令和 2 年 5 月には対話アプリケーションの WEB 開発環境を備えた商用版の「COTOBA Agent」サービスをローンチd) COTOBA Agent ローンチ以降、利用者からのフィードバック等に基づいて対話エンジンや意図解釈などの改善を実施。対話エンジンのオープンソースは 140 回以上更新した。これらの活動により実用に耐えうる対話プラットフォーム基盤を築いた。

・開発コミュニティの形成
a) ハッカソン及びワークショップの開催
一般社団法人 MA が開催する日本最大のマッシュアップイベント「ヒーローズ・リーグ 2019」に株式会社 NTT ドコモと共同でスポンサーとなり「めざせ愛されキャラ」をテーマとした対話エージェン
ト開発のハッカソンを令和元年 11 月に 2 日間開催し 12 名の参加者を得た。また、令和 2 年 1 月には会津大学において「スマートスピーカー作成」をテーマにワークショップを開催 11 名の参加者を得、対話プラットフォーム上での対話エージェント開発を学んでもらうことが出来た。
b) 対話システム勉強会の開催
開発コミュニティの拡大のために対話技術に関する情報発信及び開発者リスト構築のために定期的な「対話システム勉強会」としたウェビナーを 3 回実施した。令和 2 年 10 月の第 1 回は 169 名の申込み、12 月の第 2 回は 220 名の申込み、令和 3 年 1 月の第 3 回は 234 名の申込みとなり、のべ 623名の申込みとなり、また開発者リストも 400 名超とすることが出来、効果的な進め方として確立できた。 また、3 回の勉強会アンケートで参加者の要望を整理した結果、対話に関する最新技術、対話システム開発のハッカソン／ワークションの開催、利用事例の紹介の 3 つに集約されることが分かり今後の対話システム勉強会及びコミュニティ活動に生かすことが可能となった。
以上の活動により令和 2 年度にアウトカム目標は開発者 100 名体制の構築であったが、開発コミュ-4-

ニティへの登録は 400 名超となり目標を達成することが出来た。
・事業展開先模索(a) 「よりそい」型対話エージェントの特長の１つで今回開発したユーザの行動を支援する機能を軸に具体的なドメイン検討を行っている。キーワードとして「MaaS／自動運転」「ヘルスケア」「高齢社会」「生産性向上」「遠隔診療/医療」「無人店舗」「テレワーク」「地域創生」を挙げた。
(b) BP 活動によって機会を得た平城宮跡における 2 つの実証実験に自動運転車向けの対話アプリケーションを適用することができ、プレスリリースを見た顧客候補から問い合わせにがあり営業対応中である。
（ア）MaaS 実証実験への参加
国土交通省が「平城宮跡歴史公園スマートチャレンジ」における「音声によるマイクロ・ロボットタクシー Mopi の呼び出し」の社会実験向けに COTOBA Agent の音声呼び出しアプリを開発し 2021
年 1 月 28 日から 4 日間の実験運用を行いロボットタクシー呼び出し及び乗車を 180 名に体験してもらった。
（イ）ローカル 5G 普及のための実証実験への参加
総務省「地域課題解決型ローカル 5G 等の実現に向けた開発実証」において平城宮跡歴史公園でローカル 5G や MR を活用した 新たな観光体験の実証実験の中で自動運転車に AI コンダクターとして対話システムを搭載した。実験期間は 2021 年 2 月 26 日～3 月 1 日で日本電気株式会社、凸版印刷株式会社、株式会社マクニカ、PerceptIn Japan 合同会社、株式会社コトバデザインが参画するコンソーシアムで実証実験を実施。
(c) 事業化活動
2019 年度は 株式会社 Hapi-robo st（運営委員）と Temi 向け対話アプリの開発パートナーとなった。
2020 年度は研究成果であるサブエージェント群を用いたビジネス展開を進めた。一つは RPA システ
ムのフロントエンド（UI）として対話を用いるサービスの開発、もうひとつは商業施設向けエージェントでの利用に向け PoC を実施した。

５

政策目標（アウトカム目標）の達成に向けた計画

本委託期間中のアウトカム目標は、すでに対話プラットフォームの商用ローンチ、オープンソース公開及びハッカソン／勉強会などにより既に達成しており、企業がこれを用いたアプリケーション展開を可能としている。今後は、これらの研究成果の改善と普及活動によって開発コミュニティの規模及び実導入事例を拡大する計画である。
開発コミュニティ活動においては、対話システム勉強会のアンケートで得られた 1)ハッカソン又はワークショップ、2）最新技術動向、3)適用事例の大きく 3 つの要望に合わせて織り交ぜて実施する。それぞれの割合及び開催間隔は申込者数、参加者集及び実施時のアンケートフィードバックから適宜判断する。年間の開催回数は年間 6 回以上～9 回を計画し、これらの活動によって開発者 500 名を目指す。
事業化の活動においては、高度対話プラットフォーム技術の活用先は当初から想定している介護、医療、福祉、防災、家庭、交通等の各分野の現場従業員における利用、これらのサービスを受けるユーザにおける利用という形を想定している。コロナ禍によって人と人とのコミュニケーションの形態がリモートに変わっ-5-てきたこと、及び DX を強く意識するようになったことから、高度対話プラットフォーム技術もリモートとDX になりつつある変化を捉えており、これらを踏まえ令和 3 年度には 10 件の活用事例、令和 4 年度には50 件の活用事例の目標達成に向けて引き続き以下の取組を行う。
(a) 各分野の業務現場従業員による「よりそい」型 RPA 対話サブエージェント(b) 各分野でのリモートコミュニケーションの中に対話エージェントが存在する DX ソリューションの模索(c) 各分野での店舗や現場とリモート顧客を繋ぐサービスへの対話エージェントの適用(d) 事業化推進において、NEC グループとして取り組んでいる領域である「スマートシティ／スーパーシティ」「ロボット／IoT」「ウェルネス／医療」の分野における価値向上に関して検討(e) 対話エージェントが付加価値を提供できるソリューション

-6-６

査読付き誌上発表論文リストなし

７

査読付き口頭発表論文（印刷物を含む）リストなし

８

その他の誌上発表リストなし

９

口頭発表リスト[1] 土田正明、"Semantic Loss を用いた意図解釈モデルの半教師ありマルチタスク学習の試み"、言語処理学会第 25 回年次大会（名古屋市）（2019 年 3 月 12 日）[2]石田和生、加藤孝浩、"対話システムにおける感情状態推定の活用と有用性"、情報処理学会 第 81 回全国大会（福岡市）（2019 年 3 月 15 日）[3]加藤孝浩、石田和生、"顔画像を用いた気持に寄り添う対話のための感情状態推定手法"、情報処理学会 第81 回全国大会（福岡市）（2019 年 3 月 15 日）[4]松田繁樹, 土田正明, 山上勝義、”意図解釈タスクにおけるスロット表現置換によるデータ拡張”、言語処理学会第 26 回年次大会発表論文集 pp.772-775, 2020.（2020 年 3 月 18 日）[5]山上 勝義，木村 敏宏，土田 正明，小野 義博，水野 孝久，松田 繁樹、”対話プラットフォーム COTOBAAgent の開発とその IoT 拡張”、日本音響学会 2020 年春季研究発表会講演論文集 pp. 1001-1002, 2020.
（2020 年 3 月 18 日）[6]松田繁樹、AllenNLP による自然言語理解機能の実装、主催：株式会社コトバデザイン COTOBA Agent
Developers Community 対話システム勉強会（第 1 回）、（2020 年 10 月 30 日）[7]山上勝義、COTOBA Agent OSS による対話システムの実装、対話システム勉強会（第 1 回）主催：株
式会社コトバデザイン COTOBA Agent Developers Community 対話システム勉強会（第 1 回）（2020 年10 月 30 日）

１０

出願特許リスト[1] 特願 2019-031257、土田正明、モデル学習システム、意図解釈システム、モデル学習方法およびモデル学習用プログラム、国内出願、2019 年 2 月 25 日
[2] 特願 2019-046389、加藤孝浩、表情推定装置、感情判定装置、表情推定方法及びプログラム、国内出願、2019 年 3 月 13 日
[3] 特願 2020-032571, 土田正明、松田繁樹、山上勝義、情報処理システム、文生成方法およびプログラム、国内出願、2021 年 2 月 28 日
[4]特願 2020-182664、栄藤稔, 古谷利昭, 山上勝義,木村敏宏、プログラム、方法、情報処理装置、及びシステム、国内出願、2020 年 10 月 30 日
[5]特願 2021-041797、土田正明, 山上勝義、プログラム、方法、情報処理装置、及びシステム、国内出願、2021 年 3 月 15 日

-7-

[6]特願 2021-046755、山上勝義、プログラム、方法、情報処理装置、及びシステム、国内出願、2021 年 3月 22 日

１１

取得特許リストなし

１２

国際標準提案・獲得リストなし

１３

参加国際標準会議リスト

なし

１４

受賞リスト

なし

１５

報道発表リスト（１）報道発表実績[1]“対話エージェント実行環境「COTOBA Agent」クローズド・ベータ運用開始”、令和 1 年 6 月 25 日
[2]“対話 AI を実現するオープンソースソフトウェアを公開”、2020 年 3 月 30 日
[3]“対話 AI 実行環境 COTOBA Agent サービス開始”、2020 年 5 月 11 日
[4]“AI に「タクシー呼んで」と頼めば自動運転のタクシーが迎えに来る”、2021 年 1 月 21 日
（２）報道掲載実績[1]“コトバデザイン、音声 AI の開発基盤を提供”、日本経済新聞 WEB 版、2019 年 6 月 25 日

１６

ホームページによる情報提供[1] https://github.com/cotobadesign/cotoba-agent-oss 、COTOBA Agent OSS の Github 公開サイト、
Star:75 個、Fork 8 件（2021 年 3 月 31 日現在）
[2] https://cotoba-agent-oss-docs.readthedocs.io/en/latest/ COTOBA Agent OSS の英語ドキュメントサイト（Github 公開サイトの Sub ページ）
[3] https://docs.cotoba.net/ 、COTOBA Agent OSS 及び COTOBA Agent サービスの日本語ドキュメントサイト-8-

研究開発による成果数
平成 30 年度

令和元年度

令和 2 年度

０件（ ０件）０件（ ０件）０件（ ０件）（ 印 刷 物 を 含 む ）０件（ ０件）０件（ ０件）０件（ ０件）そ の 他 の 誌 上 発 表 数

０件（ ０件）０件（ ０件）０件（ ０件）

口頭発表数

３件（ ０件）

２件（ ０件）

２件（ ０件）

特許出願数

２件（ ０件）

２件（ ０件）

３件（ ０件）

特許取得数

０件（ ０件）０件（ ０件）０件（ ０件）

国 際 標 準 提 案 数０件（ ０件）

０件（ ０件）０件（ ０件）

国 際 標 準 獲 得 数

０件（ ０件）０件（ ０件）０件（ ０件）

受数０件（ ０件）

０件（ ０件）０件（ ０件）査読付き誌上発表論文数
査読付き口頭発表論文数

賞

報

道発表数０件（ ０件）

２件（ ０件）

２件（ ０件）

報

道

掲

載数０件（ ０件）

１件（ ０件）０件（ ０件）合計
査読付き誌上発表論文数０件（ ０件）査読付き口頭発表論文数（ 印 刷 物 を 含 む ）０件（ ０件）そ の 他 の 誌 上 発 表 数０件（ ０件）

口頭発表数７件（ ０件）

特許出願数７件（ ０件）

特許取得数

０件（ ０件）

国 際 標 準 提 案 数

０件（ ０件）

国 際 標 準 獲 得 数０件（ ０件）

受数０件（ ０件）

賞

報

道発表数４件（ ０件）

報

道掲載数１件（ ０件）

注１：各々の件数は国内分と海外分の合計値を記入。
（括弧）内は、その内海外分のみを再掲。

注２：「査読付き誌上発表論文数」には、定期的に刊行される論文誌や学会誌等、査読（peer-review（論文投稿先の学会等で選出された当該分野の専門家である査読員により、当該論文の採録又は入選等の可否が新規性、信頼性、論理性等の観点より判定されたもの））のある出版物に掲載された論文等（Nature、Science、IEEE Transactions、電子情報通信学会論文誌等および査読のある小論文、研-9-

究速報、レター等を含む）を計上する。

注３：「査読付き口頭発表論文数（印刷物を含む）」には、学会の大会や研究会、国際会議等における口頭発表あるいはポスター発表のための査読のある資料集（電子媒体含む）に掲載された論文等（ICC、ECOC、OFC など、Conference、Workshop、Symposium 等での proceedings に掲載された論文形式のものなどとする。ただし、発表用のスライドなどは含まない。）を計上する。なお、口頭発表あるいはポスター発表のための査読のない資料集に掲載された論文等（電子情報通信学会技術研究報告など）は、「口頭発表数」に分類する。

注４：「その他の誌上発表数」には、専門誌、業界誌、機関誌等、査読のない出版物に掲載された記事等（査読の有無に関わらず企業、公的研究機関及び大学等における紀要論文や技報を含む）を計上する。

注５：PCT 国際出願については出願を行った時点で、海外分１件として記入。
（何カ国への出願でも１件として計上）。また、国内段階に移行した時点で、移行した国数分を計上。

注６：同一の論文等は複数項目に計上しないこと。例えば、同一の論文等を「査読付き口頭発表論文数（印刷物を含む）」および「口頭発表数」のそれぞれに計上しないこと。ただし、学会の大会や研究会、国際会議等で口頭発表を行ったのち、当該学会より推奨を受ける等により、改めて査読が行われて論文等に掲載された場合は除く。

- 10 -