令和３年６月４日

令和２年度 終了評価書
研究機関： 株式会社コトバデザイン、NEC ソリューションイノベータ株式会社

研究開発課題： 高度対話エージェント技術の研究開発・実証

研究開発期間： 平成 30 年度 ～ 令和２年度

代表研究責任者： 栄藤 稔■ 総合評価（５～１の５段階評価） ： 評価４■ 総合評価点 ： ２３点／ 30 点※中※（1）、（２）、（４）、（５）の採点結果と（３）の採点結果の２倍の累計点を総合評価点とする。

（総論）
研究開発成果である対話プラットフォームを OSS や API サービスで公開するとともに、開発コミュニティの構築や事業化準備活動等を着実に進めており、基本計画書における目標を上回る優れた成果をあげている。

（被評価者へのコメント）


基本計画書における目標を上回る優れた成果をあげており、有効な研究開発であった。



研究目標及び計画が適切であり、アウトプット、アウトカムもおおよそ達成されており、プロジェクトの目的は達成されたものと考えられる。
アウトカム達成のために、API サービス、開発コミュニティ構築（ハッカソン、ワークショップを通じて多数の開発者登録を獲得）、事業化準備活動を着実に積み上げている。



当初の目標を達成し、また、目標になかった項目も達成する等、十分に研究開発成果が得られているものと評価できる。今後は、計画として挙げられた政策目標の達成を期待する。



本研究開発の成果が多くの実サービスに導入されることを期待する。



これらのアウトプットのアウトカム達成度を評価する手法を工夫し、リモート、DX への動きに合わせた大胆な取組を期待する。


アウトプット、アウトカムが達成されており社会貢献には有効であったが、成果を周知するための手段である査読付論文数が０件であり、学術分野における周知が不十分であった。



実施期間が終了した後にも積極的に論文発表を検討してほしい。

（１） 研究開発の目的・政策的位置付けおよび目標（５～１の５段階評価） ： 評価４（総論）
DX 推進が加速されている状況において、本研究開発の技術的意義等は当初より高まっている。研究開発成果のオープン化や開発コミュニティの構築等により自然言語処理技術の社会実装を図ることは、多くの社会課題の解決に有効であり、社会情勢の変化等に応じた目標が設定されていたものと認められる。

（被評価者へのコメント）AI、クラウド等の技術進展を背景にした DX 推進が、コロナ禍でのオンライン活動需要の高まりにより加速される状況にあって、本計画の技術的、社会経済的意義は当初よりも高まっている。



コロナ禍の中で、社会活動の全般にわたり DX が推進されている。本研究開発の目的、すなわち自然言語による対話エージェントの開発コミュニティを構築し、自然言語処理技術を社会実装することは、多くの課題を解決するために有効であり必要性が高まっている。

「よりそい」型対話を実現する高度対話エージェントは社会的に実現性が求められている技術の一つであり、社会及び経済情勢の変化に応じた目標が設定されたと認められる。特に、研究開発期間中に世界的なパンデミックに見舞われたが、それを考慮した具体的な適応領域の検討（遠隔診療、無人店舗、テレワーク等）を開始している点も評価できる。

アウトカムとして設定された、高齢者の自動運転車両利用を想定する「よりそい」型対話エージェントは、現下の動向を考慮し、DX に関連する対象とすることが望まれる。これに対して、ビジネス向けサブエージェント（RPA）を開発する等の機敏な対応がなされている。



高齢者の自動運転車両利用を想定する「よりそい」型対話エージェントの構築と実証実験は、対話エージェントの利用を広く普及させるために非常に有効であり、同時に行った開発成果のオープン化及び開発コミュニティの育成は適切な政策である。

（２） 研究開発マネジメント（費用対効果分析を含む）（５～１の５段階評価） ： 評価３（総論）
研究開発マネジメントは適切に行われており、早期に研究開発成果を公開し、開発コミュニティの構築を促進したことも有効であった。外部有識者からの助言を得て、高度対話エージェント技術を活用する事業の検討も積極的に進めている。
他方、学術分野における周知が不十分であり、また、政策目標の達成に向けて、必要となる達成指標の設定等も望まれる。

（被評価者へのコメント）


研究開発目標を達成する成果が得られている。



早期に研究開発の成果を公開して、開発コミュニティの活動を促進したことは有効であった。

研究開発運営委員会の外部有識者から助言を得て、高度対話プラットフォーム技術を活用する事業の検討を積極的に進めた。



特に問題は見当たらない。



研究開発マネジメントは適切に行われていたが、査読付論文数が０件であり、学術分野における周知が不十分である。



事業化準備の実事業への展開、開発コミュニティの自律的な活動等、これらのアウトプットがアウトカムに結びつくように進めるために必要な達成指標の設定と研究開発誘導が望まれる。

（３） 研究開発目標（アウトプット目標）の達成状況（５～１の５段階評価） ： 評価４（総論）
対話エンジンを OSS として公開し、開発コミュニティも構築する等、深層学習に必要となる大規模な言語資源を利用する枠組みを構築するとともに、当初計画になかった技術も開発する等、当初計画以上の目標を達成している。他方、高度対話エージェント技術の確立の程度を客観的に評価するため、論文発表あるいは科学的評価に向けた努力も期待したい。

（被評価者へのコメント）

対話エンジン部を OSS として公開しており、深層学習に必要となる大規模な言語資源について利用する枠組みを構築している。また、「よりそい」型対話の実証実験では７割以上の肯定的評価が得られ、高齢者による実証実験でも８割の精度を達成している。



当初研究開発目標を達成したのみならず、基本計画にはなかった「WEB ブラウザで利用できる対話シナリオ開発ツール」及び「ビジネス向けサブエージェント」を開発しており、当初計画以上の目標を達成していると認められる。



開発コミュニティを構築しつつ、社会実装を促進し、社会課題の解決に資するというアウトカム目標に即し、API公開、OSS化、プラットフォームサービスの実運用、一連の事業化準備活動の展開、開発コミュニティ登録者数獲得等のアウトプットを得ている。



研究開発の成果である対話エンジンを COTOBA Agent として GitHub で公開した。さらに事業としての

サービスを開始した。
高度対話エージェント技術の確立の程度を客観的に評価するアウトプットとして、論文発表あるいは科学的評価に向け努力することを期待したい。

（４） 政策目標（アウトカム目標）の達成に向けた取組みの実施状況（５～１の５段階評価） ： 評価４（総論）
アウトカム目標の達成に向けて、対話エンジンを OSS として公開し、研究開発成果であるプラットフォームの API サービスの提供や開発コミュニティの構築を行うとともに、活用事例の実証を進める等、事業化のための活動を着実に積み上げており、現在も継続中である。

（被評価者へのコメント）



アウトカム達成のために、API サービス、開発コミュニティ構築（ハッカソン、ワークショップを通じて多数の開発者登録を獲得）、事業化準備活動を着実に積み上げている。



開発コミュニティの育成に尽力しており、開発コミュニティの登録者数は 400 名を越えている。そのうち開発に積極的な者が数十名と、短期間の研究開発にもかかわらず、ある程度の規模のコミュニティを構築した。



対話エンジン部を OSS として公開し、広く社会に貢献する研究開発活動を行った。



開発成果のプラットフォーム API サービス及び開発コミュニティ活動については目標を達成しているが、事業化のために多数の活用事例の検討、実験、実証を行っている。
事業化活動については来年度の活用事例１０件を目指し継続中である。

（５） 政策目標（アウトカム目標）の達成に向けた計画（５～１の５段階評価） ： 評価４（総論）
開発コミュニティの拡大や実サービスへの導入促進に加えて、多言語化対応のほか、リモート化や DX に対応したソリューションの検討等、アウトカム目標の達成に向けた計画が適切に立案されている。計画は妥当であり、今後、アウトカム目標の達成度を客観的に評価することも工夫しながら、計画の達成を期待する。

（被評価者へのコメント）

プラットフォーム API サービス、開発コミュニティ、事業化活動等、アウトカム目標の達成に向けた計画が適切に立案されている。



既に活動している開発コミュニティを拡大し、実サービスへの導入事例を増やすべく計画している。



多言語化や、高度対話エージェント技術のリモート化と DX における適用を想定した計画を立案しており、アウトカム達成を期待できる。

コロナ禍によるリモート化、遠隔操作、テレコミュニケーションに対応するソリューションを検討している。



計画は妥当なものと思われる。計画を達成することを強く望む。
アウトカム目標の達成度を客観評価することを工夫し、アウトカム目標の達成に近付くことを期待する。