（革新）様式 1-4-2 (2022-1)

令和 4 年度研究開発成果概要書
採択番号06301
研究開発課題名 会話 AI エージェントとの高臨場感インタラクション体験実現のための XR 通信基盤の研究開発（１）研究開発の目的
本研究開発では，Beyond 5G で実現される「超高速・大容量」「超低遅延」「超多数同時接続」
「自律性」
「拡張性」
「超安全・信頼性」「超低消費電力」通信インフラを基盤として，タブレット上の Web ブラウザや軽量な VR・AR ゴーグルなどあらゆるモバイルデバイスで手軽に体験できる会話 AI エージェントとの「breathtaking な（息を呑むような）」高臨場感のある会話体験を実現することを目指す．本研究開発は以下の 3 つの研究開発項目から構成される．
• 研究開発項目 1：スケールアウト可能な会話 AI エージェントコンテナの開発：リッチクライ
アント型・シンクライアント型それぞれの環境でスケールアウト可能なアーキテクチャを設計・実装する．
• 研究開発項目 2：XR 会話 AI エージェントアプリケーションの開発：開発した通信インフラを活用したビデオ会議型，VR 型，AR 型のアプリケーションを開発する．
• 研究開発項目 3：実証実験：大規模なユーザ実験を通して通信速度・解像度による体験の比較を行う．
（２）研究開発期間
令和 4 年度から令和 6 年度（3 年間）（３）受託者
株式会社エキュメノポリス＜代表研究者＞（４）研究開発予算（契約額）
令和 4 年度 100 百万円※百万円未満切り上げ（５）研究開発項目と担当
研究開発項目 1 スケールアウト可能な会話 AI エージェントコンテナの開発
1-a）会話志向の双方向通信フレームワークの開発（株式会社エキュメノポリス）1-b）高解像度ビデオ会議フレームワークの開発（株式会社エキュメノポリス）1-c）高精細キャラクタレンダリングエンジンの開発（株式会社エキュメノポリス）
1-d）リッチクライアント型通信システムの統合（株式会社エキュメノポリス）1-e）シンクライアント型通信システムの統合（株式会社エキュメノポリス）
研究開発項目２ XR 会話 AI エージェントアプリケーションの開発
２-a）ビデオ会議型言語学習支援エージェントサービスの開発（株式会社エキュメノポリス）２-b）AR デジタルミュージアムガイド AI エージェントサービスの開発（株式会社エキュメノポリス）２-c）高精細 VR デジタルミュージアムガイド AI エージェントサービスの開発（株式会社エキュメノポリス）
研究開発項目 3 実証実験
3-a）評価指標の定義（株式会社エキュメノポリス社）
13-b）通信速度・解像度による体験の比較（株式会社エキュメノポリス）（６）特許出願、外部発表等

特許出願

外部発表等

累計（件）
00000
1
11

国内出願
外国出願
研究論文
その他研究発表
標準化提案・採択
プレスリリース・報道展示会受賞・表彰

当該年度（件）
00000
1
1
1

（７）具体的な実施内容と成果
2022 年度は，研究開発項目 1 のスケールアウト可能な会話 AI エージェント・コンテナの設計・実装を完了させ，ビデオ会議型言語学習エージェントのプロトタイプシステムを開発した．
研究開発項目 1 スケールアウト可能な会話 AI エージェント・コンテナの開発
本研究開発の根幹をなすスケールアウト可能な会話 AI エージェント・コンテナについて， 2022 年度に a. 双方向通信フレームワーク，b. ビデオ会議フレームワーク，c. キャラクタレンダリングエンジンの開発を集中的に行った．
研究開発項目 1-a）会話志向の双方向通信フレームワークの開発
シン・クライアント・アーキテクチャの実現を目標として，研究開発項目 1-a（通信フレームワーク），1-b（ビデオ通信フレームワーク），1-c（キャラクタエンジン）をまとめてコンテナ化した．
具体的な達成項目は以下の通り．
• 会話 AI エージェント統合ソフトウエアの開発• 会話 AI エージェントコンテナの開発• クラウド上でのスケールアウトの開発
研究開発項目 1-b） 高解像度ビデオ会議フレームワークの開発
Agora Cloud Gateway SDK を用いてビデオ会議システムを Linux コンテナ上で動作させるように，動作速度も加味して C++にてモジュールを開発し，既存会話 AI エージェント対話モジュールと統合した．
ここで，Linux OS 上でエージェントからのレンダリング映像と音声ストリームを取得して，このビデオ会議システムに取り込む必要があるが，現在は実装の容易さから NDI（ネットワークデバイスインタフェース）を用いている．しかしながら，処理の遅延も懸念されることから，ループバックデバイスからの映像・音声を入力する機能もサポートすることとした．具体的な達成項目は以下の通り．
• Linux 版のビデオ通信モジュールのプロトタイプ開発• 会話 AI エージェントと統合• 通信速度の計測
研究開発項目 1-c） 高精細キャラクタレンダリングエンジンの開発
高ポリゴン数のヒューマノイドモデルに対して高度なシェーディング（肌の物理的な光の反射，等）の適用された高品質キャラクタを構築し，Unity 上でレンダリングエンジンを構築した．このとき，標準的なレンダリングパイプラインである Universal Render Pipeline（URP）と，高品質な High Definition
Render Pipeline（HDRP）の 2 つのタイプのレンダリングパイプラインを構築し，それぞれでエージェントのセットアップを行った．それぞれのレンダリング方式による計算速度の計測を行うと共に，ユーザ体験の違いを確認した．具体的な達成項目は以下の通り．
2•••ヒューマノイド生成パイプラインの開発
アニメーション再生システムの開発
シェーディングシステムの開発

研究開発項目２ XR 会話 AI エージェントアプリケーションの開発
研究開発項目 2-a）ビデオ会議型言語学習支援エージェントサービスの開発
英会話学習支援サービスを具体的なアプリケーションとして取り上げ，それをスケールアウト運用するための基本システムを開発した．比較的少人数（数十人程度〜数百人程度）のパイロット実験を繰り返し，対話品質（発話の適切さ，返答速度，その他）を確認しながら調整を行い，3 月に 5000 人/月規模のユーザーからの要求に耐えるクラウドシステムとしてプロトタイプ版をティーチャーカスタマーにリリースし，動作を確認した．具体的な達成項目は以下の通り．
• 会話 AI エージェントエージェントの派遣システム（ディスパッチャー）の開発• 早稲田大学での運用実験（3 月に約 5000 名のインタビュー実験）（8）今後の研究開発計画
本事業では，研究開発に基づく本格的な商品化・事業化が前倒しで計画されており，2023 年度以降に実ユーザの体験に基づく，エージェントとの「高臨場感」会話体験の実証実験が繰り返される予定である．
その過程で，上述の通り「会話ファースト」な包括的な通信品質指標の策定を行う．その成果として，国際論文の発表，国際特許の申請，および国際標準化の提案の働きかけを開始していく．2023 年度に出版予定の主なテーマとしては以下のようなものを検討している．至近には，以下のようなテーマでの論文・特許が計画されている．
1. 「会話ファースト」通信の品質評価指標に関する包括的な研究
2. ターンテイキング高速化・個人適応に関する研究
3. 大規模な英会話能力判定実験に関する報告3