プロジェクト報告書（最終） Project Final Report

提出日(Date) 2024/01/17

メタバース・DE・アバター
METAVERSE・DE・AVATER
出田光

1. 背景

Hikari Ideta
ロジェクトメンバーをその技術ごとに3つのチームに配分した。11人のメンバーを、メタバースチームに4

近年，仮想現実の空間で，人々がアバターとなっ人、AIチームに4人、 3DCGチームに3人に振り分けるてお互いにコミュニケーションを取るメタバースにこととした。また、多様なメタバースを開発するた注目が集まっている．本プロジェクトは、人とAIのめ、各技術チーム毎にさらに2つのグループに分け、共生を目標として、アバターを介した人同士や人とAグループとBグループで2つのメタバースを作成する

AIとのコミュニケーションのためのメタバースを2つ体制を作った。

構築し、人とAIが区別なく交流できる未来を探究した。メタバースとは、ギリシャ語で“超越した”という意味を持つメタと、“世界”を意味するバース

2.1.1

メタバースチームを組み合わせて作られた言葉である。パソコンや電メタバース班では、他班の開発する対話型AIや3D子機器の中の仮想空間上に作られた世界そのものをモデリングによるアバター、オブジェクトなどを実表している。人々はその仮想空間上に自分の分身と装するメタバースそのものを作成する。そのため、なるアバターを登場させ操作することで、現実ではプロジェクト始動から5月にかけて技術検討会を開き、出来ない様々な体験をすることが出来る。また、対ゲーム開発プラットフォームであるUnityというソフ話型AIとは、近年爆発的に発展してきた、機械学習トを用いた開発を行うことを決定した。また、いくを行うことでとても人間らしい会話の返答を生成すつかのソーシャルVRプラットフォームを検討し、最ることを可能にしたAIのことである。本プロジェク

終的に開発したメタバースを“VRChat”というプラ

トは今年度より始動した前例の無いプロジェクトでットフォームに実装することを決定した。

あったため、何のためにメタバースを開発するのかについての議論を重ねた。その結果この対話型AIと2.1.2

AIチーム

メタバースという2つの技術に着目し、人とAIがコミュニケーションを取る事でどのような反応が起きるか、現代社会で人とAIが共生していくには何ができるかを模索することとした。

AI班では、ユーザーがメタバース内でコミュニケーションを取る対話型AIの開発をする。この対話型
AIは人間らしい自然な会話だけでなく、ユーザーに対して感情を表現し、個性のある応答をすることを目標とした。そのための技術検討により、python、2. 課題の設定と到達目標

VOICEVOX、OpenAI API Fine-tuning modelsを使用す

本プロジェクトはまず人とAIが相互にコミュニケることを決定した。

ーションを取ることができるメタバースを構築することを目標とした。そのために、まずメタバースを2.1.3

3DCGチーム構築するために必要な技術を絞った。それにより、

3DCG班では、仮想空間での体験の没入感を上げる

メタバースそのもののシステム設計、対話型AIの開ことを目標とし、メタバース内の外観を3Dモデリン

発、 3DCGモデリングによる外観作成が必要である

グにより作成する。そのために、3Dモデリングソフということでメンバー全員が合意した。そこで、プトblenderと、簡易的にVRM形式のアバターを作成することが出来るVRoid Studioを使用する。開発する2スの全体像やコンセプト、イメージの共有をするこ

つのメタバースに合わせた世界観を構築するためのとで洗い出していった。仮想現実であることを活かイメージボード作成を行い、それぞれのワールド作してどんな事がしたいか、どんなことが出来たらユ成に専念することにした。

ーザーはメタバースに没入感してくれるかを議論し、

2.2.1

Aグループ

commubirth

結論としてオープンワールドゲームのような形で荒廃した都市を瓦礫などを壊しながら進むというイメ3つの技術チームから人員を分配した6人のグループで1つのメタバースを作成する。Aグループのメタバースでは、AIの中で会話する相手への好感度を数値化し変動させるシステムを実装することで、AIアバターとのコミュニケーションの中でユーザーに対する好感度を上げることによるAIの返答の変化を体験することを目標とした。また、相互にコミュニケーションを取ることを主目的としているため、このメタバースのタイトルをcommunicationとbirthを組み合わせた“commubirth”(コミュバース)と命名した。

ージに落ち着いた。この世界観の中で、AIを育成していくという体験を織り込み、人間とAIのコミュニケーションを測ることとした。
3.2.1

メタバースチーム

主にインターネット上にあるUnityに関する情報を集めながら制作を始めた。できることを増やすため、機能の実装のため様々なギミックを考えた。
発生するエラーなどはその都度修正し、解決が難しい場合などは同じグループのメンバーに相談し、実装が難しくても、なるべく想定に近しくなるように調整した。
その結果、問題なく動作し好ましい体験ができる環

2.2.2

Bグループ

emotaverse

Aグループと同様に各技術チームから分配した5人境を整えることができた。
3.2.2

AIチームのグループで1つのメタバースを作成する。Bグルー

VRChatでは音声ファイルを外部システムとのやりとプのメタバースでは初めから機能を制限したAIを探りができないという問題点があった．この問題を解索によって獲得するアイテムでアップデートし、AI決するために，AIチームでは成果物のプラットフォがどのようにして育成されるかを簡易的に体験するームであるVRChatに対応したAIとの対話システムをことでAIへの理解を深めてもらうことを目標とした。 構築するため図．１のようなシステムを作成した．
このメタバースはAIの進化、育成を主目的としているため、タイトルをemotionalとbirthを組み合わせた“emotabirth”(エモタバース)と命名した。

3. 課題解決のプロセスとその結果
3.1.1

Aグループ

Aグループ全体の課題解決のプロセスと結果を挙げていく。まず制作物の全体像や実装したい機能を決定

図．１

しなければならない課題ができたときの解決方法を

図のシステムでは音声データのやりとりができない述べる。初めに、私たちは意見やアイデアをホワイ

VRChat内にて音声におけるコミュニケーションを行トボードに羅列していった。次に実装したい機能をうために，VRChatのワールド内にてAIにアバターを優先度順に並べていった。同時に制作物の全体像を操作させるようにした．また，作成したAIには各チメンバー全員がイラストにし、全員のイメージを統ームで作成したファインチューニングモデルを使用一した。

した．このファインチューニングモデルには返答内

3.1.2

Bグループ

Bグループ全体の課題点も同様に、制作するメタバー

容に対する感情に関する情報も学習させた．その結果図〇のように返答内容に対する感情を抜き出すことに成功した．抜き出すことに成功した感情をンク 2023 のブースセッションに参加した．HAKODATE

VRChatへ送信することでAIが操作するアバターの表

アカデミックリンクとは，函館市内にある 8 つの高情を変化させることが可能となった．

等学校教育機関の学生が一堂に会し，普段研究している内容や成果などをプレゼンテーションやパネル展示で発表する合同研究発表会のことである．発表

形式は，作成したポスターやデモムービーを，発表
図．２
3.2.3

3DCGチームを見に来てくださった方々に解説する形をとった．
4.2 赤川小学校訪問授業

3DCG チームとして目的達成のために与えられた役割
はリアリティの向上のための世界観構築からそれに合わせたワールドと NPC キャラクターの 3DCG 制作であった．成果として 3DCG で作成したワールドとそれぞれのワールドに登場させる NPC キャラクターの作成と実装環境への適用を行った.
ワールドのモデリングを Blender を使用して 1 から作成し，テクスチャ調整やスケール調整等，各種ワールド調整を施したものを完成として実装した.キャラクターについても同様に VRoid を使用して作成したものを互いのチームでデータの調整を行いながら実装環境の VRChat で動作可能になったものを完成として実装した．これらの実装により 3DCG チームが目指したリアリティのある空間の制作ができたといえる。

プロジェクト学習の一環として、11 月 7 日に函館市立赤川小学校で AI についての訪問授業を行った。授業の事前にアンケートを実施し[1]、生徒のみなさんから AI に対する意識調査を行った。授業は事前に作成したワークシートの流れに沿って、本プロジェク
トの開発した対話型 AI とのコミュニケーションを測ってもらい、質問に対する AI の返答をメモして人間らしいかやどのように感じたかなどを回答してもらった。また、赤川小学校の教頭先生にご協力頂き、先生の回答と AI の回答を見分けるクイズ形式で簡易チューリングテストのような事を実施した。以上の工程を終えて、事後にも事前のものと比較するためのアンケートを行い、その結果を分析したところ、以下の図．５，６のような結果となった。

図．３

図．５

図．４
図．６

４．校外活動4.1 アカデミックリンク
プロジェクト学習の一環として，2023 年
11/27~12/17 に開催された HAKODATE アカデミックリ

アンケートの結果から、t 値検定による解析を行った
ところ、t(15)=1.012, p=0.165 となり、数値的には事前と事後での有意差がほとんどない、ということが分かった。しかし、自由記述の感想等を踏まえ項目を絞って見てみると、生徒の皆さんの事前に回答してもらった AI の認識が、AI についての授業と体験を通して恐れや危機感を抱いたということが分かった。

５．今後の課題
各技術チームの得られた成果と成果の不十分な点を挙げていく。まずメタバースチームの得られた成果物として、ユーザーが没入感を感じられるワールドが挙げられる。ユーザーがワールドに対してインタラクティブな関係でいられるように、オブジェクトをユーザーが操作できるよう制作した。具体的には扉の開閉を可能にし、座席に座れるようにするだけでなく、ワールド内をテレポートできるようにした。
今後はユーザーがさらにワールドに没入できるようなシステムを追加したい。例えば、飛行船をユーザーが操作できるようにしたり、カフェの店員を呼び出しボタンで呼び出せるようにしたい。
次に 3D モデルチームの成果と今後の課題を挙げる。
まず、チームの主な成果物はテーマを持つ部屋や空間を制作したことに加えて、その部屋に登場させるNPC キャラクター作成と開発環境で各 NPC が行動できるように適応した。今後の課題は NPC キャラクターの表情変化とモーションの実装が挙げられる。AIがどんな感情を出力したか、出力された感情を表現するために NPC の表情とモーションを実装したい。
最後に AI チームの成果と今後の課題を挙げる。
主な成果として、ユーザーとのコミュニケーションを可能にする音声データの送受信と会話内容の保存，
AI アバターの性格付けと返答内容からの感情推定に加え、アバターの表情変化への対応を可能にした。
課題は３つ挙げられる。一つは応答時間の改善。応答文の生成待機にかかる時間を削減する必要がある。
二つ目に VRChat 内での動作の最適化。会話は可能になったが、AI アバターが自立して動くことは出来ていない。三つ目に実装する AI の個性付けが挙げられる。

参考文献[１]第1回消費者意識調査結果（AIに対するイメージについて）

https://www.caa.go.jp/policies/policy/consu
mer_policy/meeting_materials/assets/consum
er_policy_cms101_20316_03.pdf