REALITYアバターを様々なメタバースで活躍させてみた
GREE VR Studio Laboratoryインターン研究成果発表
REALITY株式会社 GREE VR Studio Laboratory インターン
堀部貴紀, 武政実玖, 中野友介, 加藤琢磨, 山崎勇祐

アジェンダ1. メタバースに使われそうな指トラ技術 (武政実玖)
2. “音”からイキイキした表現を目指して (中野友介)
3. ARでメタバースを表現してみた (武政実玖, 加藤琢磨, 堀部貴紀)
4. みんなで(バーチャル)世界旅行 (山崎勇祐)

メタバースで使われそうな指トラ技術
武政 実玖（Takemasa Miku）
和歌山大学大学院システム工学研究科１年生
技術Swift, JS, Unity
研究内容
モーションキャプチャ

より手軽に、意のままに動く、高品質なアバターモーションの生成のために•••ご家庭の何処にでもある Webカメラを利用
リアルタイムで クラウドにデータを送る
モーションキャプチャの 高速化メタバースで使われそうな指トラ技術
画像認識→ MediaPipe (Ver.0.8.0)
Googleが提供する機械学習を用いたモーションキャプチャ
サポートPlatform: iOS, Android, Web(他にも)使用した環境 : Web/JavaScript

結果•

ピアノ演奏は指に加え体・腕の動きがあるので課題が多い•

手の分類は十分な速度がでている→ 約30msec/30fps以上
楽しいコミュニケーションの実現に…！

https://youtu.be/Uz2U4JLAFhY

”音”からイキイキした表現を目指して
中野 友介(Nakano Tomosuke)
明治大学 総合数理学部 先端メディアサイエンス学科3年
2020年12月よりGREE VR Studio Laboratoryに参加。音声分析の応用研究、リップシンクや表情生成など、分析エンジンからUnityでの体験や可視化まで垂直のプロトタイピングに取り組んでいる。

[Demo] 声にならない声で自然にエモートを起動する

https://youtu.be/pSyb-JeqBR4

ARでメタバースを表現してみた：自己紹介
Lightship Augmented Reality Developer Kit (ARDK)によるAR動画生成開発

堀部貴紀：明治大4年。『転声こえうらない』利用者の音声分析やボイスチェンジャーのiOS実装/高速化、最近は音声を生かしたXRメタバースのUX開発を担当。
加藤琢磨：デジタルハリウッド大1年。主にXRにおけるUX-Devと最新のUnityを用いたテクニカルアーティスト支援、パイプライン構築などを担当。
武政実玖：和歌山大大学院1年。Swift, Unity, Web, JSなどの技術を学びながら、メタバース時代に求められそうなUX開発に取り組む。
REALITYエンジニアブログ
https://note.com/reality_eng/n/nd8ca52dc55d1

ARでメタバースを表現してみたLightship Augmented Reality Developer Kit (ARDK)によるAR動画生成開発

目的：ARDKがARKit/ARCore等のPF APIを超えて「メタバースならではの表現」ができるかどうか？の調査● 2021 Lightship Global Jam○ PlayCrafting社/Niantic社が主催
日米欧同時開催 (日本：8/29~9/4)● Lightship ARDK lightship.dev○ Global Jam実施時: v0.10.0■ Unity 2019.4.29に対応○ [最新] 11/3にv1.0.1がグローバルリリース！
lightship.dev/docs/notes_1_0_1.html

GREE Tech Conference 2021 オープニング（本プロジェクトの一部が使用されている）

ARでメタバースを表現してみた『人を外に連れ出して遊ぶ』×『Cross Reality (XR) メタバース』= REALITYアバターをスマホの外に連れ出してみんなでパーティをする

GPSを使ったチケット (武政)ARカガミによるゲート (堀部)動的視線生成/ARカンバン (加藤)● 挑戦：XRメタバースとしての「盛り上がり感」の表現⇨ 横持ち画面ARの開発○ NianticとしてはPortrait(縦持ち)推奨だった● AR映像作品をつくるツールとして様々な引き合いをいただく

REALITYエンジニアブログ
https://note.com/reality_eng/n/nd8ca52dc55d1

みんなで（バーチャル）世界旅行：自己紹介
山崎 勇祐：東工大で発明した「モーターと糸を用いた振動生成機構」を活用してHapbeat の開発製造販売を行いながら、GREE VR Studio Laboratoryで研究活動。
▼振動生成機構発明 (2015) ▼Hapbeat合同会社設立 (2017) ▼VR Studio Lab インターン (2019~ )e.g. VR/ゲーム

音楽動画

首にかけるだけでライブや映画館で音圧を感じるような、没入感のある体験が楽しめます！

目標：力触覚による表現が、音声や映像のように「当たり前」になること

学術：博士学生
起業：会社代表
R&D ：インターン

みんなで（バーチャル）世界旅行

みんなで（バーチャル）世界旅行
Google Street View をベースに簡易的なメタバース空間を作成➡ 360°カメラで撮影するだけで低コストに空間を拡張可能

他のプレイヤーの居場所をストリートビュー上にリアルタイム同期
場所を伝えるコンパス機能を搭載

ストリートビュー内を自由に探索
メッセージとアイテムでゴールを設定

みんなで（バーチャル）世界旅行
自分や仲間のアバターと一緒に現地で記念撮影が可能
こんな写真がアバターと一緒に撮れます！

データベースやスプレッドシートにURL形式で保存 ➡ 専用ページで写真を現像みんなで（バーチャル）世界旅行
REALITYアバターのポージングからのWeb統合

担当: やはぎさん
REALITY PFの皆さん
ありがとうございます !!

REALITYのアバターのご協力でマップピンや写真撮影時の魅力的な「ポージング立ち絵」を生成。
多様なWebXR環境においても表現力高く安定して動作するメタバース体験を構築できました。

みんなで（バーチャル）世界旅行
シナリオ（旅行の行先）作成がスプレッドシートだけで作れます！
➡誰でも自分のオリジナルツアーが作れる。対象範囲は地球全体！
ボタン名と移動先URLを記入すれば作れます！

※東京工業大学とタイ・チュラロンコン大学の国際連携講義で活用・ユーザーテスト中！

みんなで（バーチャル）世界旅行
タイでは何で動物を神様として尊敬しているんだろう？

地球温暖化について考えるきっかけになった

その土地それぞれに歴史があることに気付いた

実際に行くなら、フランスの世界遺産を予習して行きたい🔈参加した子供たちの感 （キッズワークショップ2021にて）
想バーチャル世界旅行は現実に興味を抱かせるフックとして有用➡旅行のようなエンタメ用途は勿論、その土地に根付いた実地学習（歴史や地理、環境問題）にも効果が期待できる。
「メタバース時代の、誰でも作れる UGC」として旅行・教育産業に応用に期待テクニカルにベスト発表を教えてください。

ⓘ Start presenting to display the poll results on this slide.