「LightShip Global Jam 参加体験記～ARDKを使った人材育成」

Akihiko SHIRAI, Ph.D
GREE VR Studio Laboratory
REALITY, Inc.
Twitter@o_ob @VRStudioLab

概要：学生インターンとDirectorひとりのチームでメタバース感のあるAR動画をLightship ARDKで作ってみた体験をレポします。
Lightship ARDKの限界への挑戦や、グローバルイベントへの挑戦の面白さ、人材育成、得た知見などを紹介します。

[完成品]"pARty" GREE VR Studio Lab- Niantic Lightship global Jam
https://youtu.be/bUZmF5Y9VMQ
YouTubeチャンネル https://j.mp/VRSYT

白井暁彦: VRエンタテインメントシステムの研究者▶ 2018年6月より現職
GREE VR Studio Lab, Director
書籍「白井博士の未来のゲームデザイン～エンタテイメントシステムの科学～ 」(2013)より

私と Niantic小史…

白井暁彦 Akihiko SHIRAI, Ph.D Twitter@o_ob @VRStudioLab
GREE VR Studio Laboratory,Director/REALITY,Inc.
デジタルハリウッド大学大学院 客員教授

Ingressけっこう古いプレイヤー。（First Saturdayの取り組みが始まる前）相模原を中心に「Ingress部」を立ち上げて、市民巻き込み型のコミュニティ活動や学生のコミュニティ活動支援、その社会現象の論文化などに取り組んでいた過去あり。
論文：Gamification and construction of virtual field museum by using augmented reality game "Ingress", VRIC '15:
Proceedings of the 2015 Virtual Reality International Conference, April 2015, Article No.: 4, Pages 1–4.
https://doi.org/10.1145/2806173.2806182
参考：フィールドミュージアム構築における代替現実ゲーム「Ingress」の活用
https://www.slideshare.net/aquihiko/ingress-45457753↓340日で途絶えたSojourner…↓同人誌とかグッズ開発とか↓「相模原 Ingress」↑With/John hanke@Darsana Tokyo

会社紹介
REALITY株式会社
代表取締役社長：
荒木英士（グリー株式会社 取締役 上級執行役員）
会社所在地： 東京都港区六本木6-10-1 六本木ヒルズ森タワー
株主：
グリー株式会社（100%)
事業内容：
プラットフォーム事業、XRエンターテイメント事業

4

VISION

なりたい自分で、生きていく。
We can be whoever we want.

5

事業概要

REALITY
自社サービスREALITYを通じてメタバースの開発・運営を行う事業

REALITY XR cloud
法人クライアントに対してメタバース構築ソリューション提供を行う事業
6

REALITY

アバター作成

ライブ配信

ライブ視聴

ギフト・コラボ

マルチプレイゲーム
7

REALITYの成長
Q2
ユーザー分布

2021
Q1

日本15 %
海外85 %
Q4

アクティブユーザーの平均滞在時間/日170分

視聴者数に対する配信者率

2019
Q3

Q4

2020
Q1

Q2

Q3

アクティブ配信者数

38%

2021年6月現在

GREE VR Studio Laboratory in REALITY, Inc.

研究開発部門・長期スパンR&D・知財創出
・B2Bコンサル
メタバースR&D全般

連携

REALITYREALITY XR cloud

自社サービスREALITYを通じてメタバースの開発・運営を行う事業

法人クライアントに対してメタバース構築ソリューション提供を行う事業

・国際展開
SIGGRAPH等でデモイベント・普及啓蒙事業
WebXR Mozilla Hubsの日本語化やボイチェン「転声こえうらない」

LightShip Global Jam
https://www.lightshipglobaljam.com/jpn【イベントテーマ】
1. Discovery（発見）2. Exploration（探検）Playcrafting社によるオンラインハッカソン。日米欧で開催。
3. Movement（外出すること／体を動かすこと）> ゲームの他に、フィットネス、ミュージック、旅行、ソーシャルインパクト（社会的影響）の分野で革新的で独自な経験をユーザーに与えるアプリも注目
ARDK Lightshipの機能 であるいずれかを少なくとも1つ達成する
1. Real-time Mapping
2. Multiplayer
3. Semantic Segmentation○ 参考例：Twitter @rainage (デザイニウムWu, Kuan-Yingさんのデモ)10企画提案資料から(原文は英語)
Lightship ARDKを用いた新しいXR-UX（クロスリアリティ・ユーザーエクスペリエンス）の探求に、若手チーム（ディレクターを除く全員学生インターン）で取り組みます。
コンセプトは"Come up to my club party!"「私の部屋でクラブパーティしよう!」
審査基準の(1)Discovery, (2)Exploration, (3)Movement をゲームで満たすのではなく、あくまでXR-SNSでアプローチする。

11

Team & Credit
このデモは研究開発デモであり、実際の製品やサービスとは直接関係ありません。

[Director] Akihiko Shirai[iOS]Miku Takemasa[iOS]Takanori Horibe[Unity]Takuma “Yahagi”
Kato

Special Thanks: T. Nakano, Y. Yamazaki and Eiji Araki / DJ RIOThis app is a tech demo under R&D.
It contains our IPs including patentpending inventions.
Contact: jp-gi-vr@gree.net
Copyright(C) GREE, Inc. / (C) REALITY, Inc. /GREE VR Studio Laboratory
Dance & Music:UNITE IN THE SKYOTORI Kohaku © UTJ/UCL

[関連]REALITY社内でのAR開発事例
REALITYにAR機能を実装してみた話(7/20公開)
https://note.com/reality_eng/n/n279fbd4c1d9c
Niantic Lightship ARDK触ってみた(12/15公開)
REALITY Advent Calendar #15
https://note.com/reality_eng/n/nb020cd923737
Twitter@REALITY_JP

https://twitter.com/reality_jp
Twitter@VRStudioLab

https://twitter.com/vrstudiolab
REALITY note (※積極採用中です!)https://note.com/reality_eng/画面は開発中のものです
製品とは直接関係ありませんPre-process,Scenario Development,andTechnical Key points
14

ARSession demo
[Init]: ARSession初期化[Run]：セッションスタート[Pause]：一時停止[Destory]：セッション終了
15

ARSession● ARDK→ARSessionクラスがAR体験の階層の最上位○ https://niantic.dev/docs/ar_session.html● ARSessionの管理→ARSessionManager○ ARDK/Extensions/PrefabsにARSceneManager■ 必要なARSessionManager・Capability
Checkerが追加されているオブジェクト→ Hierarchyに追加してそのまま使う■ 子にARSceneCameraがある● Capability Checker: デバイスがAR対応か確認する○ （右図）対応している→[Init]がinteractableになる○ ARSessionのInitialize()とCreateandRun()を呼ぶ→アプリ起動時にAR動くかも16

ARSession● 【ボタンオブジェクトでARSessionを扱う場合】→ On Click()に押したときに呼び出す関数を入れる○ [Init]: Initialize(), CreateSession()○ [Run]: Run()○ [Pause]: Pause()○ [Destroy]: DestroySession()

2
1

● 手順
○ HierarchyにあるARSceneManagerを①の位置にドラッグドロップ○ ②のプルダウンでARSessionManager > 該当する関数 を選択

17

Detecting Planes● 面を認識するメソッド○ https://niantic.dev/docs/plane_detection.html● 管理：ARPlaneManager○ Detected Plane Typesで認識する面を決める→ Horizontal: 水平面、Vertical: 垂直面
1. (Hierarchy) 「Create Empty」
2. (Inspector)「Add Component」“AR Plane Manager”を選択
3. 「Plane Prefab」で”PlanePrefab”を検索→選択
4. 「Detected Plane Types」で認識する面を選択(複数選択可)18

AR Hit Tester● タップを認識→オブジェクトを配置するメソッド○ https://niantic.dev/docs/hit_tests.html● Camera○ ARSceneCamera を選択● Hit Test Type○ オブジェクト
● Placement Object Pf○ タップしたら出現するオブジェクト

19

Toggle Log● デバッグ○ 当たり判定○ 置いたCubeの座標

Unity内で使えるmockはとても操作しづらいので、やはり実機でのテストが肝要。
複数の実機を用意してパラレルに評価。
「再現性のある動作はどうやって？」を検証
20

サンプル: ImageDetection
試してみたけど今回は未使用● 特定の画像を検出する○ ARスクリーンに生かせそう○● 平面性が弱いものでも実施できるなら、ポスターや実アパレルとの連携もできるかもしれないね！

21

距離実験：60m

外側の柱が 10m間隔ぐらい、 60mぐらい離れていてもアプリが死ななければ残せるのすごい

ラボ内Unity勉強会の成果を生かしてREALITYのアバターを組み込んでみた(このころTestFlightでのQAを開始)

[0827]XRソーシャルアプリと縦横についての考察<縦横の違い>一般的には...

最近のiPhoneの画面比は約1:2。正方形が2個描ける[縦/Portrait]
メリット：片手で持ちやすい、多くのスマホアプリが縦、カメラの位置（インカメとか）が決まっている,
デメリット：多くの動画コンテンツが16:9 (この時点で既にいろいろもったいない)

ARDK@Nianticとのディスカッションより・タテ持ちでの開発
・横は”not fully supported now”
→我々が横を使うことで品質上がるかも？

[横/Landscape]メリット：画面を広く使える、動画やゲームコンテンツとの互換性、目は左右に向いている、両手で操作できる（移動コントローラ系）
デメリット：片手で構えづらい、スマホ動画としての没入感、縦の視界が狭い➢

タテ持ちは自撮りやペアでのキャッキャ絵に向いているが、ソーシャルなワイワイ感を出すにはやはりある程度の空間は必要。23

Scene2:CheckIn
MC Taka：「六本木ヒルズで開催される秘密のRaidパーティに呼ばれたという設定です」「スマホのGPSとARを使ってチェックイン！します」
字幕：「六本木でのパーティにお呼ばれしたので、GPS情報を使ってチェックインします。」「チェックインすると、GPSがクラウドに送信されます。」

24

Scene3:Mirror Dive In
MC：「チェックインを済ませ、グリー本社ロビーにやってきました。」
XRportal登場にSE「おもてから見たらただの枠のように見えます。」「おおっ、これは自分のアバターですね」「試しに手を振ってみます」「では、この『XRポータル』をくぐって会場に向かいたいと思います」

ARで遊ぶ場合、「自分が誰であるか、どんな姿をしているか？」はわからないのでまずは部屋内空間の壁面を勝手に見つけて”AR鏡”を配置します。それを覗き込んで、アバターとの身体所有感をリンクさせる設計。

25

[0902]- PNGを表示
done- 青空をLoungeに置き換え
done- 録画用にBasicを消す、UIを消すボタン[HideUI]ボタン- まず距離の確定（2m）その状態にならないPNG表示
done-

tapしたらタップ音鳴らす

26

Scene4:Raid Party LiveMC：
「はい、こちらはRaid Party Live会場です」「ライブ開始までもうしばらくです」「推しのBelleさんを見つけました」「近寄ってみたいと思います」「おおっ…」

映えのあるダンスシーン。
積極的にダンサーとユーザを交流させたい。
ARDKによる距離表示、SNSとしての名前やLIKE、接続している地名などを演出として表示。
この機能は「ARカンバン」として後日重要が出てきた27

[0903]全体進行[Issues]今回の期間で頑張る- 歩かせるのは極力回避- アバターのサイズ安定- 鏡はとにかく置く- 影は自影を大事にする(太陽も)事務局連絡,契約
周り,UX設計
PM, System
System+,Scene,Event, Dance, Door

Anim, State(表情,音声分析)

その当時のメモから …律儀にTestFlightでリリースして QAしていた[0901]
目標[Mirror][Dance]「広い壁に向けて2m」[PNG]iPhoneXS(2688x1242)
Credit.png, Mirror.png[Mirror]鏡の数学[Dance][FaceVoice][WatchDancing]
単体でダンス再生 , PostFX,壁を外した部屋 , ブレンド影[FaceVoice]iOSビルド&Test[FaceVoice]
マイクが取れる状態でiOSビルドを通してみる[0902]v0.3.4
動画としての面白さ、オチを明確にしてブラッシュアップする[Build]0.2.2→TestFlight[画像素材] [GPSギミック][動画コンテ ][Mirror] Mirror 置く→スキッ
プ、オチを作る

Anchorによるオブジェクト固定, 複数のVRMを配置して、ダンス取り囲みシーンの準備[0903]v0.4
ダンス画面Lounge収録鏡をLobby収録[Dance] 15:00目標
1. ボタンを削除
2. 画面タップで円盤ステージ, 自アバター, 太陽を背中,影
3. 2,3,4tapで順次アバター配置(事前に決めた円の▲
4. 4tap目でモーション再生開始
5. 5tap以降はパーティクル
6. 楽曲終了でタイトル画面へ[FaceVoice]iOSビルド&Test
VRMのURP化？

↑実際には収録は大変で、15テイクぐらい撮影したシーンもあります。

[FaceVoice]マイクの接続
uLipSyncのiOS対応

位置の再現性は課題かも28

まとめ：挑戦！→速く育った! 反響有!! 案件が来た!!!
ARDKよかったこと・(学生)短期間で学習、結果を出せた
・古いiPhoneでも動作する(QA,展開性)・屋外60mすごい
大変だったこと…
・横持ちARアプリに挑戦した・位置の再現性は今後に期待
コミュニティに期待すること…
・Betaの時は外で喋れなくて辛かった！
・「日本的なメタバース」の可能性、これからも探求していきたい…
[REALITY note]祝100記事達成!!積極採用中!

事例のひとつ👉GREE Tech Conf (2021/11/11)
オープニングで採用！大河原あゆみさんとコラボ
https://www.youtube.com/watch?v=glzSY6yJY3o