特 集1

真のヒューマニティを育むテクノロジの研究開発について
URL

https://journal.ntt.co.jp/article/24976

DOI

https://doi.org/10.60249/24025003

Project Metaverse―リアルとサイバーの融合によるWell-beingな社会の実現
NTT 人間情報研究所（人間研）では，超高速・超低遅延・超低消費電力の次

あべ

な お と直人/ 千明

ち ぎ らひろし

お ご う

け ん た健太

もちづき/ 望月

たかよし

い し い

よ う こ

えいとくしんいちろう

阿部世 代 コ ミ ュ ニ ケ ー シ ョ ン 基 盤「IOWN（Innovative Optical and Wireless小合Network）」により実現される，リアル世界とサイバー世界が融合する「IOWN時代のメタバース」に関する研究開発を推進しています．本稿では，その構成要石井素である「空間」と「ヒト（アバター）」に分けて，人間研の最新の取り組みについて紹介します．

陽子/ 永徳裕

崇由

真一郎

Lidwina Andarini

キーワード：# メタバース，#Another Me，#XR

す ず きかつひろ

ふかやまあつし鈴木深山克洋の も と/ 野本なりちか済央

篤NTT 人間情報研究所

背景

空間上のアバターを介して交流するチャッていましたが，その統一的な定義はまだあト サ ー ビ ス に 始 ま り，「Second Life」

りません．現在，大手テック企業のトップ（Linden Lab）のように，仮想空間内の通や有識者からいくつかの定義や見解が示さタバース）」という言葉は，もともと1992

貨により，土地やアイテムの売買等，現実れていますが，「メタバース」の核となる年に発表された SF 小説『スノウ・クラッに近い経済活動までカバーしたサービス，性質・備えるべき特徴として，米国の投資シュ』に登場する，仮想空間を介した架空さ ら に 最 近 で は「Fortnite」（Epic

家 Matthew Ball 氏が2020年に整理・発表のコミュニケーションサービスの名称でしGames）や「あつまれ どうぶつの森」（任したものが， 1 つの指針となっています（1）た．その後，技術の進展によってさまざま天堂）のような多人数参加型の仮想空間オ（表）．

な仮想空間サービスが登場するに伴い一般

ンラインゲームや，ビジネス向けの「Hori-本稿のタイトルにもある「Metaverse（メこれらの性質・特徴をすべて備えた，広名詞化して，人々が自身の分身である「アzon Workrooms」（Meta Platforms）や大なメタバースが登場するには，「数10年バター」を介して他者と交流する，インター「Mesh for Microsoft Teams」（Micro-にわたるインフラ整備と数10億ドルの投資ネット上の仮想空間サービス全般を指す言soft）に至るまで，「メタバース」的仮想が必要」との指摘もありますが，一方で①葉になりました．

空間サービスは多岐にわたっています．

メタバースの中核技術である，VR（Virtual古 く は1990年 に 開 設 さ れ た「 富 士 通このように，「メタバース」の概念や「メReality）や AR（Augmented Reality）等，Habitat」（富士通）のように，2D の仮想タバース的」サービスは，以前から存在しXR（Cross Reality）関連技術の進化・低表

メタバースが備えるべき 7 つの特徴（M. Ball, 2020）

検討組織

役割

1 ．永続的であること

・ リセット，一時停止，終了することがない

2 ．同期的であること

・ 事前にスケジュールされた自己完結型のイベントは，実生活と同じように起こる・ 誰にとっても一貫して，リアルタイムに存在する，生きた体験となる

3 ．同時接続ユーザ数に制限がないこと

・ 誰でもメタバースの一部となり，特定のイベントや場所，活動に同時参加できる

4 ．経済があること

・ 個人や企業は，創造 ・ 所有 ・ 投資 ・ 販売することができ，他者が認める価値を生む仕事として，報酬を得ることができる

5 ．広範であること

・ デジタルとフィジカルの世界，プライベートとパブリックのネットワーク
・ オープンとクローズドのプラットフォームの両方をまたいだ体験となる

6 ．相互運用性があること

・ 異なるプラットフォーム間においても，アバターやアイテムなどを自由に持ち運びできる

7 ．幅広い企業 ・ 個人による貢献があること

・ コンテンツや体験は，個人，有志グループ，企業といった幅広い貢献者によって作成 ・ 運
営される

出典：
「メタバースの概要と動向～ビジネスシーンでの活用に向けて～」（株式会社日本総合研究所）
https://www.jri.co.jp/MediaLibrary/file/column/opinion/pdf/13531.pdf

122024.2

特 集

Humanit y

図1

点群データによる空間再現の例（男木島）

廉化や，②近年のコロナ禍において，豊かることで，複数のメタバース上で，リアル然を楽しむような体験では，視覚的に精緻なコミュニケーションや多様な体験を実現

世界と同等かつ多種多様な体験をユーザにかつ広範囲な空間再現に高いコストが必要できる，現実により近づけた仮想空間に対提供したいと考えています．こうすることであることや，実際にその場を訪れた際のする期待の高まりもあり，メタバースの社

で，時空間や身体の制約はもちろん，サイ体験・体感を，そもそも視覚情報だけで再会実装が進んでいます．

バー・リアルの垣根も越えて，ユーザ体験現することが難しいことなどから，高い臨の活用・共有が促進されるとともに，他者場感を提供することは困難でした．

Project Metaverse
NTT 人 間 情 報 研 究 所（ 人 間 研 ）で は，の価値観に触れる機会が増え，個々人はもそこで私たちは，瀬戸内海の中央にあるちろん社会全体の Well-being が実現でき小さな離島「男木島」を対象に，五感で感ると考えています．

じる仮想空間の構築に取り組みました（2）．

すべての人が Well-being な状態になれる

本稿では，大きく 2 つの側面に分けて，具体的には，特に一般ユーザ向けのメタバー社会をめざして，“ 真のヒューマニティを「Project Metaverse」の具体的な取り組

スではほとんど利用されることのない①自育むテクノロジの研究開発 ” をミッション

み・関連技術について紹介します．に，“ 人間中心を原則に，あらゆるヒトの・サイバー世界とリアル世界をシームレ

動運転などにも使われている，実際の空間を広範囲かつ簡易に計測・把握することが機能を情報通信処理可能にする ” ことをビスにつなぐ「空間表現・空間融合」

可 能 な LiDAR（Light Detection andジョンに掲げています．このビジョンの実・サイバー世界上で，多種多様な体験をRanging）と呼ばれるセンサ技術から得ら

現 に 向 け た 取 り 組 み の 1 つ が「Project可能にする「Another Me」

Metaverse」です．
前項でも触れたとおり，これまでのメタ
バースでは，その大半がリアル世界とは別れる「点群データ」とこれを解析・統合する「3D 点群メディア処理技術」，②さまざ

空間表現・空間融合

まなアングルから撮影した複数の写真からリアルな3DCG を生成するフォトグラメトの体験を提供することを主な目的としてい■空間表現：五感で感じる仮想空間の構築

リ技術を採用することで，できるだけコスました．そのためメタバース上での体験を，現実の建造物・史跡・景観を，リアルなトを抑えつつ，視覚的に精緻かつ広範囲なリアル世界で直接的に活用することは困難

メタバースとして仮想空間に再現し体験可

仮想空間を構築しました（図 1 ）．またこでした．また，さまざまなメタバースがサー能にする取り組みは，主に地方創生や地域れと併せて，③視覚以外の聴覚や触覚を刺ビス提供されてきている一方で，身体的制活性化を目的とした観光分野を中心に，研激する「その場」に存在する感覚情報を，約から 1 人のユーザが利用できるメタバー

究レベルから商用サービスまでさまざまな立体音響技術や新たに開発した音声・振動

スは限られており，多様な体験を享受する方法が試みられています．しかし，楽しさ・による歩行感提示手法（図 2 ）により忠実ことは困難な状況です．

没頭状態を阻害する共通の課題として，リに再現・統合することで，五感を介してあそこで私たちは，①超リアルな仮想空間

アル世界の体験とサイバー世界の体験ではたかもその場にいるような感覚をユーザにおよびサイバー・リアルの交錯空間と，②臨場感に乖離があることが挙げられていま提供可能にしました．これにより仮想空間本人性・自律性を有するアバターを実現すす．特に広い範囲を移動しながら風景・自上での体験がリアル世界のものと同等にな
2024.213

特 集 1

真のヒューマニティを育むテクノロジの研究開発についてることで，その体験をリアル世界にシームレスに活用できるようになると私たちは考えています．
■空間融合： 2 つの世界にまたがる交錯空間の構築
通常，メタバース上で活動するユーザの分身である「アバター」は，仮想空間内に閉じた存在であり，コミュニケーションの範囲も仮想空間内に限定されています．そのため，リアル世界のユーザからはその様子は確認できず，その結果「エコーチェンバー」や「フィルターバブル」と呼ばれる現象を引き起こし，サイバー世界とリアル世界の分断・対立が生じることにもなりか

図2

ねません．

音声・振動による歩行感提示（体験の様子）

そこで私たちは，サイバー世界上で活動するユーザ（アバター）と，リアル世界上に存在するユーザが，両世界の垣根を越えてコミュニケーション可能にするための研究にも取り組んでいます．その 1 つが，サイバー世界上の情報（コンテンツやアバター）とリアル世界を位置的に対応付ける「高精度 VPS」，もう 1 つが VR ゴーグル等
特殊な装置を装着せずにサイバー世界上のアバターやバーチャルキャラクターとのコミュケーションを可能にする「裸眼 XR 相席対話システム」です．
前者は昨今の AR サービスでも活用されている技術になりますが，前述した「点群図3

高精度 VPS を活用したコミュニケーション（イメージ）データ」により精緻かつ広範に再現された仮想空間と，カメラを具備するスマートフォンや AR グラスを組み合わせて利用することで，これまでよりも低コストかつ精緻に，サイバー世界とリアル世界のユーザをお互いの空間上に正しく位置付け，同一空間上での自由なコミュニケーションが可能になります（図 3 ）．また後者では，ハーフミラーと，ディスプレイや机，ソファー等実物体群の多層的な3D 配置設計により，リアル世界のユーザとサイバー世界のアバター等がすぐ隣に並んで相席できる交錯空間を表現可能としています．これによりユーザがVR ゴーグル等を装着せずに，両世界に存在する複数のユーザ間で自然な双方向コミュニケーションが可能になります．

図4

あいせき幻燈茶屋（裸眼 XR 相席システム）

なお後者の「裸眼ＸＲ相席対話システム」

14

は，2023年 4 月の「超歌舞伎 powered by屋」として公開され，「初音ミクが立体的（図 4 ）．さらにその高い評価を得ました（3）NTT」の会場で，初音ミクと同一の空間でに見える」「本当に近寄られたようなドキ後，システムの小型化に加えてフレームレの相席対話が楽しめる，「あいせき幻燈茶ドキ感がある」等，来場者・体験者からもス化を実現することで，より手軽にかつ高2024.2

特 集

Humanit y

図5

い没入体験の提供が可能になっています．

Another Me（本人性・自律性・一体性）■自然な身体モーション表現を実現する「CONN」

Another Me■ Another Me の「本人性・自律性・一体性」

NTT コミュニケーションズ，NTT コノキュー，東映株式会社の共創によって進めている仮想的な人格を持つデジタルヒューマン「CONN」（図 6 ）においては，デジ私たちは，誰もが時間・ 空間またはハンタルヒューマンの表情や全身動作（身体モーディキャップなどの制約を超え，人生の機ション）を，Another Me の身体モーショ会を拡張できる社会の実現をめざしていまンを生成する「身体モーション生成技術」

す．外見だけでなく行動や内面まで再現すと連携して検証を進めました．

る「本人性」，メタバースでリアル世界の「身体モーション生成技術」は，少量の制約を超えて自律的に活動する「自律性」，データから自然で人間らしい発話時の表情・またその活動の結果を本人自身の経験とし全身の動きの生成を可能とする技術です（4）．て共有する「一体性」，これらをすべて併身体モーションとそのときの発話音声や発せ持つのが Another Me です（図 5 ）．
「わ話内容からモデルを生成することで，発話たし」と感じられるほどの本人性を実現す

音声のみから身体モーションを自動で生成るために哲学的な研究にも取り組んでおり，できるようになります．モデルの学習方法

他者や社会とのつながりづくりにも役立てを工夫しており，発話の意味に沿った身体たいと考えています．想定されるユースケー

モーションの生成や意味的なまとまりを反スは，専門知識を活用して本人の代わりに映した身体モーションの滑らかさの向上，

図6

デジタルヒューマン「CONN」

コンサルティングを行う，本人と協力してならびに，定常的に出現する身体モーショ■メタコミュニケーションサービス

仕事を遂行するなどさまざまです．そうしンだけでなく，特定の文脈で現れる身体モー「MetaMe®」での個人性抽出・再現のたユースケースを踏まえ，私たちは An-ションも含めて生成することが可能です．

other Me の要素技術の研究開発を行い，デジタルヒューマン「CONN」におい実現
誰もが自分の分身である Another Me

それら要素技術を活用した社会実装の取りては，モデルとなる人物の身体モーションを持つことができるようになることをめざ組みも行っています．本誌では，そうしたと そ の とき の 発 話 を 収 録，モ デ ル 化し，し，「個人性抽出技術」と「個人性再現対要素技術のうち，「身体モーション生成技「CONN」の発話に合わせてモーションを話技術」を NTT ドコモが開発したメタコ術」「個性抽出技術」「個人性再現対話技術」

生成することで，「CONN」の人間らしいミュニケーションサービス「MetaMe®（メの 3 つにフォーカスを当て，これらを活用自然な身体モーション表現を実現していタミー）」に試験実装しています＊（5）．

した取り組みについて紹介したいと思います．

「個人性抽出技術」は個人の行動ログかます．
＊「MetaMe」は，株式会社
NTTドコモの登録商標です．

2024.215

特 集 1

真のヒューマニティを育むテクノロジの研究開発について

ら，行動に影響を与える性格，価値観などの情報を埋め込んだ個人ごとのベクトルを学習する技術です（6）（図 ７ ）．これにより，本人の価値観にあった行動を Another Meが再現できるようになります．例えば，価値観の類似度を比較して，価値観の近い人を見つけたり，多様な価値観を持つグループを作成したりすることができます．
「個人性再現対話技術」は少量のデータからその人らしい対話を再現する技術です．
本技術は，年齢や性別などのユーザプロファイルに応じた対話内容を再現するペルソナ
対話技術と，少量の対話データから個人の特徴（口調，言い回しなど）を学習するア

図7

個人性抽出技術

ダプタ技術を組み合わせることで，少量の学習データで個人の対話内容の再現を可能にしました（図 8 ）．
こ れ ら の 技 術 を 用 い て， 自 分 の 分 身NPC（Non-Player Character）のプロトタイプを開発しています．分身 NPC が自分の代わりに他のユーザと事前にコミュニ

図8

ケーションを取ることで，実際にユーザど個人性再現対話技術

うしが MetaMe® 上で会ったときにコミュニケーションが活性化され，新しい出会いの創出につながるかなど，NTT ドコモと一緒に実証実験を行っています．

まとめ
前述のとおり，これまでの「メタバース」的サービスは仮想空間内に閉じたものであり，リアル世界とは別の体験を提供するものが大半でした．しかし Matthew Ball 氏が提唱する「メタバースが備えるべき ７ つの特徴」の中でも触れられているとおり，今後はリアル世界とバーチャル世界がシームレスに連携・融合することで，「メタバース」におけるユーザ体験は 2 つの世界にまたがる体験になると考えられます．
私 た ち は， 本 稿 で 紹 介 し た「ProjectMetaverse」の取り組みを通じて，リアル世界とバーチャル世界での体験を融合し，人と人，人と社会の「つながり」の質を高め，多様性を受容できる豊かな社会の実現をめざしていきます．今後の進展にご期待ください．

■参考文献（1） https://www.jri.co.jp/MediaLibrary/file/column/opinion/pdf/13531.pdf（2） https://group.ntt/jp/newsrelease/2022/11/15/221115b.html（3） https://group.ntt/jp/newsrelease/2023/04/29/230429a.html（4） C. Ahuja, D. W. Lee, R. Ishii, and L. P.
Morency: “No Gestures Left Behind:L ear n i­ng Rela tionships be t w een
Spoken Language and FreeformGestures,” EMNLP: Findings, pp. 18841895, Nov．2020.
（5） https://group.ntt/jp/newsrelease/2024/01/17/240117a.html（6） A．Otsuka，K．Hama, N．Nomoto, R．
Ishii, A．Fukayama，and T．
Nakamura：“Learning User
Embeddings with Generating Context
of Posted Social Network Service
Texts，” Social Computing and SocialMedia，pp. 106–115，2023.
https://doi.org/10.1007/978- 3 -031-359156_9（上段左から）阿部  直人 / 千明   裕 / 小合  健太 / 望月  崇由（中段左から）石井  陽子 / 永徳  真一郎 / 
Lidwina Andarini（下段左から）鈴木  克洋/ 野本  済央 / 深山   篤
人間研では，リアルとバーチャルの融合を推進することで，人々の体験を拡張し，人と人，人と社会の「つながり」の質を高め，多様性を受容できる豊かな社会の実現をめざしていきます．今後の進展にご期待ください．

◆問い合わせ先NTT サービスイノベーション総合研究所
情報戦略 ・ 広報担当
E-mail svkoho-ml ntt.com

162024.2