ちゃんと理解する「Mesh for Microsoft Teams」

みなさま、こんにちは！
日本マイクロソフトのカスタマーサクセスマネージャーの岩田です。
Mesh for Microsoft Teamsが発表されましたね。
2022年の提供開始を予定しており、情報も様々な媒体から出ております。
Mesh for Microsoft Teamsをちゃんと理解するには、そもそもの基盤であるMicorosoft Meshの理解が欠かせません。
「アバターでTeams会議に参加できるやつでしょ？」とおおざっぱに捉えず、是非、このまま読み進めていただければ幸いです。

### フルリモートで浮き上がる課題
リモートで共同作業することを余儀なくされたパンデミックから１年半以上が経過し、企業では様々な課題が浮き彫りになっています。

私はこの完全リモートによって、通勤時間、無駄な会議が見直され、以前よりも作業が効率化されました。
それによって家族との時間が増え、個人的にはこのままリモートワークを続けたいと考えている一人です。
ただ私は、社歴が長く、それなりに仕事の進め方を把握し、社内の人間関係を構築しているから言えることであり、自分が新入社員だったらこの状況をどう感じるのだろう？と思うことがあります。
ある若手社員が「家族いない一人だと、病みますよ・・」と言っていたのは印象的で、人によってはそう感じるのだとハッとさせられました。
仕事を行う上でコミュニケーションの重要性は言うまでもないのですが、人間関係が構築されている前提があってこそのコミュニケーションなので、新入社員や途中入社の社員は、少なからずこのフルリモートの負の側面を受けてしまうのではないでしょうか。

### 人間関係構築の重要性
フルリモートで人間関係を構築するにはどうすればよいでしょう。
パーソナルな部分を見せるのが効果的なので、会議ではビデオカメラをオンにするのも一つの方法です。
初めて会う同僚やお客様が、ビデオカメラをオフの状態で会議に参加されてくるケースを多く見ますが、少なくとも初めての相手には、相手の顔が分かった上で話す方が信頼できますし、人間関係も構築できますよね。
一方、フルリモートでビデオ会議疲れというのも浮き彫りになっています。

### Mesh for Microsoft Teamsが担う役割
シミが多くなった顔を（私の個人的な事です）、四六時中リモート会議で晒すのは、それなりに苦痛を伴います。
そのためのアバターであり、堅苦しさをなくし楽しさを演出するための仮想空間であったりします。
[Microsoft HoloLens 2](https://www.microsoft.com/ja-jp/hololens/)では、ハンドトラッキングやアイトラッキングセンサーが内蔵されているので、アバターへジェスチャーやまばたきを反映させることができます。

**HoloLens 2 のハンドトラッキング**
![handtracking.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1552155/653f5ada-0422-faf1-450e-9f53f9d86035.jpeg)

ただ、Teamsで会議を行う際、Hololens2を装着して一般的な会議に参加するケースはほとんどないと思われるので、ソフトウエア側でジェスチャーをシュミレートする必要があります。
初期段階のMesh for Microsoft Teamsでは、ユーザーが話す音声を受け取り、手を動かしたり顔の表情を変えたりするなど、アバターに表現力を与えるアニメーションを提供する予定です。
更に、カメラで口の位置を推測し、頭や顔の動きを模倣する事も視野に入れています。[Azure Kinect DK](https://azure.microsoft.com/ja-jp/services/kinect-dk/)のような深度センサーのついたカメラが一般化すれば、それも可能でしょう。

仮想空間とアバターにより、会議中の体験をさらに向上させ、ビデオ会議疲れを解消することができます。
これが、Mesh for Microsoft Teamsが担う役割です。

**Mesh for Microsoft Teams**
![avater.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1552155/c4da56d4-60bc-a3ed-0853-f93279509ab0.jpeg)

### Mesh for Microsoft Teamsの活用
Mesh for Microsoft Teamsのビジネス活用は幅広いものです。
- Teamsのチームのチャネルに紐づいた仮想会議室にアバターで参加
- タウンホールミーティングやイベントや展示会の開催
- もっとカジュアルなもの、例えばタバコ部屋のようなワイガヤ空間。（タバコの煙も再現すると面白いですね）
など、アイディアは様々浮かぶと思います。

**バーチャルイベントでの活用**
![event.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1552155/73f94f8d-6f67-e80a-901c-fa715f94895b.jpeg)

ゲームの世界では、アバターを使って仮想空間でコミュニケーションすることは一般的な技術ですが、それがビジネスの世界にも落ちてきたと捉えても間違いはないです。
ここからは、**Mesh** for Microsoft Teamsの**Mesh**の部分、Microsoft Meshというプラットフォームを深堀します。

### 仮想空間（メタバース）
Mesh for Microsoft Teamsを理解するには、Microsoft Meshというものが何なのか理解する必要があります。
Microsoft Meshは、仮想空間やアバター、さらに人物をホログラフィック化して仮想空間にレンダリングする機能、CADなどのデータを仮想空間にレンダリングする機能など、プラットホームとしての機能を提供しています。
Microsoft Meshの中でも特に重要な概念、仮想空間（メタバース）を説明します。

仮想空間、メタバース、イマーシブ空間、様々な言い方がありますが、本稿では「仮想空間」で統一します。
仮想空間は、ゲームを例に考える理解が進みますので、ゲーム作成エンジンであるUnityを使って、よくあるドラゴン討伐の3Dゲームを例に説明します。
下図のような、岩と森で囲まれた3次元のゲームフィールド、これが仮想空間に該当します。

**ゲームフィールド（＝仮想空間）**
![canvas.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1552155/e6d9ec58-944f-a267-460d-36cf2fe1c597.jpeg)

仮想空間には主人公、敵キャラ、ボスキャラなど、様々なオブジェクトが存在します。
ボスキャラであるドラゴンは仮想空間のどこに存在しているのでしょうか？
![dragon.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1552155/f7a7540a-a3ad-2f5c-b0d9-49e5e158b73d.jpeg)

Unityでドラゴンオブジェクトを選択すると、3次元（x, y, z）において（147, 0, 160）の位置に存在していることが分かります。（黄色枠）
Unityではこの座標をワールド座標といいます。
ワールド、まさに**仮想空間には世界の中心、つまり原点（0, 0, 0）があり**、それを起点にドラゴンや主人公、敵キャラのようなオブジェクトが配置されているのです。

仮想空間というと、このゲームの画面のようなVirtual Reality（VR）の空間を想像しがちです。
もう一歩理解を進めるために、Mixed Reality（MR）の仮想空間も説明します。

Microsoft HoloLens 2は深度センサーを内蔵しており、赤外線を照射して帰ってくるまでの時間を計測して距離（深度）を図ります。言い換えると、現実世界を計測して仮想空間を作成することができます。

**現実世界を計測して仮想空間を作成**
![scan2.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1552155/19359e34-5843-43f6-9e02-e6873612860a.jpeg)


この仮想空間に原点（0, 0, 0）を決めることで、現実世界と重なる形でオブジェクトを配置することができます。
これがMixed Reality（MR）です。
下図は製造業の活用例ですが、作成した仮想空間にエンジンのオブジェクトをレンダリングしました。原点（0, 0, 0）はエンジン下に青く光っているテーブルです。この原点であるテーブルを移動させると、相対的にエンジンも移動します。

**仮想空間にオブジェクトをレンダリング**
![engin.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1552155/b6defead-0118-726e-52b4-c0170c76e929.jpeg)

設計チームメンバーはそれぞれアバターを使い、この仮想空間内でエンジンの構造を議論することができます。

**自分のアバターを作成**
![avotor.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1552155/52e9ab46-f1ed-54af-12f8-eb406e1b7042.jpeg)

このエンジンのシナリオは、Microsoft Mesh対応アプリケーションの一つ、Mesh App for HoloLens（プレビュー）で実現できます。

**Mesh App for HoloLens**
![MeshAppForHoloLens.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1552155/f8c1bfd9-3b8b-d3e9-c40b-c483469073dd.jpeg)

### Microsoft Meshがサポートするファイルフォーマット

先ほどの例では、エンジンオブジェクトを仮想空間にレンダリングしました。
製造業ではCADのデータはレンダリングできるのか？ということが質問に上がります。
Microsoft Meshは、Mesh対応アプリケーション内で、ほとんどの3Dファイルフォーマットをネイティブにレンダリング可能です。
CADであれば、creo、CATIA、AUTOCAD、Trimble、SOLDWORKS、SketchUp。
BIM/CIM系であれば、AUTODESKのREVIT、RECAP、INVENTOR、NAVISWORKS、などがサポートされます。
![Rendering.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1552155/d24d193c-bb8a-db51-6b91-6ef5e1f8d6f6.jpeg)

問題はレンダリングなのですが、これらのデータはかなり大きいので、ローカルデバイスでのレンダリングは実用的ではないかもしれません。
Microsoft Meshは[Azure Remote Rendering](https://azure.microsoft.com/ja-jp/services/remote-rendering/)という、クラウドでモデルをレンダリングし、デバイス側にリアルタイムでストリーミングする技術を利用できるので、こちらを利用するのが現実的でしょう。

### Microsoft Meshの世界観

下図は、Microsoft Meshの世界観を示すもので、見た事ある方も多いと思います。
ここまでの説明で、納得感をもってこの画像を見ることができるのではないでしょうか。
![mesh.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1552155/f66367b4-fcd9-d506-8637-06615b062e8b.jpeg)

左側の人はアバターで、右側の人は[Holoportation](https://www.microsoft.com/en-us/research/project/holoportation-3/)（※）で会議に参加しています。
真ん中の人がリアルで、自分の部屋をHoloLens 2を使ってスキャンし、仮想空間を作成。原点(0, 0, 0）をアンカーし、建物の設計図オブジェクトをレンダリングして、３人で議論しています。
（※）3次元センサーを使って、人をリアルタイムに多角的にスキャンし、転送する技術。HoloLens 2で見ることができる。

### Mesh for Microsoft Teamsの位置づけ
Microsoft Meshが理解できれば、Mesh for Microsoft Teamsの説明は以下の一行で済みます。
**Teamsというアプリケーションで、Microsoft Meshの世界、簡単に言うと仮想空間（メタバース）に入りこむことができる。**

**Mesh for Microsoft Teamsの位置づけ**
![MicrosoftMesh.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1552155/ff032a43-6bfe-b1ee-6132-0a2113fbaeef.jpeg)

2022年の提供開始が待ち遠しいですね。
当社のMesh for Microsoft Teamsの発表記事は、以下をご参照ください。
[Mesh for Microsoft Teamsが目指す、「メタバース」空間でのより楽しく、よりパーソナルなコラボレーション](https://news.microsoft.com/ja-jp/2021/11/04/211104-mesh-for-microsoft-teams/)

![immersiveexperience.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1552155/d5d44b6d-d997-1849-0d5f-d99b2ec717fb.jpeg)

**Accentureが構築した仮想キャンパス**
![accenture.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1552155/2da8f30e-b5d0-daad-81d2-9a055657e5ef.jpeg)