Microsoft Meshのアナウンスからこれまでのアップデート - 8月までの情報

# Microsoft Meshは地味に数か月ごとにアップデートしてるの知っていますか？

今年の春頃開催の「Micrososft Ignite」で初めて紹介された「Microsoft Mesh」プラットフォーム。
現状はプレビューでの開発が進んでおり、唯一体験できるものがHoloLens 2用に提供されている「Mesh Apps」です。あまり知られていないかもしれないですが、おおよそ1~2か月サイクルで更新されています。

定期的にアップデートと便利な機能が追加されているので興味のある方はリリースノートを定期的に眺めておくのがいいと思います。
できれば英語の方が反映が早いのでお勧めです。

https://docs.microsoft.com/en-us/mesh/mesh-app/resources/release-notes

ということで最近のリリースのノートの内容を紹介したいと思います。

## リリースノートについて

Microsoft Meshが3月に発表されてから4回ほど機能追加が行われています。

### 2021年4月更新（バージョン:2104.22007.0）

4月のアップデートではバグ修正と機能強化に加えて、OneDrive からMeshのルームにイメージをインポートすることが可能になりました。

### 2021年5月更新（バージョン:2105.13002.0）

5月のアップデートは以下の通りです。

* One Drive上のフォルダ内項目のサムネイル表示
* Azure Remote Renderingとの連携
* ローカル or One Driveからのファイルアップロード

5月のアップデートは少し話題になりました。というのも、ルームに出力可能なオブジェクトとして「Azure Remote Rendering」で描画したオブジェクトを扱えるようになったためです。
実際にAzure Remote RenderingをMicrosoft Meshで扱う方法や2021/5月の追加機能についてはホロラボの方が整理してくださっています。

https://blog.hololab.co.jp/entry/2021/06/07/17322

### 2021年6月更新（バージョン:2106.22005.0）

6月のアップデートは以下の通りです。大きな機能追加としては「字幕と翻訳」「Colocation」の機能です。

* 字幕と翻訳
* 音声品質の向上。
* 設定メニューの更新。
* サインインプロセスを改善しました。
* Colocation機能による同一空間での共同作業

#### 「字幕と翻訳」
他のVRコラボレーションプラットフォームにもある翻訳字幕機能が追加されています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/152548/f95b4bf1-cbda-5424-6579-a40afe8da43f.png)
話者の発話内容をリアルタイムで文字で表示します。利用する言語を指定しておくと自動的に翻訳された文章が表示されます。

#### 「Colocation」
Microsoft MeshはHololens等のMR/ARアプリとして利用する際に、遠隔地だけでなく「同一空間での利用」が可能です。このような場合にデジタルコンテンツの位置合わせが必要でそのための試験的な機能として提供されているのが「Colocation」です。ルームホストが人を招待する際に「Add co-located」というメニューが追加されています。
ルームホストがこれを指定して招待すると、ホストが見ている空間の情報を使用し空間アンカーが設置されます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/152548/8db5c1b2-3a24-698d-774d-50039f5d7a06.png)

招待された側は最初に同じ空間内にホストが設置した空間アンカーを検索します。アンカーが見つかった場合はそこ基点にデジタルコンテンツを出力します。空間アンカーは現実空間の特定の場所に固定されており、この情報をホスト、参加者双方で共有することで同じ空間内で同じ向きに同じデジタルコンテンツが表示されます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/152548/57b40234-f4ff-c341-8e06-ecc5e98e01ee.png)

また、Co-location機能で参加した人同士は、アバターが表示されません。同じ空間内であれば本人が見えているので、HoloLensの上部にログインユーザのアイコンが表示されるのみになります。
もちろん、この状態で遠隔で参加しているユーザはアバターで表示されます。

Co-relocationの機能を利用する為の手順については公式ドキュメントにも記載がありますので参考にしてください。

https://docs.microsoft.com/en-us/mesh/mesh-app/use-mesh/use-mesh#colocation

うまく位置合わせをするためにはあらかじめ空間内を歩き回ってスキャンをしておくというAzure Spatial Anchors等でも行っていた対策が重要になってきます。

1. Microsoft Mesh Appsを起動する前に、参加者全員がHololens をオンにして、空間内を歩き回る
1. ホストとなる人を一人選び、スペースに参加したら、ホストはセンターピース（テーブル）を部屋の中央に置く
1. 各参加者がスペースに参加したら、ホストは現在のスペースタブで参加者を選択し、「Add co-located」で招待します。
1. 参加者は、ホストのセンターピース（部屋の中央）を見る必要があります（どうもテーブルした付近に空間アンカーが設置される模様）
1. アバターが消えて、人の頭上に名札が現れたらCo-location完了です。
1. すべての招待をホストだけが一人ずつ行うことがおすすめ。

### 2021年8月の更新（バージョン:2108.11001.0）

8月のアップデートは以下の通りです。8月は前回の試験的機能の「Colocation」が正式になり、「付箋紙」「アイゲイズ」等の試験機能が追加されています。

* UI改善
* Co-locationが正式に
* 新しいブラシとブラシ音の追加。
* 箋紙機能の追加（試験的機能）
* アイゲイズ（試験的機能）

#### 箋紙機能の追加（試験的機能）

付箋紙の機能はシンプルで空間に付箋紙を配置することができるといったものです。使い方はシンプルでメニューから付箋を選んで空間に貼り付けるだけです。任意のサイズと位置に設置可能です。入力はキーボードと音声入力に対応しています。ただ日本語入力は文字化けします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/152548/58557c38-ef39-cfa5-717a-1603c00b3b2b.png)

#### アイゲイズ（試験的機能）

試験機能に視線での操作機能が追加されています。視線の先にあるオブジェクトを選択状態にして操作します。操作方法はシンプルなのですが現状以下の手順のオペレーションで動作します。細かい操作をしているとアイゲイズとハンドトラッキング操作が混ざってしまってうまく扱えない時が結構あるので癖は強いです。

1. 手をセンサー範囲内でトラッキング可能な状態にする
1. 視線を操作したいオブジェクトに向け注視する
1. タップ&ホールドする
1. ホールド状態でドラッグすると選択していたオブジェクトが操作可能に

難しいのはタップ&ホールドを一時的に解除（主にオブジェクトの操作をこまめにするための微調整するような操作）した時にうっかり別オブジェクトを注視すると意図しないオブジェクトが操作対象になってしまうというものです。やってみると色々課題がありそうなのでいい操作方法を見つけたらフィードバックで改善案を提案するのもいいと思います（私はまだいまいちわかっていないです、いい方法）

## まとめ

Microsoft Meshの発表から最近までのアップデート内容を簡単に整理してみました。おおむね2,3カ月に1回の更新が入っているようなので気になる方は定期的にリリースノート(英語)を確認してみください。

https://docs.microsoft.com/en-us/mesh/mesh-app/resources/release-notes