Azure Kinect DK と HoloLens 2 気になったところ

<p><img src="https://dl.dropbox.com/s/4yebv426odaumii/Azure%20Kinect%20DK%20%E3%81%A8%20HoloLens%202%20%E6%B0%97%E3%81%AB%E3%81%AA%E3%81%A3%E3%81%9F%E3%81%A8%E3%81%93%E3%82%8D.png" /></p>


GDC 2019 の調べものに合わせて発掘。


<!--
https://qiita.com/sator_imaging/items/114cc54d445c9b51ed2e
-->




### 目次


- [Azure Kinect DK](#azure-kinect-dk)
- [Body Tracking SDK](#body-tracking-sdk)
- [デプスカメラのスペック](#デプスカメラのスペック)
- [複数台のシンクロ](#複数台のシンクロ)
- [フェイシャルトラッキング](#フェイシャルトラッキング)
- [音声認識](#音声認識)
- [HoloLens 2](#hololens-2)
- [Azure Remote Rendering](#azure-remote-rendering)
        - [こちらもどうぞ](#こちらもどうぞ)




## Azure Kinect DK


- [Azure Kinect DK – Develop AI Models | Microsoft Azure](https://azure.microsoft.com/en-us/services/kinect-dk/)
    <iframe
        class="embed-card embed-webcard"
        scrolling="no"  frameborder="0"
        style="
            display: block;  border: none;
            margin: 10px 0px;
            width: 100%; height: 155px;
            max-width: 500px;
        "
        src="https://hatenablog-parts.com/embed?url=https://azure.microsoft.com/en-us/services/kinect-dk/">
    </iframe>





## Body Tracking SDK

フルボディのほかボディの部分トラッキングも。
サンプルコードが Azure Kinect DK と同時に。
完成は 2019 年の後半を予定。


動作環境は、

> 温度 10℃～25℃
> 湿度 9~90%
> 明るさ 10~2,500lux

（曇り空は 5,000lux、らしい）



<!--more-->



## デプスカメラのスペック

ボディトラッキングが RGB とデプスどっちのカメラを使うのかは分からず。


> NFOV unbinned
> 　640x576px ／ 最大 30fps
> 　視野角 75x65度 ／  最大距離 0.5 - 3.86ｍ ／ 露出時間 12.8ms
> NFOV 2x2 binned (sw)
> 　320x288px ／ 最大 30fps
> 　視野角 75x65度 ／ 動作距離 0.5 - 5.46ｍ ／ 露出時間 12.8ms
> WFOV 2x2 binned
> 　512x512px ／ 最大 30fps
> 　視野角 120x120度 ／ 動作距離 0.25 - 2.88ｍ ／ 露出時間 12.8ms
> WFOV unbinned
> 　1024x1024px ／ 最大 15fps
> 　視野角 120x120度 ／ 動作距離 0.25 - 2.21ｍ ／ 露出時間 20.3ms
> Passive IR
> 　1024x1024px ／ 最大 30fps
> 　視野角 n/a ／ 動作距離 n/a ／ 露出時間 1.6ms



15~95% の反射率（2.2 uW/cm^2/nm, σ <= 17 mm）最大距離よりも遠いところは反射率に依存、と注釈。


RGBカメラの最大解像度は 4K（4:3 - 4096x3072 / 16:9 - 3840x2160）
最大 fps は 30、水平視野角90度


USB Type-C ケーブルで電源供給可能


キャリブレーションは工場で済ませてる。



## 複数台のシンクロ

Vive の Base Station と同様に、3.5mm オーディオケーブル（10m 以下、モノラル or ステレオ）でデイジーチェーン接続できる。


最大接続可能台数は記載なし。



## フェイシャルトラッキング

Cognitive Services: Face で。


- [Face API - Facial Recognition Software | Microsoft Azure](https://azure.microsoft.com/en-us/services/cognitive-services/face/)
    <iframe
        class="embed-card embed-webcard"
        scrolling="no"  frameborder="0"
        style="
            display: block;  border: none;
            margin: 10px 0px;
            width: 100%; height: 155px;
            max-width: 500px;
        "
        src="https://hatenablog-parts.com/embed?url=https://azure.microsoft.com/en-us/services/cognitive-services/face/">
    </iframe>





## 音声認識

Cognitive Services: Speech で。


- [Cognitive Services Directory | Microsoft Azure](https://azure.microsoft.com/en-us/services/cognitive-services/directory/speech/)
    <iframe
        class="embed-card embed-webcard"
        scrolling="no"  frameborder="0"
        style="
            display: block;  border: none;
            margin: 10px 0px;
            width: 100%; height: 155px;
            max-width: 500px;
        "
        src="https://hatenablog-parts.com/embed?url=https://azure.microsoft.com/en-us/services/cognitive-services/directory/speech/">
    </iframe>





## HoloLens 2


- [HoloLens 2—概要、機能、および仕様 | Microsoft HoloLens](https://www.microsoft.com/ja-jp/hololens/hardware/)
    <iframe
        class="embed-card embed-webcard"
        scrolling="no"  frameborder="0"
        style="
            display: block;  border: none;
            margin: 10px 0px;
            width: 100%; height: 155px;
            max-width: 500px;
        "
        src="https://hatenablog-parts.com/embed?url=https://www.microsoft.com/ja-jp/hololens/hardware/">
    </iframe>



かっこ悪くなった。

> Qualcomm Snapdragon 850 Compute Platform



## Azure Remote Rendering

HoloLens2 本体ではなく、スペックの高い PC でレンダリングして、その画像を送ることもできるらしい。


- [Azure Remote Rendering | Microsoft Azure](https://azure.microsoft.com/ja-jp/services/remote-rendering/)
    <iframe
        class="embed-card embed-webcard"
        scrolling="no"  frameborder="0"
        style="
            display: block;  border: none;
            margin: 10px 0px;
            width: 100%; height: 155px;
            max-width: 500px;
        "
        src="https://hatenablog-parts.com/embed?url=https://azure.microsoft.com/ja-jp/services/remote-rendering/">
    </iframe>




<blockquote class="twitter-tweet" data-lang="ja"><p lang="ja" dir="ltr">HoloLens2 ローカルじゃなく Azure Remote Rendering とやらで描画<a href="https://t.co/2fP2q3AsMk">https://t.co/2fP2q3AsMk</a></p>&mdash; サトー (@sator_imaging) <a href="https://twitter.com/sator_imaging/status/1099850705521659904?ref_src=twsrc%5Etfw">2019年2月25日</a></blockquote>
<script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>




--

#### こちらもどうぞ

- [#VTuber関連まとめ - Qiita](https://qiita.com/sator_imaging/items/5d3b4466a2a1539184d0)
   <iframe
      class="embed-card embed-webcard"
      scrolling="no"  frameborder="0"
      style="
         display: block;  border: none;
         margin: 10px 0px;
         width: 100%; height: 155px;
         max-width: 500px;
      "
      src="https://hatenablog-parts.com/embed?url=https://qiita.com/sator_imaging/items/5d3b4466a2a1539184d0">
   </iframe>