PICO Motion TrackerをUnityで使う


## Unityでモーショントラッカーを使う
![スクリーンショット 2024-10-08 174004.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/69489ad6-3c07-ebe0-cd92-14cb3b8c94cd.png)
PICO Motion Trackerはボディトラッキングだけでなく、トラッカー単体で使用するオブジェクトトラッキングモードがあります。
今回はSKDを利用してオブジェクトトラッキングモードでトラッカーを動かしてみました。

## PICO4UltraとPICO Motion Trackerの準備
まずPICO4Ultraのホーム画面にあるMotion Trackerアプリを開きます。
![image.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/cbcf2376-25da-9bec-96c7-6c884ae8e4d8.jpeg)

次に画面の指示に従ってトラッカーとペアリングを行います。
ペアリングが完了すると下の画像のように接続されているトラッカーの情報が表示されます。
![image.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/afcc18af-3290-7297-f149-4abf382b4b65.jpeg)

そして右上の設定ボタンを押して設定画面を開き、トラッキングモードをオブジェクトトラッキングモードに変更します。
これでMotionTrackerの設定は完了です。

## Unityの準備
Unityで新規プロジェクトを作成します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/4a4d7357-7349-339c-b0bc-f3ad246b035d.png)

プロジェクトを作成できたらPICO Unity Integration SDKの最新版を以下のPICOのサイトからダウンロードします。
https://developer.picoxr.com/resources/

Unityのパッケージマネージャーを開き、右上の＋ボタンからAdd package from diskを選択し、先ほどダウンロードしたSDKをインポートします。
![download.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/6b62fc28-8c38-a81d-9110-84fedcdb4e29.png)

## ヘッドセットのセットアップ
トラッカーを制御する前にヘッドセットを使用できるようにします。
Unity上部のメニューからGameObject->XR->XR Origin(VR)を選択し追加します。
![download.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/090e1fa6-92b7-f06a-b7f9-535f4675ca4b.png)

次にパススルーの設定を行います。
シーンに配置されたXR Origin->Camera Offset->Main Cameraをクリックし、インスペクターのCameraの中のEnviroment TypeをSolid Colorへ変更し、Backgroundを画像のように変更します。
![download.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/fab2afc6-4cd6-23b7-15a6-f1600f0906f9.png)

次にXR OriginにPXR_Managerを追加し、Video Seethroughをオンにします。
![download.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/ee754e38-137e-5c41-b584-76098b664dff.png)

またUniversal Render Pipeline (URP)を使用している場合はHDRをオフにしてください。
これをしないとパススルーができず真っ暗な画面になります。
![download.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/20e0b266-11a2-4c83-48ea-1caf9f562481.png)

次にパススルーを有効化させるためのスクリプトを作ります。
PassthroughEnablerという名前でスクリプトを作成し、以下のコードを書いてください。
```
using UnityEngine;
using Unity.XR.PXR;
using UnityEngine.Android;
public class PassthroughEnabler : MonoBehaviour
{
    void Start()
    {
        if (!Permission.HasUserAuthorizedPermission(Permission.Camera))
        {
            Permission.RequestUserPermission(Permission.Camera);
        }
        // パススルー設定
        PXR_Manager.EnableVideoSeeThrough = true;
    } 

    void Update()
    {
        PXR_Manager.EnableVideoSeeThrough = true;
    }
    private void OnApplicationPause(bool pauseStatus)
    {
        // Pauseからの復帰時、再度パススルーにする
        if (!pauseStatus)
        {
            PXR_Manager.EnableVideoSeeThrough = true;
        }
    }
}
```

このコードを使用することでアプリ開始時にパススルーが有効になるだけでなく、ヘッドセットを一時的に外すなどアプリが一時停止され、復帰した時も自動的にパススルーが起動するようになります。

## トラッカーを制御する
トラッカーの位置にCubeを出してみましょう。
まず、トラッカーを制御するためにTrackerFollowerというスクリプトを作成し、以下のコードを書いてください。

```
using UnityEngine;
using Unity.XR.PXR;
using System.Collections;

public class TrackerFollower : MonoBehaviour
{
    public GameObject[] trackerCubes = new GameObject[3];
    private int maxTrackers = 3;
    private bool update_motion = true;

    void Start()
    {
        for (int i = 0; i < maxTrackers; i++)
        {
            if (trackerCubes[i] != null)
            {
                trackerCubes[i].SetActive(false);
            }
        }
    }

    void Update()
    {
        MotionTrackerMode trackingMode = PXR_MotionTracking.GetMotionTrackerMode();

        // トラッカーの状態を更新
        if (update_motion && trackingMode == MotionTrackerMode.MotionTracking)
        {
            // トラッカーの接続状態を取得
            MotionTrackerConnectState mtcs = new MotionTrackerConnectState();
            PXR_MotionTracking.GetMotionTrackerConnectStateWithSN(ref mtcs);

            // 認識されたトラッカーの数に基づいてCubeを有効化
            for (int i = 0; i < maxTrackers; i++)
            {
                if (i < mtcs.trackerSum)  // 接続されているトラッカーがある場合
                {
                    string sn = mtcs.trackersSN[i].value.ToString().Trim();
                    if (!string.IsNullOrEmpty(sn))
                    {
                        MotionTrackerLocations locations = new MotionTrackerLocations();
                        MotionTrackerConfidence confidence = new MotionTrackerConfidence();
                        PXR_MotionTracking.GetMotionTrackerLocations(mtcs.trackersSN[i], ref locations, ref confidence);
                        MotionTrackerLocation localLocation = locations.localLocation;

                        // Cubeを有効化し、トラッカーの位置・回転を反映
                        if (trackerCubes[i] != null)
                        {
                            trackerCubes[i].SetActive(true); // Cubeを有効化
                            trackerCubes[i].transform.position = new Vector3(localLocation.pose.Position.x, localLocation.pose.Position.y, localLocation.pose.Position.z * -1);
                            trackerCubes[i].transform.rotation = new Quaternion(
                                -localLocation.pose.Orientation.x,
                                -localLocation.pose.Orientation.y,
                                localLocation.pose.Orientation.z,
                                localLocation.pose.Orientation.w);
                            trackerCubes[i].transform.localScale = Vector3.one * 0.1f;
                            //Debug.Log($"Cube {i + 1} - Position: {trackerCubes[i].transform.position}");
                            //Debug.Log($"Cube {i + 1} - Rotation: {trackerCubes[i].transform.rotation.eulerAngles}");

                        }
                    }
                }
                else
                {
                    // トラッカーが認識されていない場合はCubeを無効化
                    if (trackerCubes[i] != null)
                    {
                        trackerCubes[i].SetActive(false);
                    }
                }
            }
        }
    }
}
```

このコードでトラッカーの位置情報と回転情報を受け取り、任意のオブジェクトに反映させることができます。
またトラッカーはPICO4自体が合計3つまで認識が可能なため、maxTrackersは3となっています。

次にシーンに空のGameObjectを追加し、先ほど作ったPassthroughEnablerとTrackerFollowerをそれにアタッチします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/dd044ce3-5865-ea42-a713-616d5e4edab3.png)

次にトラッカーの位置に表示させるコンテンツの格納先として空のGameObjectを作成し、MotionTrackerTransformに名前を変更します。インスペクターからPosition、Rotationを0に、Scaleが全て1に変更してください。
![download.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/50a460f1-8ed0-69bb-7659-5ce585ba00d8.png)

次にコンテンツを配置したいのですが、実はこのままだとUnityの回転方向とモーショントラッカーの回転軸が違うため角度の修正を行う必要があります、なので角度を修正するためのオブジェクトを作成します。
MotionTrackerTransformの下に空のGameObjectを作成し、3D_1に名前を変更します。
3D_1のPositionが全て0に設定し、RotationはX-90,Y180,Z0に、Scaleは全て1に設定してください。
![1728460622.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/83d3bdf6-b017-5c37-ea03-fcea081d94d4.png)
![download.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/c4519580-1096-d38c-9f84-de6adf72bedd.png)


それができたら、3D_1を2回複製し、それぞれ3D_2、3D_3と名前を変更します。
これで回転軸がトラッカーと一致するようになります。
![download.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/af0e8eda-ef56-c322-c7d3-eab9e7e3d113.png)

次にシーンに3つCubeを追加し、それぞれの3Dの子に設定します。
その後、それぞれのCubeのPosition、Rotationを全て0にします。
![download.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/d1c252af-e7ea-668c-36b0-344e34c1be12.png)

そしてGameObjectにアタッチされているTracker FollowerのTracker Cubesにそれぞれ3D_1、3D_2、3D_3をアタッチします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/d25f49c7-3435-2ee0-b4d0-cdc7cdd7eebb.png)

これでトラッカーの位置にCubeを出す準備ができました。
また別で用意したオブジェクトやコンテンツなどを表示したい場合は、Cubeを置き換えることで簡単に入れ替えることができます。

## 実機で実行
PCとPICO4UltraをUSBで接続し、開発者モードを有効化し、USBデバッグをオンにします。
![image.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/fc85749e-43b0-baf4-ec66-ab230fea046c.jpeg)

UnityでPlatformをAndroidに設定し、ビルドして実行します。
![download.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/4a82ccb1-f8d0-5ca3-b201-6f2f0d23f8e0.png)

アプリが立ち上がるとトラッカーの位置にCubeが表示されるようになります。
写真では手の上にトラッカーを乗せているため、手の上にCubeが表示されています。
![image.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3674280/8adbdd17-0a94-c346-90f2-7c6bf5e5ec8f.jpeg)