OVR Lipsync 更新（2019-04-23日版）

Oculus の Avatar SDK と OVR Lipsync にアップデートが来ていたので更新。


<!--
https://qiita.com/sator_imaging/items/795ebbb76dac260c0000
-->




- [OVR Lipsync 1.36.0（2019/04/23 リリース）](#ovr-lipsync-136020190423-リリース)
    - [OVRLipSyncContextMorphTarget](#ovrlipsynccontextmorphtarget)
- [VRM 対応](#vrm-対応)
- [Avatar SDK](#avatar-sdk)
- [キャラクターの目線コントロール](#キャラクターの目線コントロール)
- [対応している Unity のバージョン](#対応している-unity-のバージョン)
- [Viseme おさらい](#viseme-おさらい)
    - [作るべきモーフターゲット](#作るべきモーフターゲット)
        - [こちらもどうぞ](#こちらもどうぞ)
- [バージョン別 OVR Lipsync 新機能一覧](#バージョン別-ovr-lipsync-新機能一覧)
    - [OVR Lipsync 1.16.0](#ovr-lipsync-1160)
        - [口パクの事前計算、いつの間にか追加されてた。](#口パクの事前計算いつの間にか追加されてた)
    - [OVR Lipsync 1.28.0](#ovr-lipsync-1280)
    - [OVR Lipsync 1.30.0](#ovr-lipsync-1300)
    - [OVR Lipsync 1.36.0](#ovr-lipsync-1360)




## OVR Lipsync 1.36.0（2019/04/23 リリース）


解析エンジン自体は、相変わらず高音の伸びが怪しい、というか、喋り用のリップシンクなので、音の変化のある瞬間しかとらえてない感じなのは変わらず。。。


VTuber のスクショタイムなどで、「いーーーー」と言って笑顔を作ろうとしても作れず、言い始めた最初だけ口が開いて、その後すぐ閉じちゃうのはこのせいだろうな。

「い、い、い、い、い、い」と言い続けないと笑顔を維持できない地獄は変わらず。


追加でそれ用の処理を実装。


### OVRLipSyncContextMorphTarget

OVRLipSyncContextMorphTarget から LateUpdate が（多分）無くなってる？ カスタマイズしやすくなった。


あと、Inspector が便利に。


<p><img src="https://dl.dropbox.com/s/8sub5xbddhaoqw9/OVR%20Lipsync%EF%BC%882019-04-23%E6%97%A5%E7%89%88%EF%BC%89.png" /></p>




- [Oculus Lipsync Unity | Developer Center | Oculus](https://developer.oculus.com/downloads/package/oculus-lipsync-unity/)
    <iframe
        class="embed-card embed-webcard"
        scrolling="no"  frameborder="0"
        style="
            display: block;  border: none;
            margin: 10px 0px;
            width: 100%; height: 155px;
            max-width: 500px;
        "
        src="https://hatenablog-parts.com/embed?url=https://developer.oculus.com/downloads/package/oculus-lipsync-unity/">
    </iframe>



<!--more-->


## VRM 対応



- [TsubokuLab/VRMLipSyncContextMorphTarget](https://github.com/TsubokuLab/VRMLipSyncContextMorphTarget)
    <iframe
        class="embed-card embed-webcard"
        scrolling="no"  frameborder="0"
        style="
            display: block;  border: none;
            margin: 10px 0px;
            width: 100%; height: 155px;
            max-width: 500px;
        "
        src="https://hatenablog-parts.com/embed?url=https://github.com/TsubokuLab/VRMLipSyncContextMorphTarget">
    </iframe>


※ 以下より。


- [【アーカイブ】VRMモデルをOVRLipSyncに対応させる方法 - Qiita](https://qiita.com/Nekomasu/items/104808f7ecd26f1e362a)
    <iframe
        class="embed-card embed-webcard"
        scrolling="no"  frameborder="0"
        style="
            display: block;  border: none;
            margin: 10px 0px;
            width: 100%; height: 155px;
            max-width: 500px;
        "
        src="https://hatenablog-parts.com/embed?url=https://qiita.com/Nekomasu/items/104808f7ecd26f1e362a">
    </iframe>




## Avatar SDK


- [Introducing Avatar SDK: Expressive Update | Oculus](https://developer.oculus.com/blog/introducing-avatar-sdk-expressive-update/)
    <iframe
        class="embed-card embed-webcard"
        scrolling="no"  frameborder="0"
        style="
            display: block;  border: none;
            margin: 10px 0px;
            width: 100%; height: 155px;
            max-width: 500px;
        "
        src="https://hatenablog-parts.com/embed?url=https://developer.oculus.com/blog/introducing-avatar-sdk-expressive-update/">
    </iframe>



## キャラクターの目線コントロール

Avatar SDK には、口パク以外にも目線コントロールのコンポーネントも入ってる。

アバターに設定されている視野内に入った注視対象物に、自動で目線を送るようになってるっぽい事が書いてあるので、ずーーーっとカメラ目線になっちゃうのが防げそうな感じ。（まだ試してない）



> Setting Up Gaze Targets
As an Avatar’s gaze shifts, different gaze targets enter and leave its field of view, and its eyes automatically move between and focus on valid gaze targets. See the “Gaze Modeling” section below for more information on gaze targeting.



- [Expressive Features for Avatars - Unity](https://developer.oculus.com/documentation/avatarsdk/latest/concepts/avatars-expressive-unity/)
    <iframe
        class="embed-card embed-webcard"
        scrolling="no"  frameborder="0"
        style="
            display: block;  border: none;
            margin: 10px 0px;
            width: 100%; height: 155px;
            max-width: 500px;
        "
        src="https://hatenablog-parts.com/embed?url=https://developer.oculus.com/documentation/avatarsdk/latest/concepts/avatars-expressive-unity/">
    </iframe>





## 対応している Unity のバージョン


> Recommended Unity Versions
> We recommend using one of the following Unity versions for all Oculus development.
> - 2017.4.21f1 (Recommended)
> - 2018.3.10f1


> The minimum supported version for Oculus development is Unity Editor version 2017.4.11f1.



- [Compatibility and Version Requirements](https://developer.oculus.com/documentation/unity/latest/concepts/unity-req/)
    <iframe
        class="embed-card embed-webcard"
        scrolling="no"  frameborder="0"
        style="
            display: block;  border: none;
            margin: 10px 0px;
            width: 100%; height: 155px;
            max-width: 500px;
        "
        src="https://hatenablog-parts.com/embed?url=https://developer.oculus.com/documentation/unity/latest/concepts/unity-req/">
    </iframe>





## Viseme おさらい


- [Viseme Reference](https://developer.oculus.com/documentation/audiosdk/latest/concepts/audio-ovrlipsync-viseme-reference/)
    <iframe
        class="embed-card embed-webcard"
        scrolling="no"  frameborder="0"
        style="
            display: block;  border: none;
            margin: 10px 0px;
            width: 100%; height: 155px;
            max-width: 500px;
        "
        src="https://hatenablog-parts.com/embed?url=https://developer.oculus.com/documentation/audiosdk/latest/concepts/audio-ovrlipsync-viseme-reference/">
    </iframe>




### 作るべきモーフターゲット

T.B.D.


--

#### こちらもどうぞ

- [#VTuber関連まとめ - Qiita](https://qiita.com/sator_imaging/items/5d3b4466a2a1539184d0)
   <iframe
      class="embed-card embed-webcard"
      scrolling="no"  frameborder="0"
      style="
         display: block;  border: none;
         margin: 10px 0px;
         width: 100%; height: 155px;
         max-width: 500px;
      "
      src="https://hatenablog-parts.com/embed?url=https://qiita.com/sator_imaging/items/5d3b4466a2a1539184d0">
   </iframe>



--


## バージョン別 OVR Lipsync 新機能一覧

大分古いまま走っていたので、かなり増えてる。



### OVR Lipsync 1.16.0

New Features

- Added support for pre-computed visemes.
- Viseme engine improved for Rift to generate smoother and more accurate visemes.


#### 口パクの事前計算、いつの間にか追加されてた。


- [Precomputing Visemes to Save CPU Processing in Unity](https://developer.oculus.com/documentation/audiosdk/latest/concepts/audio-ovrlipsync-precomputed/)
    <iframe
        class="embed-card embed-webcard"
        scrolling="no"  frameborder="0"
        style="
            display: block;  border: none;
            margin: 10px 0px;
            width: 100%; height: 155px;
            max-width: 500px;
        "
        src="https://hatenablog-parts.com/embed?url=https://developer.oculus.com/documentation/audiosdk/latest/concepts/audio-ovrlipsync-precomputed/">
    </iframe>




### OVR Lipsync 1.28.0

New Features

- Added a new method for lip sync which has a slower run-time but provides significantly enhanced accuracy and is more robust against non-speaker noise
- Added the ability to switch between the ”Original” and new “Enhanced” lip sync methods
- Usability improvements:
  - Improved Prefabs
  - Tooltips are now available for all UI options
  - No longer consumes keyboard inputs by default


### OVR Lipsync 1.30.0

New Features

- Added new beta laughter detection feature under provider: Enhanced_with_Laughter
- Added DSP acceleration option for supported devices
- Added binaries for ARM64 deployment
- Usability improvements:
  - Improved offline lipsync asset generation with progress bar
  - Improved offline lipsync asset generation with support of non-preloaded audio assets
  - Added labels to Viseme to Blend Target lists in UI


### OVR Lipsync 1.36.0

- More accurate canned lip sync predictions
- IOS Support