Elixir(Livebook) で VRM をパースしてみる

# はじめに
VRM を扱うライブラリとして、[UniVRM](https://github.com/vrm-c/UniVRM) や [VRM4U](https://github.com/ruyo/VRM4U)、[three-vrm](https://github.com/pixiv/three-vrm)などがありますが、
Elixir で VRM を扱うライブラリがなかったため、今回は Elixir で VRM のパースして中身を見ていこうと思います。


# VRM とは
VRM は [glTF-2.0](https://github.com/KhronosGroup/glTF/blob/main/specification/2.0/README.md) のバイナリ形式である glb をベースとして作られています。この glb をヒューマノイドとして扱うのに必要なものを定義したフォーマットになります。

https://vrm.dev/vrm/vrm_about#id2

VRM は glb を拡張して作られているため、拡張子を `.vrm` から `.glb` に変えるとglTF対応のソフトで読み込むことも可能です(但し、VRM で拡張された情報は読み込まれません)。


# glb とは
KhronosGroup が使用策定をしてる JSON 形式で 3D モデルのを表現するフォーマットとして glTF があります。

glTF はメッシュやテスクチャなどのバイナリデータは別ファイルに分かれており、URL やパスで参照する形になっています。一方、glb ではメッシュやテスクチャなどの情報をひとつのファイルにまとめたバイナリ形式のフォーマットです。
glTF では読み込み時に外部ファイルの参照が必要になりますが、glb では外部ファイルの参照をせずにバイナリファイル内の参照で済みます。

https://registry.khronos.org/glTF/specs/2.0/glTF-2.0.html#glb-file-format-specification

# glb 形式
glb は `Header 部` + `JSON Chunk 部` + `BINARY Chunk 部` の3つからできています。また glb の値は Little Endian で保存されています。

<img src="https://raw.githubusercontent.com/KhronosGroup/glTF/main/specification/2.0/figures/glb2.svg">

[glTF仕様書](https://registry.khronos.org/glTF/specs/2.0/glTF-2.0.html#binary-gltf-layout-overview)から引用

## Header 部
Header 部は合計12バイトの長さがあります。
Magic は ASCII で `glTF`、Version は glTF バージョンである2固定です。Length は Header部を含むファイル全体のデータサイズを表しています。

|バイト数|内容|型|値|
|---|---|---|---|
|4|magic|ascii|"glTF"|
|4|version|int32|2|
|4|length|int32||

## Chunk 部
Chunk 部の chunk size は chunk data のバイトサイズを表しています。また、chunk type でこの Chunk が Json Chunk と Binary Chunk のどちらかを示しています。

|バイト数|内容|型|値|
|---|---|---|---|
|4|chunk size|int32||
|4|chunk type|int32|“JSON” or “BIN\x00”|
|4|chunk data|バイト列||


# LiveBook で VRM をパースしてみる
iex でもできますが、今回は LiveBook を使って VRM のパースしてみようと思います。


## セットアップ
今回、Json のデコードに Jason、画像の表示に Kino を使うので、ライブラリ追加を追加します。
```elixir
Mix.install([
  {:jason, "~> 1.4"},
  {:kino, "~> 0.8"}
])
```

## VRM のパース

今回はサンプルとして AIcia Solid の VRM モデルを使います。
[https://3d.nicovideo.jp/alicia/](https://3d.nicovideo.jp/alicia/)
```elixir
alicia_solid = File.read!("alicia_solid.vrm")
```
[glb 形式](#glb-形式) で紹介した VRM のバイナリの構造をパターンマッチを使ってパースしていきます。

```elixir
binary = IO.iodata_to_binary(alicia_solid)

<<"glTF"::binary, 2::32-little-integer, length::32-little-integer,
  rest::size((length - 12) * 8)-bits>> = binary
<<length::32-little-integer, "JSON"::binary, json_chunk_data::size(length)-bytes, rest::bits>> =
  rest
<<length::32-little-integer, "BIN\0"::binary, binary_chunk_data::size(length)-bytes>> = rest
```
Header、Json Chunk、Binary Chunk の順にパターンマッチでパースしていきます。このとき、glb は Little Endian のため、int の修飾子は `32-little-integer` を指定する必要があります。また、`size(length)-bytes` で chunk size で指定された長さ分 chunk data を取得します。

UniVRM のドキュメントに Python を使ったパース例がのってますが、Elixir のバイナリのパターンマッチを利用するとかなり短く書けます。
https://vrm-c.github.io/UniVRM/en/implementation/format.html#python3

Json Chunk のデータはエンコードされた状態なので Jason でデコードをする必要があります。
```elixir
alicia_data = Jason.decode!(json_chunk_data)
```

## VRM の画像一覧
VRM のパースができたので VRM の中に保存されている画像一覧を取得してみようと思います。

画像に関する情報がどこに入っているかというと、`"images"` の中に入っています。

```elixir
alicia_data["images"]
```
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3081963/c3a9d399-343d-e9fa-9349-14fb3b8267c4.png)
ファイル名に加えて MIME Type と `bufferView` というカラムが入っています。 glb には `bufferViews` というカラムがあり、`bufferView`はこの index の値になります。

`bufferViews`ですが、対象のデータが Buffer 領域のどこからどこまでかを示す値になります。
```elixir
alicia_data["bufferViews"]
```
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3081963/c702b98f-8047-a581-81c3-d813d295f8e0.png)

画像一覧を取得して Kino.Image を使って表示させると下のようになります。

```elixir
%{"images" => images, "bufferViews" => buffer_views} = alicia_data

images
|> Enum.map(fn image ->
  %{"bufferView" => index, "mimeType" => mime_type} = image
  %{"byteOffset" => offset, "byteLength" => length} = Enum.at(buffer_views, index)

  <<_::size(offset)-bytes, content::size(length)-bytes, _::bits>> = binary_chunk_data
  %{mime_type: mime_type, content: content}
end)
|> Enum.map(& struct!(Kino.Image, &1))
|> Kino.Layout.grid(columns: 3)
```
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3081963/92c6bb36-04e1-1ba0-7f1c-bd714d27e749.png)

UniVRM で VRM を読み込んだ場合、Textures は以下で、今回読み込んだ VRM のテスクチャ画像と一致してそうです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3081963/b87f1d35-5b34-b680-13f9-6df01fcf771e.png)


# おわりに

今回は Elixir で VRM をパースして画像一覧を取得してみました。

AIcia Solid の VRM モデルを使いましたが、VRoid Studio のサンプルキャラも同様にテクスチャ一覧が出せます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3081963/25b4cc2c-5148-6c50-53bb-36e5cee38f01.png)

今回出力した画像一覧の中にキャラクタのサムネイル画像が含まれていますが、
次回は VRM の Meta ファイルを読んでサムネイルを取得しようと思います。

https://qiita.com/nasshu2916/items/4765afe95e9dda106aa1