生成AI で Image to 3D による 3Dモデル生成：「TRELLIS」と「Stable Point Aware 3D」

生成AI で 3Dモデル生成という話は色々なサービスの情報を見かけますが、自分が個人的に気になったサービスを 2つほど試した際のメモとなる記事を書いてみました。

わりと最近出たと思われる 2つについて API・モデル関連の情報を調べてみたり、軽く試してみたという内容です。

## リスト
まずは、今回のお試しの候補にしていた 4つを掲載してみます。

- TRELLIS（Microsoft）
- Stable Point Aware 3D（Stability AI）
- Meshy AI
- Tripo AI

これらの中で、今回は最近登場した最初の 2つをとりあげます。

## 情報を見てみたり試してみたり
「TRELLIS」と「Stable Point Aware 3D」について、情報を少し見てみたり軽く試したりしてみます。

### TRELLIS
1つ目は Microsoftさんの「TRELLIS」です。

●TRELLIS: Structured 3D Latents for Scalable and Versatile 3D Generation
　https://trellis3d.github.io/

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50868/ce561998-bb50-5bb3-e962-d6191071ae1e.png)

●microsoft/TRELLIS: Official repo for paper "Structured 3D Latents for Scalable and Versatile 3D Generation".
　https://github.com/microsoft/TRELLIS

API やモデル関連の情報を見ていくと、記事執筆時点では以下のモデルが取得可能となっているようです。

![2025-01-14_19-27-56.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50868/08f76977-c677-8ebe-14e6-0c1ef0e06e5c.jpeg)

上記を見た感じ、これから公開予定のモデルもあるようです。

#### 試してみる
手軽に試すなら以下の Hugging Face上のデモサイトを使うのが簡単そうでした。

●TRELLIS - a Hugging Face Space by JeffreyXiang
　https://huggingface.co/spaces/JeffreyXiang/TRELLIS

ChatGPT を使った画像生成と組み合わせて、こんな感じで試してみました。

https://x.com/youtoy/status/1879117821738938555

### Stable Point-Aware 3D
次は Stability AI の Stable Point Aware 3D です。

最近出たばかりで、以下などのニュース記事も出ていました。

●Stability AI、画像を1秒で3Dモデル化する「Stable Point Aware 3D」を発表、リアルタイム編集も可能 - 窓の杜
　https://forest.watch.impress.co.jp/docs/news/1653138.html

プロジェクトページなどは以下になるようです。

●SPAR3D
　https://spar3d.github.io/

![2025-01-14_19-52-20.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50868/ce7d6913-7a70-dedb-86a0-21f161ab19f4.jpeg)

●Introducing Stable Point Aware 3D: Real-Time Editing and Complete Object Structure Generation — Stability AI
　https://stability.ai/news/stable-point-aware-3d

#### 試してみる
そして以下がデモページのようです。

●Stable Point-Aware 3D - a Hugging Face Space by stabilityai
　https://huggingface.co/spaces/stabilityai/stable-point-aware-3d

先ほどと同じ画像で試してみました。

https://x.com/youtoy/status/1879120630605664377

#### API の情報
こちらは以下のとおり、API でも利用できるようです。

●Stability AI - Developer Platform
　https://platform.stability.ai/docs/api-reference#tag/3D/paths/~1v2beta~13d~1stable-point-aware-3d/post

![2025-01-14_20-09-30.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/50868/336b3b05-e4b1-7d86-f522-920e22fcdafa.jpeg)

コードサンプルも提供されています。JavaScript だと以下となるようです。

```javascript
import axios from "axios";
import FormData from "form-data";
import fs from "node:fs";

const payload = {
    image: fs.createReadStream("./cat-statue.png"),
};

const response = await axios.postForm(
    `https://api.stability.ai/v2beta/3d/stable-point-aware-3d`,
    axios.toFormData(payload, new FormData()),
    {
        validateStatus: undefined,
        responseType: "arraybuffer",
        headers: {
            Authorization: `Bearer sk-MYAPIKEY`,
        },
    },
);

if (response.status === 200) {
    fs.writeFileSync("./3d-cat-statue.glb", Buffer.from(response.data));
} else {
    throw new Error(`${response.status}: ${response.data.toString()}`);
}
```

わりとシンプルな 画像の POSTリクエスト、という感じのようです。

## おわりに
今回、2つほど Image to 3D を試してみました。

元画像は ChatGPT で生成したものを試したのですが、公式のサンプル画像などを見てみたところでは、おそらくもう少し 3D っぽい画像を使うのが良さそうな感じがしました。
（あと、当初は真正面から見たような画像なども試してみてたのですが、その場合は例えば TRELLIS だとビルボードのようなものが生成されただけとなっていました）

### その他
別途、冒頭で書いていた「Meshy AI」や「Tripo AI」も、記事に記録を残しながらのお試しをできればと思います（以前、軽く試したことはあるものだったりするのですが）。

#### Meshy AI
●Introducing New Meshy UI: Quick Guide to a Unified Workflow
　https://www.meshy.ai/blog/new-meshy-workspace

●3D生成AI『Meshy-4』がリリース！大幅な品質向上、新しいワークフロー、リトライ機能など | CGinterest
　https://cginterest.com/2024/08/24/3d%E7%94%9F%E6%88%90ai%E3%80%8Emeshy-4%E3%80%8F%E3%81%8C%E3%83%AA%E3%83%AA%E3%83%BC%E3%82%B9%EF%BC%81%E5%A4%A7%E5%B9%85%E3%81%AA%E5%93%81%E8%B3%AA%E5%90%91%E4%B8%8A%E3%80%81%E6%96%B0%E3%81%97%E3%81%84/

●Image to 3D API - Meshy Docs
　https://docs.meshy.ai/api/image-to-3d#create-an-image-to-3d-task

#### Tripo AI
●Tripo AI - Create Your First 3D Model with Text and Image in Seconds
　https://www.tripo3d.ai/

●Tripo AI for Web
　https://www.tripo3d.ai/app/home

●3DモデルはAIで生成する時代へ ～「TripoSR」＆「Tripo AI for Web」情報まとめ - Blender ウォッチング - 窓の杜
　https://forest.watch.impress.co.jp/docs/serial/blenderwthing/1650262.html

●Platform of Tripo AI
　https://platform.tripo3d.ai/docs/quick-start