SparseFlex: High-Resolution and Arbitrary-Topology 3D Shape Modeling(2025)

### SparseFlex: High-Resolution and Arbitrary-Topology 3D Shape Modeling (He, 2025) 

TripoSFの論文


![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2981660/36732f7a-9c82-4ed3-8ff3-68187ffad9d6.png)
#### 3行要約
1. ✨ SparseFlexは、高解像度かつ任意のトポロジー（開いた表面や内部構造を含む）を持つ3D形状のモデリングを可能にする、新しい疎構造アイソサーフェス表現です。
2. 💾 この手法は、レンダリング損失からの微分可能なメッシュ再構成を実現し、メモリ消費量を大幅に削減するフラスタム認識セクショナルボクセルトレーニング戦略を導入しました。
3. 📊 実験により、SparseFlexは最先端の再構成精度を達成し、高解像度で詳細な3D形状を任意のトポロジーで生成できることが示されました。



#### Q:提案手法の概要を説明してください
#### A:
本論文は、高解像度かつ任意トポロジー（オープンサーフェスや複雑なインテリア構造を含む）を持つ3Dメッシュを高忠実度に再構築および生成するための新しい手法、SparseFlex を提案する。既存の Implicit Field 手法が watertight conversion による詳細劣化や高メモリ消費に課題を抱える中、SparseFlex は疎な構造を持つ微分可能なアイソサーフェス表現を用いることでこれを解決する。

SparseFlex は、Dual Marching Cubes に基づく Flexicubes の正確で微分可能なアイソサーフェス抽出能力を基盤としつつ、密なグリッドの代わりに疎なボクセル構造を導入する。これにより、計算をサーフェス近傍に集中させ、高解像度（最大 1024³）でのメモリ効率化を実現する。SparseFlex 表現は、ボクセル中心のセット $V=\{v_i\}$、コーナーグリッドに関連付けられた SDF 値 $s_j$ と変形ベクトル $\delta_j$ からなる特徴量 $F_c=\{s_j, \delta_j\}$、および各ボクセルに関連付けられた補間重み $\alpha_i, \beta_i$ からなる特徴量 $F_v=\{\alpha_i, \beta_i\}$ で定義される（式(1)参照）。疎性により、ボクセル数 $N_v$ およびコーナーグリッド数 $N_c$ は密なグリッドの解像度に比べて大幅に削減され、オープンサーフェスも不要なボクセルを省略することで自然に表現できる。

SparseFlex VAE は、この表現を用いて3D形状のコンパクトな潜在空間を学習する。エンコーダーは、入力点群と法線をボクセル化して疎なボクセル構造 V と PointNet で抽出されたボクセル特徴量 F を得る。これらの疎な特徴量は sparse transformer を経て潜在コード z に圧縮される。デコーダーは潜在コード z から SparseFlex インスタンスのパラメータ（SDF 値、変形ベクトル、補間重み）を予測する。デコーダー内には、解像度を段階的に増加させる self-pruning upsampling モジュールがあり、予測された占有度に基づいて不要なボクセルを pruning することで疎性を維持し、オープンサーフェスの表現精度を高める。

SparseFlex VAE の学習には、微分可能な SparseFlex 表現と、新提案の frustum-aware sectional voxel training 戦略が用いられる。この戦略は、カメラの viewing frustum 内にあるボクセル $V_{active}$ のみを有効化（アイソサーフェス抽出とレンダリングに含める）することで、高解像度での学習におけるメモリ消費と計算量を劇的に削減する（式(2)参照）。visibility ratio $\alpha$ を制御する adaptive frustum 調整により、効率的な学習が可能となるだけでなく、カメラ位置や near clipping plane を調整することで、レンダリング監視のみを用いてメッシュの内部構造を再構築することも可能になる。学習はエンドツーエンドで行われ、総損失 L はレンダリングロス $L_{render}$（深度、法線、マスクの L1 ロス、法線マップの SSIM、LPIPS ロス）、疎なボクセル構造の構築を監視する BCE ロス $L_{prune}$（式(5)参照）、潜在空間を正則化する KL divergence $L_{KL}$、および Flexicubes の正則化項 $L_{flex}$ から構成される（式(3)参照）。

学習済み SparseFlex VAE を基盤として、Rectified Flow モデルを用いた画像から3Dへの生成パイプラインが構築される。Structure Flow Model で画像から低解像度の疎な構造を生成し、Structured Latent Flow Model で画像と疎な構造を基に SparseFlex VAE の structured latent space 上で latent representation を生成、最後に SparseFlex VAE のデコーダーで3D形状を出力する。

実験では、Toys4k、Dora benchmark、Deepfashion3D などのデータセットで、既存の SOTA 手法に対し、再構築精度において Chamfer Distance で約82%削減、F-score で約88%増加という顕著な改善を達成した。画像から3Dへの生成においても、FID、KID スコアで既存手法を上回る性能を示し、シャープなエッジと細かいディテールを持つ高品質な任意トポロジー形状の生成能力を実証した。

結論として、SparseFlex は高解像度、微分可能なメッシュ再構築およびレンダリングロスを用いた生成を可能にし、任意トポロジーの3D形状モデリングにおける SOTA を達成する。Frustum-aware training は高効率学習を可能にする重要な貢献である。課題としては、オープンサーフェスの境界アーティファクト、高解像度生成の計算コスト、インテリア構造生成の制御性の向上が挙げられる。



#### Q:提案手法の処理の流れを順序だてて説明してください
#### A:

SparseFlex手法の処理の流れは、主に以下の2つのフェーズに分けることができます。

1.  **SparseFlex VAEの学習（および再構築）パイプライン:**
    これは、入力として与えられた3D形状（ポイントクラウド）をエンコードし、SparseFlex表現としてデコードして、元の形状を高精度に再構築することを学習するプロセスです（図2参照）。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2981660/6e7eef41-c7b1-4a4f-8641-f90ebbd77110.png)


    *   **入力:** 3D形状を表面から一様にサンプリングしたPoint Cloud ($\mathcal{P}$) と対応する法線 ($\mathcal{N}$) が与えられます。
    *   **Voxelizationと特徴集約:** 入力Point Cloudから、SparseFlex表現の疎な構造であるVoxelの集合 ($\mathcal{V}$) を定義します。次に、PointNetを使用して各Voxel内のポイントの局所幾何学的な特徴 ($\mathcal{F}$) を集約します。
    *   **エンコーダー:** 疎なVoxel特徴 ($\mathcal{F}$) と構造 ($\mathcal{V}$) を、Sparse Transformerベースのエンコーダーに入力します。これにより、3D形状を表現するコンパクトな潜在コード ($z$) が生成されます。
    *   **デコーダー（アップサンプリングを含む）:** 潜在コード ($z$) はデコーダーに入力されます。デコーダーには、解像度を段階的に上げるための2つの畳み込み自己剪定アップサンプリングモジュールが含まれています。これらのモジュールは、新しいVoxelを生成しつつ、予測された占有率に基づいて冗長なVoxelを剪定（prune）します。これは特にOpen Surfaceの表現に有効です。
    *   **SparseFlexパラメーター予測:** デコーダーの最終層は、SparseFlexインスタンスを定義するパラメーターを予測します。これには、各Voxelに関連付けられた補間重み（α, β）と、コーナーグリッドに関連付けられたSDF値（s）および変形ベクトル（δ）が含まれます（式1参照）。
    *   **差分可能なレンダリングによる学習（Frustum-aware Sectional Voxel Training）:** これが学習の中核となる革新的な部分です（図3参照）。
        *   カメラの視点を選択します（内部構造を再構築するためにオブジェクト内に配置することも可能です）。
        *   SparseFlexのVoxel集合 ($\mathcal{V}$) のうち、選択されたカメラの視錐台（viewing frustum）内に存在するVoxelのみをアクティブ化（activate）します。
        *   アクティブ化されたVoxelからIsosurface（メッシュ）を抽出し、Depth Map, Normal Map, Mask Mapなどの画像をレンダリングします。
        *   レンダリングされた画像をGround Truthと比較してRendering Loss ($\mathcal{L}_{render}$) を計算します（式4参照）。
        *   Voxelの占有率を監督するPruning Loss ($\mathcal{L}_{prune}$）、潜在空間を正則化するKL Divergence Loss ($\mathcal{L}_{KL}$）、およびFlexicubesの正則化項 ($\mathcal{L}_{flex}$) も計算します（式3参照）。
        *   これらの損失の合計 ($\mathcal{L}$) を用いて、VAEのすべてのパラメーターをEnd-to-Endで更新します。
        *   適応的なFrustum制御戦略により、視錐台のNear/Far Clipping Planeを調整し、アクティブなVoxelの割合（α）を制御して効率的な学習を実現します。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2981660/a2c1278c-010c-4a90-a623-477c76b927a6.png)


2.  **画像からの3D形状生成パイプライン:**
    これは、学習済みのSparseFlex VAEを活用して、入力画像から高品質な3D形状を生成するプロセスです（図2の右側、およびセクション3.4参照）。このパイプラインは2つの主要なステージで構成されます。

    *   **ステージ1: 構造生成 (Structure Flow Model):**
        *   入力画像から（DINOv2などを使用して）画像特徴を抽出します。
        *   この画像特徴を条件として、別途学習されたRectified Flowモデル（低解像度空間で学習）が実行されます。
        *   このモデルは、生成したい3D形状の疎なVoxel構造 ($\mathcal{V}$) を生成します（これは、Structure VAEという別のVAEのデコーダーを介して行われます）。
    *   **ステージ2: 潜在コード生成 (Structured Latent Flow Model):**
        *   ステージ1で生成された疎な構造 ($\mathcal{V}$) と入力画像特徴を組み合わせて、別のRectified Flowモデルに入力します（これは、SparseFlex VAEのStructured Latent Spaceで学習されています）。
        *   このモデルは、SparseFlex VAEの潜在コード ($z$) を生成します。
    *   **最終形状デコーディング:** ステージ1で生成された構造 ($\mathcal{V}$) とステージ2で生成された潜在コード ($z$) を、学習済みのSparseFlex VAEのデコーダーに入力します。
    *   デコーダーは、SparseFlexインスタンスの完全なパラメーターを予測します。
    *   予測されたSparseFlexパラメーターから、最終的な3Dメッシュ（Open Surfaceや内部構造を含む、任意トポロジーの高解像度メッシュ）が抽出されます。

この流れにより、SparseFlexは効率的な高解像度表現と、レンダリング損失を用いた直接的な学習を実現し、高品質な3D形状の再構築と生成を可能にしています。



#### Q:関連手法との比較について詳しく説明してください
#### A:

SparseFlexは、既存の3D形状表現手法や生成手法と比較して、いくつかの重要な利点を持ち、特に高解像度かつ任意トポロジー（Open Surfaceや内部構造を含む）の形状モデリングにおいて優れた性能を発揮します。関連手法との比較について、論文の内容に基づいて詳しく説明しますね。

**1. 3D形状表現手法との比較**

*   **Dense Implicit Field (SDF, Occupancy Fieldなど):**
    *   **既存手法の課題:** これらの手法（[9, 10, 34, 35, 59, 77, 78, 87, 91, 93, 95]など）は高品質なメッシュ生成に広く用いられていますが、訓練データの作成にウォータータイト（Watertight、隙間のない）な形状への変換が必要な場合が多く[79, 91]、この前処理が計算コストが高い上に詳細な形状を劣化させることがあります。また、学習後のIsosurface抽出（Marching Cubes [43], Dual Contouring [26]など）でも精度低下やアーティファクトが生じ得ます。さらに、高解像度でのDense Gridを用いたレンダリングベースの学習では、非常に高いメモリ消費がボトルネックとなります[78]。
    *   **SparseFlexの優位性:** SparseFlexは、Dense Gridではなく**Sparse Voxel構造**を採用しています。これにより、高解像度（最大1024³）でもメモリ消費を大幅に削減できます。また、ウォータータイト変換を必要とせず、レンダリング損失を用いて直接最適化できるため、入力形状の詳細をよく保ちます。

*   **Open Surfaceに特化した手法 (UDFなど):**
    *   **既存手法の課題:** Unsigned Distance Field (UDF) [6, 11, 16, 38, 42, 84]はOpen Surfaceのモデリングに用いられますが、安定性に欠けたり、細かい詳細を捉えるのが難しかったりすることがあります。また、UDFからの表面抽出[17]はニューラルネットワークの勾配推定の不正確さから不安定になりがちです。3PSDF [6]は3極符号を用いていますが、バイナリ占有グリッドからの抽出に依存するため、表面に不連続性やアーティファクトを生じやすいです。G-Shell [40]は新しい表現ですが、Dense Grid構造のため複雑な形状を高解像度で扱うのに限界があります。
    *   **SparseFlexの優位性:** SparseFlexはFlexicubes [61]をベースとした**疎なIsosurface表現**です。この疎な構造は、Open Surfaceの周辺の不要なVoxelを自然に省略できるため、Open Surfaceを正確かつ効率的に表現できます（セクション3.1）。Flexicubesの differentiability により、UDFベースの手法よりも安定した高品質な表面抽出が可能です。Table 2に示すように、Deepfashion3DデータセットでのOpen Surface形状の再構築において、Surf-D [84]や3PSDF [6]を上回る性能を示しています。自己剪定アップサンプリングモジュール（Self-Pruning Upsampling module）の導入（セクション3.2, 4.5）も、Open Surface境界の精度向上に貢献しています。

*   **Triangle Meshベースの手法:**
    *   **既存手法の課題:** 三角形メッシュを直接生成する手法[51, 63, 66]は、低ポリゴンメッシュには有効ですが、面数の多い高詳細なメッシュの生成には苦労します。
    *   **SparseFlexの優位性:** SparseFlexはIsosurfaceとしてメッシュを抽出するため、高詳細なメッシュを高精度に生成できます。

*   **Point Cloudベースの手法:**
    *   **既存手法の課題:** Point Cloudは柔軟な表現ですが、しっかりとした表面を表現するためには別途表面再構築ステップが必要です[22, 27, 56]。
    *   **SparseFlexの優位性:** SparseFlexは、入力としてPoint Cloudを受け取りますが、その目的は形状の疎な構造と特徴を捉えることであり、最終的には高品質なメッシュ（Isosurface）として表面を再構築します。これはPoint Cloud手法の課題を補完するものです。

**2. 3D生成モデルとの比較**

SparseFlex VAEは、高品質な3D形状生成パイプライン（特に画像からの3D生成）の**基盤モデル**として機能します。

*   **大規模3D再構築モデルに依存する手法:**
    *   **既存手法の課題:** Multiview Diffusionモデルなどでテキストや画像から複数の視点画像を生成し、それを大規模3D再構築モデル[21, 33, 65, 67, 80, 81, 90, 97]で3Dに変換する手法があります。しかし、生成された視点画像間の不整合が結果の品質を低下させることが多いです。
    *   **SparseFlexの優位性:** SparseFlexベースの手法は、ネイティブに3D空間で学習・生成を行います。SparseFlex VAEが、多様で非コンパクトな3D形状をコンパクトな潜在空間にエンコードすることで、その後の生成モデル（Rectified Flow Transformerなど）がより効率的かつ高品質に学習・生成を行えるようになります。

*   **既存のVAE/VQ-VAEベースの生成手法 (TRELLIS [78]など):**
    *   **既存手法の課題:** 多くの手法がVAE/VQ-VAEを用いて3D形状を潜在空間にマッピングします[5, 31, 32, 78, 85]。しかし、VAE自体の再構築品質がその後の生成性能に直結します。特に、高解像度や複雑なトポロジーの形状を扱うには、基盤となる表現とVAEの能力が重要です。例えばTRELLIS [78]は疎な表現を用いていますが、レンダリングベースの学習におけるメモリ効率や、Open Surface、内部構造の扱いに限界がありました。
    *   **SparseFlexの優位性:** SparseFlex VAEは、提案されたSparseFlex表現とFrustum-aware Sectional Voxel Training戦略により、**高解像度かつ任意トポロジー**の形状を**高精度に再構築**できます。Table 1, 2, Figure 4, 5に示すように、Toys4kやDoraベンチマーク、Deepfashion3Dデータセットにおいて、Trellis [78]、Dora [5]、Craftsman [34]、XCubes [59]、3PSDF [6]などの既存手法と比較して、Chamfer Distance (CD) と F-scoreにおいて大幅な改善を達成しています（CDで約82%削減、F-scoreで約88%増加）。この優れた再構築能力が、Table 4やFigure 6に示すような、高品質な画像からの3D生成性能の基盤となっています。特に、SparseFlexとFrustum-aware Sectional Voxel Training戦略は、Tab. 3が示すように、既存手法（w/o FSVやw/o FSV & Sp）と比較して、高解像度でのGPUメモリ使用量とFeed-Forward時間を大幅に削減しています。

**まとめ**

SparseFlexは、**Sparse Voxel構造**と**Frustum-aware Sectional Voxel Training**という2つの核となる技術革新により、既存の3D形状表現および生成手法の主要な課題を克服しています。

*   **高解像度・メモリ効率:** Dense Implicit FieldやDense Grid手法が高解像度で直面するメモリの壁を、疎な構造と効率的な訓練戦略で打破します。
*   **任意トポロジー:** Open Surfaceや複雑な内部構造を、疎なIsosurface表現と自己剪定モジュール、そして内部も捉えられるレンダリング監督によって自然かつ高精度に扱えます。これはウォータータイト変換ベースの手法やUDFベースの手法に対する明確な優位性です。
*   **高品質再構築:** FlexicubesベースのIsosurface抽出とレンダリング損失によるEnd-to-End学習により、細かい詳細を維持した高精度な形状再構築を実現し、既存SOTA手法を大幅に上回ります。
*   **生成パイプラインの基盤:** この高精度なSparseFlex VAEが、その後の画像からの3D生成において、より高品質で詳細な形状の生成を可能にしています。

SparseFlexは、高解像度と任意トポロジーのモデリングにおけるブレークスルーをもたらし、今後の3Dコンテンツ生成研究の強力な基盤となりうる手法と言えます。


![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2981660/56795413-7a0a-4b18-9e06-6123b413ab8f.png)


#### Q:TripoSR, TripoSFとの違いについて言及されていますか
#### A:

論文中で、TripoSR [67, 97] および TripoSG [35] との直接的な違いについて、定量的な比較実験や詳細な技術的比較を解説するセクションは設けられていません。

しかし、これらの手法は関連研究として複数回引用されており、論文全体の文脈からSparseFlexがどのように位置づけられるかを示唆しています。

具体的には：

1.  **関連研究のリスト内での言及:**
    *   TripoSG [35] は、Introduction (セクション1) や Related Work (セクション2.2) において、Implicit Field表現を用いた3D生成モデル、特にRectified Flowモデルの例として挙げられています。SparseFlexもRectified Flow Transformerを生成パイプラインに組み込んでいますが（セクション3.4）、SparseFlexは基盤となる3D表現がSparseFlex（疎なFlexicubes）であり、生成はVAEの学習した疎な潜在空間で行われる点が異なります。TripoSGは、おそらく[85, 87, 93]などで言及されているような別のImplicit Field表現（Vector Setなど）に基づいています。
    *   TripoSR [67, 97] は、Related Work (セクション2.2) において、2Dマルチビュー拡散モデルに続く大規模3D再構築モデルのカテゴリの例として挙げられています。これらの手法は、テキストや画像からマルチビュー画像を生成し、それらから3D表現（Gaussian Splattingなど）を再構築することが多いです。SparseFlexの画像からの3D生成パイプラインは、これとは異なり、まず画像から形状の疎な構造を生成し、次にSparseFlex VAEの潜在空間で潜在コードを生成し、最後にVAEデコーダーでSparseFlex表現としてデコードするという、よりネイティブな3D空間での生成アプローチをとっています。

2.  **比較対象としての不在:**
    *   論文の実験セクション（セクション4）では、VAE再構築の評価において、Craftsman [34]、Trellis [78]、Dora [5]、XCubes [59]、Surf-D [84]、3PSDF [6] と比較しています。
    *   画像からの3D生成の評価においては、InstantMesh [80]、Direct3D [77]、TRELLIS [78] と比較しています。
    *   これらの比較対象リストの中に、TripoSRやTripoSGは含まれていません。

**結論として、** SparseFlexの論文は、TripoSRやTripoSGを3D生成・再構築分野の関連研究として引用していますが、これらの手法との技術的な詳細な比較や、実験結果に基づく直接的な性能比較は行っていません。SparseFlexは、独自の疎なIsosurface表現と効率的な学習戦略に焦点を当てて、高解像度かつ任意トポロジーの形状モデリングにおける優位性を示しており、それに対して既存のSOTA手法（主にImplicit Fieldベースの生成や再構築手法）と比較評価を行っています。TripoSRとTripoSGは、それぞれ異なる基盤技術（Gaussian Splattingや特定のImplicit Field表現）やパイプライン（マルチビュー生成からの再構築など）に基づいているため、SparseFlexとは異なる方向性からのSOTA手法と言えます。


#### Q:提案手法の限界と今後の課題はなんですか？
#### A:

SparseFlex手法は多くの点で優れていますが、論文のセクション5「Conclusion」の「Limitations」として、いくつかの限界と今後の課題についても言及しています。主な点を以下にまとめます。

1.  **Open Surface境界のアーティファクト（特に低解像度の場合）:**
    *   **限界:** Voxel剪定（pruning）によってOpen Surfaceは効果的に扱えますが、比較的低い解像度で形状を再構築または生成した場合、Open Surfaceの境界部分にわずかなアーティファクト（不自然な形状やギザギザなど）が現れる可能性があります。
    *   **今後の課題:** より高解像度で安定したOpen Surface境界の表現方法を探求すること。Voxelベースの表現に起因する離散性を、境界部分でより滑らかに補間・処理するメカニズムの改善が考えられます。

2.  **高解像度生成の計算コスト:**
    *   **限界:** SparseFlexとFrustum-aware Sectional Voxel Training戦略により、高解像度での「学習」は大幅に効率化されました。しかし、最終的な高解像度メッシュの「生成」（VAEデコーダーからのパラメーター予測とIsosurface抽出を含む）は、依然として計算リソースを比較的多く消費します。特に、非常に大規模で複雑な形状の高解像度生成には、時間がかかる可能性があります。
    *   **今後の課題:** 生成パイプライン全体の効率をさらに向上させること。例えば、より効率的なデコーディングプロセスや、高解像度生成をより高速化するための新しいサンプリング戦略や最適化技術の開発などが考えられます。

3.  **内部構造生成に対する制御の強化:**
    *   **限界:** Frustum-aware Sectional Voxel Training戦略により、レンダリング損失のみを用いて内部構造を再構築できる能力は実証されました。しかし、画像からの3D生成パイプラインにおいて、生成したい内部構造を細かく指定したり制御したりする能力は、まだ十分ではありません。
    *   **今後の課題:** 生成モデル（Rectified Flow Transformerなど）が、入力条件（画像など）から内部構造の詳細をより正確に推測し、制御できるようにするメカニズムを開発すること。例えば、内部構造に関する情報を含むような新しい潜在空間の構造を設計したり、内部に特化した損失や条件付けを導入したりする方向性が考えられます。

これらの課題は、SparseFlexが任意トポロジーの高解像度3D形状モデリングにおいて次のステップに進むために克服すべき重要な点を示唆しています。特に、実用的なアプリケーションにおいては、高速な生成と詳細な制御が求められるため、これらの限界を解消することがさらなるインパクトにつながるでしょう。