PBR Scorer — DINOv2 多任务质量打分器
对 PBR 材质贴图做逐通道质量打分（base_color / normal / roughness / metallic，0–5）。
模型
- 骨干：DINOv2-Large（冻结）+ CLIP-ViT-L 特征融合 + 4 个 NIMA/EMD 分布头。
- 训练：100k 资产，平方 EMD + 0.2·BCE + 0.05·ranking，metallic 权重 ×1.5。
- 输入：4 张通道贴图 + 渲染图（224²）+ render/base_color 的 CLIP 特征。
- 输出：每通道 6-bin 分布期望 = 0–5 分。
结果（old-test 4917, SRCC）
| mean | base | normal | rough | metallic |
|---|---|---|---|---|
| 0.797 | 0.845 | 0.810 | 0.905 | 0.627 |
CLIP 线性探针基线对比：base 0.80 / normal 0.51 / rough 0.57 / metallic 0.27 —— 本模型在难通道大幅领先。
用法
推理管线见配套代码仓库 pbr_scorer_mvp/inference.py（含预处理 + DINOv2 + CLIP + 头）：
from inference import PBRScorer
s = PBRScorer(ckpt="best.pt", cfg_path="config.yaml", device="cpu")
scores = s.score(render, base_color, normal_map, roughness, metallic)
局限
- 聚合 SRCC 受单人标注噪声封顶
0.79；metallic(0.63) 最弱。 - SRCC 不反映两端：生产更关心 0/5，两端 AUC≈0.90。
- 训练数据私有、不随模型分发。
License
继承 DINOv2 / CLIP 基座许可；本权重为衍生物，研究用途。
- Downloads last month
- -