Sucial/photon-models

iZotope / BorisFX Photon 模型提取与转换

从 C:\Users\Public\Documents\BorisFX\iZotope\models 的 14 个 .model4 还原出来的模型资产。

目录

目录	内容
raw/<模型>/	一个模型一个文件夹：<模型>.safetensors（解混淆后的权重）+ blobs/（容器内嵌的 ONNX/GGUF/CoreML 产物）
torch_models/	可被 pymss / MSST 直接加载的 4 个模型（.ckpt + config.yaml）
onnx/	13 个独立可跑的 ONNX（权重已内联，不依赖 iZotope 运行时）
docs/	分析报告与原理说明
scripts/	全部脚本与中间数据
output/	测试音频与测试日志

三个核心结论

1. .model4 既不是 torch，也不是"加密的 torch"

它是 safetensors 容器 + 每个文件一条 256 字节循环 XOR 密钥流。没有 pickle、没有 zip、程序里也没有 libtorch。

2. 它是多后端封装，Windows 上实际用 onnxruntime 跑

容器里同时装了 ONNX 图、GGUF、CoreML(+MLX) 三套产物，元数据 graphs 里列明每个模型支持哪些后端。C++ 侧只做容器解析、张量绑定和会话管理——模型结构就在 ONNX 图里，不是硬编码在程序里。

3. 14 个模型，覆盖 14 个

• torch_models/ 4 个（BS-RoFormer，pymss / MSST 可直接加载）
• onnx/ 13 个（其中 3 个与上者重叠；music4stemhq 容器里没有 ONNX 图，只能走 PyTorch）

14 个模型分别是什么

模型	类型	作用
voice2stem_v03	BS-RoFormer	人声 / 伴奏 2 轨
voicesep2stem	BS-RoFormer	人声 / 其他（说话人由 diarization 再切）
drumsep_1.3	BS-RoFormer	鼓 5 件：kick/snare/toms/hihat/cymbals
music4stemhq	BS-RoFormer	音乐 4 轨 HQ：drums/bass/vocals/other
musicnew4stem	SCNet	音乐 4 轨：drums/bass/vocals/other
cinema4stem	Bandit v2	影视 4 轨：dialogue/music/sfx/other
voice_restore	BS-RoFormer + 条件头	语音修复（降噪/去混响/音色/电平），非分轨
indoor / indoor-noisy / outdoor / outdoor-traffic / outdoor-wind	ConvNeXt U-Net GAN	场景降噪 / 去残留
redimnet_ptn_activity	ReDimNet	说话人嵌入编码
speaker_activity_single_pass	小型 Transformer 打分头	说话人活动检测

快速开始

# ONNX（推荐，纯推理）
import onnxruntime as ort, numpy as np
sess = ort.InferenceSession(r"E:\AI\models\onnx\indoor_dedup_v01.onnx",
                            providers=["CPUExecutionProvider"])
inp = sess.get_inputs()[0]          # Input1 [1,1,1,16384] 原始音频
out = sess.run(None, {inp.name: np.zeros(inp.shape, dtype=np.float32)})

# PyTorch（需要 pymss 或 MSST 的模型定义）
import sys; sys.path.insert(0, r"E:\vs\pymss-core")
from pymss_core.checkpoint import load_model_weights
from pymss_core.modules.bs_roformer.bs_roformer import BSRoformer
load_model_weights(model, r"E:\AI\models\torch_models\voice2stem_v03_fp16c_t2\voice2stem_v03_fp16c_t2.ckpt",
                   strict=True)

重要限制

• 所有 ONNX 都是静态形状，必须严格按帧数喂（roformer 系 801 / 690 / 751 帧，dedup 是 16384 样本）
• roformer 系的输入不是音频，是 STFT（[B, 2, 1025, T, 2]，最后一维实部/虚部），STFT/iSTFT 要自己做
• 详细参数见 onnx/README.md、torch_models/README.md，原理与来龙去脉见 docs/

法律

模型权重版权归 iZotope / BorisFX 所有。本目录仅用于格式兼容性与可移植性研究，请勿再分发。