hetero-moe-router — 路由实验三合一（全部失败或半成功）

已合并两个实验仓库：hetero-moe-router-unfrozen、hetero-moe-shared-routed 的内容现在在子目录里，原仓库已归档删除。

目录（本仓库已合并）

路径	原来在	内容

| unfrozen/ | hetero-moe-router-unfrozen | 专家解冻实验 | | shared-routed/ | hetero-moe-shared-routed | 共享专家 + 路由专家 | | 根目录 | 本仓库原有 | 专家冻结实验（v33 原设定） |

三个实验对照

实验	task loss	专家负载	探针	判定
根目录（冻结）	52.97 → 13.09	—	0.390 / 0.296	路由没学
**unfrozen/**（解冻）	52.97 → 0.112	[0.295,0.814,0.890,0.001]	0.256 / 0.266	塌缩
**shared-routed/**（共享+路由）	52.97 → 0.10	[0.001,0.999,0.9997,0.0001]	—	融合成功，路由塌

unfrozen/report.json 自带声明：

"INDEPENDENT EXPERIMENT: expert weights UNFROZEN and randomly initialized — NOT the project v33 setting."

shared-routed/ 的结构：y = x + SharedExpert(fusion) + routed experts(dispatch)。 它的融合部分是成功的：跨模态余弦 0.029 → 0.107，正相关比例 73.8% → 96.7%。 这是本系列第一次把跨模态融合做成功。路由部分仍失败。

共同结论

根因是目标函数只跟模态有关、不跟内容有关 —— 路由拿不到内容梯度。

这直接导致 v62 的两个改变：

1. 任务换成真实分类（交叉熵 + 真实标签）
2. 融合层从 256 维扩到 1024 维（= Σ 子空间）

v62 结果：held-out 0.9016，负载均衡 0.8774，路由熵 0.5016 —— 不塌缩。

重要

这三个是实验记录，report.json 的 loss 曲线不能当性能指标引用。

⚠️ 均为裸 state_dict（torch.save），不是 from_pretrained 格式。

完整模型：HeteroMoEProjSpace-v2