混合专家模型 混合专家模型英語mixture of experts简称MoE或译为多专家模型是一种机器学习技术通过门控gating模型将单一任务空间划分为多个子任务再由多个专家网络子模型分别处理特定的子任务最终得到整体的预测结果混合专家模型与集成学习有相似之处它们都应用多个子模型来处理问题但它们的区别在于混合专家模型中的每个专家都是针对不同的数据子空间进行训练的以适应不同类型的输入数据而集成学习一般而言则是使用多种模型对整个数据空间进行训练 层级混合专家模型 英語hierarchical mixtures of experts是包含多个层级的混合专家模型与使用单一门控模型的普通混合专家模型相比层级混合专家模型中的门控模型呈类似决策树的多层结构以适应更为复杂与灵活的应用场景