术语定义
MoE（Mixture of Experts），中文通常称为混合专家模型。把计算分配给多个专家子网络，并由路由机制为输入选择部分专家的架构。
应用示例
模型处理一个词元时只激活一部分专家，从而控制单次计算量。
理解要点
总参数量与每次激活参数量不同；专家也不一定对应具体行业专家。
想知道你自己的品牌被 AI 怎么评价？
跑一轮真实检测，拿到评分和问题清单。
MoE（Mixture of Experts），中文通常称为混合专家模型。把计算分配给多个专家子网络，并由路由机制为输入选择部分专家的架构。
模型处理一个词元时只激活一部分专家，从而控制单次计算量。
总参数量与每次激活参数量不同；专家也不一定对应具体行业专家。
跑一轮真实检测，拿到评分和问题清单。