MoE 预训练中的专家耦合

Zyphra 研究发现 MoE 训练中 all-to-all 通信可占单步训练时间的 60.4%，原因是专家放置忽略了路由的相关性。实验显示，同一层内 45% 的 token 只落在 0.8% 的专家对上，跨层路由同样高度集中。通过把常被同一 token 选中的专家放到同一 GPU，可减少跨网络传输并加快训练，且无需改动模型架构、路由决策或训练目标。