在 AWS Inferentia2 上实现推理通信重叠

Zyphra Research 与 AWS 合作，在 AWS Neuron 推理栈中加入 Domino 风格的通信重叠，并在 Inferentia2 节点上对 Llama 3-8B 跨不同 NeuronCore 数量进行基准测试。结果显示聚合输出吞吐、首 token 时延和每输出 token 耗时均有改善，张量并行度越高收益越明显。