近日，科大讯飞研究院携手华为昇腾团队，在“飞星一号”平台上取得了MoE模型集群推理性能优化的重大突破。经过一系列创新技术的研发与实施，该团队成功实现了大规模专家并行集群推理性能的显著提升，性能翻倍的佳绩令人瞩目。
科大讯飞在国产算力集群领域一直处于领先地位，此次更是在MoE模型的大规模跨节点专家并行集群推理方面迈出了重要一步。此前，科大讯飞已经发布了基于国产算力的首个MoE模型训练与推理解决方案，为业界树立了标杆。在此基础上，科大讯飞与华为昇腾的联合团队再次发力，对适配MoE模型的PD分离+大规模专家并行系统解决方案进行了全面升级。
此次升级的关键技术创新点之一，在于针对MoE模型的PD分离部署进行了定制化的集合通信协议设计。这一设计有效解决了集合通信流量冲突问题，消除了推理过程中Prefill阶段和Decode阶段的相互干扰，使得P实例和D实例均能发挥出最佳性能，整体性能因此提升了20%以上。
联合团队还在国产算力上成功实现了MTP多token预测技术，这一技术的引入大幅降低了MTP层的计算耗时，使得整体性能再次提升了30%以上。这一突破不仅展示了团队在技术创新方面的实力，也为国产算力在大规模模型推理领域的应用开辟了更广阔的空间。
在专家负载均衡算法方面，团队也进行了深入优化。通过采用多DP负载均衡技术，团队成功将卡间负载均衡差异控制在8%以内，从而显著提升了集群推理的吞吐性能，性能提升幅度超过30%。这一优化措施有效解决了集群推理过程中可能出现的资源瓶颈问题，提升了系统的整体运行效率。
联合团队还创新性地引入了异步双发射技术，这一技术的实施有效解决了高并发场景下的高CPU负载问题。通过实现CPU与NPU之间的高效协同，这一改进不仅降低了服务请求调度的耗时，还使得系统性能整体提升了10%。这一技术突破为大规模模型推理性能的提升提供了新的思路和解决方案。
经过上述一系列优化与升级，联合团队在“飞星一号”平台上对星火MoE模型、DeepSeekV3/R1等模型进行了实际测试。测试结果显示，这些模型的推理性能相较于上一版本实现了翻倍提升，已经接近国产算力上MoE集群推理的性能上限。这一成果不仅标志着国产算力在大规模模型推理领域的技术水平迈上了新台阶，也为后续的技术研发和应用推广奠定了坚实基础。
