近日，华为技术有限公司携手北京大学高性能计算校级公共平台，共同宣布了一项重大进展：DeepSeek全栈开源推理方案正式面世。这一方案的发布日期被定于2025年3月9日，由北京大学与华为联合推出。
DeepSeek方案以北京大学自主研发的SCOW算力平台系统和鹤思调度系统为基础，深度融合了DeepSeek、openEuler、MindSpore以及vLLM/RAY等开源社区组件。该方案不仅实现了在华为昇腾平台上的高效推理，还支持大规模算力集群的训推一体化部署。所有开发者均可自由获取其源代码，并根据实际需求进行二次开发，其性能表现已逼近闭源方案。
根据公布的数据对比，DeepSeek全栈开源方案在特定硬件配置下的表现令人瞩目。在2台Atlas 800I A2服务器的支持下，对于输入长度为4096、输出长度为1024的任务，系统吞吐量达到了惊人的11981288，用户并发数也能维持在128的高水平。这些数据充分展示了DeepSeek方案的强大性能。
目前，DeepSeek方案已成功部署于北京大学未名卓越一号集群。该集群由北京大学计算中心负责研制与运维，专为北大鲲鹏昇腾科教创新卓越中心提供算力支持。作为国内首个基于高校自研基础软件的国产智算平台，未名卓越一号集群于2024年11月18日正式上线运行。首期便集成了20台昇腾AI服务器与10台鲲鹏通用服务器，AI算力规模高达30.64PFlops（半精度）。
DeepSeek推理方案的成功发布，得益于其在openEuler开源操作系统层面的深度优化。通过异构调度负载感知MoE冷热专家技术，该方案能够更细粒度地调度任务，提高资源利用率。同时，异构融合技术的运用使得内存管理更加高效，有效减小了系统内存碎片。毕昇编译器的进一步优化也显著减少了算子下发耗时，从而提升了推理整体性能。
上图展示了算力集群全栈开源推理方案的架构图，从中可以清晰地看到各组件之间的协同工作关系以及数据流的处理流程。这一方案的推出，无疑将为AI领域的发展注入新的活力。
