在第四届828 B2B企业节的盛大开幕式上，华为云公布了一项重大进展：其Tokens服务已成功融入CloudMatrix384超节点体系。这一融合得益于xDeepServe架构的革新，使得单芯片的处理能力突飞猛进，达到了前所未有的2400TPS（每秒事务处理数），同时保持了50ms的TPOT（任务处理总时间），这一成绩远超当前行业标准。
面对中国AI算力需求的爆炸式增长，华为云展现出其“全栈创新”的实力。数据显示，从2024年初至2025年6月底，中国日均Token消耗量从1000亿飙升至30万亿，这一300多倍的增长凸显了人工智能应用的迅猛扩张，也对算力基础设施提出了更高要求。
早在今年3月，华为云便推出了基于MaaS（模型即服务）的Tokens服务，旨在满足不同应用与场景的性能和时延需求。该服务提供多种规格，如在线版、进线版、离线版及尊享版，为大模型和Agent智能体等AI工具提供了灵活、高效且成本优化的算力解决方案。
此次，Tokens服务与CloudMatrix384超节点的结合，通过xDeepServe框架的再次升级，将吞吐量从年初的1920TPS提升至2400TPS，TPOT则缩短至50ms。这一成就背后，是华为云从硬件到软件、从算子到存储、从推理框架到超节点的全方位技术创新。
CloudMatrix384超节点以其独特的计算架构，打破了性能瓶颈，奠定了坚实的算力基础。同时，CANN（昇腾计算架构）硬件使能技术优化了算子与通信策略，使得云端算力得以高效调用。EMS弹性内存存储则打破了AI内存墙，实现了“以存强算”，进一步释放了芯片算力。而xDeepServe分布式推理框架，则通过Transformerless的极致分离架构，让超节点能够释放出更高效的算力。
xDeepServe将MoE大模型拆解为可独立伸缩的Attention、FFN、Expert三个微模块，这些“积木”被分配到不同的NPU上同步处理任务，然后通过高效的XCCL通信库与FlowServe自研推理引擎重新组合，形成超高吞吐量的LLM服务平台。这一创新架构，使得单卡吞吐量从600tokens/s跃升至2400tokens/s。
XCCL作为专为超节点上的大语言模型服务设计的高性能通信库，充分发挥了CloudMatrix384的UB互联架构潜力，为Transformerless的全面分离提供了坚实的带宽与时延支持。而FlowServe作为“去中心”式分布式引擎，将CloudMatrix384划分为完全自治的DP小组，每个小组自给自足，确保了千卡并发时的流畅运行。
华为云MaaS服务目前已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型及versatile、Dify等主流Agent平台。通过大量的模型性能优化与效果调优，华为云实现了“源于开源，高于开源”，让大模型在昇腾云上展现出更卓越的性能。例如，在文生图大模型上，通过量化与融合算子等技术，华为云MaaS平台在轻微损失画质的情况下，实现了出图速度的两倍提升，最大支持2K×2K尺寸。在文生视频大模型上，则通过量化与通算并行等方式，大幅提升了视频生成速度，相较于竞争对手实现了3.5倍的性能优势。
在应用层面，华为云已与超过100家合作伙伴携手，深入行业场景，共同开发丰富的Agent应用。这些应用覆盖了调研分析、内容创作、智慧办公、智能运维等多个领域，解决了众多产业难题，帮助企业更便捷地拥抱AI创新，加速智能化转型。例如，基于MaaS平台推出的今日人才数智员工解决方案，集成了先进的自然语言处理、机器学习和深度学习技术，能够智能交互并处理任务，显著提升服务效率与客户满意度。而北京方寸无忧科技开发的无忧智慧公文解决方案，则提升了公文处理效能，推动了政企办公的智能化转型。
