华为在近期的一次重要宣布中,正式揭开了其在大模型技术领域的又一里程碑。此次,华为不仅推出了盘古70亿参数的稠密模型,还带来了盘古Pro MoE这一拥有720亿参数的混合专家模型,并配套发布了基于昇腾的模型推理技术。
这一系列的开源举措,被视为华为在推动昇腾生态战略实施过程中的又一重要步骤。通过这些努力,华为旨在加速大模型技术的创新与发展,进一步拓宽人工智能技术在各行各业的应用边界,从而创造更大的价值。
目前,盘古Pro MoE 72B模型的权重和基础推理代码已经成功上线至开源平台,供全球开发者免费下载和使用。与此同时,基于昇腾的超大规模MoE模型推理代码也已同步上线,为开发者提供了强大的推理能力支持。
值得注意的是,盘古7B的相关模型权重与推理代码也即将在近期上线开源平台。这意味着,开发者将能够拥有更多选择,根据实际需求选用不同规模和性能的模型。
在华为此次推出的模型中,盘古Embedded 7B模型以其独特的双系统框架和元认知能力脱颖而出。该模型能够根据任务复杂度自动切换推理模式,从而在保证推理速度的同时,兼顾推理深度。在多项复杂推理基准测试中,盘古Embedded 7B模型的表现甚至超越了同量级的Qwen3-8B和GLM4-9B等模型。
而盘古Pro MoE 72B模型则采用了分组混合专家(MoGE)架构,总参数量高达720亿,但激活参数量仅为160亿。这一设计有效解决了专家负载不均的问题,提高了模型的部署效率。同时,针对昇腾硬件的深度优化,使得该模型在推理速度上达到了新的高度,最高单卡可达1528 tokens/s。在多项公开基准测试中,盘古Pro MoE 72B模型均表现出色,性能优于同规模的稠密模型。
华为官方表示,他们诚挚邀请全球的开发者、企业伙伴及研究人员下载并使用这些模型,同时期待收到大家的宝贵反馈,以便共同完善和提升这些技术。