在AI领域，一场关于预训练的坚定承诺引发了广泛关注。2024年10月16日，零一万物公司的创始人兼CEO李开复公开表示，公司将坚持预训练的道路，绝不轻言放弃。同日，零一万物发布了其最新的MoE架构旗舰大模型——Yi-Lightning，这是该公司五个月来首次更新模型动态。
据李开复介绍，Yi-Lightning的训练成本极低，仅使用了2000张GPU，耗时一个半月，总成本约300多万美元，这仅是埃隆·马斯克的xAI成本的1%至2%。尽管成本低廉，但Yi-Lightning在性能上并未妥协。在加州大学伯克利分校LMSYS团队的Chatbot Arena总榜单上，Yi-Lightning与xAI的Grok-2-08-13模型并列第六，并超越了OpenAI的GPT-4o-2024-05-13。
在特定能力上，Yi-Lightning也展现出了强劲的实力。在中文能力上，它与OpenAI的最新模型o1-mini版本并列第二；在数学能力上，Yi-Lightning与Gemini-1.5-Pro-002并列第三，仅次于在数学和逻辑推理方面表现突出的o1。
在定价策略上，Yi-Lightning也创下了零一万物模型的最低定价：0.99元/百万Token，这一价格策略无疑将增强其在市场上的竞争力。
在发布会上，零一万物展示了Yi-Lightning在实用性方面的显著提升。与2024年5月发布的Yi-Large相比，Yi-Lightning的首包时间缩短了一半，最高生成速度提升了近四倍。在翻译场景中，Yi-Lightning的表现尤为突出，其翻译速度更快，且翻译结果更加准确、流畅。
李开复还揭秘了Yi-Lightning的训练策略，包括独特的混合注意力机制、动态Top-P路由机制以及多阶段训练等，这些策略共同提升了模型的性能和推理效率。
除了C端的生产力产品“万知”外，零一万物在B端商业化方面也取得了新的进展。他们推出了聚焦零售和电商等场景的AI 2.0数字人，该数字人背后是多模态协同训练的大模型，包括电商话术大模型、角色大模型和直播声音大模型。目前，AI 2.0数字人已经接入了Yi-Lightning，用户只需输入商品信息、声音性别和语调，即可生成相应的数字人形象。
面对大模型发展的深水区，李开复表示，尽管预训练的成本较高，但中国的六家大模型公司只要有足够的人才和决心，融资和芯片都不会是问题。他们将继续在预训练的道路上坚定前行。
