米哈游团队训练VLA模型实现星穹铁道长流程自主游玩
米哈游崩坏AI研发团队近日公开了名为Gamer的视觉—语言—动作基础模型,目标指向长流程、实时交互场景。演示中,AI在《崩坏:星穹铁道》里自己操控键鼠,与可可利亚交手,触发“气泡弹珠”机关弹到另一区域,落地后继续移动;它还能跟在流萤后面跑图,完成上楼梯、拐弯等动作。
该模型的主力版本以80亿参数的Qwen3-VL-8B为基座继续训练。它接收屏幕画面和任务指令,决定按键、鼠标移动和点击时机,并把这些操作执行出来;判断过程不读取游戏内部接口或底层状态。随着任务推进,模型会记录刚完成的内容和下一步准备做什么。

在覆盖五个主线篇章、总计约50小时的《崩坏:星穹铁道》长流程评估中,Gamer的自主运行时间占比超过95%。这套表现来自三阶段训练:先持续预训练,把不同游戏录屏与玩家操作对齐,并整理成统一键鼠格式,让基座模型学习画面变化与动作之间的对应关系;执行时每200毫秒读取一次画面,一次安排随后六个动作块,每块约33毫秒,对应30Hz控制节奏。
随后进入微调阶段,团队使用约1000小时高质量《崩坏:星穹铁道》演示,把目标拆成具体操作、阶段性小目标和完整任务,教模型组织动作。为处理长流程中的推理延迟和上下文压力,训练中采用稀疏思考:沿确定路线前进时直接操作,遇到路线失败、目标切换或新的交互提示再展开推理;记忆摘要则在旧记录即将移出上下文时,先记下任务进度、失败尝试、重要地点和后续计划。
在线强化学习阶段,团队提出TA-GRPO,把长流程拆成由记忆衔接的片段,比较不同尝试在相应阶段的表现,再利用游戏环境核验结果更新模型。到达目标地点、完成当前任务等都能成为训练反馈。配套的Streaming-vLLM推理引擎可复用已处理上下文,并提前输出生成且核验完毕的动作块,让游戏画面先动起来,以压低操作延迟。
跨游戏测试中,Gamer的持续预训练版本在《我的世界》里能转动视角锁定史莱姆并追上去挥剑,在基于《毁灭战士》的ViZDoom中能拉枪瞄准、连续点射逼近的敌人。四项公共基准上,Gamer-8B-CPT平均得分29.5,所列通用模型对照最高为17.6。七类小游戏共40个未参与训练的任务中,基座模型得分3.2%,持续预训练后升至15.0%,监督微调后到39.2%,加入强化学习后达到49.7%;同场通用模型最高分GPT-6.1-Sol为17.1%。
论文显示,该项目由米哈游崩坏AI研发团队与高校研究者合作推进,团队布局覆盖AI NPC、游戏智能体与研发自动化。团队指导者曾公开介绍《崩坏:星穹铁道》的AI帕姆,以及赋能内部研发的Agent平台EchoX。学术方面,该团队还联合高校推出GameScaling和Video-Arena,分别研究跨游戏持续预训练的Scaling Law和模型对动态游戏画面的理解边界。
论文末尾提到,这类能力可用于自动化测试、加快游戏迭代,并支持新的玩法机制,从而降低开发成本。