AI生成的游戏，以前是"看"的，现在是"玩"的。昆仑万维今天发布的 Matrix-Game 4.0，把 480p、60 FPS 的实时游戏体验装进了单张 RTX 5090：你按下按键，画面 150 毫秒内响应。同一技术路线，英伟达本周刚公开的 StreamRender-H3 需要 8 张 GB200 数据中心 GPU，单步渲染 218 毫秒、交互延迟约 500 毫秒。模型权重和游戏代码都开源，玩法可以直接改代码——数据来源为昆仑万维官方发布与机器之心报道，目前尚无第三方复现。

反常识：视频模型做游戏，卡住的不是画质

过去两年，"世界模型"演示都很惊艳：Google DeepMind 的 Genie 3 能实时生成 720p/24 FPS 的可交互场景。但这类"全托管"路线有一个致命问题——世界状态只存在于生成的像素里。物体离开视野，没有任何东西"记着"它；微小误差在自回归生成中不断累积，斯坦福大学 Starling Lab 实测：开头约 30 秒画面真实连贯，几分钟后纹理变软、几何失真。

换句话说，让一个视频模型同时承担"记住世界、遵守规则、生成画面"三件事，误差会越积越多。Matrix-Game 4.0 团队的判断很直白：扩散模型更像一个渲染器，擅长把画面画得真实，不擅长记住世界状态、遵守游戏规则。

解法：给视频模型套上"Harness"，三角分工

Matrix-Game 4.0 把世界拆成三个各司其职的模块：

模块角色负责什么边界 游戏引擎裁判维护世界状态：血量、重力、碰撞、任务进度；每帧输出"结构草图"规则由引擎直接计算，世界状态始终真实Coding Agent编剧用代码构建轻量游戏；把自然语言需求落实为场景配置和玩法代码想改玩法，改代码即可，不用重训模型视频模型画师把简单几何实时渲染成精细画面：光影、烟雾、液体外观可以自由发挥，但无权修改血量、背包等核心数据

这套分工带来一个关键价值：从计时竞速改成车辆追击，游戏规则变了，底层视频模型无须重新训练。射击 Demo 里敌我盾牌耐久度、血量机制，都是 Coding Agent 写代码加进去的——GPT-6 也参与了代码编写。

怎么把一切塞进一张 5090

实时渲染的压力全落在视频模型身上。团队围绕数据、训练、推理做了一整条优化链路：

• • 数据：基于虚幻引擎 5 构建"结构画面—精细画面"像素级对齐数据集，覆盖超大城市、开放沙漠、复杂城堡、高动态空战四类场景；动态 Caption 让语义描述随玩家视角实时更新。
• • 训练：视频模型基于 Wan2.2 5B（Fun Control）改造为视频到视频模式，引擎结构画面与待生成视频按通道拼接（共 148 通道输入），先 SFT 训练双向模型，再按 Causal Forcing++ 方式训练自回归少步生成模型——每次 rollout 去噪 1 至 2 步，生成一个四帧块。
• • 推理：CUDA Graph 预先录制 DiT 主干计算、运行时一次性重放；RoPE、归一化与 FP8 量化写融合专用算子；KV 缓存改环形缓存，窗口滑动不搬移历史；编解码器换轻量 TAEHV。

最终结果：文本编码器、30 层因果 DiT 与 VAE 全部常驻一张 RTX 5090。单步去噪稳态生成 83 FPS（两步约 57 FPS），显存峰值 18.5 GiB，游戏 60 FPS 运行时按键到画面端到端延迟低于 150 毫秒。

和同期方案差在哪

方案硬件实时性状态维护开源 Matrix-Game 4.0单张 RTX 5090（消费级）480p / 60 FPS，延迟 <150ms外部引擎显式维护权重+游戏代码Genie 3（DeepMind）云端集群720p / 24 FPS隐式，约1分钟记忆否StreamRender-H3（英伟达）8 张 GB200单步 218ms流式扩散渲染技术报告Matrix-Game 3.5单张 H100720p / 20 FPSPatch Memory部分

4.0 的取舍很明确：3.5 侧重画质与长期一致性，4.0 优先低延迟、高帧率和消费级硬件。480p 距离主流游戏画质还有差距，演示也局限于固定场地和预设动作空间——但它跨过了"交互视频"到"上手畅玩"的门槛。

这条路线的生态已经开始滚雪球

昆仑万维在这条赛道投入是工业界最长的之一：

• • 2025 年 5 月：1.0 开源，17B+ 参数，工业界首个开源 10B+ 交互式世界模型
• • 2025 年 8 月：2.0 开源，后来成为谢赛宁团队全球首个多人视频世界模型 Solaris 的技术基座
• • 2026 年 3 月：3.0 系统性解决长期记忆
• • 2026 年 7 月 WAIC：3.5 引入 Patch Memory，H100 单卡 720p/20 FPS；数据管线已产出超 500 万段视频切片，覆盖 1200 多个游戏场景
• • 2026 年 10 月 15 日：4.0 把门槛压到消费级显卡，并同步开源

NVIDIA 与浙大联合提出的 Light Interaction 基于 Matrix-Game 3.0 构建，Adobe 的 RELIC 把它纳入对比基准。这次连游戏代码都开放，使用者从研究者扩展到游戏开发者。

对普通人意味着什么

对独立开发者、一人公司（OPC），新的游戏开发方式已经成立：用 Coding Agent 把玩法写成代码，用视频模型生成视觉表现，先做出能上手的游戏原型，再决定是否投入更多资源。想改玩法——一行 Prompt 描述需求，智能体改代码，视频模型不用重训。

昆仑万维董事长兼 CEO 方汉在 WAIC 2026 的判断是：2026 年是"世界模型元年"。4.0 团队计划优化运行效率、降低硬件门槛后，通过 Steam 推出技术预览版——也就是说，普通玩家不久就能在自己电脑上装一个"AI 实时生成"的游戏。

冷静点

• • 480p 分辨率与主流游戏画质仍有差距，当前演示局限于固定场地和预设动作空间
• • 多人共享同一世界的联机体验尚未实现
• • 所有性能数字来自官方发布，尚无第三方复现
• • 技术演示能让人惊叹几分钟，真正好玩的游戏需要几十小时的内容深度——下一关交给玩家

重点回顾：一张 5090、480p/60 FPS、延迟 <150ms、显存 18.5 GiB；引擎管状态、Coding Agent 写规则、视频模型画画面；玩法改代码不用重训模型；权重与游戏代码全开源；Steam 预览版在路上。

延伸阅读：GitHub SkyworkAI/Matrix-Game、HuggingFace Skywork/Matrix-Game-4.0、项目网站
matrix-game-v4-0.github.io。