一张 RTX 3090，24GB 显存，把一个 276GB 的模型扛了起来。这不是厂商通稿，是玩家昨晚刚跑出来的实测。

旧时王谢堂前燕，飞入寻常百姓家。这种体量的模型，过去只有多卡机房才敢想，如今一张游戏卡加一块固态就能跑起来。

预填充从 192 冲到 778

同一张卡，换上新出的 Maya-XS 量化之后，数字翻了个个儿：

• 预填充：192 → 778 token/s
• 长输入：从 4K 一路拉到 64K，64K 一次性读完 82 秒
• 解码：冷启动 3–5 token/s，跑热之后 8.7–16.7 token/s
• 上下文 128K，跑的是 Project Maya v1.1.24，没开投机解码，也没开思考模式

把 4K 到 64K 的预填充摆成一排看更直观：192、363、493、665、778。输入越长速度反而越往上走，跟常见的「上下文一长就掉速」反着来。

机器配置很普通：单张 RTX 3090（24GB、250W）、64GB DDR5 内存、Ryzen 9 9900X，再加一块 NVMe 固态。

276GB 塞进 24GB，全靠固态倒腾

拆开看这套权重是怎么分家的：

• 专家层 IQ1_S 量化：106GB
• 稠密部分 Q8_0：8.7GB
• Engram Q6_K：161GB，常驻固态
• 15360 个专家里只有 1883 个待在显存，剩下的边算边从 NVMe 往里搬
• 128K 上下文的 KV 缓存只占 0.12GB（FP4）

代价也明明白白写在图上：刚启动时专家还在从固态往上搬，解码只有 3–5 token/s；等上下文跑热、缓存复用起来，才爬到 8.7 直到 16.7。

得其大者可以兼其小。想让这么大的模型在一张卡上动起来，就得拿硬盘带宽去换显存，冷启动那几秒的慢是明码标价的。

别只盯解码，82 秒那行才是真东西

评论区里有人点破了关键：64K 在 82 秒读完，这个数对 Agent 才有意义。他手上一台 M3 Pro 预填充大约 320 token/s，同样的输入要读三分钟以上。明察秋毫，快慢从来不只看出字速度，还得看「喂进去」的速度。

反过来看解码，单卡 3090 就没那么好看了。上一轮在别人那套三张 Tesla V100 32GB 配 DDR4 的老机器上，监控面板是 71.7 token/s 解码、446 token/s 预填充、窗口开到 256K，显存命中率 99.1%。

三张老卡 96GB 显存，几乎把整个模型装进去了，解码自然快；一张 3090 只有 24GB，多半专家得走固态，出字就慢。那套老机器上一轮「思考」跑了一万三千多个 token，用了 6 分 36 秒，平均每个 token 20 毫秒，上下文开到 68K。但预填充是另一套逻辑，778 对 446，单卡反而赢了。

别人的机器也跟着变快

这不是孤例。有人用 RTX 3090 加一张 5070 Ti、96GB DDR5-6000 内存、Ryzen 7 9800X3D，跑同一套量化：预填充 4K 从 343 涨到 460，32K 从 803 涨到 940；解码冷启动 7–9 token/s，跑热后 20–24 token/s。

还有人只用一张 3090 配 128GB 内存，自己调了一轮，把解码压到了 18 token/s。有人来问 4090 配 64GB 内存能不能上，答复是「能，而且会更快」；36GB 显存的也说要试试，估摸能摸到 20 token/s 的峰值。

热度一起来，追问也跟着来了：这个量化到底压到几位，是不是 1bit？有没有现成的教程，一张 3090 照着做就能跑？也有人干脆留言「不知道你们施了什么魔法」。这套流程确实还处在玩家互相喂参数的阶段，离一键上手还有距离。

想抄作业，先看清楚这三笔账

第一笔是固态的钱。有人看完数字直接叹气：这下得再买一块三百多美元的 NVMe。专家层反复从盘上读，盘的写入量小不了，属于耗材。

第二笔是冷启动。头几秒只有三五个 token，这是结构性的，不是调参能救的。用它跑长任务、跑批处理，热起来之后就顺了；指望它像聊天一样随开随快，那不现实。

第三笔是别拿它跟云端比出字速度。评论里有人说低于 50 token/s 根本没法干活，也有人觉得十来个 token 也够用——扔给它一晚上的活儿，谁也不会盯着屏幕等字。还有人追着问横向对比：这个量化跟同尺寸的其它量化比，智能掉没掉，值不值这个速度。发帖的人自己也说还在测，到底哪套最适合自己这台机器，得跑过真实任务才敢下结论。

耳闻之不如目见之，目见之不如足践之。别人给的是一台机器的数字，换成你的卡、你的内存、你的盘，是快是慢，只有自己跑一遍才知道。

问到最新一条回复，发帖的人还在感慨：推理方法进步太快，几个月后会到哪一步，真不好说。他唯一担心的是手里这张 3090 别跑坏了。

参考内容：
https://x.com/ItsmeAjayKV/status/2113518700171268301