Windows 用户的本地 AI 方案！雷神水冷迷你AI工作站实测体验

第一次看到雷神这台水冷迷你AI工作站，我注意到的并不是机身尺寸，而是它把一套过去需要专业显卡、服务器甚至多卡平台才能完成的本地AI方案，装进了一台桌面小主机里。

它配备128G统一内存，其中最高96G可以分配给GPU使用，官方给出的模型支持上限达到700亿参数。放在两年前，普通Windows用户想在桌面上运行这种规模的大模型，基本只能购买专业显卡、搭建多卡工作站，或者租用云端算力。现在，一台Windows小主机就能完成，本地大模型的使用门槛明显降低。

这台机器采用AMD Ryzen AI Max+ 395处理器。过去提到本地AI推理，大家通常会想到NVIDIA，因为CUDA生态成熟，模型支持、推理框架和开发工具都更完整。另一边，Mac依靠统一内存，在大模型加载方面也有明显优势。

实际测试里，Ryzen AI Max+ 395在Moe模型上的表现很突出。千问3.6的35B A3B模型，在短文本输入场景下，输出速度接近每秒60个tokens。用于日常对话、资料整理、代码解释和文案生成，速度已经很顺畅。

输入长度增加后，表现也没有明显失控。在16K超长上下文场景下，千问35B模型仍能保持每秒40个tokens左右。不少迷你AI主机在上下文变长或持续推理后会明显降速，雷神这台机器没有出现特别夸张的性能下滑，处理器、内存带宽、功耗和散热之间的配合比较完整。

Moe模型适合这类统一内存平台，原因并不复杂。Moe也就是混合专家模型，总参数量可以很大，但每次推理只会激活其中一部分参数。以35B A3B为例，模型总参数量是35B，单次参与计算的激活参数大约是3B。模型需要足够大的内存完成加载，但实际推理时的计算压力没有同规模Dense模型那么高。

Ryzen AI Max+ 395的优势也正好落在这里。它未必依靠极端的峰值算力取胜，但128G统一内存能够给大模型留出更宽松的加载空间，最高96G可作为显存使用。过去运行35B级别模型，常见方案是多张显卡、专业卡或云服务器。现在Windows用户不换系统，也能在本地完成部署和推理。

Mac的统一内存一直很适合本地大模型，但不少企业软件、工程工具、办公流程和开发环境仍然依赖Windows。NVIDIA显卡的推理性能和生态确实强，不过消费级显卡最现实的问题还是显存容量。模型参数一大，显存很快就会成为限制。AMD这套方案提供的价值很明确：保留Windows工作流，同时获得接近大容量显存平台的模型承载能力。

能加载模型，并不代表所有模型都能获得很高速度。Dense模型的测试更能说明这台机器的真实定位。

千问3.6的27B模型，在不同输入长度下，输出速度基本维持在每秒12个tokens左右。这个速度用于文档总结、代码辅助、长文改写、知识库问答和一般推理任务，已经够用，重点是能够持续、稳定地完成任务。

Llama 3.3 70B的压力明显更大。短文本场景下，输出速度大约是每秒5个tokens。速度谈不上快，但重点是这台机器可以直接运行。70B模型即使经过4比特量化，显存占用也在60G左右，普通消费级显卡很难单卡加载。雷神这台主机不但能运行，在16K超长文本场景下还能保持每秒4.4个tokens左右。

从体验来看，70B更适合用于质量要求较高、使用频率不算太高的任务，例如复杂逻辑分析、高质量代码生成、长文档推理和本地敏感资料处理。日常高频使用更适合35B A3B这类Moe模型，或者27B级别的Dense模型。前者速度更高，后者表现稳定，交互等待时间也更容易接受。700亿参数代表这台机器能够运行的模型规模，并不代表每个任务都需要长期使用70B。

小机身持续运行大模型，散热是绕不开的问题。AI推理不只是CPU或GPU单独工作，处理器、图形核心、内存和存储都会长时间保持较高负载。普通迷你主机依赖高速风扇压制温度，短时间测试可能没问题，运行时间一长，噪音和降频都会影响体验。

雷神给这台mini AI工作站配了水冷系统，稳定性能释放达到176瓦。持续推理时，整机没有因为温度快速降低性能，桌面环境下的噪音也控制得比较低。对程序员、内容创作者、数据分析人员和研究人员来说，机器可能每天连续运行几个小时，风扇声、温度波动和性能下降都会影响使用感受。

水冷的价值也不只是安静。统一内存方案需要CPU、GPU和内存共同承担压力，如果散热压不住，纸面上的大内存和高功耗就无法长期发挥。176瓦稳定性能释放，说明这台机器不是只为了跑出一次测试成绩，而是考虑了长时间运行模型的实际需求。

本地AI真正吸引人的地方，也不是完全取代云端模型。云端模型更新快、能力强，适合处理难度高、需要最新模型能力的任务，但API调用会持续产生费用。对调用频率高的团队来说，每个月几千上万的API成本并不少见。

数据安全也是很多行业无法回避的问题。金融、财税、法律、医疗、研发和企业管理场景中，合同、财报、客户资料、制度文件、代码和内部知识库都可能包含敏感信息。把这些内容上传到外部平台，企业需要考虑权限、合规、数据留存和泄露风险。模型部署在本地后，文件可以留在自己的设备和局域网中，处理过程更容易控制。

代码重构、文档总结、知识库检索、批量分类、会议纪要整理、固定格式写作，这些任务往往重复度高、调用次数多，也不一定需要每次都使用最强的云端模型。把这部分工作交给本地模型，可以减少长期调用成本，也能避免网络波动和接口限制。遇到复杂任务，再调用云端模型，实际使用会更灵活。

Mac适合依赖统一内存的创作者和开发者，Linux加NVIDIA更适合专业AI开发和模型训练，Windows用户虽然数量很大，却很难同时获得大内存、较低噪音、简单部署和成熟办公环境。

雷神这台水冷迷你AI工作站补上的正是这个位置。它没有改变Windows用户原来的软件习惯，却提供了128G统一内存、最高96G显存分配、700亿参数模型支持、176瓦稳定性能释放。

千问3.6 35B A3B在短文本下接近每秒60个tokens，16K上下文下仍有每秒40个tokens；千问3.6 27B约为每秒12个tokens；Llama 3.3 70B短文本约为每秒5个tokens，16K场景约为每秒4.4个tokens。这些数据说明，它已经能够承担真实的本地AI工作，而不只是完成模型演示。

对Windows用户来说，这套方案最实用的地方很直接：不用迁移到MacOS，不用搭建多卡服务器，也不必把所有任务交给云端。35B和27B模型负责日常高频工作，70B模型负责更复杂的低频任务，敏感数据留在本地，云端模型继续处理需要更强能力的内容。

本地AI正在从少数玩家的技术项目，变成可以直接放在办公桌上的生产工具。雷神这台水冷mini AI工作站未必适合所有人，但对于需要Windows环境、经常使用大模型、重视数据隐私，又不想承担专业显卡平台成本的用户，它已经是一套相当完整的本地AI方案。