在上周举办的2026开放计算技术大会（Open Comput Tech Summit）三星展台，我拍了一张效果不太好的照片，如下：

我的手机摄像头确实一般… 为啥忘了开闪光灯☹

这是一条96GB LPDDR5X SOCAMM2内存，Samsung的工程师不忘介绍了一句：“这是我们专为NVIDIA推出的。”

我不确定是第二还是第三次见到这个实物了——当时本能地提出了一个问题：“这个内存支持ECC吗？”

显然我没做任何准备，只是看到SOCAMM2单面的4颗芯片，以前确实没特别留意过这一点。Samsung工程师也很实在：“只有芯片内的On-Die ECC”。

随后我脑子里就产生了几个疑问：

- SOCAMM内存模组上，只有LPDDR颗粒内部的On-Die ECC，而不像传统服务器RDIMM内存有单独的ECC校验位芯片。在可靠性和故障率方面会差一些吗？

- NVIDIA Grace CPU配置的内存，有没有对应的故障率分析统计数字？

下面我希望通过本文的信息收集和调研过程，分享给大家我了解到的内容，仅此而已。

上图我曾在《Meta的GB200液冷AI服务器 - Catalina》中列出过，NVIDIA在Grace这一代CPU还主要是搭配的焊接在主板上的LPDDR5X内存。到了最新的Vera CPU开始支持可插拔的SOCAMM2内存。

除了GH200、GB300这些GPU服务器和AI超节点，我也在网上看到过采用NVIDIA Arm CPU的常规服务器，NVIDIA从Vera开始更是加大了CPU服务器的推广力度。

如上图，这是一款双路Grace CPU的SuperMicro存储服务器，明确写了板载内存为“最大960GB ECC LPDDR5X”。当然没有人能否认On-Die ECC也属于ECC技术，只不过要是按这种说法，所有的DDR5内存芯片都是有片上ECC校验的，这是为了应对DDR5比以前内存提高的速率，而并不能替代传统服务器内存增加的的ECC校验芯片——比如（32+8）*2=80bit这样加入ECC之后的DIMM数据宽度。

无独有偶，除了NVIDIA Grace之外，我看到有2款配置SOCAMM2内存的Vera服务器宣传资料上，也都注明了ECC内存。那么NVIDIA有增加哪些技术来保证其RAS（可靠性、可用性、可维护性）能力吗？

一、AI大模型给出的答案（精选版）

这是一个非常深入的架构问题。如果仅仅对比“物理内存模组”本身的硬件容错设计，是的，SOCAMM 原生的端到端保护能力，确实比带有专用边带（Side-band）ECC 芯片的传统服务器 RDIMM 要弱一些。

但如果从“整个服务器系统”运行的角度来看，这种物理层面的“弱”，被 CPU/内存控制器侧的逻辑补偿机制给拉平了。

我们可以从以下几个维度来看待这种差异以及背后的技术妥协：

1. 为什么单看模组，SOCAMM 的可靠性会“差一些”？

传统服务器内存（如 DDR5 RDIMM）为了保障 7×24 小时不间断运行，依靠的是物理冗余（例如 64位数据 + 8位ECC 组成的 72位宽）。省去了这部分物理芯片的 SOCAMM，面临以下原生短板：

• 传输链路的“盲区”： LPDDR5X 的 On-Die ECC 只能纠正 DRAM 颗粒内部的单比特错误（例如宇宙射线击穿导致的比特翻转）。但是，数据一旦离开颗粒，在经过 PCB 走线、触点接口到达 CPU 的这段路程中，如果遇到高频信号干扰或热噪声导致数据出错，单纯依靠颗粒内部的 On-Die ECC 是无能为力的。
• 
  
• 缺乏系统级故障上报（透明性问题）： 纯粹的 On-Die ECC 纠错过程对操作系统和 CPU 是“不可见”的。系统无法统计和监控这些被纠正的错误。而在传统服务器中，运维人员可以通过硬件日志（RAS 功能）提前发现哪根内存条的软错误率在飙升，从而在它彻底坏掉前进行更换。
• 
  
• 应对“硬故障”能力受限： 传统高端服务器支持 Chipkill 技术（单设备数据纠正 SDDC），即使内存条上有一整颗内存芯片物理烧毁，系统依然能通过额外的 ECC 芯片算出丢失的数据并继续运行。SOCAMM 没有物理层面的独立校验颗粒，应对这种极端物理损坏的难度大得多。
• 
  

2. 既然物理设计变弱了，系统是如何弥补的？

SOCAMM 之所以能在对可靠性要求极高的 AI 服务器（如 NVIDIA GB200）中被大规模采用，是因为系统设计者将“纠错的重任”从内存条本身，转移到了更先进的通信协议和 CPU 侧的内存控制器上：

• Link ECC（链路级校验）： 虽然没有物理引脚，但 LPDDR5/5X 标准引入了链路传输纠错协议。它通过在数据包中附加校验码的方式，专门保护数据在总线上传输的完整性，补足了 On-Die ECC 无法保护“路上数据”的短板。
• 
  
• Inline ECC（内联/逻辑 ECC）： 既然没有多余的物理芯片存校验码，CPU 的内存控制器就会使用“软划分”。它会从 SOCAMM 原有的庞大总容量中，逻辑划分出一部分专区来专门存放 ECC 校验数据。这就相当于用软件控制器的逻辑，模拟出了传统硬件 ECC 的效果（行业内也有类似 Cadence 和微软开发的 RAIDDR等技术来弥补这一空缺）。
• 
  
• 强壮的物理接口： SOCAMM 采用了螺丝紧固和触点压接设计，比起传统 DIMM 的金手指插拔设计，其抗震动、抗氧化能力更强，这从物理连接层面大幅降低了接口故障率。
• 
  

总结

如果把内存模块单独拆出来看，没有专用 ECC 芯片的 SOCAMM 在物理容错上限上确实不如传统服务器 DIMM。

然而，在寸土寸金、对带宽和功耗极其敏感的 AI 服务器节点中，SOCAMM 牺牲了传统的物理校验芯片，换取了海量的带宽（>500GB/s）和极低的功耗。它通过 “内部 On-Die 纠错 + 外部 Link链路纠错 + CPU 控制器 Inline 逻辑接管”这一套组合拳，依然实现了服务器级别的数据可靠性要求。

二、接着上面的思路，延申看一下Cadence官网文章

Cadence采用下一代低功耗DRAM 和Microsoft RAIDDR ECC 技术，为人工智能应用提供企业级可靠性

业界首款专为数据中心设计、采用 RAIDDR ECC 算法的 LPDDR5X IP 系统解决方案

楷登电子（美国 Cadence 公司，NASDAQ：CDNS）近日宣布，推出业界首款专为企业与数据中心应用设计的高可靠性 LPDDR5X 9600Mbps 内存 IP 系统解决方案。该创新方案融合了 Cadence 经过量产验证的 LPDDR5X IP 与微软的先进冗余独立双倍数据速率阵列（RAIDDR）纠错码（ECC）编码方案，实现了兼具高性能、低功耗与稳健可靠性的强强组合。微软已成为首个部署该新款系统解决方案的客户。

在 AI 基础设施构建浪潮中，LPDDR5X 凭借其在处理 AI、HPC 及其他内存密集型工作负载方面的卓越能效与性能，正逐渐受到数据中心的青睐。尽管基于 LPDDR5X 的系统能降低功耗并缩短运行时间，但超大规模数据中心运营商始终面临一种困境，即功耗、性能、面积（PPA）与 DDR5 内存的可靠性、可用性、可维护性（RAS）难以兼得。

新推出的这一内存 IP 系统解决方案基于 LPDDR5X DRAM 技术，在紧凑封装中保持了 PPA 优势，同时实现了企业级 RAS。该解决方案支持高达 9600Mbps 的数据传输速率，其边带 ECC 性能可媲美传统 DDR5 ECC 实现方案，堪称数据中心应用的理想之选。

该方案的核心是微软的 RAIDDR ECC 编码方案——一种新一代纠错算法，它实现了接近单颗粒数据校正（SDDC）的精度，以极低的逻辑开销实现业界领先的准确度与故障检测能力。RAIDDR 的防护级别等同于传统 DDR5 RDIMM 应用中基于符号的 ECC 算法。

该款新内存系统解决方案的核心优势包括：

·支持采用 LPDDR5X DRAM 的 40 比特通道

·兼具 9600Mbps 高性能与低功耗特性

·企业级 RAS 性能，可靠性媲美 DDR5 标准的基于符号的 ECC 技术

·支持边带 ECC，最大化通道带宽利用率

·紧凑型封装设计，适配空间有限的系统

“我们的 LPDDR5X 9600Mbps 系统解决方案标志着面向企业和数据中心市场的内存创新达到了重要里程碑，”Cadence 高级副总裁兼芯片解决方案事业部总经理 Boyd Phelps 表示，“通过将 LPDDR5X 的高速和能效优势，与微软 RAIDDR ECC 创新技术的可靠性相结合，我们交付的解决方案在高性能、低功耗内存系统领域实现了突破。”

“微软很荣幸推出 RAIDDR——新一代企业级 DRAM 符号级 ECC 算法。该算法能提供卓越的准确性与可靠性，”微软系统规划与架构企业副总裁 Saurabh Dighe 表示，“通过与 Cadence 合作并借助其 LPDDR5X 系统 IP，我们正在推动行业采用高性能、低功耗的数据中心解决方案。”

以上引用自
https://www.cadence.com/zh_CN/home/company/newsroom/press-releases/pr/2026/cadence-delivers-enterprise-level-reliability-with-next-gen-low.html

唐僧_huangliang注：以上Cadence写明了40bit和Side-band ECC，而当前的LPDDR内存芯片应该都是16bit、32bit这样的数据宽度。如果要在物理32bit DDR5子通道基础上模拟实现40bit数据存储，我理解是不是要牺牲一定比例的容量和性能？

我觉得这个有点像数据中心GPU内存的ECC实现。

三、NVIDIA官网解释

LPDDR5X 内存子系统

Grace CPU 超级芯片采用高达 960 GB 的服务器级 LPDDR5X 内存，并配备纠错码 (ECC)。这种设计在带宽、能效、容量和成本之间实现了最佳平衡，适用于大规模AI 和 HPC 工作负载。

Grace CPU 的 LPDDR5X 内存子系统仅需约 16W 的功耗即可提供高达 500 GB/s的带宽。这仅为 12 通道传统 DDR5 内存功耗的五分之一。HBM2e 内存子系统虽然也具备相当高的内存带宽和能效，但其每GB 的成本是 LPDDR5X 的三倍多，且最大容量仅为 LPDDR5X 的八分之一。

Grace CPU LPDDR5X 架构是首个数据中心级高弹性 LPDDR 技术实现方案。LPDDR5 通道备用机制可在重启后恢复内存子系统的健康状态，从而降低因内存故障导致的维护频率。这使得 Grace CPU 能够部署在维护难度大、成本高的场景中。

该共封装内存采用了一种新颖的配置和错误检测技术，无需在现场维修或更换故障内存，从而使Grace CPU 能够部署在维修困难或成本高昂的场景中。

LPDDR5X 的低功耗特性降低了系统整体功耗，从而使CPU 内核能够利用更多资源。其紧凑的尺寸使其密度达到传统DIMM 设计的两倍。

以上翻译自
https://docs.nvidia.com/dccpu/grace-perf-tuning-guide/index.html

唐僧_huangliang注：上面说的“通道备用机制”，我觉得可能类似故障隔离的处理，或者预留有少量备用的内存单元，以应对LPDDR焊接在主板上（无法单独更换）的方案。

四、AMD博客文章

展望未来：利用LPDDR5X 内存提升服务器能效

介绍

随着现代数据中心的不断发展，内存已成为提升系统整体性能的关键组件。人工智能工作负载、云原生应用和大规模数据分析的快速增长，对服务器内存子系统的容量和性能扩展提出了更高的要求。虽然符合 JEDEC 标准的传统双倍数据速率 (DDR) 内存模块（例如RDIMM）已经经历了多代发展，以跟上服务器计算和 I/O 技术的进步，但其他替代方案也一直在被评估。

在其他市场领域（例如移动设备）得到验证的新兴存储技术正开始为提升服务器效率和性能带来新的机遇。其中最有前景的发展之一是采用近期获得JEDEC认证的小型压缩附加存储模块（ SOCAMM2）外形尺寸的低功耗双倍数据速率5X（ LPDDR5X）内存。这种外形尺寸有望将LPDDR5移动内存久经考验的节能特性与服务器环境所需的模块化和可维护性相结合。

数据中心日益严峻的内存挑战

在许多现代服务器中，内存不再仅仅是辅助组件，它往往是影响系统性能、功耗和整体计算密度的重要因素。诸如人工智能推理、实时分析和分布式数据库等内存密集型工作负载对内存带宽和容量提出了极高的要求。

与此同时，功耗已成为数据中心运营中一个至关重要的问题，甚至会限制数据中心的容量和发展。虽然先进的CPU和GPU长期以来都是系统功耗的主要消耗者，但内存也占据了服务器总功耗预算的一部分——IT部门希望尽可能降低功耗。随着数据中心运营商寻求最大化每瓦性能并降低运营成本，他们要求供应商不断提高系统效率。AMD凭借其在CPU领域领先的性能和效率而蓬勃发展，如今，提高内存效率已成为一项日益重要的设计目标。

这时，LPDDR5X SOCAMM2 内存就派上用场了。

什么是LPDDR5X SOCAMM2？

LPDDR5X 是一种低功耗内存技术，最初是为移动设备和客户端设备开发的。与传统的 DDR 内存相比，LPDDR5X 旨在以更低的电压运行，同时支持更高的单引脚数据速率，从而提高能效。这些特性使其在对能效和带宽要求极高的环境中极具吸引力。对于服务器而言，这似乎是一个天然的机遇，对吧？然而，问题在于：LPDDR5 模块的设计使其可以直接焊接在设备的主板上，这限制了其可升级性，并增加了维护的复杂性。早期的服务器专用 SOCAMM 实现方案解决了这一限制，但随着行业朝着更广泛的生态系统支持和标准化方向发展，这些方案也迅速迭代更新。

数据中心服务器需要更易于维护、模块化且兼容多厂商的方案，例如 DIMM 内存条。SOCAMM2 标准通过提供一种专为服务器环境中的 LPDDR 内存设计的统一、开放的模块化外形尺寸来应对这一挑战。SOCAMM2 模块允许将 LPDDR5X 内存部署在可更换和可维护的模块中，从而兼顾 LPDDR 的高效性和数据中心所需的运维灵活性。

为什么LPDDR5X 能对服务器产生影响？

LPDDR5X 的主要优势在于其能效。与传统的服务器 DDR5 内存技术相比，LPDDR5X 设计用于更低的电压运行，并采用优化技术降低了运行和空闲状态下的功耗。在大规模部署中，即使每台服务器的内存效率只有适度的提升，也能转化为显著的电力和散热成本节省——因为每台高端服务器都可能包含 TB 级的内存。

另一个主要优势是带宽。LPDDR5X 支持极高的数据速率，使服务器能够在处理器和内存之间快速传输数据。当然，DDR5 的数据速率也在不断提升，下一代 RDIMM 的目标速率超过 8,000MT/s，而符合 JEDEC 标准的 MRDIMM 的目标速率则达到 12,800MT/s 及以上。对于 AI 推理、数据流和大规模 Web 服务等高度依赖内存吞吐量的工作负载而言，更高的带宽可以显著提升性能。这些特性结合起来，可以帮助服务器实现更高的每瓦性能。到 2027 年，客户在选择内存技术时，将拥有越来越丰富的选择，这些选择将基于能耗、可靠性、可用性和可维护性 (RAS) 特性以及成本等优先因素。

SOCAMM2与传统RDIMM 服务器内存对比

如前所述，行业标准的服务器内存通常采用 DDR5 RDIMM（以及即将推出的符合 JEDEC 标准的 MRDIMM）封装，它们提供高容量、强大的功能和成熟的生态系统支持，但通常会消耗更多电量并占用更大的物理空间。下图 1 突出显示了物理尺寸和连接器类型的差异。

图 1 显示了 RDIMM 和 SOCAMM2 模块的特写。

搭载 LPDDR5X 内存的 SOCAMM2 模块旨在降低能耗，缩小物理尺寸，并采用全新的水平互连方式与系统主板连接。这使得内存能够：

1.占用服务器内部物理空间更小；

2.水平放置，以便改善系统气流或简化冷板设计。

这种组合使得系统设计人员能够构建出既能优化效率又能保持运营商在生产环境中所期望的模块化可维护性的服务器。

LPDDR5X 技术固然具备这些优势，但要更好地匹配成熟的数据中心级 DDR DIMM 内存条的成熟功能，仍有一个方面需要加强：可靠性、可用性和可维护性 (RAS)。LPDDR5 的设计初衷是面向移动设备，因此其正常运行时间和纠错要求与服务器 24 小时全天候运行的要求并不相同。服务器 DRAM 模块拥有成熟的片上纠错码 (ECC)，可实现内存单元级别的纠错，并辅以 DIMM 级别的 ECC 功能，从而能够纠正整个 DIMM 内存条内的错误——支持链路级和多位故障。此外，服务器 DRAM 模块通常还配备“备用”内存模块，即使部分组件发生故障，也不会影响系统的正常运行。

新一代 LPDDR5X SOCAMM2 产品旨在缩小与 RDIMM 之间的差距——厂商们正致力于通过增加封装芯片、软件和内存控制器功能等方式来增强 RAS（可靠性、可用性和稳定性）能力。但即便如此，这些增强型模块仍需具备更强大的功能才能达到 RDIMM 久经考验的可靠性水平，而这对于大多数服务器部署环境至关重要。这些功能将随着时间的推移不断完善和增强，就像 DDR RAS 能力逐代提升一样。与此同时，目前基于 LPDDR5X 的模块的 RAS 能力可能在初期会限制其适用范围，使其仅适用于某些特定应用场景，尤其是在软件堆栈具有高度弹性且不需要 RDIMM 提供的所有硬件级 RAS 功能的环境。

凭借这一承诺，全球众多领先的DRAM制造商正准备推出一系列LPDDR5X SOCAMM2产品。 美光科技、 三星 和 SK海力士 均已发布或展示了首批产品，旨在满足下一代服务器的需求，这些服务器专为对每瓦性能要求极高的环境而设计。

促进系统设计创新

对于新型服务器和数据中心部署，SOCAMM2为服务器设计提供了新的可能性。更低的内存功耗可实现机架内更高的服务器密度。当每个系统消耗更少的能源并产生更少的热量时，数据中心运营商便可在相同的物理空间内部署更多资源。更低的散热量还能简化冷却需求，从而进一步降低基础设施成本。此外，SOCAMM2 模块的紧凑尺寸支持灵活的系统布局，可实现更小的占地面积，或针对效率至关重要的部署场景进行优化。

内存生态系统发挥着其作用

整个系统领域都感受到了节能的必要性——每一瓦都至关重要。正如前文所述，服务器日益增长的性能和容量需求使得内存成为一个强有力的杠杆点，而内存行业也通过开发LPDDR5X和SOCAMM2等技术积极应对了这一挑战。应对能源挑战需要整个生态系统紧密合作。

展望未来

符合 JEDEC 标准的 DRAM 和 RDIMMS 带来了令人难以置信的性能和效率提升，我们预计，凭借成熟的 RAS 功能、惊人的产量、经济实惠的价格以及 DDR6 及未来技术强大的增强路线图，它们将在未来几年内继续作为通用计算的标准。

但随着数据中心工作负载和部署模式的不断多样化，业界也在探索更多注重每瓦性能的内存和系统架构。LPDDR5X SOCAMM2 内存正是朝着这个方向迈出的一步，它将高带宽、低功耗内存与服务器环境所需的模块化设计相结合。

除了在 JEDEC 内存标准方面发挥技术领先作用外，AMD 还与领先的内存制造商合作开发下一代服务器平台，以确保兼容性以及达到解决方案级每瓦性能目标所需的优化。

AMD EPYC 服务器CPU 采用LPDDR5X SOCAMM2

第六代 AMD EPYC 服务器 CPU 系列将支持符合业界标准的 DDR5 RDIMM 和 MRDIMM 内存。同时，它还将提供支持新型 LPDDR5x SOCAMM2 内存的 SKU。在服务器市场，AMD 计划率先在代号为“Verano”的第六代 AMD EPYC 服务器 CPU 上支持 LPDDR5x SOCAMM2 内存，该 CPU 预计将于 2027 年上市。Verano 将成为未来几代 AMD Instinct GPU 的优化主机 CPU，并利用 LPDDR5x SOCAMM2 为 AMD 的 AI 机架式解决方案提供优化的性能/系统功耗比。带宽、能效和可维护性的结合有望使 LPDDR5x SOCAMM2 组件成为下一代 AI 和数据中心基础设施中极具价值的补充组件。

以上翻译自
https://www.amd.com/en/blogs/2026/a-look-ahead--extending-server-energy-efficiency-with-lpddr5x-me.html

全文小结：NVL72超节点能证明什么？

最后，我想再简单补充一点自己的总结。

如果将应用场景先限制在GPU服务器，下面我引用了业内知名论文《The Llama 3 Herd of Models》中的一个图表：

论文链接
https://arxiv.org/abs/2407.21783

以上总结的是在Llama 3 405B预训练的54天期间，意外中断事件的根因分类。约78%的意外中断归因于已确认或疑似硬件问题。其中由于服务器内存（System Memory）只导致过2次中断，占比0.5%。

而以上Meta使用的硬件平台，是H100 GPU+x86 CPU，也就是ECC RDIMM的表现。

我们试想一下，即使LPDDR SOCAMM内存导致的中断达到传统服务器RDIMM的2-4倍，在LLM大规模集群训练中的影响占比不过也就是1-2%。尽管我没有找到关于GB200、GB300 NVL72超节点相关的故障统计数字，但在其所设计的AI训练、推理应用中，LPDDR SOCAMM的可靠性应该是可以接受的。

以AI训练的集群规模，动辄达到千卡-万卡，换算为服务器节点数也不少了。为了规避各种软硬件中断导致的影响，定期Checkpoint机制成了常规动作。这时本来就不能完全指望单个节点的硬件可靠性。而大模型推理，通常也因为高并发任务而设计有容错机制，同样力求减少硬件单点故障的影响。

但如果进一步扩展到通用服务器范畴，我也说不太准，或者暂时难以给出精确的结论。单凭经验而言，存储服务器对内存等RAS的要求通常要高一些，这方面的客户往往也会保守一些吧。

以上是我的汇总与浅见，受限于个人水平，难免有疏漏之处。大家如有好的观点欢迎写在下面留言里：）

注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。

尊重知识，转载时请并注明来源出处链接。感谢您的阅读和支持！