AI 推断服务器扩展 : 您应该先添加主机内存还是 VRAM ?
当加速器内存已满导致工作负载停滞时，先增加 VRAM；当加速器内存空闲但主机正在分页时，先增加主机 DDR4。这是两种不同的短缺，不是同一种升级的两个版本：HBM 决定加速器上可容纳多少以及读取速度有多快，而主机 RDIMM 决定驱动该加速器的机器能否为其提供数据。故障模式在日志中看起来不同，也需要用不同部件来修复。
从三个问题开始
慢慢从机器上读取 几乎每个案件都由三个问题解决。
- 当内存停止时,它在哪里? 如果加速器耗尽了内存,过程中止,限制就是加速能力. 如果加速器有主机室,但主机正在呼救,则是主机容量.
- 它之所以停止,是因为它无法承受更多,还是不能充分移动? 在固定上下文长度或批次大小处崩溃的任务，是撞上了容量上限。任务能跑完但生成令牌很慢、加速器显存占用高而算力利用率低，则是撞上了带宽上限。
- 如果内存是自由的和无限的,吞吐量会上升吗? 如果加速核心已经饱和,更多的内存会改变什么. 按您需要的货币运行, 并检查计算是否为极限 。
带宽受限负载与容量受限负载
A 带宽受限 负载读取的单位工作字节数超过它能够等待的字节. 每个已生成的令牌需要从加速器内存读取权重和键值缓存,所以天花板是每秒移动的字节,而不是存储的字节. 长文本的注意方式是相同的——它的工作集几乎没有改变大小,而是被反复读取. 额外能力无济于事。
A 能力约束 负载停止, 因为有东西不符合 : 预填一个非常长的提示, 持有许多并行序列, 运行一个重量加密钥- 值缓存超过加速器的模型, 或者主机在页面缓存中设置一个数据集并保存模型文件 。
当两者都需要时 ——在低并发下放得下、随并发升高就放不下的负载，加上一台同样缺内存的主机——这是两个相互独立的短缺。先按加速器侧定规格，因为它是两者中更难改变的一方，然后再定主机。
带宽差距正是这一排序存在的原因。HBM 每个堆叠采用 1024 位接口，因此每个堆叠的带宽等于数据速率乘以 1024 再除以 8；DDR4-2933 内存条走 64 位通道，PC4-23400 编码即约 23.5 GB/s。
| 设备 | 接口 | 数据率 | 每个设备的带宽 |
|---|---|---|---|
| DDR4-2933 ECC RDIMM（主机） | 64-bit | 2933 MT/s | ≈ 23.5 GB/s |
| HBM2 8GB stack | 1024-bit | 2000-2400公吨/秒 | 256-307 GB/s |
| HBM2e 8GB / 16GB 堆栈 | 1024-bit | 3200-3600公吨/秒 | 410–461 GB/s |
| HBM3 16GB / 24GB stack | 1024-bit | 5600-6400公吨/秒 | 717–819 GB/s |
| HBM3e 24GB / 36GB 堆叠 | 1024-bit | 6000–9200 MT/s | 768-1178 GB/s |
如何解读 HBM 的世代、堆叠高度与密度
一个HBM部分一并被指定在三个轴上. 这个 代 ——HBM2,HBM2e,HBM3,HBM3e ——固定接口和带宽等级. 这个 堆栈高度，写作 8-Hi 或 12-Hi，指单个器件内堆叠的 DRAM 晶粒数量。 每个设备密度 由这两点直接推出：同一世代内，堆叠越高，容纳的晶粒越多，容量也就越大。
我们的现货印证了这条规律：HBM3e 中 8-Hi 器件为 24GB、同世代 12-Hi 为 36GB，两种密度都有三家厂商的现货、均运行在 9200 MT/s——即任一密度都出自同一世代和速度等级。HBM3 同理：8-Hi 为 16GB、12-Hi 为 24GB。
世代与堆叠高度相互独立，这正是最容易让人混淆的地方。从 HBM2e 升级到 HBM3e，带宽等级从 3200–3600 MT/s 提升到 6000–9200 MT/s，而晶粒数不变；从 8-Hi 换到 12-Hi，则提升容量而世代不变。
| 代际 | Stack heights available | 每个设备的容量 | 数据率 | 每叠带宽度 |
|---|---|---|---|---|
| HBM2 | 8-Hi | 8GB | 2000 / 2400 MT/s | 256 / 307 GB/s |
| HBM2e | 4 - 嗨, 8 - 嗨, 4 - 嗨, 8 | 8GB, 16GB | 3200 / 3600 MT/s | 410 / 461 GB/s |
| HBM3 | 8-Hi、12-Hi | 16GB, 24GB | 5600 / 6400 MT/s | 717 / 819 GB/s |
| HBM3e | 8-Hi、12-Hi | 24GB, 36GB | 6000 / 8000 / 9200 MT/s | 768 / 1024 / 1178 GB/s |
有一个后果会改变“加显存”的含义：加速卡上的堆叠数量由封装与中介层设计固定，成品卡的显存总量在出厂时就已经定死。在散料市场上，HBM 是一种 维修和翻新 设备 : 替换一个失败的堆栈可以恢复设计的容量和带宽,而不将天花板提升到上面。
您添加多少主机 DDR
相对于主机进程实际持有的大小,而不是相对于加速器容量. 以您需要的货币度量服务或培训过程的驻地集, 添加您想要的用于模型文件和数据集的页面缓存, 其余部分留给操作系统 。
两个机械层面的要点决定你买到的容量是否可用。第一， 播放每个内存通道数字 : a DDR4-2933模块将大约23.5 GB/s移动到一个64位路径上,所以无论总容量大小,半人行通道都会将总主机带宽减半. 第二,我们... 让秩与器件位宽符合平台的插槽配置规则 — 合并标注，如 2Rx4，其中前一位数字是 Rank 数，后一位数字是器件位宽。更高的 Rank 数可实现更高密度，但相比低 Rank 部件会给总线带来更大负载。
我们的Mac Pro 2019包装入了6个或12个模块,因此客户从混合来源收到一个匹配的批次而不是模块: 96GB和192GB在6,192GB和384GB在12.
对照我们的现货看这一点
Lots are supplied from Shenzhen and can be inspected before shipment. HBM is sold by lot, with quantity per lot depending on the stack height of the devices in it. Registered DDR4 lines carry a published list price, with the 32GB line quoting at a minimum of 12 pieces; HBM and kits are quoted on request.
| SKU | 项目 | 边 | 价格 |
|---|---|---|---|
| RDIMM-16G-DDR4-2933-1Rx4 | 16GB DDR4-2933 PC4-23400 ECC RDIMM, 1Rx4 | 东道方容量 | 140.00美元 |
| RDIMM-32G-DDR4-2933-2Rx4 | 32GB DDR4-2933 PC4-23400 ECC RDIMM, 2Rx4 | 东道方容量 | 310.00美元 · 无最低起订量 |
| KIT-MACPRO19-6X16G | Mac Pro 2019 套件，6 × 16GB = 96GB | 东道方容量 | 索取报价 |
| KIT-MACPRO19-12X32G | Mac Pro 2019 套件，12 × 32GB = 384GB | 东道方容量 | 索取报价 |
| VRAM-HBM2-SAM-01 | HBM2 8GB 8-Hi（Samsung），2000 MT/s | 加速器内存 | 索取报价 |
| VRAM-HBM2e-SAM-05 | HBM2e 16GB 8-Hi（Samsung），3200 MT/s | 加速器内存 | 索取报价 |
| VRAM-HBM3-HYN-16 | HBM3 24GB 12-Hi（SK hynix），5600 MT/s | 加速器内存 | 索取报价 |
| VRAM-HBM3e-HYN-20 | HBM3e 24GB 8 层（SK hynix），8000 MT/s | 加速器内存 | 索取报价 |
| VRAM-HBM3e-HYN-22 | HBM3e 36GB 12-Hi（SK hynix），9200 MT/s | 加速器内存 | 索取报价 |
| VRAM-HBM3e-MIC-25 | HBM3e 36GB 12-Hi（Micron），9200 MT/s | 加速器内存 | 索取报价 |
以上只是涵盖四个世代、两种堆叠高度的 25 条 HBM 在售条目中的一部分。未列出的料号，通常在确认询盘后也能寻源供货。
当你不应该添加一个
- 计算已经是极限了。 如果加速器核心是饱和的,而内存则部分闲置,则更多的带宽和更大的容量都改变不了什么.
- 瓶颈在于互连。 主机RDIMM不拓宽主机到设备的链接,加速器内存不会固定一个从未到达内存的传输.
- 该平台不支持这一代。 为 HBM2 或 HBM2e 器件设计的板卡无法换装 HBM3 或 HBM3e——接口、信号与控制器都不同。在 DDR4 平台使用 DDR5 内存条也是同样的道理。
- 所有槽已经有人了。 答案是每个模块的密度不同,它会改变等级和设备宽度,而不是更多的模块.
- 董事会是健康的。 如果没有失败,购买HBM不会增加工作卡的容量.
共同问题
如何判断我的工作负载是带宽受限还是容量受限？
看什么是失败什么是闲事。 如果进程因加速器内存已耗尽而中止,或停止安装在固定上下文长度或批量大小以上,则极限就是容量. 如果它完成但令牌在加速器内存使用高而计算低时会缓慢地到达,极限就是带宽. 有闲置加速器的呼号主机指向主机内存.
能否给已带 HBM 的加速器再加 HBM 来提升容量？
不能。堆叠数量由封装与中介层设计固定，因此成品卡的加速器显存总量在出厂时即已确定。更换损坏的堆叠只能恢复板卡设计时的容量和带宽。要抬高上限，只能增加加速器数量，或选用采用更高堆叠高度、更新世代堆叠制造的卡。
添加主机 DDR4 内存会更快地生成符号吗 ?
不自出门. 托肯一代从加速器内存读取权重和键值缓存,因此其速度由加速器带宽来调节. 主机内存有助于当主机是制约时——一个呼号过程,模型文件从磁盘上再读取,一个不相适应的数据集——那些显示为摊位,而不是慢符号.
更高的堆栈总是意味着更多的带宽吗?
不会。堆叠高度决定同一世代内的容量；世代及其数据速率才决定带宽等级。HBM3e 中 8-Hi 器件为 24GB、12-Hi 为 36GB，我们现货的两者都运行在 9200 MT/s，因此每堆带宽相同。
生产推断节点应使用何种条件等级?
New, refurbished and pulled-and-tested lines are all functionally verified before packing; the difference is who carries the risk. Grade is recorded per line and appears on the quotation, and every shipment carries lot photographs and test reports.
还是不知道哪个部分适合你的平台? 问亚也小姐 — 或发送料号、数量和交货地址，我们将以书面形式报价整批。
Aya女士