AIの推論サーバー拡張: ホストメモリまたはVRAMを最初に追加する必要がありますか?

ワークロードがアクセラレータメモリをフルでスタブルし、アクセラレータが空きメモリを持っているときに最初にホストDDR4を追加してくださいが、ホストはメッセージングです。 2つの異なる不足分は、同じアップグレードの2つのバージョンではありません。 HBMは、アクセラレータにどれだけフィットするか、そしてそれが読み取れる速度を設定します。ホストRDIMMは、アクセラレータがそれを供給できるマシンを駆動するかどうかを決定します。 失敗モードはログに異なり、異なる部分で固定されています。

3つの質問から始める

ゆっくり機械から読書をします。 3つの質問は、ほぼすべてのケースを解決します。

1. 停止時にメモリがいっぱいあるのは? アクセラレータがメモリを排出し、プロセスが中絶した場合、制限はアクセラレータ容量です。 アクセラレータがヘッドルームを持っているが、ホストが老化している場合は、ホスト容量です。
2. 多くを持たない、または十分な移動はできませんので、停止しますか? 固定コンテキストの長さまたはバッチサイズで死ぬランは、容量の天井を打つ。 アクセラレータのメモリ利用率が高く、計算の低さで、トークンをゆっくりと生成する実行は、帯域幅の天井に当たる。
3. メモリが無料で無制限の場合、スループットが上昇しますか? アクセラレータコアが既に飽和している場合、より多くのメモリは何も変更しません。 配信が必要な通貨で実行し、計算が制限かどうかを確認します。

帯域幅-boundの負荷対容量-boundの負荷

A 帯域幅・帯域幅 ロードは、待ち時間に余裕があるよりも、作業単位あたりのバイトを読み込みます。 生成されたトークンには、重みとキー値のキャッシュがアクセラレータメモリから読み込まれる必要があるため、保存されたバイトではなく、1秒ごとに天井が移動されます。 長文の注意は同じように振る舞います。その作業セットは大きく変化しますが、繰り返し読まれています。 余分容量は助けません。

A 容量限界 何かが合わないので、ロードストップ: 非常に長いプロンプトを埋め、多くの同時シーケンスを保持し、重みとキー値キャッシュがアクセラレータを上回るモデルを実行したり、データセットをステージングしたり、ページキャッシュでモデルファイルを保存したりできます。

両方が必要である場合 — 低い通貨で収まる負荷と、通貨が上昇するにつれてフィッティングを停止します。また、メモリが不足しているホストでは、2つの独立した不足です。 アクセラレータ側を最初にサイズします。なぜなら、2つの変更が困難で、ホストが変更されるからです。

帯域幅ギャップは、注文が存在する理由です。 HBMの積み重ねは1024ビット インターフェイスを使用します、従って積み重ねごとの帯域幅は8によって分けられるデータ率の時間1024です; DDR4-2933 モジュールは、PC4-23400 が約 23.5 GB/s としてエンコードする 64 ビット パス上のデータを移動します。

インターフェイスの幅および公表されたデータ率から得られる装置ごとの帯域幅

デバイス	インターフェース	データレート	デバイスごとの帯域幅
DDR4-2933 ECC RDIMM (ホスト)	64-bit	2933 MT/sの	≈ 23.5 GB/s
HBM2 8GB stack	1024-bit	2000-2400 MT/s	256-307 GB/s
HBM2e 8GB / 16GBスタック	1024-bit	3200～3600 MT/s	410～461 GB/s
HBM3 16GB / 24GB stack	1024-bit	5600～6400 MT/s	717～819 GB/s
HBM3e 24GB / 36GBスタック	1024-bit	6000–9200 MT/s	768–1178 GB/s

HBMの生成、積み重ね高さおよび密度を読む方法

一度に3軸でHBM部分が指定されます。 ザ・オブ・ザ・ ジェネレーション — HBM2、HBM2e、HBM3、HBM3e — インターフェースと帯域クラスを規定します。 積み重ね高さ, 書き込み 8-Hi または 12-Hi, 1 つのデバイスでスタックされた DRAM のダイスの数です。. 装置ごとの密度 以下は、次の2つです。 世代内では、より高身長なスタックは、より多くのダイを運ぶので、より多くの容量。

私達の在庫はHBM3eの規則を示します: 8-Hi デバイスは 24GB で、同じ世代の 12-Hi デバイスは 36GB で、3 つのベンダーから 9200 の MT/s で保持されるため、同じ世代と速度のクラスから密度が来ます。 HBM3では同じ規則は8-Hiおよび12-Hiの24GBで16GBを与えます。

世代とスタックの高さは独立しており、人を引き出すものです。 HBM2e から HBM3e に移動すると、ダイカウントを変更することなく 3200-3600 MT/s から 6000-9200 MT/s までの帯域幅クラスを上げます。 8-Hi から 12-Hi へ移行し、世代を変えずに能力を上げます。

ジェネレーション	Stack heights available	装置ごとの容量	データレート	スタックごとの帯域幅
HBM2	8-Hi	8GBの	2000 / 2400 MT/s	256 / 307 GB/s
HBM2e	4-こんにちは、8-こんにちは	8GB、16GB	3200 / 3600 MT/s	410 / 461 GB/s
HBM3	8-こんにちは、12-こんにちは	16GB、24GB	5600 / 6400 MT/s	717 / 819 GB/s
HBM3e	8-こんにちは、12-こんにちは	24GB、36GB	6000 / 8000 / 9200 MT/s	768 / 1024 / 1178 GB/s

「VRAMを追加」の意味を変える1つの結果。 アクセラレータのスタックカウントは、パッケージとインポーズ設計で固定されますので、完成したカードのトータルアクセラレータメモリは、ビルド時に設定されます。 部品チャネルで HBM はあります 修理および改良 デバイス: 失敗したスタックを交換すると、上記の天井を上げることなく、設計した容量と帯域幅が復元されます。

追加するホストDDRの数

ホスト側をアクセラレータ容量ではなく、実際に保持しているホストプロセスに対してサイズします。 必要な通貨でサービングまたはトレーニングプロセスの常駐セットを測定し、モデルファイルやデータセットに必要なページキャッシュを追加し、残りの部分をオペレーティングシステムに残します。

2つの機械的ポイントは、あなたが購入する能力が使用可能なかどうかを決定します。 まずは、 すべてのメモリチャネルを出力: : : DDR4-2933 モジュールは、約23.5 GB /秒を1つの64ビットパス上に動かします。そのため、チャネルを半減すると、総容量に関係なく、総帯域幅が半分になります。 第2、 プラットフォームの人口規則にランクとデバイス幅を合わせる — 2Rx4 のように連結して表記します。先頭の数字はランク数、末尾の数字はデバイス幅です。ランク数が多いほど高密度に達しますが、低ランク品よりバス負荷が高くなります。

私たちのMac Pro 2019キットは6または12モジュールで組み立てられており、混合ソースからモジュールではなく、顧客からマッチしたバッチを受け取ります。 6、192GBおよび384GBの96GBおよび192GB 12で。

当社在庫との比較

Lots are supplied from Shenzhen and can be inspected before shipment. HBM is sold by lot, with quantity per lot depending on the stack height of the devices in it. Registered DDR4 lines carry a published list price, with the 32GB line quoting at a minimum of 12 pieces; HBM and kits are quoted on request.

SKU	項目	サイド	販売価格
RDIMM-16G-DDR4-2933-1Rx4	16GB DDR4-2933 PC4-23400 ECC RDIMM, 1Rx4	ホスト容量	US$140.00から
RDIMM-32G-DDR4-2933-2Rx4	32GB DDR4-2933 PC4-23400 ECC RDIMM, 2Rx4	ホスト容量	US$310.00 ・・・
KIT-MACPRO19-6X16G	Mac Pro 2019キット、6×16GB = 96GB	ホスト容量	見積を依頼
KIT-MACPRO19-12X32G	Mac Pro 2019 キット、12 × 32GB = 384GB	ホスト容量	見積を依頼
VRAM-HBM2-SAM-01	HBM2 8GB 8-Hi (サムスン)、2000のMT/s	加速器メモリ	見積を依頼
VRAM-HBM2e-SAM-05	HBM2e 16GB 8-Hi (サムスン)、3200 MT/s	加速器メモリ	見積を依頼
VRAM-HBM3-HYN-16	HBM3 24GB 12-Hi（SK hynix）、5600 MT/s	加速器メモリ	見積を依頼
VRAM-HBM3e-HYN-20	HBM3e 24GB 8-Hi（SK hynix）、8000 MT/s	加速器メモリ	見積を依頼
VRAM-HBM3e-HYN-22	HBM3e 36GB 12-Hi（SK hynix）、9200 MT/s	加速器メモリ	見積を依頼
VRAM-HBM3e-MIC-25	HBM3e 36GB 12-Hi (ミクロン)、9200 MT/s	加速器メモリ	見積を依頼

それは4世代および2つの積み重ね高さを渡る25 HBMラインの切れです。 リストされていない部品番号は、確認済みの問い合わせに対して供給することができます。

どちらも追加すべきでない場合

• 計算は既に限界です。 メモリが部分的にアイドル状態にしている間加速器の中心が飽和している場合、より多くの帯域幅およびより多くの容量は両方変更しません。
• ボトルネックは相互接続です。 ホスト RDIMM は、ホストツーデバイス リンクを広げず、アクセラレータメモリはメモリに到達しない転送を修正しません。
• プラットフォームは、その世代を受け入れません。 HBM2 または HBM2e デバイス用に構築されたボードは、HBM3 または HBM3e — インターフェイス、シグナル伝達、コントローラーと異なる状態での配線はできません。 DDR4 プラットフォームの DDR5 モジュールに同じが適用されます。
• すべてのスロットは既にポップアップされています。 回答はモジュールごとに異なる密度で、ランクとデバイスの幅が異なるため、モジュールが多すぎません。
• ボードは健康です。 何も失敗しなかった場合、HBMの購入はワーキングカードに容量を加えません。

よくある質問

ワークロードが帯域幅と容量の上限かどうかを教えてください。

失敗とアイドルとは何かを見る。 アクセラレータメモリが排出されるため、または固定コンテキストの長さまたはバッチサイズよりもフィッティングを停止すると、制限は容量です。 完了すると、アクセラレータのメモリ使用率が高く、コンピュートが低ければ、制限は帯域幅です。 idle アクセラレータを持つ paging ホストは、ホストメモリにポイントします。

既に持っているアクセラレータにHBMを追加して、その容量を上げることはできますか?

いいえ。 スタックカウントはパッケージとインポーズ設計により固定されますので、完成したカードの合計アクセラレータメモリはビルド時に決定されます。 失敗したスタックを交換すると、ボードが設計した容量と帯域幅が復元されます。 天井を上げることは、より加速器、または背の高いスタックまたは新しい世代で構築されたカードを意味します。

ホストDDR4メモリを追加すると、トークン生成が速くなりますか?

自社ではありません。 トークン生成は、アクセラレータメモリから重量とキー値のキャッシュを読み込むので、アクセラレータの帯域幅によって速度が管理されます。 ホストメモリは、ホストが制約であるときに役立ちます - ピアジングプロセス、ディスクから再読み込みするモデルファイル、収まらないデータセット - これらは、遅いトークンではなく、屋台として現れます。

より高いスタックは、帯域幅を常に意味していますか?

いいえ。 積み重ね高さは世代内の容量を置きます; 生成とデータレートは、帯域幅クラスを設定します。 HBM3e では 8-Hi 装置は 24GB で 12-Hi 装置は 36GB であり、両方私達の在庫は 9200 MT/s で動きます、従って積み重ねごとの帯域幅は同じです。

どの条件の等級が生産の侵入のノードの使用べきですか。

New, refurbished and pulled-and-tested lines are all functionally verified before packing; the difference is who carries the risk. Grade is recorded per line and appears on the quotation, and every shipment carries lot photographs and test reports.

---

どの部分があなたのプラットホームに合いますか。 お問い合わせ — または部品番号、数量、配送先住所を送信し、ロットを書面で引用します。