AI Inference Server Erweiterung: Sollten Sie zuerst Hostspeicher oder VRAM hinzufügen?
Fügen Sie VRAM zuerst hinzu, wenn der Workload mit vollem Beschleunigerspeicher blockiert wird, und fügen Sie zuerst den Host DDR4 hinzu, wenn der Beschleuniger freien Speicher hat, der Host jedoch paging ist. Zwei verschiedene Mängel, nicht zwei Versionen des gleichen Upgrades: HBM legt fest, wie viel auf einen Beschleuniger passt und wie schnell er gelesen werden kann, während Host RDIMM entscheidet, ob die Maschine, die diesen Beschleuniger steuert, ihn speisen kann. Die Fehlermodi sehen in einem Protokoll anders aus und sind mit verschiedenen Teilen behoben.
Beginnen Sie mit drei Fragen
Holen Sie sich eine Lesung von der Maschine, während es langsam ist. Drei Fragen lösen fast jeden Fall.
- Wo ist das Gedächtnis tatsächlich voll, wenn es aufhört? Wenn der Beschleuniger den Speicher ausschöpft und der Prozess abbricht, ist die Grenze die Beschleunigerkapazität. Wenn der Beschleuniger Headroom hat, aber der Host paging ist, ist es Hostkapazität.
- Stoppt es, weil es nicht mehr halten kann oder sich nicht genug bewegen kann? Ein Lauf, der bei einer festen Kontextlänge oder Batchgröße stirbt, trifft eine Kapazitätsobergrenze. Ein Lauf, der abgeschlossen ist, aber Tokens langsam produziert, mit hoher und niedriger Auslastung des Beschleunigerspeichers, trifft eine Bandbreitenobergrenze.
- Wenn das Gedächtnis frei und unbegrenzt wäre, würde der Durchsatz steigen? Wenn die Beschleunigerkerne bereits gesättigt sind, ändert mehr Speicher nichts. Führen Sie mit der Parallelität aus, die Sie bedienen müssen, und prüfen Sie, ob Compute das Limit ist.
Bandbreitengebundene Lasten gegenüber kapazitätsgebundenen Lasten
A Bandbreitengebunden Load liest mehr Bytes pro Arbeitseinheit, als es sich leisten kann zu warten. Jedes generierte Token erfordert, dass die Gewichte und der Schlüsselwert-Cache aus dem Beschleunigerspeicher gelesen werden, so dass die Decke pro Sekunde bewegt wird, nicht Bytes gespeichert. Langkontext-Aufmerksamkeit verhält sich genauso - ihr Arbeitssatz ändert sich kaum, wird aber wiederholt gelesen. Zusätzliche Kapazitäten helfen nicht.
A Kapazitätsgebunden Ladestopps, weil etwas nicht passt: Vorfüllen einer sehr langen Eingabeaufforderung, Halten vieler gleichzeitiger Sequenzen, Ausführen eines Modells, dessen Gewichte plus Schlüsselwert-Cache den Beschleuniger überschreiten, oder eines Host-Stagings eines Datensatzes und Halten von Modelldateien im Seiten-Cache.
Wenn beide benötigt werden - eine Last, die bei niedriger Parallelität passt und nicht mehr passt, wenn die Parallelität steigt, auf einem Host, der auch wenig Speicher hat - das sind zwei unabhängige Engpässe. Größe der Beschleunigerseite zuerst, weil es schwieriger ist, die beiden zu ändern, dann den Host.
Die Bandbreitendifferenz ist der Grund für diese Reihenfolge. Ein HBM-Stack nutzt eine 1024-Bit-Schnittstelle, die Bandbreite pro Stack ergibt sich also aus der Datenrate mal 1024 geteilt durch 8; ein DDR4-2933-Modul überträgt Daten über einen 64-Bit-Pfad, was PC4-23400 als rund 23,5 GB/s codiert.
| Vorrichtung | Schnittstelle | Datenrate | Bandbreite pro Gerät |
|---|---|---|---|
| DDR4-2933 ECC RDIMM (Host) | 64-bit | 2933 MT/s | ≈ 23.5 GB/s |
| HBM2 8GB stack | 1024-bit | 2000-2400 MT/s | 256–307 GB/s |
| HBM2e 8GB / 16GB Stack | 1024-bit | 3200-3600 MT/s | 410–461 GB/s |
| HBM3 16GB / 24GB stack | 1024-bit | 5600–6400 MT/s | 717–819 GB/s |
| HBM3e 24GB / 36GB Stack | 1024-bit | 6000–9200 MT/s | 768–1178 GB/s |
Wie man HBM Generation, Stapelhöhe und Dichte liest
Ein HBM-Teil wird auf drei Achsen gleichzeitig angegeben. Die Generation — HBM2, HBM2e, HBM3, HBM3e — legt die Schnittstelle und die Bandbreitenklasse fest. Die Stapelhöhe, geschrieben 8-Hi oder 12-Hi, ist die Anzahl der in einem Gerät gestapelten DRAM-Dies. Dichte pro Gerät folgt aus diesen beiden: Innerhalb einer Generation trägt ein größerer Stapel mehr Matrizen und damit mehr Kapazität.
Unsere Aktie zeigt die Regel bei HBM3e: Ein 8-Hi-Gerät ist 24 GB, ein 12-Hi-Gerät der gleichen Generation ist 36 GB, und beide werden bei 9200 MT / s von drei Anbietern gehalten - so kommt entweder Dichte aus der gleichen Generation und Geschwindigkeitsklasse. Bei HBM3 gibt die gleiche Regel 16 GB bei 8-Hi und 24 GB bei 12-Hi.
Generation und Stapelhöhe sind unabhängig, was die Menschen auffängt. Der Wechsel von HBM2e zu HBM3e erhöht die Bandbreitenklasse von 3200-3600 MT/s auf 6000-9200 MT/s, ohne die Anzahl der Die zu ändern; Der Wechsel von 8-Hi zu 12-Hi erhöht die Kapazität, ohne die Generation zu ändern.
| Generation | Stack heights available | Kapazität je Gerät | Datenrate | Bandbreite je Stapel |
|---|---|---|---|---|
| HBM2 | 8-Hi | 8GB | 2000 / 2400 MT/s | 256 / 307 GB/s |
| HBM2e | 4-Hi, 8-Hi | 8 GB, 16 GB | 3200 / 3600 MT/s | 410 / 461 GB/s |
| HBM3 | 8-Hi, 12-Hi | 16 GB, 24 GB | 5600 / 6400 MT/s | 717 / 819 GB/s |
| HBM3e | 8-Hi, 12-Hi | 24GB, 36GB | 6000 / 8000 / 9200 MT/s | 768 / 1024 / 1178 GB/s |
Eine Konsequenz ändert, was "Add VRAM" bedeuten kann. Die Stapelanzahl auf einem Beschleuniger wird durch das Paket- und Interposer-Design festgelegt, so dass der Gesamtbeschleunigerspeicher einer fertigen Karte beim Aufbau festgelegt wird. Im Teilekanal HBM befindet sich ein Reparatur und Umrüstung Einrichtung: Durch das Ersetzen eines ausgefallenen Stapels wird die geplante Kapazität und Bandbreite wiederhergestellt, ohne die Decke darüber anzuheben.
Wie viel Host DDR Sie hinzufügen
Größe die Host-Seite gegen das, was der Host-Prozess tatsächlich hält, nicht gegen die Beschleunigerkapazität. Messen Sie den Resident-Satz des Serving- oder Trainingsprozesses in der von Ihnen benötigten Parallelität, fügen Sie den gewünschten Seiten-Cache für Modelldateien und Datensätze hinzu und überlassen Sie den Rest dem Betriebssystem.
Zwei mechanische Punkte entscheiden darüber, ob die von Ihnen gekaufte Kapazität nutzbar ist. Erstens: Füllen Sie jeden Speicherkanal: Ein DDR4-2933-Modul überträgt etwa 23,5 GB/s über einen 64-Bit-Pfad, daher halbiert eine Halbbestückung der Kanäle die aggregierte Host-Bandbreite unabhängig von der Gesamtkapazität. Zweitens: Rang und Gerätebreite den Populationsregeln der Plattform entsprechen - zusammen gedruckt, wie in 2Rx4, wobei die Hauptfigur die Rangzahl und die Hinterfigur die Gerätebreite ist. Höhere Rangzahl erreicht höhere Dichte, belastet aber den Bus härter als niedrigere Teile.
Unsere Mac Pro 2019 Kits werden in 6 oder 12 Modulen montiert, so dass der Kunde eine passende Charge anstelle von Modulen aus gemischten Quellen erhält: 96GB und 192GB bei sechs, 192GB und 384GB bei zwölf.
Wie das gegen unsere Aktien aussieht
Lots are supplied from Shenzhen and can be inspected before shipment. HBM is sold by lot, with quantity per lot depending on the stack height of the devices in it. Registered DDR4 lines carry a published list price, with the 32GB line quoting at a minimum of 12 pieces; HBM and kits are quoted on request.
| SKU | Position | Seite | Preis |
|---|---|---|---|
| RDIMM-16G-DDR4-2933-1Rx4 | 16GB DDR4-2933 PC4-23400 ECC RDIMM, 1Rx4 | Hostkapazität | 140,00 USD |
| RDIMM-32G-DDR4-2933-2Rx4 | 32GB DDR4-2933 PC4-23400 ECC RDIMM, 2Rx4 | Hostkapazität | US $ 310.00 · kein Minimum |
| KIT-MACPRO19-6X16G | Mac Pro 2019 Kit, 6 × 16 GB = 96 GB | Hostkapazität | Angebot anfordern |
| KIT-MACPRO19-12X32G | Mac Pro 2019 Kit, 12 × 32 GB = 384 GB | Hostkapazität | Angebot anfordern |
| VRAM-HBM2-SAM-01 | HBM2 8GB 8-Hi (Samsung), 2000 MT/s | Beschleunigungsspeicher | Angebot anfordern |
| VRAM-HBM2e-SAM-05 | HBM2e 16GB 8-Hi (Samsung), 3200 MT/s | Beschleunigungsspeicher | Angebot anfordern |
| VRAM-HBM3-HYN-16 | HBM3 24GB 12-Hi (SK hynix), 5600 MT/s | Beschleunigungsspeicher | Angebot anfordern |
| VRAM-HBM3e-HYN-20 | HBM3e 24GB 8-Hi (SK Hynix), 8000 MT/s | Beschleunigungsspeicher | Angebot anfordern |
| VRAM-HBM3e-HYN-22 | HBM3e 36GB 12-Hi (SK hynix), 9200 MT/s | Beschleunigungsspeicher | Angebot anfordern |
| VRAM-HBM3e-MIC-25 | HBM3e 36GB 12-Hi (Micron), 9200 MT/s | Beschleunigungsspeicher | Angebot anfordern |
Das ist eine Scheibe von 25 HBM-Linien über vier Generationen und zwei Stapelhöhen. Nicht aufgeführte Teilenummern können oft gegen eine bestätigte Anfrage bezogen werden.
Wenn Sie keines von beiden hinzufügen sollten
- Compute ist bereits das Limit. Wenn die Beschleunigerkerne gesättigt sind, während der Speicher teilweise im Leerlauf liegt, ändern mehr Bandbreite und mehr Kapazität nichts.
- Der Flaschenhals ist die Interconnect. Host RDIMM erweitert die Host-zu-Gerät-Verbindung nicht, und der Beschleunigerspeicher behebt keine Übertragung, die niemals den Speicher erreicht.
- Die Plattform akzeptiert diese Generation nicht. Eine für HBM2- oder HBM2e-Geräte gebaute Platine kann nicht mit HBM3 oder HBM3e nachgerüstet werden – Schnittstelle, Signalisierung und Steuerung unterscheiden sich. Gleiches gilt für DDR5-Module in einer DDR4-Plattform.
- Alle Slots sind bereits belegt. Die Antwort ist eine unterschiedliche Dichte pro Modul, die Rang und Gerätebreite ändert, nicht mehr Module.
- Der Vorstand ist gesund. Wenn nichts fehlgeschlagen ist, fügt ein HBM-Kauf keine Kapazität zu einer Arbeitskarte hinzu.
Gemeinsame Fragen
Wie erkenne ich, ob mein Workload bandbreitengebunden oder kapazitätsgebunden ist?
Beobachten Sie, was versagt und was untätig ist. Wenn der Prozess abbricht, weil der Beschleunigerspeicher erschöpft ist, oder aufhört, oberhalb einer festen Kontextlänge oder Batchgröße zu passen, ist die Kapazitätsgrenze. Wenn es abgeschlossen ist, aber Token langsam ankommen, während die Auslastung des Beschleunigerspeichers hoch und die Berechnung niedrig ist, ist die Bandbreite begrenzt. Ein Paging-Host mit Idle-Beschleunigern zeigt auf den Host-Speicher.
Kann ich HBM zu einem Beschleuniger hinzufügen, der es bereits hat, um seine Kapazität zu erhöhen?
Nein. Die Stapelzahl wird durch das Paket- und Interposer-Design festgelegt, so dass der Gesamtbeschleunigerspeicher einer fertigen Karte beim Aufbau bestimmt wird. Das Ersetzen eines ausgefallenen Stapels stellt die Kapazität und Bandbreite wieder her, für die das Board entworfen wurde. Das Anheben der Decke bedeutet mehr Beschleuniger oder eine Karte mit größeren Stapeln oder eine neuere Generation.
Wird das Hinzufügen von Host-DDR4-Speicher die Token-Generierung schneller machen?
Nicht allein. Die Token-Generierung liest Gewichte und Schlüsselwert-Cache aus dem Beschleunigerspeicher, so dass die Geschwindigkeit von der Beschleunigerbandbreite abhängt. Host-Speicher hilft, wenn der Host die Einschränkung ist - ein Paging-Prozess, Modelldateien, die von der Festplatte neu gelesen werden, ein Datensatz, der nicht passt - und diese werden als Stände angezeigt, nicht als langsame Token.
Bedeutet ein größerer Stack immer mehr Bandbreite?
Nein. Stapelhöhe setzt Kapazität innerhalb einer Generation; die Erzeugung und deren Datenrate die Bandbreitenklasse festlegen. Bei HBM3e ist ein 8-Hi-Gerät 24 GB und ein 12-Hi-Gerät 36 GB, und beides läuft in unserem Lager bei 9200 MT / s, so dass die Bandbreite pro Stack gleich ist.
Welchen Zustandsgrad sollte ein Production Inference Node verwenden?
New, refurbished and pulled-and-tested lines are all functionally verified before packing; the difference is who carries the risk. Grade is recorded per line and appears on the quotation, and every shipment carries lot photographs and test reports.
Noch nicht sicher, welches Teil zu Ihrer Plattform passt? Fragen Sie Frau Ms Aya — oder senden Sie die Teilenummer, Menge und Lieferadresse und wir werden das Los schriftlich zitieren.
Frau Aya