توسيع خادم استدلال الذكاء الاصطناعي: هل يجب أن تضيف ذاكرة مضيفة أو (فرام) أولاً؟
يضاف برنامج " VRAM " أولاً عندما يتعطل عبء العمل مع الذاكرة المعجلة كاملة، ويضيف برنامج " DDR4 " أولاً عندما يكون لدى المعجل ذاكرة مجانية، ولكن المضيف يتربص. نقصان مختلفان، وليس نسختين من نفس التحديث: ويضع نظام HBM كم يناسب مسرعاً وكم يمكن قراءته بسرعة، في حين يقرر مضيف " RDIMM " ما إذا كانت الآلة التي تقود المعجلة تستطيع إطعامها. وطرق الفشل تبدو مختلفة في سجل وتصلح بأجزاء مختلفة
إبدأ بثلاثة أسئلة
الحصول على قراءة من الآلة بينما هو بطيء. ثلاث أسئلة تحل كل قضية تقريباً
- أين الذاكرة كاملة عندما تتوقف؟ وإذا استنفد المعجل ذاكرة العملية وألغيت العملية، فإن الحد الأقصى هو القدرة المعجلة. إذا كان لدى المعجل غرفة رئيسية لكن المضيف هو التعبئة، فهو القدرة المضيفة.
- هل يتوقف لأنه لا يمكن أن يحمل المزيد، أو لا يمكن أن تتحرك بما فيه الكفاية؟ الركض الذي يَمُوتُ في سياق ثابت طول أَو حجم دفعةِ يَضْربُ a سقف طاقةِ. الركض الذي يُكمل لكنه يُنتج الكسور ببطء، مع استخدام الذاكرة المعجلة عالياً و منخفضاً جداً، يضرب سقفاً.
- إذا كانت الذاكرة حرة وغير محدودة، من شأنه أن يرتفع الناتج؟ إذا كانت النواة المعجلة مشبعة بالفعل، المزيد من الذاكرة لا يغير شيئا. اركضي في الاتّفاق الذي تحتاجينه وتحققي إن كان الحساب هو الحدّ
الحمولات المحملة بالضمادات مقابل الحمولات المزودة بالقدرات
A الضمادات يقرأ الحمولة عن كل وحدة عمل أكثر مما يمكن أن تنتظره كلّ من يُولّدُ يَتطلّبُ الأوزانَ ومخبأَ القيمةِ الرئيسيةِ للقراءة مِنْ ذاكرةِ مُعجّلةِ، لذا السقفِ يَتحرّكُ في الثانيةِ، لَيسَ مخزنَ. ويتصرف الاهتمام الطويل المدى بنفس الطريقة - فمجموعته العاملة لا تتغير إلا بشكل متكرر. القدرة الإضافية لا تساعد
A القدرات يتوقّف الحمل لأنّ شيئاً لا يلائمه: تمهيد عملية الفرز السريع لمدة طويلة جدا، والاحتفاظ بالعديد من التسلسلات المتزامنة، وإدارة نموذج يكون وزنه زائدا مخبأ القيمة الرئيسية يتجاوز المعجل، أو مضيف يقوم بجمع مجموعة بيانات وحفظ ملفات نموذجية في مخبأ الصفحات.
عند الحاجة إلى كليهما - حمولة تتناسب مع الاكتفاء المنخفض وتتوقف عن التطابق مع ارتفاعات التماثل، على مضيف يقل أيضا عن ذاكرته - وهذا نقصان مستقلان. اضغط الجانب المعجل أولاً، لأنه من الصعب على الاثنين أن يتغيرا، ثم المضيف.
الفجوة في عرض النطاق الترددي هي السبب في وجود هذا الأمر. يستخدم كومة HBM واجهة 1024-بت، لذا فإن عرض النطاق لكل كومة هو معدل البيانات مضروباً في 1024 مقسوماً على 8؛ ووحدة DDR4-2933 تنقل البيانات عبر مسار 64-بت، وهو ما يشفره PC4-23400 بنحو 23.5 GB/s.
| الجهاز | الواجهة | معدل البيانات | الضمادات لكل جهاز |
|---|---|---|---|
| DDR4-2933 ECC RDIMM (المضيف) | 64-bit | 2933 MT/s | 23.5 GB/ |
| HBM2 8GB stack | 1024-bit | 2000-2400 ميجا نقل/ثانية | 256–307 GB/s |
| مكدس HBM2e 8GB / 16GB | 1024-bit | 3200-3600 MT/s | 410-461 GB/s |
| HBM3 16GB / 24GB stack | 1024-bit | 5600-6400 ميجا نقل/ثانية | 717-819 GB/s |
| حزمة HBM3e 24GB / 36GB | 1024-bit | 6000–9200 MT/s | 768–1178 GB/s |
كيفية قراءة جيل HBM وارتفاع الحزمة والكثافة
ويُحدَّد جزء من تدابير بناء الثقة على ثلاث محاور في آن واحد. The جيل — HBM2 وHBM2e وHBM3 وHBM3e — تحدد الواجهة وفئة عرض النطاق. أما طول الكواليسمكتوبة بـ 8 هاي أو 12 هاي هو عدد الـ دي آر إم مات في جهاز واحد الكثافة لكل جهاز على النحو التالي: وفي غضون جيل أطول من ذلك، يكون هناك عدد أكبر من القتلى، وبالتالي المزيد من القدرات.
مخزوننا يبين القاعدة في HBM3e: وجهاز " 8 - هي " هو 24GB، وجهاز من طراز 12Hi من نفس الجيل هو 36GB، وكلاهما محتفظ بهما في 9200 MT/s من ثلاثة بائعين - لذا إما الكثافة تأتي من نفس الجيل ودرجة السرعة. وفي HBM3 تعطي القاعدة نفسها 16GB بارتفاع 8 و24GB بارتفاع 12.
الجيل وارتفاع الحزمة مستقلان عن بعضهما، وهذا ما يفاجئ الكثيرين. الانتقال من HBM2e إلى HBM3e يرفع فئة النطاق الترددي من 3200–3600 MT/s إلى 6000–9200 MT/s دون تغيير عدد الشرائح؛ والانتقال من 8-Hi إلى 12-Hi يرفع السعة دون تغيير الجيل.
| التوليد | Stack heights available | القدرات لكل جهاز | معدل البيانات | باندويث لكل كيس |
|---|---|---|---|---|
| HBM2 | 8-Hi | 8GB | 2000 / 2400 MT/s | 256 / 307 GB/s |
| HBM2e | 4-Hi، 8-Hi | 8GB, 16GB | 3200 / 3600 MT/s | 410 / 461 GB/s |
| HBM3 | 8-Hi, 12-Hi | 16GB, 24GB | 5600 / 6400 MT/s | 717 / 819 GB/s |
| HBM3e | 8-Hi, 12-Hi | 24GB, 36GB | 6000 / 8000 / 9200 MT/s | 768 / 1024 / 1178 GB/s |
ثمّة واحدة تغيّر ما يمكن أن يعنيه كلمة "أد فرام" عدّة الحزمة على مُسرّع تمّ تثبيته من خلال تصميم الطرود والمُتقاطعات، لذا تمّ تحديد ذكرى مُسرّعة البطاقات المُنتهية عندما تُبنى. في قناة "إتش بي إم" هي إصلاح وإعادة تصميم الجهاز: والاستعاضة عن الحزمة الفاشلة تعيد القدرة المصممة والضمادات دون رفع السقف فوقها.
كم تضيف؟
اضغط على الجانب المضيف ضد ما تملكه العملية المضيفة بالفعل، وليس ضد القدرة المعجلة. قم بقياس المجموعة المقيمة من عملية الخدمة أو التدريب في الاتّفاق الذي تحتاجه، أضف الصفحة التي تريدها للملفات النموذجية ومجموعات البيانات، وأترك الباقي لنظام التشغيل.
نقطتان ميكانيكيتان تقرران ما إذا كانت القدرة التي تشتريها قابلة للاستخدام أولاً كل قناة ذاكرة: تنقل وحدة DDR4-2933 نحو 23.5 GB/s عبر مسار واحد بعرض 64 بت، لذا فإن ملء نصف القنوات فقط يخفض عرض النطاق التجميعي للمضيف إلى النصف بغض النظر عن السعة الإجمالية. ثانيًا، مطابقة للرتبة وإستعراض الجهاز للقواعد السكانية للمنصة — مطبوعة معًا، كما في 2Rx4، حيث يمثل الرقم الأول عدد الرتب والرقم الأخير عرض الجهاز. يصل عدد الرتب الأعلى إلى كثافة أعلى لكنه يحمّل الناقل أكثر من القطع ذات الرتب الأقل.
مجموعة ماك برو 2019 مجمّعة في 6 أو 12 وحدة حتى يتلقى العميل دفعة مطابقة بدلاً من وحدات من مصادر مختلطة 96GB و192GB عند ست وحدات، و192GB و384GB عند اثنتي عشرة.
كيف يبدو هذا ضد مخزوننا
Lots are supplied from Shenzhen and can be inspected before shipment. HBM is sold by lot, with quantity per lot depending on the stack height of the devices in it. Registered DDR4 lines carry a published list price, with the 32GB line quoting at a minimum of 12 pieces; HBM and kits are quoted on request.
| SKU | البند | الجانب | السعر |
|---|---|---|---|
| RDIMM-16G-DDR4-2933-1Rx4 | 16GB DDR4-2933 PC4-23400 ECC RDIMM, 1Rx4 | القدرة المضيفة | 140.00 دولار |
| RDIMM-32G-DDR4-2933-2Rx4 | 32GB DDR4-2933 PC4-23400 ECC RDIMM, 2Rx4 | القدرة المضيفة | US$310.00 · بدون حد أدنى |
| KIT-MACPRO19-6X16G | طقم Mac Pro 2019، 6 × 16GB = 96GB | القدرة المضيفة | اطلب عرض سعر |
| KIT-MACPRO19-12X32G | طقم Mac Pro 2019، 12 × 32GB = 384GB | القدرة المضيفة | اطلب عرض سعر |
| VRAM-HBM2-SAM-01 | HBM2 8GB 8-Hi (Samsung)، 2000 MT/s | تسارع الذاكرة | اطلب عرض سعر |
| VRAM-HBM2e-SAM-05 | HBM2e 16GB 8-Hi (Samsung)، 3200 MT/s | تسارع الذاكرة | اطلب عرض سعر |
| VRAM-HBM3-HYN-16 | HBM3 بسعة 24GB و12-Hi (SK hynix)، 5600 MT/s | تسارع الذاكرة | اطلب عرض سعر |
| VRAM-HBM3e-HYN-20 | HBM3e 24GB 8-Hi (SK hynix)، 8000 MT/s | تسارع الذاكرة | اطلب عرض سعر |
| VRAM-HBM3e-HYN-22 | HBM3e 36GB 12-Hi (SK hynix)، 9200 MT/s | تسارع الذاكرة | اطلب عرض سعر |
| VRAM-HBM3e-MIC-25 | HBM3e 36GB 12-Hi (Micron)، 9200 MT/s | تسارع الذاكرة | اطلب عرض سعر |
هذه شريحة من 25 خطاً من طراز HBM عبر أربعة أجيال وطولين مكعبين ويمكن في كثير من الأحيان استخلاص أرقام جزئية غير مدرجة في القائمة من استفسار مؤكد.
عندما لا يجب أن تضيف إما واحدة
- الكمال هو الحد إذا كانت نواة المعجلات مشبعة في حين أن الذاكرة تنهار جزئياً، أكثر من النطاق الترددي وأكثر قدرة لا تغير شيئاً.
- القارورة هي الترابط لا توسّع وحدة RDIMM المضيفة رابط المضيف إلى الجهاز، وذاكرة المسرّع لا تعالج نقلًا لا يصل إلى الذاكرة أصلًا.
- ولا يقبل المنبر هذا الجيل. لا يمكن إعادة تجهيز لوحة مُصمَّمة لأجهزة HBM2 أو HBM2e بذاكرة HBM3 أو HBM3e — إذ تختلف الواجهة والإشارات والمتحكم. وينطبق الأمر ذاته على وحدات DDR5 في منصة DDR4.
- كل الأماكن مأهولة بالفعل الجواب هو كثافة مختلفة لكل وحدة من الوحدات، التي تتغير من حيث الرتبة والأداة، لا مزيد من الوحدات.
- المجلس سليم وإذا لم يفشل أي شيء، فإن شراء HBM لا يضيف القدرة إلى بطاقة عمل.
المسائل المشتركة
كيف لي أن أعرف ما إذا كان حجم عملي محدداً أو متصلاً بالقدرات؟
شاهد ما يفشل وما هو العبث وإذا ألغيت العملية بسبب استنفاد الذاكرة المعجلة، أو توقفت عن التأقلم مع طول السياق المحدد أو حجم الدفعة، فإن الحد هو القدرة. إذا اكتملت لكن الكسور تصل ببطء في حين أن استخدام الذاكرة المعجل مرتفع والحساب منخفض مضيفة متنقلة مع المعجلات العالقة تشير إلى الذاكرة المضيفة
هل يمكنني أن أضيف "إتش بي إم" إلى مسرع لديه بالفعل، ليرفع قدرته؟
لا عدّة الوجبات مُحدّد بواسطة الحزمة وتصميم المُتقاطعات، لذا تمّ تحديد ذكرى مُسرّعة البطاقات المُنتهية عندما تُبنى. اعادة الحزمة الفاشلة تستعيد القدرة و الضمادات التي صممت من أجلها رفع السقف يعني المزيد من المعجلات، أو بطاقة مبنية بأطول أكوام أو جيل جديد.
هل تؤدي إضافة ذاكرة DDR4 للمضيف إلى تسريع توليد التوكن؟
ليس لوحده الجيل المكسور يقرأ الأوزان و الكاتشي ذو القيمة الرئيسية من الذاكرة المعجلة لذا فإن سرعته تحكمها عرض النطاق الترددي المعجل وتساعد الذاكرة المضيفة عندما يكون المضيف هو المقيد - وهو عملية تصوير، وملفات نموذجية يعاد قراءتها من أقراص، ومجموعة بيانات لا تصلح - وتلك تظهر كعجائب، وليس كسور بطيئة.
هل الحزمة الأطول تعني دائماً المزيد من الضمادات؟
لا. يحدد ارتفاع الحزمة السعة ضمن الجيل؛ أما الجيل ومعدل بياناته فيحددان فئة النطاق الترددي. في HBM3e تكون وحدة 8-Hi بسعة 24GB ووحدة 12-Hi بسعة 36GB، وكلتاهما في مخزوننا تعمل بسرعة 9200 MT/s، لذا فإن النطاق الترددي لكل حزمة هو نفسه.
أيّ درجة من الحالات يجب أن تستخدم عقدة الإنتاج؟
New, refurbished and pulled-and-tested lines are all functionally verified before packing; the difference is who carries the risk. Grade is recorded per line and appears on the quotation, and every shipment carries lot photographs and test reports.
ما زلت غير متأكد من أي جزء يناسب منصتك؟ إسألْ الآنسة آيا — أو أرسل رقم القطعة والكمية وعنوان التسليم، وسنقدم لك عرض سعر مكتوباً للكمية كاملة.
السيدة آية