# تسلا دوجو

تسلا دوجو هو حاسوب فائق الامكانيات تم تصميمه وبناؤه من قبل شركة تسلا لمعالجة الفيديو والتعرف عليه باستخدام الرؤية الحاسوبية. يتم استخدامه لتدريب نماذج التعلم الآلي الخاصة بشركة تسلا لتحسين نظام مساعدة السائق المتقدم للقيادة الذاتية الكاملة لديها (FSD)، وفقاً لتسلا، بدأ الإنتاج الفعلي لها في يوليو 2023.
الهدف من دوجو هو معالجة ملايين التيرابايتس من بيانات الفيديو الملتقطة بكفاءة من مواقف القيادة الحقيقية من أكثر من 4 ملايين سيارة تسلا. وقد أدى هذا الهدف إلى تصميم مختلف تماماً عن تصميمات أجهزة الحاسوب العملاقة التقليدية.

## النشأة

تدير شركة تسلا العديد من مجموعات الحوسبة المتوازية الضخمة لتطوير نظام مساعدة السائق المتقدم لنظام القيادة الآلي. وقد تم الترويج لمجموعة الكمبيوتر الأساسية غير المسماة التي تستخدم 5760 وحدة معالجة رسومية من نوع إنفيديا A100 بواسطة أندريه كارباثي في عام 2021 في المؤتمر الدولي الرابع المشترك حول الرؤية الحاسوبية والتعرف على الأنماط (CCVPR 2021) بأنها تقريباً "خامس أكبر حاسوب عملاق في العالم" حيث تصل عند حوالي 81.6 بيتافلوبس ، بناءً على قياس أداء حاسوب إنفيديا سيلين للحاسوب الفائق، والذي يستخدم مكونات مشابهة. ومع ذلك، فقد تم التشكيك في أداء مجموعة وحدة المعالجة الرسومية لشركة تسلا الأساسية، حيث لم يكن من الواضح ما إذا كان يتم قياس ذلك باستخدام أرقام الفاصلة العائمة ذات الدقة المفردة أو الدقة المزدوجة ( FP32 أو FP64 ). كما تقوم شركة تسلا أيضًا بتشغيل مجموعة ثانية من وحدات معالجة الرسومات (GPU) تتكون من 4032 وحدة معالجة رسومات للتدريب ومجموعة ثالثة تتكون من 1752 وحدة معالجة رسومات للتصنيف التلقائي على الأشياء.
تم استخدام مجموعة وحدة معالجة الرسومات تسلا الأساسية غير المسماة لمعالجة مليون مقطع فيديو، كل منها مدته عشر ثوانٍ، مأخوذة من كاميرات تسلا الذاتية القيادة العاملة في سيارات تسلا في العالم الحقيقي، حيث تعمل بمعدل 36 إطاراً في الثانية. وفي المجمل، احتوت مقاطع الفيديو هذه على ستة مليارات تسمية للأشياء، مع بيانات العمق والسرعة؛ وكان الحجم الإجمالي لمجموعة البيانات 1.5 بيتابايت. تم استخدام مجموعة البيانات هذه لتدريب شبكة عصبية تهدف إلى مساعدة أجهزة الكمبيوتر ذاتية القيادة في سيارات تسلا على فهم الطرق. بحلول أغسطس 2022، قامت شركة تسلا بترقية مجموعة وحدات معالجة الرسومات الأساسية إلى 7360 وحدة معالجة رسومات.
تم ذكر دوجو لأول مرة من قبل ماسك في أبريل 2019 خلال "يوم المستثمر المستقل" لشركة تسلا. في أغسطس 2020، حينها صرح ماسك أن الأمر "سيستغرق حوالي عام" بسبب مشاكل الطاقة والحرارة.
تم الإعلان رسمياً عن دوجو في يوم الذكاء الاصطناعي (AI) الخاص بشركة تسلا في 19 أغسطس 2021. حيث كشفت شركة تسلا عن تفاصيل شريحة D1 وخططها لـ "مشروع دوجو"، وهو مركز بيانات من شأنه أن يضم 3000 شريحة D1؛ وقد تم الانتهاء من أول "لوحة تدريب" وتسليمها في الأسبوع السابق. في أكتوبر 2021، أصدرت شركة تسلا ورقة بيضاء بعنوان "دوجو التكنولوجية" تصف تنسيقات الفاصلة العائمة القابلة للتكوين Float8 (CFloat8) وFloat16 (CFloat16) وكذلك العمليات الحسابية باعتبارها امتداداً لمعيار معهد مهندسي الكهرباء والإلكترونيات (IEEE) 754.
في يوم الذكاء الاصطناعي في سبتمبر 2022، أعلنت شركة تسلا أنها قامت ببناء العديد من أشرطة النظام وخزانة واحدة. خلال الاختبار، ذكرت الشركة أن مشروع دوجو سحب 2.3 ميغاواط (MW) من الطاقة قبل أن يتسبب في تعطيل محطة فرعية للطاقة المحلية في سان خوسيه، كاليفورنيا. في ذلك الوقت، كانت شركة تسلا تقوم بتجميع بلاطة تدريب واحدة يومياً.
في أغسطس 2023، قامت شركة تسلا بتشغيل دوجو للاستخدام الإنتاجي بالإضافة إلى مجموعة تدريب جديدة تم تكوينها باستخدام 10000 وحدة معالجة رسومية من نوع إنفيديا H100.
في يناير 2024، وصف ماسك مشروع دوجو بأنه "مغامرة بعيدة المنال لكنها تستحق المخاطرة لأن العائد منه قد يكون مرتفعاً للغاية. لكن احتمالية نجاحه ليست عالية".
في يونيو 2024، أوضح ماسك أن أعمال البناء الجارية في مصنع جيجا تكساس مخصصة لمجموعة حوسبة، مدعيا أنه من المخطط أن تتضمن مزيجاً متساوياً من "تسلا للذكاء الاصطناعي" وانفيديا/أجهزة أخرى بقوة تصميم حرارية إجمالية تبلغ 130 ميغاواط في البداية وفي النهاية تتجاوز 500 ميغاواط.

## الاستقبال

ذكر العديد من المحللين أن دوجو "مثير للإعجاب، لكنه لن يقوم بتحويل الحوسبة الفائقة القدرة"، "وهو يمثل نقلة نوعيةوذلك لأنه تم تطويره بالكامل داخلياً"، "حيث سيعمل على تسريع تطوير المركبات ذاتية القيادة بشكل كبير"، و"يمكن أن يكون بمثابة تغييراً جذرياً لمستقبل تسلا FSD وللذكاء الاصطناعي على نطاق أوسع".
في 11 سبتمبر 2023، رفع مورجان ستانلي السعر المستهدف لسهم تيسلا ( تسلا موتورز) إلى 400 دولار أمريكي من هدف سابق بلغ 250 دولارا أمريكي، ووصف السهم بأنه اختياره الأول في قطاع السيارات الكهربائية، مشيراً إلى أن حاسوب تيسلا العملاق دوجو يمكن أن يحدث قفزة نوعية بقيمة 500 مليار دولار في القيمة السوقية لشركة تيسلا.

## التصميم التقني

الوحدة الأساسية للحاسوب العملاق دوجو هي شريحة D1، التي صممها فريق في شركة تسلا بقيادة مصمم وحدة المعالجة المركزية السابق لشركة إي إم دي (AMD) جانيش فينكاتارامانان، بما في ذلك إميل تالبس وديبجيت داس سارما ودوغلاس ويليامز وبيل تشانغ وراجيف كوريان.
يتم تصنيع شريحة D1 من قبل شركة تصنيع أشباه الموصلات التايوانية (TSMC) باستخدام عقد أشباه الموصلات بتقنية 7 نانومتر (nm)، وتحتوي على 50 مليار ترانزستور، كما أن حجم القالب كبير حيث يبلغ 645 مـم$^2$ (1.0 بوصة مربعة).
في يوم الذكاء الاصطناعي في عام 2022، أعلنت شركة تسلا عن تحديثات في مشروع دوجو، حيث ذكرت أنه سوف يتم توسيعه من خلال نشر العديد من إكسابودس (ExaPODs)، والتي ستتضمن فيها:
* 10 خزائن لكل ExaPOD ( 1,062,000 نواة، 3,000 شريحة D1)
* 2 صينيتي نظام لكل خزانة ( 106,200 نواة معالجة، 300 شريحة D1)
* 6 وحدات تدريب لكل علبة نظام ( 53,100 نواة معالجة، بالإضافة إلى أجهزة واجهة المضيف)
* 25 رقاقة D1 لكل وحدة تدريب ( 8,850 نواة)
* 354 نواة حوسبة معالجة لكل شريحة D1
وفقاً لفينكاتارامانان، المدير الأول لأجهزة القيادة الذاتية في شركة تسلا، فإن دوجو ستمتلك أكثر من إكسافلوب (مليون تيرافلوب) من قدرة الحوسبة.وفقًا لشركة إنفيديا، في أغسطس 2021، للمقارنة، استخدم مركز تدريب تسلا للذكاء الاصطناعي (نظام دوجو السابق) 720 عقدة، كل منها بها ثماني وحدات معالجة رسومية نوع إنفيديا A100 بإجمالي 5760 وحدة معالجة رسومية، مما يوفر ما يصل إلى 1.8 جيجاهرتز إكسافلوب من الأداء.

### شريحة D1

كل عقدة (نواة الحوسبة) في شريحة المعالجة D1 هي عبارة عن وحدة معالجة مركزية 64 بت للأغراض العامة مع نواة فائقة التدرج . كما أنها تدعم التوازي على مستوى التعليمات الداخلية، ويتضمن تعدد مؤشرات الترابط المتزامن (SMT). كما أنه لا يدعم الذاكرة الافتراضية ويستخدم آليات محدودة لحماية الذاكرة. حيث تقوم برامج/تطبيقات دوجو بإدارة موارد الشريحة.
تدعم مجموعة التعليمات D1 كل من تعليمات المتجهات القياسية الصحيحة ذات 64 بت وتعليمات المتجهات الفردية ذات البيانات المتعددة (SIMD) ذات 64 بايت. حيث تدمج وحدة الأعداد الصحيحة بين مجموعة التعليمات المخفضة للحاسوب (RISC-V) والتعليمات المخصصة، كما تدعم الأعداد الصحيحة المكونة من 8 أو 16 أو 32 أو 64 بت. وقد تم تحسين وحدة الرياضيات المتجهة المخصصة لنواة التعلم الآلي والتي تدعم تنسيقات بيانات متعددة، مع مزيج من الدقة والنطاقات الرقمية، والكثير منها قابل للتكوين بواسطة المجمع.ويمكن استخدام ما يصل إلى 16 تنسيق متجه في وقت واحد.

#### العقدة

تستخدم كل عقدة D1 نافذة جلب بيانات بحجم 32 بايت وتحتوي على ما يصل إلى ثمانية تعليمات. يتم تغذية هذه التعليمات إلى جهاز فك تشفير بعرض ثمانية والذي يدعم مؤشري ترابط لكل دورة، يتبعه مجدول قياسي SMT رباعي الاتجاه وبعرض أربعة ويحتوي على وحدتين صحيحتين ووحدتي عنوان وملف تسجيل واحد لكل مؤشر. يتم تمرير تعليمات المتجه إلى أسفل خط الأنابيب إلى جدولة متجه مخصص مع SMT ثنائي الاتجاه، والذي يغذي إما وحدة SIMD بحجم 64 بايت أو أربع وحدات ضرب مصفوفة 8×8×4.
يقوم جهاز توجيه الشبكة على الشريحة (NOC) بربط النوى في شبكة شبكية ثنائية الأبعاد. بحيث يمكنه إرسال حزمة واحدة للداخل وحزمة واحدة للخارج في جميع الاتجاهات الأربعة من/إلى كل عقدة مجاورة، بالإضافة إلى قراءة واحدة بحجم 64 بايت وكتابة واحدة بحجم 64 بايت إلى ذاكرة SRAM المحلية لكل دورة ساعة.
تنقل العمليات الأصلية للأجهزة البيانات و الإشارات والقيود الحاجزة عبر الذاكرة ووحدات المعالجة المركزية.كما تعمل ذاكرة الوصول العشوائي الديناميكية المتزامنة (SDRAM) ذات معدل البيانات المزدوج 4 على مستوى النظام (DDR4) بمثابة التخزين بالجملة.

#### الذاكرة

تحتوي كل نواة في هذه الشريحة على ذاكرة SRAM رئيسية بسعة 1.25ميغا بايت (MB). بحيث يوفر سرعة التحميل والتخزين تصل إلى 400 جيجا بايت (GB) في الثانية و 270 جيجا بايت/ثانية، على التوالي. كما تحتوي الشريحة على تعليمات واضحة لنقل البيانات من النواة إلى النواة. وتحتوي كل ذاكرة SRAM على محلل قائمة فريد يغذي زوجاً من أجهزة فك التشفير ومحرك تجميع يغذي ملف سجل المتجه، والذي يمكنه معاً نقل المعلومات مباشرة عبر العقد.

#### الشريحة

يتم تجميع اثني عشر عقدة (نوى) في كتلة محلية. يتم ترتيب العقد في مصفوفة 18×20 على شريحة واحدة، حيث يتوافر منها 354 نواة للتطبيقات. كما تعمل الشريحة عند تردد 2جيجاهيرتز (GHz) ويبلغ مجموعها 440 ميجا بايت من ذاكرة الوصول العشوائي الساكنة (SRAM) (360 نواة × 1.25 ميجا بايت/النواة). حيث تصل القدرة الحاسوبية إلى 376 تيرافلوب باستخدام أرقام الفاصلة العائمة المكونة من 16 بت (BF16) أو باستخدام أرقام الفاصلة العائمة القابلة للضبط ذات 8 بت (CFloat8)، والتي اقترحتها شركة تسلا، وعند استخدام الفاصلة العائمة 32 بت (FP32) تصل القدرة إلى 22 تيرافلوب.
تحتوي كل شريحة على 576 قناة المحول التسلسلي/التفرعي ثنائية الاتجاه (SerDes) موزعة على محيطها للارتباط بشرائح أخرى، ويتحرك 8 تيرا بايت/ثانية عبر جميع الحواف الأربعة للشريحة. يبلغ معدل بقوة تصميم حرارية لكل شريحة D1 حوالي 400 واط.

### بلاطة التدريب

تحتوي بلاطة التدريب المبردة بالماء على 25 شريحة D1 مرتبة في مصفوفة 5 × 5. يوفر كل بلاطة تدعم 36 تيرابايت/ثانية من النطاق الترددي الإجمالي عبر 40 شريحة إدخال/إخراج (I/O) - نصف النطاق الترددي لشبكة الشريحة الشبكية. كل بلاطة تدعم 10 تيرا بايت/ثانية من النطاق الترددي على البلاط. تحتوي كل بلاطة على 11 جيجابايت من ذاكرة SRAM (25 شريحة × 360 نواة/دي1 × 1.25ميجا بايت/النواة). كما تحقق كل بلاطة 9 بيتافلوبس بدقة BF16/CFloat8 (25 شريحة D1 × 376 TFLOP/D1). وتستهلك كل بلاطة 15 كيلووات؛ 288 أمبير عند 52 فولت.

### علبة النظام

تم تجميع ستة مربعات في علبة النظام، والتي تم دمجها مع واجهة المضيف. تتضمن كل واجهة مضيفة 512 نواة x86، مما يوفر بيئة مستخدم تعتمد على لينكس. في السابق، كانت صينية نظام دوجو تُعرف باسم "مصفوفة التدريب"، والتي تتضمن ستة بلاطات تدريب، و20 بطاقة معالج واجهة دوجو عبر أربعة خوادم مضيفة، وخوادم مساعدة مرتبطة بشبكة إيثرنت (Ethernet). كما يحتوي على 53,100 نواة D1.

#### معالج واجهة دوجو

توجد بطاقات معالج واجهة دوجو (DIP) على حواف مصفوفات البلاطة وتكون متصلة بشبكة المصفوفة. حيث تقوم الأنظمة المضيفة بتشغيل DIPs وتؤدي وظائف إدارة النظام المختلفة. كما تحتوي ذاكرة DIP ومعالج الإدخال/الإخراج المشترك على 32 جيجا بايت من HBM المشتركة (إما HBM2e أو HBM3) - بالإضافة إلى واجهات إثرنت (Ethernet) التي تتجاوز شبكة المصفوفة. تحتوي كل بطاقة DIP على معالجين للإدخال والإخراج مع 4 بنوك ذاكرة بإجمالي 32 جيجا بايت مع عرض النطاق الترددي بقدرة 800 جيجا بايت/ثانية.
يتم توصيل بطاقات معالج واجهة دوجو (DIP) بمنفذ PCI-Express 4.0 x16 الذي يوفر 32 جيجا بايت/ثانية من عرض النطاق الترددي لكل بطاقة. توفر خمس بطاقات لكل حافة بلاطة توفر 160 جيجا بايت/ثانية من النطاق الترددي للخوادم المضيفة و4.5 تيرا بايت/ثانية للبلاطة.

#### بروتوكول النقل الخاص بشركة تسلا

بروتوكول النقل الخاص بشركة تسلا (TTP) هو عبارة عن واجهة خاصة عبر PCI-Express. حيث يمتد رابط بروتوكول TTP بسرعة 50 جيجابايت/ثانية عبر الاثرنت (Ethernet) للوصول إلى منفذ منفرد بقدرة 400 جيجابت/ثانية أو مجموعة مزدوجة من المنافذ بقدرة 200 جيجابت/ثانية. وقد يستغرق عبور الشبكة المصفوفية الثنائية الأبعاد بالكامل 30 قفزة، بينما يستغرق بروتوكول TTP عبر الاثرنت (Ethernet) أربع قفزات فقط (عند نطاق ترددي أقل)، مما يقلل من زمن الوصول العمودي.

### الخزانة و الإكسابود

يقوم نظام دوجو بتكديس البلاط عمودياً في خزانة لتقليل المسافة ووقت الاتصال بينهما. يتضمن نظام دوجو اكسابود (ExaPod) على 120 بلاطة، بإجمالي 1,062,000 نواة قابلة للاستخدام، لتصل إلى 1 اكسافلوبس (exaflops) في صيغتي (BF16 وCFloat8). كما يحتوي النظام على 1.3 تيرابايت من ذاكرة (SRAM) على البلاط و13 تيرابايت من ذاكرة النطاق الترددي العالي المزدوجة المضمنة (HBM).

## البرمجة

يدعم نظام دوجو إطار العمل البرمجي باي تورش(PyTorch)، حيث "لايعتبر بأنه منخفض المستوى مثل C أو C++، وليس عن بعد مثل كودا (CUDA)". كما أن الذاكرة SRAM تظهر كمساحة عنوان واحدة.
نظرًا لأن FP32 يتمتع بدقة ونطاق أكبر مما هو مطلوب لمهام الذكاء الاصطناعي، و FP16 لا يتمتع بدقة كافية، فقد ابتكرت تسلا صيغتين من الأعداد العائمة القابلة للتخصيص بتنسيق 8 و16 بت (CFloat8 وCFloat16، على التوالي) والتي تسمح للمترجم بتحديد الدقة العشرية والأس بشكل ديناميكي، مع قبول دقة أقل في مقابل معالجة متجه أسرع وتقليل متطلبات التخزين.