دیپ‌سیک
تاریخچه انتشار محصولات > V3

در دسامبر ۲۰۲۴، شرکت دیپ‌سیک یک مدل پایه DeepSeek-V3-Base و یک مدل چت DeepSeek-V3 منتشر کرد. معماری مدل اساساً همانند نسخه V2 است. این مدل‌ها به این شکل آموزش داده شدند:
پیش‌آموزش بر روی ۱۴٫۸ تریلیون توکن از یک پیکره چندزبانه، عمدتاً انگلیسی و چینی. نسبت محتوای ریاضی و برنامه‌نویسی در این مجموعه بیشتر از دیتاست پیش‌آموزش نسخه V2 بود.
افزایش طول متن در دو مرحله از ۴هزار به ۳۲هزار و سپس به ۱۲۸هزار با استفاده از YaRN. این کار منجر به تولید DeepSeek-V3-Base شد.
آموزش تنظیم دقیق نظارت‌شده به مدت ۲ دوره بر روی ۱٫۵ میلیون نمونه داده استدلالی (ریاضی، برنامه‌نویسی، منطق) و غیر استدلالی (نوشتار خلاقانه، نقش‌آفرینی، پرسش‌وپاسخ ساده). داده‌های استدلالی توسط «مدل‌های متخصص» تولید شد. داده‌های غیر استدلالی توسط DeepSeek-V2.5 ایجاد و سپس توسط انسان‌ها بازبینی شد.
«مدل‌های متخصص» با شروع از یک مدل پایه نامشخص، و سپس آموزش نظارت‌شده بر داده‌هایی با قالب <مسئله، پاسخ اصلی> و داده‌های مصنوعی با قالب <پرسش از سیستم، مسئله، پاسخ R1> تولیدشده توسط مدل داخلی DeepSeek-R1 ساخته شدند. در اعلان سیستمی، به R1 دستور داده می‌شد در حین تفکر، بازخورد و بررسی داشته باشد. سپس مدل‌های متخصص با استفاده از RL و تابع پاداش نامشخصی تقویت شدند.
هر مدل متخصص فقط برای تولید داده‌های مصنوعی استدلالی در یک حوزه مشخص (ریاضی، برنامه‌نویسی، منطق) آموزش دیده بود.
از مدل‌های متخصص به‌جای خودِ R1 استفاده شد، زیرا خروجی R1 دچار «زیاده‌اندیشی، قالب‌بندی ضعیف و طول متن خروجی بیش‌ازحد» می‌شد.
مدل‌های پاداش مبتنی بر مدل با شروع از یک نقطه بازرسی آموزش نظارت‌شده V3 و سپس تنظیم دقیق روی داده‌های ترجیح انسانی حاوی هر دو پاداش نهایی و زنجیره تفکر منجر به آن پاداش، ساخته شدند. مدل پاداش برای پرسش‌هایی با پاسخ عینی اما آزاد و همچنین برای پرسش‌هایی بدون پاسخ عینی (مانند نوشتار خلاقانه) سیگنال پاداش تولید می‌کرد.
یک نقطه بازرسی آموزش نظارت‌شده از V3 با استفاده از روش جی‌آرپی‌او و بهره‌گیری از هر دو مدل پاداش و پاداش مبتنی بر قواعد آموزش دید. پاداش مبتنی بر قواعد برای مسائل ریاضی از طریق پاسخ نهایی (درون یک کادر)، و برای مسائل برنامه‌نویسی از طریق آزمون واحد محاسبه می‌شد. این روند منجر به تولید DeepSeek-V3 شد.
| Name | Params | Active params |  n_{\text{layers}} | Context length |  n_{\text{shared experts}} |  n_{\text{routed experts}} |
| --- | --- | --- | --- | --- | --- | --- |
| V3 | 671B | 37B | ۶۱ | 128K | ۱ | ۲۵۶ |
برای دستیابی به کارایی بالاتر، مهندسی در سطح پایین را به‌شکل گسترده انجام شد. آنها از محاسبات با دقت‌های ناهمگون استفاده کردند. بخش زیادی از مرحله روبه‌جلو (پیشخور) بجای قالب استاندارد ۳۲ بیتی، از اعداد ممیز شناور ۸ بیتی با قالب 5E2M (توان ۵ بیتی و ضریب علمی ۲ بیتی) انجام شد، که نیازمند توابع ویژه GEMM (ضرب ماتریس عمومی) برای عمل جمع با دقت بالا بود. از یک قالب شناور ۱۲ بیتی (E5M6) سفارشی تنها برای ورودی لایه‌های خطی پس از ماژول‌های توجه استفاده کردند. وضعیت‌های بهینه‌ساز در قالب ۱۶ بیتی (BF16) نگهداری می‌شد. برای به حداقل رساندن زمان نهفتگی در ارتباط بین پردازنده‌های گرافیکی، آن‌ها هم‌پوشانی گسترده‌ای میان محاسبه و ارتباط ایجاد کردند. برای نمونه، تنها برای ارتباط بین جی‌پی‌یوها، ۲۰ پردازنده چندجریانی از میان ۱۳۲ واحد موجود در H800 به این امر اختصاص داده شد. همچنین با تغییر مکرر (هر ۱۰ دقیقه) جای دقیق هر متخصص در ماشین‌ها، از تمرکز پرس‌وجو بر برخی ماشین‌ها کاستند، و هزینه‌های کمکی توزیع بار را به تابع هزینه آموزشی افزودند و از سایر تکنیک‌های متعادل‌سازی بار بهره گرفتند.
پس از آموزش، این مدل روی خوشه‌های H800 مستقر شد. درون هر خوشه، H800ها از طریق NVLink به هم متصل شدند و خود خوشه‌ها از طریق InfiniBand به هم وصل شوند.
| مرحله | هزینه (در هر هزار ساعت-GPU) | هزینه (بر حسب میلیون دلار آمریکا) |
| --- | --- | --- |
| پیش‌آموزش | ۲٬۶۶۴ | ۵٫۳۲۸ |
| افزایش طول متن | ۱۱۹ | ۰٫۲۴ |
| تنظیم دقیق | ۵ | ۰٫۰۱ |
| کل هزینه | ۲٬۷۸۸ | ۵٫۵۷۶ |
آزمون‌های بنچمارک نشان می‌دهد که دیپ‌سیک-V3 از لاما نسخه ۳٫۱ و کوئن نسخه ۲٫۵ پیشی می‌گیرد و در حد جی‌پی‌تی ۴او و کلود نسخه ۳٫۵ سونت عمل می‌کند.