دیپ‌سیک
تاریخچه انتشار محصولات > دیپ‌سیک ال‌ال‌ام

در ۲ نوامبر ۲۰۲۳، دیپ‌سیک نخستین سری مدل خود با نام دیپ‌سیک کدر  را منتشر کرد که رایگان و در دسترس پژوهشگران و کاربران تجاری قرار گرفت. کد مدل تحت پروانه ام‌آی‌تی متن‌باز شد و برای خودِ مدل نیز، پروانه جداگانه‌ای به نام «مجوز دیپ‌سیک» در زمینه «استفاده آزاد و مسئولانه» اضافه شد.
این مدل‌ها دارای همان معماری دیپ‌سیک ال‌ال‌ام هستند. این سری شامل ۸ مدل است: ۴ مدل پیش‌آموزش‌شده (Base) و ۴ مدل تنظیم دقیق دستوری (Instruct) که همگی با طول متن 16k ارائه شده‌اند. مراحل آموزشی چنین بوده است:
پیش‌آموزش: ۱٫۸ تریلیون توکن (۸۷٪ کد منبع، ۱۰٪ متن انگلیسی مرتبط با کد (مستندات مارک‌داون گیت‌هاب و Stack Exchange) و ۳٪ متن چینی نامرتبط با کد).
پیش‌آموزش با طول متن بلند: ۲۰۰ میلیارد توکن. این مرحله طول متن را از ۴k به ۱۶k گسترش داد و مدل‌های Base تولید شدند.
تنظیم دقیق نظارت‌شده (SFT): ۲ میلیارد توکن داده دستوری. این مرحله مدل‌های Instruct را تولید کرد.
این مدل‌ها روی خوشه‌ای از جی‌پی‌یوهای A۱00 و H۸00 انویدیا آموزش دیده‌اند که با اینفینی‌باند، ان‌وی لینگ، و ان‌وی سوئیچ به هم متصل شده بودند.
| Params>  |  n_{\text{layers}} |  d_{\text{model}} |  d_{\text{intermediate}} |  n_{\text{heads}} |  n_{\text{kv-heads}} |
| --- | --- | --- | --- | --- | --- |
| ۱.3B | ۲۴ | ۲۰۴۸ | ۵۵۰۴ | ۱۶ | ۱۶ |
| 5.7B | ۳۲ | ۴۰۹۶ | ۱۱۰۰۸ | ۳۲ | ۱ |
| 6.7B | ۳۲ | ۴۰۹۶ | ۱۱۰۰۸ | ۳۲ | ۳۲ |
| 33B | ۶۲ | ۷۱۶۸ | ۱۹۲۰۰ | ۵۶ | ۷ |
توجه کنید که تعداد سرها با تعداد سرهای KV برابر نیست (به‌دلیل GQA) در مدل‌های ۵٫۶ میلیاردی و ۳۳ میلیاردی
در ۲۹ نوامبر ۲۰۲۳، دیپ‌سیک سری مدل‌های دیپ‌سیک ال‌ال‌ام را با اندازه‌های ۷ میلیارد و ۶۷ میلیارد پارامتر در قالب Base و Chat (بدون Instruct) عرضه کرد. هدف آن رقابت با سایر مدل‌های ال‌ال‌ام موجود در زمان خود بود. در مقاله معرفی محصول، ادعا شد که دیپ‌سیک در آزمون‌ها از بیشتر مدل‌های متن‌باز موجود در آن زمان، به‌ویژه لاما۲، عملکرد بهتری دارد. مشابه دیپ‌سیک کدر، کد این مدل‌ها تحت پروانه ام‌آی‌تی بوده و خود مدل شامل مجوز پروانه دیپ‌سیک است.
معماری دیپ‌سیک ال‌ال‌ام عملاً مشابه سری لاما است: ترنسفورمر رمزگشا-محور pre-LN با استفاده از RMSNorm به‌عنوان روش نرمال‌سازی، تابع SwiGLU در پیشخور، دگرنمایی موقعیت چرخشی (RoPE)، و grouped-query attention (GQA). هر دو مدل دارای اندازه واژگان ۱۰۲۴۰۰ و (BPE در سطح بایت) طول متن ۴۰۹۶ هستند. آموزش آن‌ها بر روی ۲ تریلیون توکن متنی انگلیسی و چینی (با حذف تکرار) از خزنده عمومی صورت گرفت.
| Params>  |  n_{\text{layers}} |  d_{\text{model}} |  d_{\text{intermediate}} |  n_{\text{heads}} |  n_{\text{kv-heads}} |
| --- | --- | --- | --- | --- | --- |
| 7B | ۳۰ | ۴۰۹۶ | ۱۱۰۰۸ | ۳۲ | ۳۲ |
| 67B | ۹۵ | ۸۱۹۲ | ۲۲۰۱۶ | ۶۴ | ۸ |
در مدل ۶۷ میلیاردی نیز به‌دلیل GQA، تعداد سرها با تعداد سرهای KV یکسان نیست.
نسخه‌های Chat این دو مدل Base هم‌زمان عرضه شدند که با تنظیم دقیق نظارت‌شده و سپس [[یادگیری تقویتی از بازخورد انسانی#بهینه‌سازی ترجیح مستقیم[ج]|بهینه‌سازی خط‌مشی مستقیم]] (اختصاری DPO) از Base به‌دست آمده‌اند.
در آوریل ۲۰۲۴، سه مدل دیپ‌سیک مَث  عرضه شد که در ریاضیات تخصص داشتند: Base، Instruct و RL.
مراحل آموزشی آن‌ها به این ترتیب بود:
آغاز با مدل پیش‌آموزش‌شده DeepSeek-Coder-Base-v۱٫۵ با ۷ میلیارد پارامتر.
پیش‌آموزش بیشتر با استفاده از ۵۰۰ میلیارد توکن (۶٪ «مجموعه دیپ‌سیک ریاضی»، ۴٪ «استک جبری»، ۱۰٪ داده‌های آرکایو، ۲۰٪ کد گیت‌هاب، ۱۰٪ خزنده عمومی). خروجی این مرحله مدل Base بود.
آموزش یک مدل پیروی از دستورها با تنظیم دقیق نظارت‌شده روی ۷۷۶ هزار مسئله ریاضی به‌همراه راه‌حل‌های گام‌به‌گام (همراه با ابزار). خروجی این مرحله مدل Instruct بود.
یادگیری تقویتی: مدل پاداش توسط یک «مدل پاداش فرایندی» در روش Math-Shepherd از Base آموزش دید. سپس با استفاده از همین مدل پاداش، مدل Instruct با روش جی‌آرپی‌او بر مجموعه‌ای از ۱۴۴هزار پرسش ریاضی آموزش دید و مدل RL شکل گرفت.