دیپ‌سیک
تاریخچه انتشار محصولات > R1

در تاریخ ۲۰ نوامبر ۲۰۲۴، مدل  DeepSeek-R1-Lite-Preview از طریق واسط برنامه‌نویسی کاربردی دیپ‌سیک در دسترس قرار گرفت. این مدل برای استنتاج منطقی، استدلال ریاضی و حل مسائل در زمان واقعی آموزش داده شده بود. شرکت دیپ‌سیک ادعا کرد که این مدل در آزمون‌های معیاری مانند آزمون ریاضی دعوتی آمریکا (AIME) و MATH عملکرد بهتری نسبت به مدل OpenAI o1 داشته است. با این حال، نشریه وال استریت ژورنال گزارش داد که هنگام بررسی ۱۵ مسئله از نسخه ۲۰۲۴ آزمون AIME، مدل o1 سریع‌تر از DeepSeek-R1-Lite-Preview به پاسخ صحیح رسید.
در تاریخ ۲۰ ژانویه ۲۰۲۵، دو مدل DeepSeek-R1  و DeepSeek-R1-Zero منتشر شدند. هر دو مدل ادامه آموزش بر روی DeepSeek-V3-Base بودند و از همان معماری بهره می‌برند. علاوه بر این، شرکت دیپ‌سیک مدل‌های DeepSeek-R1-Distill را نیز منتشر کرد که برخلاف مدل‌های اصلی، از V3-Base اولیه‌سازی نشده‌اند، بلکه از مدل‌های با وزن بازمانند لاما و کوئن اولیه‌سازی شده و سپس با داده‌های مصنوعی تولیدشده توسط R1 تنظیم دقیق شده‌اند.
قالب ورودی برای DeepSeek-R1-Zero
مکالمه‌ای بین کاربر و دستیار. کاربر یک پرسش مطرح می‌کند و دستیار آن را حل می‌کند. ابتدا، دستیار فرایند استدلال را در ذهن خود بررسی کرده و سپس پاسخ را ارائه می‌دهد. فرایند استدلال و پاسخ درون برچسب‌های<think> 
و <answer> </answer> قرار می‌گیرند، به این صورت:<think> فرایند استدلال در اینجا 
<answer> پاسخ در اینجا </answer> کاربر: <prompt> دستیار:
– مقدار <prompt> در طول آموزش با سوالات استدلالی خاص جایگزین می‌شود.
مدل DeepSeek-R1-Zero به‌طور انحصاری با استفاده از تقویت یادگیری با استفاده از جی‌آرپی‌او - آر اِل آموزش داده شد و از تنظیم دقیق نظارت‌شده استفاده نکرد. برخلاف نسخه‌های قبلی، این مدل از پاداش مبتنی بر مدل استفاده نکرده و تمام تابع‌های پاداش به‌صورت قانون‌محور بودند. دو نوع اصلی از پاداش‌ها وجود داشت (سایر انواع مشخص نشده‌اند):پاداش دقت و پاداش قالب‌بندی (فرمت).
پاداش دقت بررسی می‌کرد آیا پاسخ ارائه‌شده در جعبه پاسخ صحیح است (برای مسائل ریاضی) یا آیا کد نوشته‌شده آزمون‌ها را با موفقیت پشت سر گذاشته است (برای برنامه‌نویسی).
پاداش قالب‌بندی که بررسی می‌کرد آیا مدل فرایند فکری خود را درون برچسب‌های
! ink | ...
قرار داده است یا خیر.
از آنجا که مدل DeepSeek-R1-Zero در خوانایی و انسجام زبانی مشکلاتی داشت، مدل R1 برای برطرف کردن این مشکلات و بهبود استدلال آموزش داده شد:
اجرای تنظیم دقیق نظارت‌شده بر روی مدل DeepSeek-V3-Base با استفاده از هزاران دادهٔ «آغاز سرد» که همگی در قالب استاندارد |special_token|<reasoning_process>|special_token|summary> بودند.
به‌کارگیری فرایند تقویت یادگیری مشابه با R1-Zero، اما همراه با پاداش انسجام زبانی برای تشویق پاسخ‌دهی به‌صورت تک‌زبانه. این فرایند یک مدل داخلی تولید کرد که منتشر نشد.
تولید ۶۰۰ هزار نمونه دادهٔ استدلالی مصنوعی از مدل داخلی، با نمونه‌گیری رد شده (rejection sampling) (یعنی اگر پاسخ نهایی استدلال اشتباه بود، نمونه حذف می‌شد). همچنین، ۲۰۰ هزار دادهٔ غیر استدلالی (مانند نگارش، پرسش و پاسخ دانش‌محور، خودشناسی، و ترجمه) با استفاده از دیپ‌سیک-V3 تولید شد.
تنظیم دقیق نظارت‌شده مدل DeepSeek-V3-Base بر روی ۸۰۰ هزار نمونه داده مصنوعی برای ۲ دوره.
تقویت یادگیری (GRPO RL) با استفاده از پاداش قانون‌محور (برای وظایف استدلالی) و پاداش مبتنی بر مدل (برای وظایف غیر استدلالی، مفید بودن و بی‌ضرر بودن). این فرایند مدل DeepSeek-R1 را تولید کرد.
مدل‌های تقطیرشده با SFT بر روی ۸۰۰ هزار دادهٔ مصنوعی تولیدشده از دیپ‌سیک-R1، مشابه مرحله ۳ فوق، آموزش داده شدند. این مدل‌ها برخلاف مدل اصلی، با تقویت یادگیری (RL) آموزش داده نشدند.