DeepSeek
Riwayat rilis > R1

Pada tanggal 20 November 2024, DeepSeek-R1-Lite-Preview dapat diakses melalui API DeepSeek dan situs web chat.deepseek.com. Ia dilatih untuk inferensi logis, penalaran matematika, dan pemecahan masalah real-time. DeepSeek mengklaim bahwa kinerjanya melampaui OpenAI o1 pada pengujian tolok ukur (benchmark) seperti American Invitational Mathematics Examination (AIME) dan MATH.  Namun, The Wall Street Journal menyatakan ketika menggunakan 15 masalah dari edisi AIME 2024, model o1 mendapatkan solusi untuk soal matematika lebih cepat daripada DeepSeek-R1-Lite-Preview.
Pada tanggal 20 Januari 2025, DeepSeek-R1 dan DeepSeek-R1-Zero dirilis. Keduanya diinisialisasi dari DeepSeek-V3-Base. Perusahaan ini juga merilis beberapa model "DeepSeek-R1-Distill", yang tidak diinisialisasi pada V3-Base, tetapi diinisialisasi dari model pretrained open-weight lainnya, termasuk LLaMA dan Qwen, kemudian disempurnakan pada data sintetis yang dihasilkan oleh R1.
Percakapan antara Pengguna dan Asisten. Pengguna mengajukan pertanyaan, dan Asisten menyelesaikannya. Asisten pertama-tama memikirkan proses penalaran dalam benaknya, lalu memberikan jawaban kepada pengguna. Proses penalaran dan jawaban masing-masing disertakan dalam tag <think> </think> dan <answer> </answer>, yaitu <think> proses penalaran di sini </think> <answer> jawaban di sini </answer>. Pengguna: <prompt>. Asisten:
– <prompt> diganti dengan pertanyaan penalaran spesifik selama pelatihan.
DeepSeek-R1-Zero dilatih secara eksklusif menggunakan GRPO RL tanpa SFT. Tidak seperti versi sebelumnya, mereka tidak menggunakan reward berbasis model. Semua rule-based reward, "terutama" dari dua jenis (jenis lainnya tidak ditentukan): reward akurasi dan reward format. Reward akurasi memeriksa apakah jawaban yang diberikan tanda kotak itu benar (untuk matematika) atau apakah suatu kode lulus uji (untuk pemrograman). Format reward memeriksa penempatan thinking trace model tersebut dalam <think>... </think>.
Oleh karena R1-Zero memiliki masalah terkait keterbacaan (readability) dan pencampuran bahasa, R1 dilatih untuk mengatasi masalah ini dan lebih meningkatkan penalaran:
SFT DeepSeek-V3-Base pada "ribuan" data "cold-start" semuanya dengan format standar |special_token|<reasoning_process>|special_token|summary>.
Terapkan proses RL yang sama seperti R1-Zero, tetapi juga dengan "reward konsistensi bahasa" untuk mendorongnya merespons secara monolingual. Tahap ini menghasilkan model internal yang tidak dirilis.
Mensintesiskan 600K data penalaran dari model internal, dengan pengambilan sampel penolakan (misalnya, jika penalaran yang dihasilkan memiliki jawaban akhir yang salah, maka penalaran tersebut dihapus). Mensintesiskan 200K data non-penalaran (penulisan, tanya jawab faktual, pengenalan diri, penerjemahan) menggunakan DeepSeek-V3.
SFT DeepSeek-V3-Base pada data sintetis 800K selama 2 epoch.
GRPO RL dengan rule-based reward (untuk tugas penalaran) dan model-based reward (untuk tugas non-penalaran, helpfulness, dan harmlessness). Tahap ini menghasilkan DeepSeek-R1.
Distilled models dilatih oleh SFT pada 800K data yang disintesis dari DeepSeek-R1, dengan cara yang sama seperti langkah 3 di atas. Model-model tersebut tidak dilatih dengan RL.