DeepSeek
Riwayat rilis > V2

Pada bulan Mei 2024, mereka merilis seri DeepSeek-V2. Seri ini mencakup 4 model, 2 model dasar (DeepSeek-V2, DeepSeek-V2-Lite) dan 2 bot percakapan (-Chat). Kedua model yang lebih besar dilatih sebagai berikut:
Lakukan pretraining pada himpunan data token 8,1T dengan token berbahasa Mandarin 12% lebih banyak daripada token berbahasa Inggris.
Perluas context length dari 4K ke 128K menggunakan YaRN. Tahap ini menghasilkan DeepSeek-V2.
SFT dengan 1,2M instances untuk helpfulness dan 0,3M untuk safety. Tahap ini menghasilkan DeepSeek-V2-Chat (SFT) yang tidak dirilis.
RL menggunakan GRPO dalam dua tahap. Tahap pertama dilatih untuk memecahkan masalah matematika dan pengkodean. Tahap ini menggunakan 1 model reward, dilatih pada compiler feedback (untuk pengkodean) dan ground-truth labels (untuk matematika). Tahap kedua dilatih agar helpful, safe, dan mematuhi aturan. Tahap ini menggunakan 3 model reward. Model reward atas bantuan dan keselamatan dilatih pada data preferensi manusia. Model rule-based reward diprogram secara manual. Semua model reward yang dilatih diinisialisasi dari DeepSeek-V2-Chat (SFT). Tahap ini menghasilkan dirilisnya versi DeepSeek-V2-Chat.
Mereka memilih RL 2-tahap karena mereka menemukan bahwa RL pada data penalaran (reasoning) memiliki "karakteristik unik" yang berbeda dari RL pada data umum. Misalnya, RL pada penalaran dapat ditingkatkan melalui beberapa langkah pelatihan.
Kedua model V2-Lite merupakan model yang lebih kecil, dan dilatih secara serupa, meskipun DeepSeek-V2-Lite-Chat hanya menjalani SFT, bukan RL. Mereka melatih versi Lite untuk membantu "penelitian dan pengembangan lebih lanjut pada MLA dan DeepSeekMoE".
Secara arsitektur, model V2 dimodifikasi secara signifikan dari seri DeepSeek LLM. Mereka mengubah mekanisme atensi standar (standard attention mechanism) dengan low-rank approximation yang disebut multi-head latent attention (MLA), dan menggunakan varian mixture of experts (MoE) yang sebelumnya diterbitkan pada bulan Januari. Dibandingkan dengan standard sparsely-gated MoE, varian mereka memiliki "pakar bersama" (shared experts) yang selalu di-query, dan "pakar yang dirutekan" (routed experts) yang mungkin tidak di-query.
| Nama | Param>  | Param>  aktif |  n_{\text{layers}} | Panjang konteks |  n_{\text{shared experts}} |  n_{\text{routed experts}} |
| --- | --- | --- | --- | --- | --- | --- |
| V2-Lite | 15,7B | 2,4B | 27 | 32K | 2 | 64 |
| V2 | 236B | 21B | 60 | 128K | 2 | 160 |
Financial Times melaporkan bahwa harga token ini lebih murah dibanding pesaingnya, yaitu 2 RMB per juta token keluaran. Papan peringkat Tiger Lab dari University of Waterloo menempatkan DeepSeek-V2 pada posisi ketujuh dalam peringkat LLM.
Pada bulan Juni, mereka merilis 4 model dalam seri DeepSeek-Coder-V2: V2-Base, V2-Lite-Base, V2-Instruct, V2-Lite-Instruct. Model-model tersebut dilatih sebagai berikut:
Model Base diinisialisasi dari titik pemeriksaan (checkpoints) intermediate yang sesuai setelah pretraining pada token 4.2T (bukan versi di akhir pretraining), lalu dilatih lebih lanjut untuk token 6T, lalu diperluas konteksnya ke panjang konteks 128K. Tahap ini menghasilkan model Base.
DeepSeek-Coder dan DeepSeek-Math digunakan untuk menghasilkan 20K data instruksi terkait kode dan 30K data instruksi terkait matematika, lalu digabungkan dengan kumpulan data instruksi sebanyak 300M token. Ini digunakan untuk SFT.
RL dengan GRPO. Reward untuk soal matematika dihitung dengan membandingkannya dengan ground-truth label. Reward untuk masalah kode dihasilkan oleh model reward yang dilatih untuk memprediksi apakah suatu program akan lulus uji unit.
DeepSeek-V2.5 dirilis pada bulan September dan diperbarui pada bulan Desember. Rilisan tersebut dibuat dengan menggabungkan DeepSeek-V2-Chat dan DeepSeek-Coder-V2-Instruct.