DeepSeek
Riwayat rilis > V3

Pada bulan Desember 2024, mereka merilis model dasar DeepSeek-V3-Base dan model bot percakapan DeepSeek-V3. Arsitektur modelnya pada dasarnya sama dengan V2. Model-model tersebut dilatih sebagai berikut:
Pretraining pada token 14,8T dari korpus multibahasa, sebagian besar bahasa Inggris dan Mandarin. Dataset ini berisi rasio matematika dan pemrograman yang lebih tinggi daripada dataset untuk pretraining V2.
Perluasan panjang konteks (context length) dua kali, dari 4K ke 32K dan kemudian ke 128K, menggunakan YaRN. Tahap ini menghasilkan DeepSeek-V 3-Base.
SFT selama 2 periode pada 1,5M sampel data penalaran (matematika, pemrograman, logika) dan non-penalaran (penulisan kreatif, permainan peran, jawaban pertanyaan sederhana). Data penalaran dihasilkan oleh "model ahli". Data non-penalaran dihasilkan oleh DeepSeek-V2.5 dan diperiksa oleh manusia.
"Model pakar" (expert models) dilatih dengan memulai dengan model dasar yang tidak ditentukan, lalu SFT pada data <problem, original response>, dan data sintetis <system prompt, problem, R1 response> yang dihasilkan oleh model DeepSeek-R1 internal. Perintah sistem meminta R1 untuk berpikir dan memverifikasi selama berpikir. Kemudian, model ahli RL menggunakan fungsi imbalan yang tidak ditentukan.
Setiap model ahli dilatih untuk menghasilkan data penalaran sintetis hanya dalam satu domain spesifik (matematika, pemrograman, logika).
Model ahli digunakan, bukan R1 itu sendiri, karena keluaran dari R1 sendiri mengalami "pemikiran berlebihan, format buruk, dan panjang sekali".
Model reward berbasis model dibuat dengan memulai dengan checkpoint SFT V3, lalu menyempurnakan data preferensi manusia yang berisi reward akhir dan rangkaian pemikiran yang mengarah ke reward akhir. Model reward menghasilkan sinyal reward untuk pertanyaan dengan jawaban objektif, tetapi berbentuk bebas, dan pertanyaan tanpa jawaban objektif (seperti penulisan kreatif).
Checkpoint SFT V3 dilatih oleh GRPO menggunakan model-based reward dan rule-based reward. Rule-based reward dihitung untuk soal matematika dengan jawaban akhir (dimasukkan ke dalam kotak), dan untuk soal pemrograman dengan uji unit. Tahap ini menghasilkan DeepSeek-V3.
| Nama | Param>  | Param aktif |  n_{\text{layers}} | Panjang konteks |  n_{\text{shared experts}} |  n_{\text{routed experts}} |
| --- | --- | --- | --- | --- | --- | --- |
| V3 | 671B | 37B | 61 | 128K | 1 | 256 |
Mereka melakukan rekayasa tingkat rendah yang ekstensif untuk mencapai efisiensi. Mereka menggunakan mixed-precision arithmetic. Sebagian besar pemindahan data ke depan dilakukan dalam bilangan floating point 8-bit (5E2M: eksponen 5-bit dan mantissa 2-bit) dan bukan dalam format standar 32-bit sehingga memerlukan rutinitas GEMM khusus untuk mengakumulasi secara akurat. Mereka menggunakan float 12-bit khusus (E5M6) hanya untuk masukan ke lapisan linier setelah modul atensi. Status pengoptimal berada dalam 16-bit (BF16). Mereka meminimalkan latensi komunikasi dengan melakukan tumpang tindih komputasi dan komunikasi secara ekstensif, seperti mendedikasikan 20 multiprosesor streaming dari 132 per H800 hanya untuk komunikasi antar-GPU. Mereka menurunkan komunikasi dengan mengatur ulang (setiap 10 menit) mesin yang digunakan oleh masing-masing ahli untuk menghindari mesin tertentu yang lebih sering diakses daripada mesin lainnya, menambahkan kerugian penyeimbangan beban tambahan ke fungsi kerugian pelatihan, dan teknik penyeimbangan beban lainnya.
Setelah pelatihan, ia disebarkan pada klaster H800. H800 dalam satu klaster dihubungkan melalui NVLink. Klaster-klaster tersebut dihubungkan oleh InfiniBand.
| Stage | Biaya (dalam seribu jam GPU) | Biaya (dalam satu juta USD$) |
| --- | --- | --- |
| Pre-training | 2.664 | 5.328 |
| Context extension | 119 | 0.24 |
| Fine-tuning | 5 | 0,01 |
| Total | 2.788 | 5.576 |
Pengujian tolok ukur (benchmark) menunjukkan bahwa DeepSeek-V3 mengungguli Llama 3.1 dan Qwen 2.5 sambil menyamai GPT-4o dan Claude 3.5 Sonnet.