DeepSeek
Riwayat rilis > DeepSeek LLM

Pada tanggal 2 November 2023, DeepSeek merilis seri model pertamanya, DeepSeek-Coder, yang tersedia gratis untuk peneliti dan pengguna komersial. Kode untuk model tersebut dibuat sumber terbuka di bawah lisensi MIT, dengan perjanjian lisensi tambahan ("lisensi DeepSeek") mengenai "penggunaan hilir yang terbuka dan bertanggung jawab" untuk model itu sendiri.
Model-model tersebut memiliki arsitektur yang sama dengan DeepSeek LLM yang dirinci di bawah ini. Seri ini mencakup 8 model, 4 pretrained (Base) dan 4 instruction-finetuned (Instruct). Semuanya memiliki panjang konteks 16K. Pelatihannya adalah sebagai berikut:
Pretraining (Prapelatihan): token 1,8T (87% kode sumber, 10% kode terkait bahasa Inggris (GitHub Markdown dan Stack Exchange), dan 3% kode terkait bahasa Mandarin).
Long-context pretraining: 200B token. Ini memperluas panjang konteks dari 4K ke 16K. Ini menghasilkan model Base.
Supervised finetuning (SFT): 2B token data instruksi. Ini menghasilkan model Instruct.
Model-model tersebut dilatih pada kluster-kluster GPU Nvidia A100 dan H800, yang dihubungkan oleh InfiniBand, NVLink, NVSwitch.
| Param>  |  n_{\text{layers}} |  d_{\text{model}} |  d_{\text{intermediate}} |  n_{\text{heads}} |  n_{\text{kv-heads}} |
| --- | --- | --- | --- | --- | --- |
| 1.3B | 24 | 2048 | 5504 | 16 | 16 |
| 5.7B | 32 | 4096 | 11008 | 32 | 1 |
| 6.7B | 32 | 4096 | 11008 | 32 | 32 |
| 33B | 62 | 7168 | 19200 | 56 | 7 |
Perhatikan bahwa number of heads tidak sama dengan number of KV heads untuk 5.6B dan 33B karena Grouped query attention (GQA).
Pada tanggal 29 November 2023, DeepSeek merilis seri model DeepSeek-LLM, dengan parameter 7B dan 67B dalam formulir Base dan Chat (tidak ada Instruct yang dirilis). Program ini dikembangkan untuk bersaing dengan LLM lain yang tersedia saat itu. Makalah ini mengklaim hasil pengujian tolok ukur (benchmark) lebih tinggi daripada kebanyakan LLM sumber terbuka pada saat itu, terutama Llama 2.:section 5  Seperti DeepSeek Coder, kode untuk model tersebut berada di bawah lisensi MIT, dengan lisensi DeepSeek untuk model itu sendiri.
Arsitekturnya pada dasarnya sama dengan seri Llama. Model-model tersebut menggunakan pre-norm decoder-only Transformer dengan RMSNorm sebagai normalisasi, SwiGLU dalam feedforward layers, rotary positional embedding (RoPE), dan grouped-query attention (GQA). Keduanya memiliki ukuran kosakata 102400 (BPE tingkat byte) dan panjang konteks 4096. Model-model tersebut berlatih pada 2 triliun token teks bahasa Inggris dan Mandarin yang diperoleh dengan mendeduplikasi Common Crawl.
| Param>  |  n_{\text{layers}} |  d_{\text{model}} |  d_{\text{intermediate}} |  n_{\text{heads}} |  n_{\text{kv-heads}} |
| --- | --- | --- | --- | --- | --- |
| 7B | 30 | 4096 | 11008 | 32 | 32 |
| 67B | 95 | 8192 | 22016 | 64 | 8 |
Perhatikan bahwa number of heads tidak sama dengan number of KV heads untuk 67B karena Grouped query attention (GQA).
Versi Chat dari dua model Base juga dirilis secara bersamaan, diperoleh dengan melatih Base melalui supervised finetuning (SFT) diikuti oleh direct policy optimization (DPO).
Pada bulan April 2024, mereka merilis 3 model DeepSeek-Math yang dikhususkan untuk mengerjakan soal-soal matematika: Base, Instruct, RL. Pelatihannya sebagai berikut:
Inisialisasi dengan DeepSeek-Coder-Base-v1.5 7B yang sudah pretrained.
Lakukan pretraining lebih lanjut dengan 500B token (6% DeepSeekMath Corpus, 4% AlgebraicStack, 10% arXiv, 20% kode GitHub, 10% Common Crawl). Tahap ini menghasilkan model Base.
Latih instruction-following model oleh SFT Base dengan 776K soal matematika dan solusi tool-use-integrated step-by-step. Tahap ini menghasilkan model Instruct.
Reinforcement learning (RL): Model reward-nya adalah process reward model (PRM) yang dilatih dari Base sesuai dengan metode Math-Shepherd. Model reward ini kemudian digunakan untuk melatih Instruct menggunakan group relative policy optimization (GRPO) pada kumpulan data 144K pertanyaan matematika "berkaitan dengan GSM8K dan MATH". Model reward terus diperbarui selama pelatihan untuk menghindari peretasan reward. Tahap ini menghasilkan model RL.