DeepSeek（2. 2024年ごろ：DeepSeek-MoE、DeepSeek Math、DeepSeek-Coder V2、DeepSeek-V2/2.5/3）

本記事は下記の続きです。

https://qiita.com/akagi_hayato/items/6ef23068d6661725f972

## DeepSeek-MoE
2024年1月、DeepSeekはモデルパラメータをスケールアップする際の計算コストを管理するための有望なアーキテクチャとしてMoEに注目し、DeepSeek-MoEというモデルを発表した[^1]。モデルサイズが16.4Bのもので、他のオープンソースモデルを凌駕する性能を記録した[^4]。DeepSeek-MoEでは、下記2つのMoE戦略により、性能向上を試みた[^1][^3]。
- Fine-Grained Expert Segmentation
    - Expertを細分化し、通常のMoEより柔軟で適応性の高い組み合わせを可能にする
- Shared Expert Isolation
    - 各Expertに必要だった共通知識的なものを担うExpert（Shared Expert）を用意しその他のExpertの専門性を高める

>![](https://github.com/deepseek-ai/DeepSeek-MoE/raw/main/images/evaluation_deepseekmoe16b_base_openllm.jpg)
[DeepSeekMoE performance](https://github.com/deepseek-ai/DeepSeek-MoE)

>![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*Dfl9g1Y-je6-MNrc.jpeg)
[Illustration of DeepSeekMoE](https://medium.com/@bnjmn_marie/deepseekmoe-moe-with-segmented-and-shared-experts-dedf22e4a98c)


[^1]:[DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models](https://arxiv.org/abs/2401.06066)
[^2]:[DeepSeekMoE: MoE with Segmented and Shared Experts](https://medium.com/@bnjmn_marie/deepseekmoe-moe-with-segmented-and-shared-experts-dedf22e4a98c)
[^3]:[DeepSeekMoE: MoE with Segmented and Shared Experts](https://medium.com/@bnjmn_marie/deepseekmoe-moe-with-segmented-and-shared-experts-dedf22e4a98c)
[^4]:[Github *deepseek-ai/DeepSeek-MoE*](https://github.com/deepseek-ai/DeepSeek-MoE)

## DeepSeek-Math, DeepSeek-Prover (V1)/V1.5
2024年1月、DeepSeekは数学的推論へのアプローチを行うDeepSeek-Mathというモデル（DeepSeek-Math-7B-Base/DeepSeek-Math-7B-Instruct/DeepSeek-Math-7B-RL）を発表した[^11]。DeepSeek-Mathは、DeepSeek-Coder-v1.5 7Bを初期値とし、Common Crawlから取得した数学関連トークン、自然言語データ、コードデータを用いて5000億トークン分の事前学習を追加で行っており[^12]、その他のオープンソースモデルに比べて高い性能を示したと謳われた。

>![](https://arxiv.org/html/2402.03300v3/extracted/5563325/figures/Math.png)
[Top1 accuracy of open-source models on the competition-level MATH benchmark](https://arxiv.org/html/2402.03300v3)

特に、DeepSeek-Math-7B-RLでは、LLMの強化学習ファインチューニングで用いられるProximal Policy Optimization (PPO)と呼ばれる手法[^13]を派生させた、Group Relative Policy Optimization (GRPO)という強化学習アルゴリズムを導入している[^11]。
GRPOは、ある状態である行動をとるメリットの指標であるアドバンテージの計算をValue Model（通常、Policy Modelと同等のモデルとなる）なしで行うこと、現在のポリシーと参照ポリシー (多くの場合、SFT モデル) のKLダイバージェンス（二つの確率分布の差を数値化したもの）を損失関数に直接組み込むことにより、PPOのメモリオーバーヘッドや不安定性といった弱点を低減している。

>![](https://community.aws/_next/image?url=https%3A%2F%2Fassets.community.aws%2Fa%2F2ra6RfOUylhUM8M3eDEMfDlB3l7%2FScre.webp%3FimgSize%3D1698x894&w=3840&q=75)
[PPO vs GRPO](https://community.aws/content/2rJrpj6m2eh591fjMcRZ3ushpB7/deep-dive-into-group-relative-policy-optimization-grpo)

[^11]:[DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models](https://arxiv.org/abs/2402.03300)
[^12]:[Github *deepseek-ai/DeepSeek-Math*](https://github.com/deepseek-ai/DeepSeek-Math)
[^13]:[Proximal Policy Optimization Algorithms](https://arxiv.org/abs/1707.06347)
[^14]:[Deep dive into Group Relative Policy Optimization (GRPO)](https://community.aws/content/2rJrpj6m2eh591fjMcRZ3ushpB7/deep-dive-into-group-relative-policy-optimization-grpo)


2024年5月、DeepSeekMath 7BをベースにファインチューニングされたDeepSeek-Proverと言うモデルが発表された[^50]。Microsoft Reseachの研究者が立ち上げた関数型プログラミング言語Lean[^52]を用いた検証などにより、限界まで改善が繰り返される事により、性能向上が図られた。

>![](https://distilabel.argilla.io/1.4.2/assets/tutorials-assets/deepseek_prover.png)
[DeepSeek-Prover overview](https://distilabel.argilla.io/1.4.2/sections/pipeline_samples/papers/deepseek_prover/)

また8月には、DeepSeek-Proverを拡張したDeepSeek-Prover-V1.5も発表された。前モデルのsingle-pass whole-proof generation approachを上回る多様な証明パスを生成するため、推論時にモンテカルロ木探索の変種であるRMaxTS（RMax applied to Tree Search）を提案し、miniF2F（高校レベルの数学問題集）およびProofNet（大学レベルの数学の定理）において最先端の結果を示した[^51]。

>![](https://assets.st-note.com/img/1723971594198-QInhgDItaR.png?width=1200)
[DeepSeek-Prover-V1.5 overview](https://note.com/ainest/n/nbe59ea159083)

>![](https://assets.st-note.com/img/1723971831193-SHgdnhzvRP.png?width=1200)
[DeepSeek-Prover-V1.5 performance](https://note.com/ainest/n/nbe59ea159083)

[^50]:[DeepSeek-Prover: Advancing Theorem Proving in LLMs through Large-Scale Synthetic Data](https://arxiv.org/abs/2405.14333)
[^51]:[DeepSeek-Prover-V1.5: Harnessing Proof Assistant Feedback for Reinforcement Learning and Monte-Carlo Tree Search](https://arxiv.org/abs/2408.08152)
[^52]:[Lean](https://lean-lang.org/)
[^53]:[【論文瞬読】AI×数学の最前線：DeepSeek-Prover-V1.5が切り開く形式定理証明の新時代](https://note.com/ainest/n/nbe59ea159083)

## DeepSeek-V2, V2.5, V3
2024年5月、DeepSeekLLMの後継となるDeepSeek-V2が発表された[^30][^31]。コンテキストウィンドウが128kでDeepSeek-MoEと同様のMoEの構成をとる（全体のモデルサイズは合計236Bであるが、トークンごとにアクティブとなるパラメータは21B）。
また、従来のTransformerで用いられていたMulti-Head Attention (MHA)機構では、生成時に大量のKey-Value(KV) キャッシュがボトルネックとなり推論効率を低下させているため、Mistral AI社によるGrouped-Query Attention（GQA）などが提案されてきたが、DeepSeek-V2ではKVキャッシュを潜在ベクトルに大幅に圧縮することで効率的な推論を可能にするMulti-head Latent Attention機構が採用された。

>![](https://github.com/deepseek-ai/DeepSeek-V2/raw/main/figures/activationparameters.png)
[DeepSeek-V2 performance]()

>![](https://i0.wp.com/gradientflow.com/wp-content/uploads/2024/05/DeepSeek3.jpg?resize=1536%2C1247&ssl=1)
[DeepSeek-V2 architecture](https://gradientflow.com/deepseek-v2-unpacked/)

>![](https://miro.medium.com/v2/resize:fit:1400/format:webp/1*g0kJ90z4LW4ZgtCKur4gTg.png)
[MHA vs GQA vs MQA vs MLA](https://dataturbo.medium.com/deepseek-technical-analysis-2-mla-74bdb87d4ad2)

6月には、DeepSeek-V2-ChatのベースモデルをCoder-V2-baseに置き換えることでアップグレードを行い、コード生成と推論機能を大幅に強化、9月に、DeepSeek-V2をファインチューニングしたDeepSeek-V2-Instruct、DeepSeek-V2-Chatを組み合わせたDeepSeek-V2.5がリリースされた[^32]。

>![](https://cdn.deepseek.com/api-docs/version_history_en.png)
[Update to DeepSeek-V2.5](https://api-docs.deepseek.com/news/news0905)

さらに12月、MoEの全体モデルサイズ671B、トークンごとのアクティブパラメータは37Bである、DeepSeek-V3がリリースされた。DeepSeek-V2.5より高性能であり、3倍の応答速度を記録している[^34]。DeepSeek-V2で用いられたアーキテクチャを継承しつつ、従来のMoEモデルの学習時に補助損失を用いないAuxiliary-Loss-Free Load Balancingという戦略が提案され、負荷分散の促進に伴う性能低下を抑制した[^33]。

:::note info
MoEモデルの学習では、負荷の不均衡によりルーティングの崩壊や計算オーバーヘッドの増加が発生する可能性があった。ルーティングの不均衡を回避するために、一般的に補助損失を用いてExpert負荷のバランスを促進する対策がとられるが、補助損失は学習中の負荷の不均衡を軽減できますが、言語モデリングの目的と矛盾する望ましくない勾配もモデル性能を低下させるという課題も存在した。
そこで、学習中に不要な勾配を生じさせずに負荷バランスを制御するため、補助損失のない負荷分散戦略を特徴とするロスフリー・バランシングが提案された。[^35]
:::

>![](https://cdn.deepseek.com/api-docs/ds_v3_price_en.jpeg)
[DeepSeek-V3 performance](https://api-docs.deepseek.com/news/news1226)

[^30]:[DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model](https://arxiv.org/abs/2405.04434)
[^31]:[Github *deepseek-ai/DeepSeek-V2*](https://github.com/deepseek-ai/DeepSeek-V2)
[^32]:[DeepSeek-V2.5: A New Open-Source Model Combining General and Coding Capabilities](https://api-docs.deepseek.com/news/news0905)
[^33]:[DeepSeek-V3 Technical Report](https://arxiv.org/pdf/2412.19437)
[^34]:[Introducing DeepSeek-V3](https://api-docs.deepseek.com/news/news1226)
[^35]:[Auxiliary-Loss-Free Load Balancing Strategy for Mixture-of-Experts](https://arxiv.org/abs/2408.15664)

## DeepSeek-VL/VL2
2024年3月、画像とテキスト入力を受け付けるマルチモーダルモデルであるDeepSeek-VL（Vision-Language）が発表された[^42]。アーキテクチャは下記の通りである。
- Vision Encoder: Hybrid Vision Encoder
    - 高解像度画像（1024 x 1024）エンコーディング用のSAM（Segment Anything Model[^41]）と低解像度画像（384 x 384）エンコーディング用のSigLIP（Sigmoid Loss for Language Image Pre-Training[^40]）を組み合わせ、意味情報と詳細情報の両方を保持
- Vision-Language Adaptor: 2層MLP（Multi-Layer Perceptron）
- Language Model: DeepSeek LLM
    - LLaMaを踏襲したDeepSeek製のLLM

:::note info
SigLIPを含むCLIPファミリー（オリジナルのCLIPはOpenAI社が開発：[OpenAI（3. 2021~2022年ごろ：DALL-E, CLIP, GLIDE, InstructGPT）](https://qiita.com/akagi_hayato/items/65bb9b3b7d4d06aef47b)）のVision Encoderは、異なる画像が類似画像としてエンコードされてしまう現象（CLIP-blind pairs）が下記のタスクなどで課題となっていた。
- Visual Grounding Task: 自然言語参照に基づいて画像領域を特定
- 高密度OCR（Optical Character Recognition）: 文字が密集した画像から文字情報を抽出
:::


>![](https://lh7-us.googleusercontent.com/UNaLtGqx4nuEHoO9fuybeYeYDJ_STZLobKyXZxpJcmDSm1W300uzfd3hFbATgtD5_jDSPuDcmb1fXy7Hk-WtsmFAfRU3KhPnXHPt5hBPkAz1LGHFkS6ZmAzOfR6C8DkXfoe3Og7cWwlofimI9jTJE6s)
[DeepSeek-VL pipeline](https://www.marktechpost.com/2024/03/13/deepseek-ai-introduces-deepseek-vl-an-open-source-vision-language-vl-model-designed-for-real-world-vision-and-language-understanding-applications/)

そして12月には、DeepSeek-VLにMoEを適用させるなどで、パフォーマンスと効率の両方で大幅な向上を実現したDeepSeek-VL2が発表された[^43]。基本的にはMicrosoft社のLLaVAアーキテクチャを用いつつ、入力画像を分割してすることでさまざまなアスペクト比を持つ画像を処理できるようにするDynamic Tiling Strategy、DeepSeek LLMをDeepSeek MoEに変更するなどの戦略でDeepSeek-VLからの性能向上を図った。

>![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*idNgFX7g4UO1ZuqV)
[DeepSeek-VL2 architecture](https://sebastian-petrus.medium.com/deepseek-vl2-advancing-multimodal-understanding-with-mixture-of-experts-vision-language-models-6925e45f8609)

>![](https://github.com/deepseek-ai/DeepSeek-VL2/raw/main/images/vl2_teaser.jpeg)
[DeepSeek-VL2 performance](https://github.com/deepseek-ai/DeepSeek-VL2)

>![](https://miro.medium.com/v2/resize:fit:1400/format:webp/0*6euVPgYMlmdWR2pe)
[Dynamic Tiling Strategy](https://sebastian-petrus.medium.com/deepseek-vl2-advancing-multimodal-understanding-with-mixture-of-experts-vision-language-models-6925e45f8609)

[^40]:[Sigmoid Loss for Language Image Pre-Training](https://arxiv.org/abs/2303.15343)
[^41]:[Segment Anything](https://arxiv.org/abs/2304.02643)
[^42]:[DeepSeek-VL: Towards Real-World Vision-Language Understanding](https://arxiv.org/abs/2403.05525)
[^43]:[DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding](https://arxiv.org/abs/2412.10302)


## DeepSeek-Coder V2 Series
2024年6月、コード生成タスクにデザインされたDeepSeek-Coder V2が発表された[^20]。DeepSeek-MoEでも用いられたMoE、DeepSeek-V2のMLAが用いられ、338のプログラミング言語と最大128Kのコンテキストウィンドウに対応している。OpenAI社のGPT4-Turbo、Anthropic社のClaude 3 Opus、Google DeepMind社のGemini 1.5 Proといった最先端のクローズドソースモデルと比較しても同等かそれ以上の性能を示した[^21]。

>![](https://github.com/deepseek-ai/DeepSeek-Coder-V2/raw/main/figures/performance.png)
[DeepSeek-Coder V2](https://github.com/deepseek-ai/DeepSeek-Coder-V2)

[^20]:[DeepSeek-Coder-V2: Breaking the Barrier of Closed-Source Models in Code Intelligence](https://community.aws/content/2rJrpj6m2eh591fjMcRZ3ushpB7/deep-dive-into-group-relative-policy-optimization-grpo)
[^21]:[Github *deepseek-ai/DeepSeek-Coder-V2*](https://github.com/deepseek-ai/DeepSeek-Coder-V2)


## DeepSeek-R1-Lite Preview

2024年11月DeepSeekは、CoT（Chain-of-Thought）による推論に特化したLLMであるDeepSeek-R1-Lite-Previewをリリースした[^60]。リリース時にはオープソースではないものの、OpenAI社の同様の推論モデルo1-previewに匹敵または上回るパフォーマンスを示し、衝撃を与えた[^61]。

>![](https://cdn.deepseek.com/api-docs/r1_scaling_law_en.jpeg)
[DeepSeek-R1-Lite-Preview performance](https://api-docs.deepseek.com/news/news1120)

[^60]:[DeepSeek-R1-Lite-Preview is now live: unleashing supercharged reasoning power!](https://api-docs.deepseek.com/news/news1120)
[^61]:[中国のAI企業DeepSeekがOpenAI o1に匹敵する推論AIモデル「DeepSeek-R1-Lite-Preview」公開、オープンソース化する計画も](https://api-docs.deepseek.com/news/news1120)