DeepSeek-V3およびDeepSeek-R1モデルのワンクリックデプロイメント

> 本記事は[こちらのブログ](https://www.alibabacloud.com/blog/one-click-deployment-of-deepseek-v3-and-deepseek-r1-models_601973?spm=a2c65.11461433.0.0.4ee35355PI7UIJ)を参考にしています。
> 翻訳にはアリババクラウドの[ModelStudio](https://www.alibabacloud.com/en/product/modelstudio)([Qwen](https://www.alibabacloud.com/en/solutions/generative-ai/qwen))を使用しております。

# DeepSeek-V3およびDeepSeek-R1モデルのデプロイガイド

DeepSeek-V3は、DeepSeekが開発した6710億パラメータを持つ大規模なMoE（Mixture of Experts）言語モデルです。DeepSeek-R1は、DeepSeek-V3-Baseで訓練された高性能推論モデルです。Model Galleryでは、vLLMまたはBladeLLMによる加速デプロイ機能を提供しており、DeepSeek-V3およびDeepSeek-R1シリーズのモデルをワンクリックでデプロイできます。

## サポートされているモデルリスト
注: DeepSeek-R1およびDeepSeek-V3のフルバージョンモデルには671Bものパラメータがあり、非常に高い設定とコスト（96GB以上のビデオメモリを持つ8枚のGPUカードなど）が必要です。蒸留モデルを選択することで、より多くのマシンリソースを利用でき、デプロイコストも削減できます。テスト結果によると、DeepSeek-R1-Distill-Qwen-32Bモデルは優れたパフォーマンスとコスト効率を提供し、クラウドデプロイに適しています。その他の蒸留モデル（7B、8B、14Bなど）もデプロイ可能です。Model Galleryには、モデルの実際のパフォーマンスを評価するためのモデル評価ツールもあります（評価エントリはモデル製品ページの右上にあります）。以下の表には、最小構成要件を満たすモデルが表示されています。システムは、Model Galleryのデプロイページにあるリソース仕様選択リストで利用可能な公開リソース仕様を自動的にフィルタリングしています。
![1](https://yqintl.alicdn.com/add7bb460a75532c6019b64d71fb91038308256a.png)

## デプロイ方法の説明

### BladeLLM 加速デプロイ:
BladeLLMは、Alibaba Cloud PAIが独自に開発した高性能な推論フレームワークです。

### vLLM 加速デプロイ:
vLLMは、LLM推論加速のために業界で広く認識されているライブラリです。

### 標準デプロイ:
これは推論加速なしの標準的なデプロイ方法です。最適なパフォーマンスと最大サポートトークン数を得るためには、加速デプロイ（BladeLLM、vLLM）をお勧めします。加速デプロイはAPI呼び出し方式のみをサポートします。標準デプロイはAPI呼び出し方式とWebUIチャットインターフェースの両方をサポートします。

## モデルのデプロイ
1. **Model Galleryページに移動**: [PAIコンソール](https://pai.console.aliyun.com/?spm=a2c63.p38356.0.0.51b91867sUyZHj)にログインします。左上の隅でビジネスニーズに合ったリージョンを選択します。左側のナビゲーションペインで「Workspace List」を選択し、指定されたワークスペース名をクリックして対応するワークスペースに入ります。左側のナビゲーションペインで「Getting Started > Model Gallery」を選択します。

2. **モデルカードの選択**: Model Galleryページでデプロイしたいモデルカード（例：DeepSeek-R1-Distill-Qwen-32Bモデル）を見つけ、クリックしてモデル製品ページにアクセスします。

3. **デプロイの実行**: 右上にある「Deploy」をクリックし、デプロイ方法とリソースを選択してワンクリックでデプロイし、PAI-EASサービスを作成します。  
**注意**: DeepSeek-R1およびDeepSeek-V3をデプロイする場合、ml.gu8v.c192m1024.8-gu120やecs.gn8v-8x.48xlargeモデル（在庫が限られている可能性があります）に加えて、ecs.ebmgn8v.48xlargeモデルも選択肢となります。ただし、このモデルは公開リソースでは利用できません。[EAS専用リソースを購入](https://common-buy-intl.alibabacloud.com/?spm=a2c63.p38356.0.0.51b91867sUyZHj&commodityCode=learn_EasDedicatedPostpay_public_intl)する必要があります。
![1](https://help-static-aliyun-doc.aliyuncs.com/assets/img/en-US/9156248371/p911708.png)

## 推論サービスの使用
デプロイ成功後、サービスページで「View Call Information」をクリックして、EndpointとTokenを取得します。サービス呼び出し方法はデプロイ方法によって異なります。詳細な手順はModel Galleryのモデル紹介ページに記載されています。

### BladeLLMデプロイ
### vLLMデプロイ
### 標準デプロイ

| 機能 | BladeLLM | vLLM | 標準 |
|------|----------|-------|--------|
| WebUI | 非サポート | 非サポート | サポート |
| オンラインデバッグ | サポート | サポート | サポート |
| API呼び出し | サポート | サポート | サポート |

**WebUI**
非サポート。Web UIコードをダウンロードしてローカルでWeb UIを起動できます。  
**注意**: BladeLLMとvLLMのWeb UIコードは異なります。  
- BladeLLM: [BladeLLM_github](https://github.com/aliyun/pai-examples/blob/master/model-gallery/deploy/llm/BladeLLM/webui_client.py?spm=5176.pai-console-inland.0.0.2a11642dAp3Mxz&file=webui_client.py), [BladeLLM_oss](https://pai-quickstart-predeploy-hangzhou.oss-cn-hangzhou.aliyuncs.com/example_codes/model-gallery/deploy/llm/BladeLLM/webui_client.py)  
- vLLM: [vLLM_github](https://github.com/aliyun/pai-examples/blob/master/model-gallery/deploy/llm/vLLM/webui_client.py), [vLLM_oss](https://pai-quickstart-predeploy-hangzhou.oss-cn-hangzhou.aliyuncs.com/example_codes/model-gallery/deploy/llm/vLLM/webui_client.py)  bash
python_disabled webui_client.py --eas_endpoint <EAS API Endpoint> --eas_token <EAS API Token>

### API呼び出し
- completionsインターフェース: `<EAS_ENDPOINT>/v1/completions`  
- chatインターフェース: `<EAS_ENDPOINT>/v1/chat/completions`  
- API説明ファイル: `<EAS_ENDPOINT>/openapi.json`  
- モデルリスト: `<EAS_ENDPOINT>/v1/models`  

| 互換性 | BladeLLM | vLLM | 標準 |
|---------|----------|-------|--------|
| OpenAI SDKとの互換性 | 非互換 | 互換 | 非互換 |

### リクエストデータ形式
completionsとchatのリクエストデータ形式は異なります。BladeLLMと比較すると、モデルパラメータを追加する必要があります。モデルパラメータの値は`<EAS_ENDPOINT>/v1/models`インターフェースから取得できます。文字列型とJSON型の両方をサポートしています。

#### BladeLLM 加速デプロイ
- Completionsリクエストデータ:json
{ "prompt": "hello world", "stream": true }
- Chatリクエストデータ:json
{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "Hello World!!"
        }
    ]
}

#### vLLM 加速デプロイ
以下の例では、`<model_name>`を`<EAS_ENDPOINT>/v1/models` APIから取得したモデル名に置き換えてください。
- Completionsリクエストデータ:json
{ "model": "<model_name>", "prompt": "hello world" }
- Chatリクエストデータ:json
{
    "model": "<model_name>",
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user
長期的な利用の場合、パブリックリソースグループを<a href=https://common-buy.aliyun.com/?spm=a2c63.p38356.0.0.35776050qQ4E1N&amp;commodityCode=learn_eas_spn_public_cn#/buy target=_blank>セービングスプラン</a>と組み合わせるか、サブスクリプション型のEASリソースグループを購入することでコストを削減することを検討してください。非プロダクション環境では、デプロイ時に<a href=https://www.alibabacloud.com/help/en/pai/user-guide/eas-preemptible-instances target=_blank>プリエンプティブル</a>モードを有効にできます。ただし、入札が成功するには特定の条件があり、リソースの不安定性が生じるリスクがあることに注意してください。