SageMaker JumpStartの日本語モデルで利用できるインスタンスタイプ一覧

# はじめに

SageMaker JumpStartを使うとLLMが簡単にデプロイ・Fine-tuneできます。
DeployまたはTrainを実行する際には、インスタンスタイプを選択するのですが、選択可能なインスタンスタイプはモデル毎に決まっています。
しかし、その情報がSageMaker Studioを開いて調べる以外にまとまっている場所が無いように思えたので、自分用もかねて、各モデルで利用可能なインスタンスタイプを整理しておきます。
（もし情報がまとまっているサイトがあれば教えて頂けると助かります）


注意点
- 日本語対応の代表的なオープンモデル＋比較用にLlamaを記載しています。使えるモデル全てでは無いので注意してください。
- JumpStartで利用可能なモデル一覧は[SageMakerドキュメント](https://sagemaker.readthedocs.io/en/v2.214.0/doc_utils/pretrainedmodels.html?utm_source=pocket_saves)から確認可能です。
- 本記事の内容は2024/3/22時点の情報です






# 各モデルのインスタンスタイプ一覧
SageMaker JumpStartのDeploy, Trainで利用なインスタンスタイプと、東京リージョンでの時間あたりの料金を表で整理しています。

:::note warn
3/26追記
g5.12xlargeとg5.16xlargeを比較するとスペックが上がるのに料金が下がっているのですが、これは公式ドキュメントをそのまま参照しています。公式ドキュメントがおそらく間違っていると思いますが。。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3115707/44ab1849-3a33-4fa5-8744-dfa7a7b4b022.png)

:::


## Gemma 7B/Gemma 7B Instruct

| Deploy | Train | インスタンスタイプ | 時間当たり料金 |
| ------ | ----- | ------------------ | -------------- |
| -      | -     | ml.g5.xlarge       | 2.043USD       |
| -      | -     | ml.g5.2xlarge      | 2.197USD       |
| -      | -     | ml.g5.4xlarge      | 2.944USD       |
| -      | -     | ml.g5.8xlarge      | 4.438USD       |
| O      | O     | ml.g5.12xlarge     | 10.283USD      |
| -      | -     | ml.g5.16xlarge     | 7.426USD       |
| O      | O     | ml.g5.24xlarge     | 14.764USD      |
| O      | O     | ml.g5.48xlarge     | 29.528USD      |
| -      | -     | ml.g4dn.12xlarge   | 6.601USD       |
| -      | -     | ml.p3dn.24xlarge   | 49.20USD       |
| O      | O     | ml.p4d.24xlarge    | 51.66USD       |
| -      | -     | ml.p4de.24xlarge   | 64.57572USD    |

## Gemma 2B/Gemma 2B Instruct

| Deploy | Train | インスタンスタイプ | 時間当たり料金 |
| ------ | ----- | ------------------ | -------------- |
| O      | -     | ml.g5.xlarge       | 2.043USD       |
| O      | O     | ml.g5.2xlarge      | 2.197USD       |
| O      | O     | ml.g5.4xlarge      | 2.944USD       |
| O      | O     | ml.g5.8xlarge      | 4.438USD       |
| O      | O     | ml.g5.12xlarge     | 10.283USD      |
| O      | O     | ml.g5.16xlarge     | 7.426USD       |
| O      | O     | ml.g5.24xlarge     | 14.764USD      |
| O      | O     | ml.g5.48xlarge     | 29.528USD      |
| -      | -     | ml.g4dn.12xlarge   | 6.601USD       |
| -      | -     | ml.p3dn.24xlarge   | 49.20USD       |
| O      | O     | ml.p4d.24xlarge    | 51.66USD       |
| -      | -     | ml.p4de.24xlarge   | 64.57572USD    |


## CyberAgentLM2-7B-Chat (CALM2-7B-Chat)
| Deploy | Train | インスタンスタイプ | 時間当たり料金 |
| ------ | ----- | ------------------ | -------------- |
| O      | -     | ml.g5.xlarge       | 2.043USD       |
| O      | -     | ml.g5.2xlarge      | 2.197USD       |
| O      | -     | ml.g5.4xlarge      | 2.944USD       |
| O      | -     | ml.g5.8xlarge      | 4.438USD       |
| O      | O     | ml.g5.12xlarge     | 10.283USD      |
| -      | -     | ml.g5.16xlarge     | 7.426USD       |
| O      | O     | ml.g5.24xlarge     | 14.764USD      |
| -      | O     | ml.g5.48xlarge     | 29.528USD      |
| -      | O     | ml.g4dn.12xlarge   | 6.601USD       |
| -      | O     | ml.p3dn.24xlarge   | 49.20USD       |
| -      | O     | ml.p4d.24xlarge    | 51.66USD       |
| -      | -     | ml.p4de.24xlarge   | 64.57572USD    |


## Rinna Japanese GPT NeoX 3.6B Instruction PPO


| Deploy | Train | インスタンスタイプ | 時間当たり料金 |
| ------ | ----- | ------------------ | -------------- |
| O      | -     | ml.g5.xlarge       | 2.043USD       |
| O      | -     | ml.g5.2xlarge      | 2.197USD       |
| O      | -     | ml.g5.4xlarge      | 2.944USD       |
| -      | -     | ml.g5.8xlarge      | 4.438USD       |
| -      | -     | ml.g5.12xlarge     | 10.283USD      |
| -      | -     | ml.g5.16xlarge     | 7.426USD       |
| -      | -     | ml.g5.24xlarge     | 14.764USD      |
| -      | -     | ml.g5.48xlarge     | 29.528USD      |
| -      | -     | ml.g4dn.12xlarge   | 6.601USD       |
| -      | -     | ml.p3dn.24xlarge   | 49.20USD       |
| -      | -     | ml.p4d.24xlarge    | 51.66USD       |
| -      | -     | ml.p4de.24xlarge   | 64.57572USD    |


## Japanese StableLM Instruct Alpha 7B v2


| Deploy | Train | インスタンスタイプ | 時間当たり料金 |
| ------ | ----- | ------------------ | -------------- |
| O      | -     | ml.g5.xlarge       | 2.043USD       |
| O      | -     | ml.g5.2xlarge      | 2.197USD       |
| O      | -     | ml.g5.4xlarge      | 2.944USD       |
| O      | -     | ml.g5.8xlarge      | 4.438USD       |
| O      | -     | ml.g5.12xlarge     | 10.283USD      |
| O      | -     | ml.g5.16xlarge     | 7.426USD       |
| O      | -     | ml.g5.24xlarge     | 14.764USD      |
| -      | -     | ml.g5.48xlarge     | 29.528USD      |
| -      | -     | ml.g4dn.12xlarge   | 6.601USD       |
| -      | -     | ml.p3dn.24xlarge   | 49.20USD       |
| O      | -     | ml.p4d.24xlarge    | 51.66USD       |
| O      | -     | ml.p4de.24xlarge   | 64.57572USD    |


## Llama 2 7B 


| Deploy | Train | インスタンスタイプ | 時間当たり料金 |
| ------ | ----- | ------------------ | -------------- |
| -      | -     | ml.g5.xlarge       | 2.043USD       |
| O      | -     | ml.g5.2xlarge      | 2.197USD       |
| O      | -     | ml.g5.4xlarge      | 2.944USD       |
| O      | -     | ml.g5.8xlarge      | 4.438USD       |
| O      | O     | ml.g5.12xlarge     | 10.283USD      |
| -      | -     | ml.g5.16xlarge     | 7.426USD       |
| O      | O     | ml.g5.24xlarge     | 14.764USD      |
| O      | O     | ml.g5.48xlarge     | 29.528USD      |
| -      | O     | ml.g4dn.12xlarge   | 6.601USD       |
| -      | O     | ml.p3dn.24xlarge   | 49.20USD       |
| O      | -     | ml.p4d.24xlarge    | 51.66USD       |
| -      | -     | ml.p4de.24xlarge   | 64.57572USD    |

## Llama 2 13B 

| Deploy | Train | インスタンスタイプ | 時間当たり料金 |
| ------ | ----- | ------------------ | -------------- |
| -      | -     | ml.g5.xlarge       | 2.043USD       |
| -      | -     | ml.g5.2xlarge      | 2.197USD       |
| -      | -     | ml.g5.4xlarge      | 2.944USD       |
| -      | -     | ml.g5.8xlarge      | 4.438USD       |
| O      | -     | ml.g5.12xlarge     | 10.283USD      |
| -      | -     | ml.g5.16xlarge     | 7.426USD       |
| O      | O     | ml.g5.24xlarge     | 14.764USD      |
| O      | O     | ml.g5.48xlarge     | 29.528USD      |
| -      | O     | ml.g4dn.12xlarge   | 6.601USD       |
| -      | O     | ml.p3dn.24xlarge   | 49.20USD       |
| O      | -     | ml.p4d.24xlarge    | 51.66USD       |
| -      | -     | ml.p4de.24xlarge   | 64.57572USD    |

## Llama 2 70B 

| Deploy | Train | インスタンスタイプ | 時間当たり料金 |
| ------ | ----- | ------------------ | -------------- |
| -      | -     | ml.g5.xlarge       | 2.043USD       |
| -      | -     | ml.g5.2xlarge      | 2.197USD       |
| -      | -     | ml.g5.4xlarge      | 2.944USD       |
| -      | -     | ml.g5.8xlarge      | 4.438USD       |
| -      | -     | ml.g5.12xlarge     | 10.283USD      |
| -      | -     | ml.g5.16xlarge     | 7.426USD       |
| -      | -     | ml.g5.24xlarge     | 14.764USD      |
| O      | O     | ml.g5.48xlarge     | 29.528USD      |
| -      | -     | ml.g4dn.12xlarge   | 6.601USD       |
| -      | -     | ml.p3dn.24xlarge   | 49.20USD       |
| O      | O     | ml.p4d.24xlarge    | 51.66USD       |
| -      | -     | ml.p4de.24xlarge   | 64.57572USD    |


# 参考文献

https://sagemaker.readthedocs.io/en/v2.214.0/doc_utils/pretrainedmodels.html?utm_source=pocket_saves

https://aws.amazon.com/jp/sagemaker/pricing/