AWS ParallelClusterとAmazon FSx for NetApp ONTAPで創るクラウドHPCクラスタ　第1回

# はじめに
こんにちは。ネットアップ合同会社 Specialist SEの月岡です。
皆さん、クラウド上でHPCを使っていますか？
クラウドの俊敏性を活かして、大規模なコンピューティングクラスタをご利用になるケースが多いかと思います。
今回は、「AWS ParalellClusterとAmazon FSx for NetApp ONTAPで創るクラウドHPCクラスタ」という内容をお届けします。
例の如く、話が長くなるので全3回に分けて投稿します。

# AWS ParalellClusterとは
- AWS公式のオープンソースソフトウェアで、AWS上でのハイパフォーマンスコンピューティング（HPC）クラスターをデプロイして管理することを容易にするものです。
  ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/83fb33dd-d7e8-1fef-7bdd-4a14f78f2bc4.png)
<出典元>　https://www.cloudremix.net/awsdocs/20200408_BlackBelt_ParallelCluster.pdf


# なぜAWS ParalellClusterが必要なのか
- 実際にAWS上に大規模なクラスタ環境を作成するのは大変ですし、連携するストレージサービス（例えばAmazon FSx for NetApp ONTAP）を利用したいといった場合においてはHPCアプリケーションの知識に加えてAWSやインフラの知識も必要になって大変です。
それをAWS ParalellClusterで解決しましょうということです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/3d2baca9-975c-c241-1968-308336bbdf0f.png)
<出典元>　https://www.cloudremix.net/awsdocs/20200408_BlackBelt_ParallelCluster.pdf


# AWS ParalellClusterの利用にあたり
- AWS ParalellClusterの利用には、CLI版とUI版の2つが提供されています。
    - AWS ParalellCluster CLIのインストール
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/03dc929d-f0c3-c004-b0b7-7e748432cc16.png)
<出典元>　https://docs.aws.amazon.com/ja_jp/parallelcluster/latest/ug/install-v3-parallelcluster.html

    - AWS ParalellCluster UIのインストール
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/d406924f-2353-ecb9-9e81-7b027bf4c0b1.png)
<出典元>　https://docs.aws.amazon.com/ja_jp/parallelcluster/latest/ug/install-pcui-v3.html

# AWS ParalellClusterの利用イメージ
- AWS ParalellCluster CLIとAWS ParalellCluster UIは、それぞれ以下のようなアーキテクチャになります。
    - AWS ParalellCluster CLIのアーキテクチャ
    ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/550be24b-dbfe-2678-6b88-01afd205e5a7.png)
<出典元>　https://www.cloudremix.net/awsdocs/20200408_BlackBelt_ParallelCluster.pdf

    - AWS ParalellCluster UIのアーキテクチャ
    ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/e6a91b24-3565-a0d8-6266-a81cf9f1320d.png)
<出典元>　https://www.pcluster.cloud/


# AWS ParalellCluster × Amazon FSx for NetApp ONTAP
AWS ParalellClusterのストレージ領域としてAmazon FSx for NetApp ONTAPを利用することで、AWS ParalellClusterの利用効果を最大化することに貢献できます。
AWS ParalellClusterのHPC環境でもAmazon FSx for NetApp ONTAPが提供するストレージ機能を利用しましょうということです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/509ffa86-fedf-b107-904c-aa1464904d35.png)

# やってみた
では、実際にやってみましょう。
やってみたことは、大きく分けて3つです。
　① AWS ParalellCluster UIをAWS東京リージョンに構築
　② AWS ParalellCluster UIを利用し、Amazon FSx for NetApp ONTAPをマウントするClusterを作成
　③ 作成したクラスターにテストジョブを投入し、AWS ParalellClusterによるスケーリングが動作することを確認
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/d6aa8300-4bf4-b774-042b-6b519c2ab4bd.png)

本稿では、**① AWS ParalellCluster UIをAWS東京リージョンに構築**までやってみます。
②から③も投稿しますので、お楽しみに。

# AWS ParalellCluster UIを構築
## AWS ParalellCluster UIを東京リージョンに構築します。
- AWS公式マニュアルからAWS ParallelCluster UIのインストールを確認する。
https://docs.aws.amazon.com/ja_jp/parallelcluster/latest/ug/install-pcui-v3.html
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/df194f5e-15b4-76a4-905c-136f24a9da70.png)

- 「AWS ParalellClusterUI-地域別のクリック作成リンク」からap-northeast-1（東京リージョン）を選択する。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/c402c62a-c750-1ac7-c078-fd4fae492b4a.png)

- CloudFormationのスタック作成画面が表示されたことを確認する。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/25050139-2d15-fc51-2fdb-cfa71ca5ab54.png)

- AWS ParalellCluster UIにログインするためのメールアドレスを入力する。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/646b0ad6-5b7d-6995-0d2c-f99cdcd67036.png)

- AWS ParalellCluster UIを構築するVPC,VPC Subnetを入力する。
入力しない場合は、デフォルトVPCとSubnetにAWS ParalellCluster UIが構築されます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/aae65cfe-442c-0021-aae0-cb6dd145aac9.png)

- 最後にチェックボックスにチェックをし、スタックの作成をクリックする。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/821f7b91-7401-751a-b2ba-c933b33f5c44.png)

- スタックの作成をクリックするとCloudFormationによるスタック作成処理が走行する。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/3434ee10-c338-f27d-a408-07d9f1d4f195.png)

- 20分程度でスタックの作成処理が完了する。
スタック作成で失敗やロールバックが発生していないことを確認する。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/3c8bb4ad-48b3-8b5e-8daf-6f69c2f5071d.png)

- AWS ParalellCluster UIのスタック（今回の場合は、parallelcluster-ui）の出力から「ParallelClusterUIUrl」を確認する。
このURLがAWS ParalellCluster UIを利用するためのURLになります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/94ee853c-b60b-11b7-b2ce-6d58bd492668.png)

- 登録したメールアドレスにAWS ParalellCluster UIにログインするためのパスワードが届いていることを確認する。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/a6516577-b186-3833-21af-ddabe9dcbdae.png)

- AWS ParalellCluster UIに接続し、ログインする。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/d3321a8b-4959-2d43-f8bb-b6e4ffa62d98.png)

- ログイン後、パスワードの変更が要求されるのでパスワードを変更する。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/7f3c54e8-7fca-8776-75c7-e5627aac3391.png)

- WEBブラウザでAWS ParalellCluster UIにログインできることを確認する。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/991edb1a-1d28-73f4-f8af-a81c1c8797dd.png)

以上でAWS ParalellCluster UIをAWS東京リージョンに構築できました。
CloudFormationとしてAWS公式で提供されているので、構築はすごく簡単です。
AWS ParalellCluster UIの通常利用料金は、1カ月あたり1ドル未満ということで低コストで利用できるということも非常にメリットになります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2806894/01450a9e-7a0e-d54c-5ec2-53a59dbfb08f.png)
<出典元>　https://docs.aws.amazon.com/ja_jp/parallelcluster/latest/ug/install-pcui-v3.html

# 次回予告
構築したAWS ParalellCluster UIを利用し、Amazon FSx for NetApp ONTAPのボリュームをマウントしたクラスターを作成してみます。
第2回記事はこちら：https://qiita.com/Yoshinori_Tsukioka/items/58f008bb426de850bead

# 主な参照元
- https://aws.amazon.com/jp/hpc/parallelcluster/
- https://www.cloudremix.net/awsdocs/20200408_BlackBelt_ParallelCluster.pdf
- https://docs.aws.amazon.com/ja_jp/parallelcluster/latest/ug/install-v3-parallelcluster.html
- https://docs.aws.amazon.com/ja_jp/parallelcluster/latest/ug/install-pcui-v3.html
- https://www.pcluster.cloud/