PowerVSのDAL10でPower Edge Router（PER）が利用可能になったので試してみる

# はじめに

Power Virtual Server(PowerVS)のDAL10(Dallas 10)で、Power Edge Router（PER）というコンポーネントが利用可能になりました。
https://cloud.ibm.com/docs/power-iaas?topic=power-iaas-per

PERの登場により、PowerVSのネットワーク周りが大きく変わります。PERへの対応によってどのような変化があるかを整理しました。

|  | PER非対応のPowerVS | PER対応のPowerVS |
|:-:|:-:|:-:|
| x86(VPC, Classic)との接続 | Cloud Connection（実体はDirect Link 2.0）を作成。| Transit GatewayにPowerVSを接続。PERが有効になった環境ではCloud Connectionを作る必要は無い（メニューから選択できなくなっている）。  |
| IBM CloudのIaaS endpoint（161.26.0.0/16）へのアクセス | 直接はアクセスできない。対応しているサービスについてはVPE、そうでないサービスについてはreverse proxy等で中継してやる必要がある。  | 直接アクセス可能（Transit Gatewayに接続していなくてもアクセス可能） |
| IBM CloudのPaaS endpoint（166.8.0.0/14）へのアクセス | 直接はアクセスできない。対応しているサービスについてはVPE、そうでないサービスについてはreverse proxy等で中継してやる必要がある。  | 【2024/8 追記】直接アクセス可能（Transit Gatewayに接続していなくてもアクセス可能） |
| Transit Gatewayへの接続方式 | PowerVSから延びているCloud Connection(DL2.0)を選択し、"Direct Link"タイプとして接続 | "Power Systems Virtual Server"タイプとして接続 |
| オンプレミスからPowerVSへのアクセス | x86環境(VPC, Classic)に配置したサーバーでのNATや、Classicに配置したVRAでのGREトンネリングを行う | オンプレミス <-> DL2.0 <-> Transit Gateway <-> PowerVS の通信が可能 |
| PowerVS同士の通信  | Transit Gateway経由で可能 | Transit Gateway経由で可能 |

# DAL10にWorkspace作成

DAL10にWorkspaceを作成します。作成時にupgraded networking環境であることが表示されます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/59627/31a8c85f-2508-5917-065e-2f64903cf408.png)

PERが有効になったWorkspaceには、NetworkのメニューにCloud ConnectionsやVPN connectionsのメニューがありません。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/59627/2aa93a43-9a9c-4956-834f-a8e075208d3a.png)


# IaaS endpointsへの接続

サブネットの作成やAIXのオーダーはこれまでと同様です。
AIXにログインします。

IaaS endpoints（161.26.0.0/16）に直接アクセスできます。

LPARにExternal IPを付けている場合、デフォルトゲートウェイがパブリック側GWを向いているので、161.26.0.0/16についてプライベート側GWに行くよう静的経路を設定します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/59627/20904c59-9b60-8094-37a5-da9cfa68b912.png)

## DNS
IBM CloudのDNS（161.26.0.10, 161.26.0.11）を直接参照できます。

```:DNS
# cat /etc/resolv.conf
nameserver 127.0.0.1
nameserver 161.26.0.10
nameserver 161.26.0.11
search power-iaas.cloud.ibm.com
# nslookup www.yahoo.co.jp
Server:         161.26.0.10
Address:        161.26.0.10#53

Non-authoritative answer:
www.yahoo.co.jp canonical name = edge12.g.yimg.jp.
Name:   edge12.g.yimg.jp
Address: 183.79.217.124

# 
```

## NTP

time.adn.networklayer.com（161.26.0.6）を直接参照できます。

/etc/ntp.confに下記2行を追記

```
server time.adn.networklayer.com
slewalways yes
```

```:NTP確認
# ntpq -p -n
     remote           refid      st t when poll reach   delay   offset    disp
==============================================================================
*161.26.0.6      172.17.65.16     2 u  932 1024  377    53.77   -0.054    0.08
# 
```

## ICOS

[ここ](https://qiita.com/y_tama/items/1cb84b59553aa48fe805#powervsaix%E4%B8%8A%E3%81%A7icos%E3%82%AF%E3%83%A9%E3%82%A4%E3%82%A2%E3%83%B3%E3%83%88%E4%BB%8A%E5%9B%9E%E3%81%AFs3cmd%E3%82%92%E3%82%BB%E3%83%83%E3%83%88%E3%82%A2%E3%83%83%E3%83%97%E6%8E%A5%E7%B6%9A%E7%A2%BA%E8%AA%8D)等の手順を参考にs3cmdツールのインストールや初期設定を実施します。

VPEを構成しなくてもPowerVSからICOSのDirect Endpointにアクセスできます。

```
# nslookup s3.direct.jp-osa.cloud-object-storage.appdomain.cloud
Server:         161.26.0.10
Address:        161.26.0.10#53

Non-authoritative answer:
Name:   s3.direct.jp-osa.cloud-object-storage.appdomain.cloud
Address: 161.26.0.47

# 
# s3cmd ls
2021-11-08 15:04  s3://bucket-osa-20211109
2021-11-08 15:41  s3://bucket-syd-20211109
# s3cmd ls s3://bucket-osa-20211109
2022-09-12 11:54   1073741824  s3://bucket-osa-20211109/tmpfile
# 
```

## Red Hat Subscription
サブスクライブ済みになっています。

```
[root@tmgw-rhel-dal10 ~]# subscription-manager list
+-------------------------------------------+
    インストール済み製品のステータス
+-------------------------------------------+
製品名:           Red Hat Enterprise Linux for Power, little endian
製品 ID:          279
バージョン:       8.6
アーキテクチャー: ppc64le
状態:             サブスクライブ済み
状態の詳細:       
開始:             2023年01月01日
終了:             2024年01月16日

製品名:           Red Hat Enterprise Linux Server (for IBM Power LE) - Update Services for SAP Solutions
製品 ID:          382
バージョン:       8.6
アーキテクチャー: ppc64le
状態:             サブスクライブ済み
状態の詳細:       
開始:             2023年01月01日
終了:             2024年01月16日

製品名:           Red Hat Ansible Engine
製品 ID:          408
バージョン:       2.9
アーキテクチャー: ppc64le
状態:             サブスクライブ済み
状態の詳細:       
開始:             2023年01月01日
終了:             2024年01月16日

[root@tmgw-rhel-dal10 ~]# 
```

なお、Red Hatについては、プロビジョニング後のデフォルト状態で、161.26.0.0/16宛の通信がプライベート側GWに行くよう経路設定済みでした。

```
[root@tmgw-rhel-dal10 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.231.129 0.0.0.0         UG    100    0        0 env2
161.26.0.0      172.16.235.1    255.255.0.0     UG    101    0        0 env3
```

ここまではTransit Gatewayに接続しなくてもできます。
ここから、x86リソースや他拠点のPowerVSやオンプレミスと接続するために、Transit Gatewayに接続します。

# Transit Gatewayへの接続

Transit GatewayでConnectionを追加する際の選択肢として、Power Systems Virtual Serverが追加されています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/59627/b5ddb513-5d0d-d850-9b2d-8df706dff1bd.png)

2023年7月時点では、DAL10のPowerVSがこの接続方式に対応しています。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/59627/94cce18b-9a16-e04d-a5a6-ae2ec69efa1c.png)

BGP reportにPower Systems Virtual Serverからの経路情報が載るようになり、同じTransit Gatewayに接続しているx86リソース（VPC, Classic）や他拠点のPowerVSと通信が可能になります。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/59627/7fe0c146-9a7c-110d-8a3e-cf5108e0a880.png)

PERの登場により、PowerVSからIBM Cloudのサービスを利用しやすくなり、また、オンプレミスからも接続しやすくなりました。日本での提供開始が望まれる新機能と思います。

以上