IBM Cloud: BM for VPC上のESXiとVMにDirect Link越しで疎通確認してみた

#1. はじめに
本記事では、BM for VPCにちゃんとDirect Link越しで疎通確認をできるか確認してみた。なお、オンプレミス環境を用意して回線を引くのは敷居が高いので、例の如くPower Systems Virtual Serverを用意し、そこからDirect Linkを構成することにした。今回は、BM for VPCがFrankfurtリージョンにあるので、Power Systems Virtual Serverも同リージョンに配置した。

#2. 環境情報


##2-1. Power Systems Virtual Server
若干わかりづらいのだが、Power Systems Virtual Serverのデータセンターは以下のような関係にある。今回は、FRA04にあるPower Systems Virtual Server(VPC視点では`eu-de-2`)にてCentOS8を構成し、`eu-de-1`にあるBM for VPCへのアクセスを試行した。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/62127/65c5c501-4060-beb2-5b5d-79c6546a588d.png)
https://cloud.ibm.com/docs/power-iaas?topic=power-iaas-creating-power-virtual-server&locale=en

```txt:PowerSystemsVirtualServerのサーバー構成
[root@frapower1 ~]# cat /etc/redhat-release
CentOS Linux release 8.3.2011

[root@frapower1 ~]# uname -a
Linux frapower1.power-iaas.cloud.ibm.com 4.18.0-240.10.1.el8_3.ppc64le #1 SMP Mon Jan 18 17:21:08 UTC 2021 ppc64le ppc64le ppc64le GNU/Linux
```

Power Systems Virtual Serverには192.168.100.2というprivate IPが割り振られており、10.0.0.0/8および172.16.0.0/12宛のsubnetはDirect Linkを経由するようにstatic routeを構成した。

```txt:PowerSystemsVirtualServerのNW構成
[root@frapower1 ~]# ip a show env3
3: env3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UNKNOWN group default qlen 1000
    link/ether fa:c1:ac:90:b1:21 brd ff:ff:ff:ff:ff:ff
    inet 192.168.100.2/24 brd 192.168.100.255 scope global noprefixroute env3
       valid_lft forever preferred_lft forever
    inet6 fe80::f8c1:acff:fe90:b121/64 scope link
       valid_lft forever preferred_lft forever

[root@frapower1 ~]# ip r
default via 192.168.xxx.xx dev env2 proto static metric 100
10.0.0.0/8 via 192.168.100.1 dev env3 proto static metric 101
172.16.0.0/12 via 192.168.100.1 dev env3 proto static metric 101
192.168.100.0/24 dev env3 proto kernel scope link src 192.168.100.2 metric 101
192.168.100.0/24 via 192.168.100.1 dev env3 proto static metric 101
192.168.xxx.xx/29 dev env2 proto kernel scope link src 192.168.141.26 metric 100
```

##2-2. BM for VPC

BM for VPCおよびAddress Prefixは以下のように構成されており、PCI interfaceは`10.18.xx.xx`が、VLAN interfaceは`172.16.xx.xx`から割り当てられている。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/62127/d0393d40-2cf0-ab29-27a4-56a044817bed.png)

Address Prefixは以下の通り。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/62127/d91fb8be-1bbb-dbb7-5401-dfb1ca247ec8.png)

なお、Power Systems Virtual Serverからの通信を許可するようにSecurity Groupで構成しておく必要がある。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/62127/ae2627d8-5eca-fdfa-b993-a423eb4144ad.png)


##2-3. 接続方式

試したNW構成は以下の2種類だが、どちらも問題なく接続できた。

```txt:DirectResource方式
[Power Systems Virtual Server] - [Direct Link 2.0 Connect] - [VPC]
```
```txt:TransitGateway方式
[Power Systems Virtual Server] - [Direct Link 2.0 Connect] - [Transit Gateway] - [VPC]
```

以下は、Transit Gateway方式での構成画面であり、BGP Routeの表示結果からPower Systems Virtual ServerとVPC間がDirect Link経由で経路交換ができていることを確認できる。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/62127/26d0d4ce-afbf-3c5f-325a-5835340b9f03.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/62127/716e0cd1-779e-e8dd-54bf-2618023057e3.png)



#3. 疎通検証

```txt:PCIInterfaceへの疎通確認
[root@frapower1 ~]# ping 10.18.0.11
PING 10.18.0.11 (10.18.0.11) 56(84) bytes of data.
64 bytes from 10.18.0.11: icmp_seq=1 ttl=53 time=1.32 ms
64 bytes from 10.18.0.11: icmp_seq=2 ttl=53 time=1.08 ms
64 bytes from 10.18.0.11: icmp_seq=3 ttl=53 time=1.11 ms
64 bytes from 10.18.0.11: icmp_seq=4 ttl=53 time=1.17 ms
64 bytes from 10.18.0.11: icmp_seq=5 ttl=53 time=1.16 ms
64 bytes from 10.18.0.11: icmp_seq=6 ttl=53 time=1.60 ms
64 bytes from 10.18.0.11: icmp_seq=7 ttl=53 time=1.11 ms

[root@frapower1 ~]# ssh 10.18.0.11
The time and date of this login have been sent to the system logs.

WARNING:
   All commands run on the ESXi shell are logged and may be included in
   support bundles. Do not provide passwords directly on the command line.
   Most tools can prompt for secrets or accept them from standard input.

VMware offers supported, powerful system administration tools.  Please
see www.vmware.com/go/sysadmintools for details.

The ESXi Shell can be disabled by an administrative user. See the
vSphere Security documentation for more information.
[root@localhost:~]
```

```txt:VLANInterfaceへの疎通確認
[root@frapower1 ~]# ping 172.16.0.4
PING 172.16.0.4 (172.16.0.4) 56(84) bytes of data.
64 bytes from 172.16.0.4: icmp_seq=1 ttl=53 time=1.57 ms
64 bytes from 172.16.0.4: icmp_seq=2 ttl=53 time=1.23 ms
64 bytes from 172.16.0.4: icmp_seq=3 ttl=53 time=1.21 ms
64 bytes from 172.16.0.4: icmp_seq=4 ttl=53 time=1.25 ms
64 bytes from 172.16.0.4: icmp_seq=5 ttl=53 time=1.25 ms
64 bytes from 172.16.0.4: icmp_seq=6 ttl=53 time=1.26 ms
64 bytes from 172.16.0.4: icmp_seq=7 ttl=53 time=1.23 ms
64 bytes from 172.16.0.4: icmp_seq=8 ttl=53 time=1.24 ms

[root@frapower1 ~]# ssh 172.16.0.4
Last login: Mon Feb  7 19:45:41 2022 from 192.168.100.2
[root@guestvm1 ~]#

```