SoftLayer(Bluemix)でLenovoのベアメタルが出てきた話

#内容
今までSoftLayer(Bluemix)では、Supermicroのサーバーしかみたことがありませんでしたが、先日、ベアメタルを注文したところ、**Lenovoのベアメタル**がプロビジョニングされたので、それについて書きます。

>※ブランドが統合され、Bluemix Baremetal Serverになりました。
<a href="http://qiita.com/Ra1nmaker/items/c8d8eadf254ecb458a69" >Bluemixでベアメタル・サーバーと戯れてみる</a>

#SoftLayerのポータル画面
**2016年8月8日にオープンしたばかりの韓国のソウルDCに、Broadwellのベアメタルをプロビジョニングしてみた**のが事の発端です。
比較的新しいデータセンター（韓国のソウル、ノルウェーのオスロなど）で、Broadwell世代のベアメタルをプロビジョニングすると、あなたもLenovoのベアメタルに出会えるかもしれません。
ちなみにプロビジョニングする前に、**「Lenovo」と指定するメニューはありませんでした**。

>こちらを使いました。
<a href="http://www.softlayer.com/jp/info/korea-hosting" >SoftLayer のソウル・データ・センターでサーバーまたはサービスをお申し込みいただくと、最大 $1,000 の割引をご利用になれます。</a>

ポータル画面でベアメタルの「Configuration」を確認したところ、**「Motherboard」が「Lenovo System x 3550-M5-V4」となっていますね**。「Remote Management」のIPMIインターフェースもSupermicroと異なるので、そのあたりもみていきます。

![20161024lenovo_server のコピー.png](https://qiita-image-store.s3.amazonaws.com/0/101361/1845c720-a6c7-b3a2-091a-64c37050cd6e.png)

#Lenovoのベアメタル実物
その前に**「Lenovo System x 3550-M5-V4」**がどういうものか、確認しておきます。
このサーバーがSoftLayer(Bluemix)で使えるということに、感動する方もいらっしゃるのではないでしょうか。

>[Lenovo System x3550 M5 (E5-2600 v4) > Lenovo Press](https://lenovopress.com/lp0067-lenovo-system-x3550-m5-e5-2600-v4)

![alt](https://lenovopress.com/assets/images/LP0067/x3550M5-Overview.png)

#IPMIコンソール
続いて、IPMIコンソールをみていきます。
Supermicroのベアメタルの場合、スタンドアロンのアプリがあり、それを愛用していました。
>こちらからダウンロード可能です。
http://downloads.service.softlayer.com/ipmi/

Lenovoのベアメタルの場合、スタンドアロンのアプリは提供されていないようです。
>チケットでの確認
>>Do you have any standalone ipmi app for Lenovo server?                 
                                                                                 
>>>Hello,                                                                                                                                                  Unfortunately no.  

なので、通常通り、Webインターフェース経由でみていきます。
これがログイン画面です。新鮮な方もいれば、こちらのほうが馴染み深い方もいらっしゃるかと思います。
<img width="1440" alt="lenovo_qiita_02.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/998b1021-37fa-5abc-781b-9557eebfad32.png">

>マニュアルなどはWebにも以下のようなものが出回っているので、詳しくはそちらを参照してください。
[Integrated Management Module II (IMM2) 操作ガイド](http://www.lenovojp.com/server/technical/docs/OperationGuide_IMM2.pdf)

ログインすると各種システム情報が確認できます。
今回はRemote Controlをひと通り進めてみます。
<img width="1440" alt="lenovo_qiita_03.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/3dbc310c-1581-2777-d0ec-b4e024e49f30.png">

環境はWindows Server 2012 R2のIE 11で開いています。
ActiveX Clientがうまく動かなかったので、警告にある通り、Javaをインストールします。
<img width="1440" alt="lenovo_qiita_04.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/421df692-8b8a-9dc7-7f05-19bbd057e78c.png">

インストール後、ブラウザを再起動すると、うまく認識されました。
続いて、「Start remote control in sigle-user mode」を押します。
<img width="1440" alt="lenovo_qiita_05.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/33eac4d3-6211-d7a9-5dd2-d30816f19fa6.png">

「ファイルを開く」を押します。
<img width="966" alt="lenovo_qiita_06.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/3efbac81-c177-a76d-6503-de2714b1eca9.png">

「続行」を押します。
<img width="567" alt="lenovo_qiita_07.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/3e1a4dfb-a22c-71e2-b271-ee83cbc1abc6.png">

このように何かしらの画面が見えていれば、OKです。
<img width="1042" alt="lenovo_qiita_08.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/ed0c088c-4079-3ab7-506c-c09771238a2c.png">


#BIOS画面
再起動して、セットアップ画面に「F1」を押して入ります。「F1」はメニューの「Macros」-->「Static Macros」-->「F1」で押すことができます。
<img width="50%" alt="lenovo_qiita_09.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/ffa8b201-e16c-1eaf-0507-8145a0d1be60.png"><img width="50%" alt="lenovo_qiita_10.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/cf8f1469-3ac9-bc45-4242-24f99579c3c8.png">

以下がBIOS画面になります。**SoftLayer(Bluemix)側で管理パスワードが設定されているため、すべてのメニューを閲覧できるわけではありませんが、ブートオーダーなどは変更可能です**。
**デフォルトの起動順序ではCD/DVDが一番上の優先順位にきています**。
※Supermicroだと、ローカルのハードドライブから起動する設定になっていることがあり、リモートからISOマウントを行い、ブートさせるには、起動順序をチケットで変更してもらったことがあります。
<img width="50%" alt="lenovo_qiita_11.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/ef20621e-ebc7-c8ee-19f7-057363dcfc1e.png"><img width="50%" alt="lenovo_qiita_12.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/d211a304-14c5-d4ae-232b-488509eeb265.png">
<img width="50%" alt="lenovo_qiita_13.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/35ca2a55-83bb-d23c-58cc-b879c564a7b7.png"><img width="50%" alt="lenovo_qiita_14.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/654d43c2-4941-480b-cb22-6059d9554b1c.png"><img width="50%" alt="lenovo_qiita_15.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/62ab5347-9e76-6a56-626b-1175c6261e5c.png"><img width="50%" alt="lenovo_qiita_16.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/98507637-1948-88c2-f11e-ccc30c4ccca1.png">
<img width="50%" alt="lenovo_qiita_17.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/77a90bcc-74d5-161a-c731-218e6df3710f.png">


#VMware vSphere 6.0 U2 (ESXi)をインストール
カスタムインストールのため、サポートしているOSの種類を確認しておきます。

>Operating systems
The System x3550 M5 server supports the following operating systems:

>- Microsoft:
    - Microsoft Windows Server 2016
    - Microsoft Windows Server 2012 R2
    - Microsoft Windows Server 2012
- Red Hat:
    - Red Hat Enterprise Linux 7.2
    - Red Hat Enterprise Linux 6.8 Server x64 Edition
    - Red Hat Enterprise Linux 6.7 Server x64 Edition
- SUSE:
    - SUSE Linux Enterprise Server 12 SP1
    - SUSE Linux Enterprise Server with Xen 12 SP1
    - SUSE Linux Enterprise Server 11 for AMD64/EM64T SP4
    - SUSE Linux Enterprise Server 11 with Xen for AMD64/EM64T SP4
- **VMware:**
    - **VMware vSphere 6.0 (ESXi) 6.0 Update 2**
    - **VMware vSphere 5.5 (ESXi) Update 3**

サポートされていることが確認できたので、リモートコンソール経由でISOマウントをします。
>ISOはこちらからダウンロードしました。
http://downloads.service.softlayer.com/vmware/

まずは「Virtual Media」-->「Activate」を押します。
その後、チェックがついたことを確認して、「Select Devices to Mount...」を押します。
<img width="1035" alt="lenovo_qiita_18.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/7e977c4c-9f4b-618f-d92d-ef826b0e27f7.png">

「Add Image...」を押します。
<img width="563" alt="lenovo_qiita_19.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/32ace611-4966-2ca8-0d2d-9cba3dc44475.png">

VMware vSphere 6.0 U2 (ESXi)のISOを選択します。
<img width="613" alt="lenovo_qiita_20.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/0a7ec3d0-352f-9d70-d074-de0e9680ce11.png">

「Mapped」にチェックを入れ、「Mount Selected」を押します。
<img width="561" alt="lenovo_qiita_21.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/a23d4e8e-e2ab-1b2a-85ad-2ce080fc3141.png">

「Virtual Media」にVMware vSphere 6.0 U2 (ESXi)のISOがマウントされていることを確認して、再起動します。
<img width="750" alt="lenovo_qiita_22.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/3b38a678-a03e-5a5b-0c33-19e65725b170.png">

再起動後、インストールが始まります。
<img width="1032" alt="lenovo_qiita_23.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/8e7b7847-89b7-f8ce-5f25-c55e79eb2560.png">

#ESXiインストール時のNIC割り当て
今回のLenovoベアメタルのNICを、VMwareがどのように認識し、どのように対応づけられるか、をみておきます。
ベアメタル構成としては、Public & Private にそれぞれシングルNICの構成です。
SoftLayer(Bluemix)のポータル画面から、「Port Control」でパブリックNICをON/OFFしてみました。

以下はパブリックNICがOFF時のネットワークアダプター認識状況です。
<img width="641" alt="lenovo_qiita_24.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/70be9fcf-d538-fe4a-52fa-fd78ceceaa95.png">

**パブリックNICをONにすると、「vmnic7」が「Connected」になる**ため、以下のような対応関係になると推測できます。

- eth4 (Private) --> vmnic6 (Private)
- eth5 (Public)   --> vmnic7 (Public)
- eth6 (Private) --> vmnic4 (Private) (Redundantの場合)
- eth7 (Public)  --> vmnic5 (Public) (Redundantの場合)

また、Lenovoベアメタルの場合は、eth4から数える仕様になっています。
<img width="1273" alt="lenovo_qiita_25.png" src="https://qiita-image-store.s3.amazonaws.com/0/101361/84483e2f-6d6f-30f8-1025-0e91a312ee61.png">

>Supermicroのベアメタルの場合は、こちらを参照してください。
<a href="http://qiita.com/khayama/items/cecf98d6bfcd9610a1c3" >SoftLayerのNICのナンバリング規則</a>