おうちクラウド考察2021 with TCE

メリークリスマス！

さて、最終日(12/25)の本日は、おうちクラウドネタをさせていただきたいと思います！

※最初に懺悔したいこととして、**TCEはあまり関係ない** かも。。あ、、TCEを乗せるための最適な環境を目指すための投稿です！:sweat:

> **おうちクラウドとは？**
> 
> おうちにちょっとしたサーバを建てて、主にK8sを中心としたクラウド環境を作っちゃおうという企画。
> * 去年、おうちクラウドをゼロから構築する [一人アドベントカレンダー](https://qiita.com/advent-calendar/2020/nuc-vmware-tanzu) を決行しているので、これからトライしてみたい方は、まずはこれをご参照下さい。
> * 現在 [Software Design 誌](https://gihyo.jp/magazine/SD)にて、「**(VMware x Kubernetes) はじめよう、おうちクラウド**」という企画も連載中。詳細は、[GitHub の特設ページ](https://github.com/tanzu-japan/ouchi-cloud) を御覧下さい。
> 
> [<img src="http://image.gihyo.co.jp/assets/images/cover/2021/642111.jpg" width="20%">](https://gihyo.jp/magazine/SD/archive/2021/202111)

本日は、**今年買って (よかった & 失敗した) ハードウェア** を紹介します！私の1年間のおうちラボ増強の歴史の集大成！TCE環境構築のヒントに、ひいては、あなたのおうちクラウドライフの助けになればと思います。


# 今年買って良かったもの
## AMD版NUC
こちらについては、別途専用の記事を書いたので、是非そちらをお読み下さい。

<img src="https://user-images.githubusercontent.com/3906298/147075870-d6ee9e07-9448-4dfb-b273-138721a1365f.jpg" width="45%">


> **[ESXi on AMD版NUC 導入レポ](https://qiita.com/hirosat/items/c6e330212f01f766cc42)**

（まずはちゃんと動かせたので、良かった方に入れましたが、本当に良かったかどうかが分かるのは、何ヶ月か後ですね。。。）

購入したもののリンクだけ記載しておきます。

- [Minisforum EliteMini HM90 (Ryzen9 4900H)](https://store.minisforum.jp/products/minisforum-elitemini-hm90?aff=83)
- [v-color SO-DIMM DDR4 2666MHz (32GB×2枚)](https://www.amazon.co.jp/v-color-%E3%83%8E%E3%83%BC%E3%83%88PC%E7%94%A8%E3%83%A1%E3%83%A2%E3%83%AA-2666MHz-PC4-21300-TN432G26D819K-VC/dp/B085VK7FNZ/ref=sr_1_3?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&crid=H5F8LO6Z8ZF1&keywords=SO-DIMM+64gb&qid=1640235985&s=computers&sprefix=so-dimm+64gb%2Ccomputers%2C340&sr=1-3)
- [Crucial CT1000MX500SSD1JP (1TB)](https://www.amazon.co.jp/gp/product/B07KCKG77L/ref=ppx_yo_dt_b_asin_title_o08_s02?ie=UTF8&psc=1)
- [Crucial CT480BX500SSD1JP (480GB)](https://www.amazon.co.jp/gp/product/B07JGNRYVH/ref=ppx_yo_dt_b_asin_title_o08_s00?ie=UTF8&psc=1)
- [Crucial NVMe M.2 SSD CT1000P2SSD8 (1TB)](https://www.amazon.co.jp/Crucial-%E3%82%AF%E3%83%AB%E3%83%BC%E3%82%B7%E3%83%A3%E3%83%AB-P2%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BA-1000GB-CT1000P2SSD8%E3%80%905%E5%B9%B4%E4%BF%9D%E8%A8%BC%E3%80%91/dp/B08QZFXY1X/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&keywords=CT1000P2SSD8JP&qid=1640176726&sr=8-1)



## Thunderbolt 3対応 NVMe SSD エンクロージャ

こちらも、別途専用の記事を書いたので、是非そちらをお読み下さい。

<img src="https://user-images.githubusercontent.com/3906298/147072736-cb99b0b1-219c-4de2-a9a8-d7dc0ed866fa.jpg" width="45%">

> **[おうちクラウドvSANを刷新](https://qiita.com/hirosat/items/08e28895098361e0e270)**

- [Wavlink Thunderbolt 3 Nvme M.2 SSDケース](https://www.amazon.co.jp/gp/product/B07YB4DDRB/ref=ppx_yo_dt_b_asin_title_o06_s00?ie=UTF8&psc=1)

## 2.4Ghz ワイヤレスキーボード&マウス
<img src="https://user-images.githubusercontent.com/3906298/147369627-4a11ed35-e4ee-418c-9393-47b03e05d10d.jpg" width="45%">

- [Perixx 無線ミニキーボード(US配列)&マウスセット](https://www.amazon.co.jp/gp/product/B018Y0RMSU/ref=ppx_yo_dt_b_asin_title_o02_s00?ie=UTF8&psc=1)

本年度の **買って良かったもの・オブ・ザ・イヤー** の栄冠を与えたい商品がこれ。まず、Bluetooth全盛のこの時代に、何故赤外線(2.4Ghz)タイプのワイヤレス商品を買ったのかというと、**赤外線タイプはBIOS画面でも操作が可能だから** です。さらに、1つの無線レシーバで、簡易的なマウスも一緒に使えちゃいます。**実はNUCのBIOSはマウスでも操作可能**なので、これまた重宝する。NUC前面ポートにレシーバを差し替えるだけで手軽に認識してくれるので、複数NUC間の初期設定作業がかなり楽になりました。そして何より安かったです。

## より綺麗、よりコンパクトな設置への追求
### NUC用ラック刷新
<img src="https://user-images.githubusercontent.com/3906298/147369626-3474478c-afb5-40a8-a9d0-2bc3e5bb4314.jpg" width="45%">

- [キッチンラック (幅30.0×奥行12.0×高さ31.5cm)](https://www.amazon.co.jp/gp/product/B007NBYR58/ref=ppx_yo_dt_b_asin_title_o01_s00?ie=UTF8&psc=1)

この商品の一番のポイントは、奥行きが12cmしかないこと。NUCは奥行き11.2cm なので、ピッタリサイズ！（正確には2段めは微妙にNUCが水平に乗らないので、プラスチック板を敷いてます。。）NUCとラックが同じサイズだと、背面のケーブリングがかなり楽になる！このサイズ感の商品はかなり探した。。

### LANケーブルの見直し
- [LANケーブル 丸形 0.5m](https://www.amazon.co.jp/gp/product/B0892YZB4R/ref=ppx_yo_dt_b_asin_title_o01_s00?ie=UTF8&th=1) (丸形は一番信頼できるシールド構造になっているらしい)
- [LANケーブル やわらか 0.5m](https://www.amazon.co.jp/gp/product/B01M6EB4UI/ref=ppx_yo_dt_b_asin_title_o02_s00?ie=UTF8&psc=1) (配線が一番楽。ただし、ヨレた感じの見た目がイマイチ)
- [LANケーブル フラット 0.5m](https://www.amazon.co.jp/gp/product/B007WSIYWE/ref=ppx_yo_dt_b_asin_title_o02_s00?ie=UTF8&psc=1)（丸形よりかさばらなくて配線が楽）
- [LANケーブル 丸形 0.3m 5本パック](https://www.amazon.co.jp/gp/product/B07ZTR8HHH/ref=ppx_yo_dt_b_asin_title_o09_s00?ie=UTF8&psc=1)


LANケーブルでまず気にするポイントは「**CAT.x(カテゴリ)**」。ただし、現在の家庭用スイッチで最速である10Gbpsでも、[CAT6 で充分](https://pc.watch.impress.co.jp/docs/topic/feature/1328323.html) なので、CAT7/CAT8 かどうかは、今後10年位は気にする必要がないと思う。

次に**ケーブル形状**。本当は丸形が信頼性の面でベターなのだが、ゴツくてかさばりがちなので、私は割とフラット型を愛用している。

個人的に一番気にしているのは**長さ**。コンパクトさを重視しているので、仮設置して、機器間で何cmかを測定して、0.3m か 0.5m かを使い分けている。また、USB NICを使っている場合は、それ自体の長さも考慮に入れる必要がある。

さらに改善するとしたら、**ケーブルの色**にも気を配ると良いかなと思った。系統によって色分けされていると見やすいはず。

## HDMIセレクタ
<img src="https://user-images.githubusercontent.com/3906298/147369630-ebee10d9-c31f-45fc-801b-7eea5cabf4b7.jpg" width="45%">

- [4K対応HDMIセレクタ 5入力/1出力](https://www.amazon.co.jp/gp/product/B07N6HWPP2/ref=ppx_yo_dt_b_asin_title_o00_s00?ie=UTF8&psc=1)

NUCのHDMIは厄介な点が2つある。1つは起動時に挿しておかないと、**後でつなげても映像が映らない** こと。2つ目は、接続口が背面にあることだ。2つ目は、特に複雑な配線になっている時に厄介で、HDMIを抜いたり挿したりすることは本当に苦痛だ。

その悩みを一気に解決してくれるのがこの商品。NUCが5台構成だったので、5入力対応で安価なものがこれだった。さらにリモコンもついていて、メンテナンス性がメチャクチャ上がった！

- [HDMIケーブル 2本セット 0.3m/0.5m](https://www.amazon.co.jp/gp/product/B08SHCQTGM/ref=ppx_yo_dt_b_asin_title_o05_s00?ie=UTF8&psc=1)

安くて短いHDMIケーブルを探してたどり着いたのがコレ。ラック2段めには0.3m、ラック1段目には0.5mがちょうど良かった。

## USB メモリ Type-A & Type-C 両対応
<img src="https://user-images.githubusercontent.com/3906298/147369631-f36fc10e-e455-4d15-8d5b-878a2f6e53ad.jpg" width="45%">


まずUSBコネクタには、昔ながらのType-Aと、最近普及してきた、どちらの向きに挿しても大丈夫なType-Cがある（本当はType-BやMicro USBなど色々あるけど割愛）のは、ご存じの方も多いかと思います。（[参考サイト](https://www.elecom.co.jp/pickup/column/memory_column/00002/)）

ここで、おうちクラウド観点で考えると、以下の観点で、両対応のものが欲しいところ

- USBメディアを作るためにメインで使っている **Macbook Proが、Type-Cスロットしかない**
- NUCの前面にはType-A/C両方あるが、両対応だと **どちらかのポートが埋まってる場合** でも対応できる

そこでオススメしたいのが以下の商品

- [32GB USBフラッシュドライブ(Type-A/C 両対応)](https://www.amazon.co.jp/Thkailar-64GB-%E3%82%BF%E3%82%A4%E3%83%97C-USB%E3%83%95%E3%83%A9%E3%83%83%E3%82%B7%E3%83%A5%E3%83%89%E3%83%A9%E3%82%A4%E3%83%96-%E9%AB%98%E9%80%9F%E3%83%87%E3%83%A5%E3%82%A2%E3%83%AB%E3%83%95%E3%83%A9%E3%83%83%E3%82%B7%E3%83%A5%E3%83%87%E3%82%A3%E3%82%B9%E3%82%AF%E3%83%AC%E3%83%83%E3%83%89/dp/B07H16YX5J/ref=sr_1_3_sspa?keywords=usb%E3%83%A1%E3%83%A2%E3%83%AA%2B%E3%82%BF%E3%82%A4%E3%83%97c&qid=1640185479&sprefix=usb%E3%83%A1%E3%83%A2%E3%83%AA%2B%2Caps%2C219&sr=8-3-spons&spLa=ZW5jcnlwdGVkUXVhbGlmaWVyPUFFWVNBTFBGU0JRWE4mZW5jcnlwdGVkSWQ9QTAyMjQyOTAyUThTSTNDUUFLV1VTJmVuY3J5cHRlZEFkSWQ9QTFERExRREpHMDM4Q1Emd2lkZ2V0TmFtZT1zcF9hdGYmYWN0aW9uPWNsaWNrUmVkaXJlY3QmZG9Ob3RMb2dDbGljaz10cnVl&th=1) 

さらに、余っているSDカードを活用するために、こんな製品を買ってみたが、ちゃんとSDカードブートできた

- [SD/Micro SDカードリーダー(Type-A/C & Micro USB)](https://www.amazon.co.jp/gp/product/B076XY7HHB/ref=ppx_yo_dt_b_asin_title_o04_s00?ie=UTF8&psc=1)

# 今年買って失敗したもの
上手く行った増強もあれば、失敗した増強もあります。こうして経験値は積み重ねていくものです。。な、なので、ガンガンいこうぜ！

> ※基本的に、商品自体が悪いわけではありません。自分が無計画だったというエピソードの紹介なので、ご参考になれば、幸いです。。


## 2.5GbE 環境
<img src="https://user-images.githubusercontent.com/3906298/147369634-1a52a465-2f72-49c8-a327-3bc35f08bc6e.jpg" width="45%">

- [QNAP QSW-M408-4C 10GbE Switch](https://www.amazon.com/gp/product/B08DKSFXNW/ref=ppx_od_dt_b_asin_title_s00?ie=UTF8&psc=1) （※スイッチ系は amazon.com の方が安い）
- [2.5GbpE USB LAN (Cable Matters)](https://www.amazon.co.jp/gp/product/B0856V9FDH/ref=ppx_yo_dt_b_asin_title_o05_s00?ie=UTF8&psc=1)

「2.5GbE環境で、**vSAN速度2.5倍を狙うぞ！**」と、意気込み、Amazon.com で上記のスイッチが安かったので（当時3.5万円位）、買ってみたものの・・、これには今年、本当に悩まされました。

主にvSAN用にセットアップすることはできましたが、いざ使ってみると、ディスクIOが多い時（コンテンツライブラリの一括同期とか、Supervisorクラスタ作成とか）、4台中どこか1台のNICの接続が切れて、**ディスクグループが壊れる現象** が発生。

これが、スイッチ側の原因なのか、USB NIC側が原因なのか、はたまた、USB Flingsドライバの問題なのか、未だ原因の特定にはいたっていない。

仕方がないので、**vSANやvMotionはオンボードNIC(1Gbps)に戻したら**、システムがとっても安定した・・・。来年は、別の機器を(今度は8portで)買ってみて、原因の切り分けを図りたい。

## USB ドライブ for ESXi
<img src="https://user-images.githubusercontent.com/3906298/147369635-029fe3a9-f9c4-4250-9f9c-03cf78f63355.jpg" width="45%">

vSANの厄介ポイントとして、「1台の物理マシンにつき、[最低3台のストレージが必要](https://docs.vmware.com/jp/VMware-vSphere/7.0/com.vmware.vsphere.vsan-planning.doc/GUID-4B738A10-4506-4D70-8339-28D8C8331A15.html)（ESXiブート/vSANキャパシティ/vSANキャッシュ）」という縛りがあります。なぜ厄介かというと、ほぼ全モデルのNUCには、**2スロット** しかSSD/NVMeを搭載出来ません。（NUC11の一部モデルと、NUC9 Extremeのみ3スロット可能）

じゃあ、「ESXiシステム用を**USBメモリで動作させちゃえば**いいんじゃない？」と思い、全てのNUCをこの製品で載せ替えました。

- [SunDisk USBメモリ 256GB](https://www.amazon.co.jp/SanDisk-%E3%83%95%E3%83%A9%E3%83%83%E3%82%B7%E3%83%A5%E3%83%A1%E3%83%A2%E3%83%AA-%E3%82%B5%E3%83%B3%E3%83%87%E3%82%A3%E3%82%B9%E3%82%AF-SDCZ430-256G-%E6%B5%B7%E5%A4%96%E3%83%91%E3%83%83%E3%82%B1%E3%83%BC%E3%82%B8%E5%93%81/dp/B07857Y17V/ref=pd_sbs_5/357-0596613-1071643?pd_rd_w=Qp4MM&pf_rd_p=4e34a507-1281-42ae-953a-93a761caa89c&pf_rd_r=0NPK4C5Z4BNSY8HXXCWV&pd_rd_r=5cce0744-746d-422e-bcce-b44f5f5894eb&pd_rd_wg=xJl39&pd_rd_i=B07857Y17V&psc=1)

上手く行った！と、思ったのですが、、その後運用していくと、やたら[PSOD(Purple Screen of Death)](http://tooljp.com/virtualization/VMware/faq/VMware_A588D7515416A5E449257C0B004ECAFA.html) が多発するようになりました。。

- [バッファロー ポータブルSSD 480GB](https://www.amazon.co.jp/gp/product/B085QS9DS4/ref=ppx_yo_dt_b_asin_title_o02_s00?ie=UTF8&psc=1)

なお、この製品は1個だけ買ってみましたが、PSODが全然おきませんでした。さすがバッファロー。安価で抑えられるのはいいですが、[今後USBドライブのBoot自体が廃止の流れ](https://kwmtlog.blogspot.com/2021/09/vsphere-and-vsan-70u3-enhancement-update.html) なのです。。

# その結果・・
現在、このような見た目になりました。NUC6台構成で、3系統のネットワークとなっている。

![PXL_20211223_033649548_2](https://user-images.githubusercontent.com/3906298/147189633-bf48b9ac-2ac3-4529-9a7c-7e287dd918fa.jpg)


# 最後に
振り返ると、安く抑えようとしたものは失敗している気がするので、よーく吟味の上、ご購入をオススメします！

今年のアドベントカレンダー企画はいかがだったでしょうか？（去年は一人で25日連続投稿して本当に大変だったけど、）今年は種まきの結果、色々な人に協力・投稿していただき、本当に感謝しております！

Tanzu は段々と良い感じに進化していっているので、是非周りの方にも広めていただけると助かります！

それでは、よいお年をーーー