クラウドとHPCを支えるデータセンターのお話
2022年06月23日(木曜日) 15:30～16:00

2022/06/23

さくらインターネット株式会社

さくらインターネット研究所

鷲北 賢 / 松本 直人(C) Copyright 1996-2022 SAKURA Internet Incさくらインターネットが進んでいる未来への道筋

未来への道筋クラウドとHPCを支えるデータセンター

New 2022年04月 石狩湾新港地域 2050年カーボンニュートラルの達成に向けた脱炭素先行地域へ
New 2022年06月 石狩データセンター 再生可能エネルギー由来へ変更し、実質CO2排出量ゼロへ
2

再生可能エネルギー100％になった「石狩データセンター」のいまGPUクラスタ等
多数稼動中

2022年3月期 決算説明資料より

3

石狩データセンターの未来予想図

最終完成イメージ
最大6,800ラック規模
4

おかげさまで、クラウド・コンピューティングサービスも昨年10周年を迎えました

ここからは当時を振り返って、開発に至る経緯からリリースまでクラウドを支えたお話をします5

開発に至る経緯62009年5月のこと…

“劣化専用サーバ”ですが、そういうものは作りたくないんです

http://www.atmarkit.co.jp/ad/sakurainet/200905/doujima.html

安値を追及するためにVPSをやっても過当競争になるだけ専用サーバで価格競争をしたほうが競争力を出せる7

2009年ごろのクラウド事情• AWS EC2がすごいともっぱらの評判• 個人で試す人が多かった• 勉強会も花盛り• 実験で立てたサーバを消し忘れて「クラウド破産」する例も• アメリカでEC2を使ったサービスが次々にリリース− 日本国内ではまだ少なかった− 勉強会では「法律も違うし、データを差し押さえられるリスクは？」という懸念が真剣に議論されていた• ただサーバを作ったり消したりするだけでも楽しい− というのはエンジニアの陥りやすいワナ

8仮想化されたサービスのすごさ• 時間単位でサーバが借りられる、これだけで破壊的− さくらのサービスはすべて月額課金だった− 初期費用も高く、投資金額が割高に見えた• どうやってサービスを実装しているか、想像するだけ
でも楽しい恐ろしい− 単に仮想サーバを作るだけの話ではない− 一日のうちに1000台作って1時間で解約、というスケールに対応しなければならない− 途方もないリソースプールをどうやって用意するのか…

• 調査を進めるほど、難易度の高さに焦りがつのった
9

2010年1月• 社長が突然「クラウドやろう」と言い出した

http://www.atmarkit.co.jp/ad/sakurainet/1008vpsinterview/vpsinterview.html• 社長個人のサイトが、アクセス津波でえらいことに− EC2にサーバ作って対処していた− なんか悔しい− さくらでも仮想サーバをやらないといかん• そんなこと突然言われても…
• （笑）じゃ済まないよ…
10

さくらのクラウド開発

11

構成図

ネットワーク
UI（コンパネ）
ホスト
サーバ

ストレージ

API

クラウド
課金

システムDB

販管システム12

さくらのクラウド・物理構成

インターネット

ルータ

VPN

ルータ

ルータ

ルータ

タグVLAN

たくさんのVLANを通しておく

コアスイッチコアスイッチLAG
エッジスイッチ

エッジスイッチ

エッジスイッチ

タグVLAN

エッジスイッチ

タグVLAN

仮想スイッチ
VM

VM

ホストサーバ

仮想スイッチ
VM

VM

ホストサーバbonding

仮想スイッチ
VM

VM

ホストサーバ

仮想スイッチ
VM

VM

ホストサーバ13

さくらのクラウド・物理構成

インターネット

ルータ

VPN

ルータ

ルータ

ルータ

タグVLAN

たくさんのVLANを通しておく

コアスイッチコアスイッチLAG
エッジスイッチ

エッジスイッチ

エッジスイッチ

タグVLAN

エッジスイッチ

タグVLAN

仮想スイッチ
VM

VM

ホストサーバ

仮想スイッチ
VM

VM

ホストサーバbonding

仮想スイッチ
VM

VM

ホストサーバ

仮想スイッチ
VM

VM

ホストサーバ14

必要な機器の選定と確保• クラウドのスケーリングに対応する必要がある− すべてのリソースを潤沢に用意し、分割して提供する− しかし事業なので予算の上限がある− ユーザがどの程度利用するか、予測に基づいて計画する• 物理サービスの経験に基づく予測を行う− サーバは台数を増やすことでスケールできる− ネットワークは一度導入してしまうと変更が難しい➢ データセンター事業者としてNorth/Southの利用状況には知見があった➢ しかしサーバ間やサーバ/ストレージ間に当たるEast/Westには経験が不足していた• なるべく大きな帯域を確保したいが…
− エッジ部分で10Gbpsでも不安− しかし当時の10/40GbEはコスト比がよろしくなかった15

InfiniBandの検討と採用• InfiniBandに目を付けた− HPC関連の調査研究で実験的にIBを使っていた− Ethernetと比較してス
ループット当たりのコストが安い（およそ1/2）− DDR(20Gbps)でエッジを構成することに− 最終的にデータセンターバックボーンに接続するためブリッジ（Xsigo）を配置

RouterIB/Ether bridge(Xsigo)

AGGRE

TOR
Host
Host
Host:
Host

SM

TOR
Storage
Storage

機器

台数

ホストサーバ270

ストレージ装置

100

スイッチ

50

ブリッジ装置2

SubnetManager

216

運用実績

• HCAやIB-SWは比較的安定している− Ethernet機器と比較して遜色のない信頼性− 10年弱の運用期間において故障率は低い− 制御ソフトウェアの不具合も少ない• 機器の取り回しが困難− 特にケーブルの扱いが面倒• Stateの計測が困難− SNMPのような基本のプロトコルがなかった− エッジで情報収集して対応• 仮想サーバから見て物理層は完全に隠蔽できる− ユーザにはEthernetかIBかは判別できない− おおむね成功17現在• 残念ながらInfiniBand運用は終了− 第2ゾーン以降、Ethernetで構築することに• VM/ホストの比率とトラフィック量の把握− ユーザの利用状況を把握し、必要十分なネットワーク構築ができるようになった• Ethernet機器でも構築できることが判明− 広帯域Ethernet機器の価格下落でIBと同程度になった• Ethernetへ回帰することを選択− 運用技術の多様化が負担になっていた• 一方、HPCホスティングでIBの知見が生かせることに
18

サーバ設置風景

19

開梱作業

20

ディスクコピー21

ルータとスイッチのセットアップ

22

サーバラック

23ネットワーク機材

24

これからもクラウドとHPCを支えつづける、さくらインターネット

政府主導によるデータセンター地方分散は、より有機的につながっていく計算機環境へ

経済産業省 / データセンターの誘致に前向きな地方公共団体との意見交換を踏まえた今後のデータセンター拠点立地よりプロット
出典: https://www.meti.go.jp/press/2022/04/20220412003/20220412003.html , https://www.submarinecablemap.com/を参考に図起こし
さくらインターネット研究所調べ (2022年04月12日)

NTTデータ大手町ビル / アット東京 CC1 / Equinix TY4 / ソフトバンク 東京第四データセンター
Amazon Web Services (AWS) / Microsoft Azure / Google Cloud Platform™ (GCP) 展開開始へ New

データセンター・クラウド・HPCの垣根を超えて、計算機をより有機的につなげる、そんな未来へ
25

おしまい26