講座《新連載》

データセンターのインフラ技術 〔全 6 回〕
開講にあたって編集幹事

倉掛卓也

Big Tech や GAFAM などと呼ばれているプラットフォーム事業者が生み出す技術トレンドは幅広い業界に影響を及ぼしています．放送システムについてもその影響を受け，将来は，「（放送業界専用ではない）汎用ハードウェアで動作するシステム」，「ソフトウェアにより実装されたシステム」，「仮想環境で動作するシステム」，「オープンアーキテクチャを採用したシステム」という方向に進んでいく
可能性があります．そこで，放送技術者が汎用ハードウェアでシステムを組む際の背景知識となり得る「データセンターのインフラ技術」の今後の展望について，わかりやすく講座にまとめられれば有用ではないかと考え，本講座を企画しました．

本講座では，全体像としてデータセンターのトレンドを振り返るところからスタートし，省エネ技術などを含めたデータセンター設備の概要，サーバやネットワーク機器などのコモディティ化の動向，
さらには，エッジコンピューティング，アクセラレーテッドコンピューティング，データセンタース
ケールコンピューティングについて，それぞれの分野の専門家に解説をお願いさせて頂きました．ご
多忙な中，ご執筆を引き受けて頂いた著者の皆様には，この場を借りて深く感謝申し上げます．

なお，本講座は，小島敏裕編集幹事と私倉掛が担当いたします．約 1 年間の講座となりますが，
何卒よろしくお願いいたします．

予定目次（第 1 回）クラウドデータセンターのトレンド

金田克己氏（インターネットイニシアティブ）（第 2 回）データセンターの設備

中西草太氏（伊藤忠テクノソリューションズ）（第 3 回）クラウドで使われる機材のコモディティ化

小泉利治氏（伊藤忠テクノソリューションズ）（第 4 回）エッジコンピューティング

末永洋樹氏（インターネットイニシアティブ）（第 5 回）アクセラレーテッドコンピューティング

佐々木邦暢氏（エヌビディア）（第 6 回）データセンタースケールコンピューティング

野田

真氏（エヌビディア）＊タイトルは今後修正の可能性があります．

映像情報メディア学会誌 Vol. 75, No. 2, p. 219（2021）（73） 219

講座 データセンターのインフラ技術〔第 1 回〕

クラウドデータセンターのトレンド
金 田 克 己†１．まえがきから，その価格は年々下がるとともに，小型化が進んだ．
これまでのコンピュータの歴史を振り返ると，装置とし

この 10 年間で，アプリケーションの開発や IT システムてのコンピュータの主流は，台数ベースでみたときに，メを構築するときの実装先としてクラウドサービスを利用す

インフレーム→ミニコンピュータ→ RISC UNIX →パーソ

ることが一般的になった．

ナルコンピュータ（PC）→スマートフォンと変遷している．

2006 年のアマゾンによる Amazon Elastic Computing

コストが下がり小型化が進むことで，国家機関だけが利Cloud（EC2）の提供開始から数えて今年で 14 年目となる．

用していたものを一般企業が利用するようになり，さらにこの期間にコンピューティングと通信に関わる技術は大きは PC が個人の利用するものとして企業や家庭に入っていく進化しておりさらに発展しようとしている．

くようになり，今ではスマートフォンという形で個人が持

本稿では，クラウドサービスを提供するインフラストラ

ち歩くまでになった．

クチャーを収めたデータセンターをクラウドデータセン

サーバに限ってみると，RISC UNIX から PC サーバへのターと定義し，このクラウドデータセンターの中身である

置き換えが進んだ．このことで，それなりに安いサーバをクラウドインフラストラクチャーについて解説する．

沢山並べることが可能となった．

2 章で，クラウドコンピューティングが成立した背景であるコンピュータの低価格化とインターネットの発展について

コンピュータの低価格化が進んだ結果として世界中にあるコンピュータの数は爆発的に増大した．

説明し，3 章ではインターネットユーザの増加に対応したシ

2.2

インターネットの普及

ステムアーキテクチャについて解説する．続く 4 章ではシス

2 つ目の要因として，インターネットの普及とそれに伴テムのサイロ化による問題とその解決にサーバ仮想化が提い組織内にあったコンピュータのネットワーク化が進んだ

唱され，リソースを論理分割することでシステム・インフ

ことが上げられる．

ラをソフトェアで制御可能となったことを，5 章ではクラウ

図 1 に平成 22 年の情報通信白書から引用した日本国内のドサービスのうち IaaS（Infrastructure as a Service）と呼ばインターネットの利用者数と人口普及率の推移を示した．

れているものを説明し，第 6 章ではクラウドインフラが抱えこれを見ると，平成 11（1999）年から平成 16（2004）年にかていた技術課題とそれらをどのように解決してきたかにつけて普及率が急激に上昇していることが見て取れる．

いて解説する．第 7 章では，クラウドコンピューティングの周辺で注目されている技術トレンドについて論じる．

２．クラウドコンピューティングに至る背景
クラウドコンピューティングが普及するに至る背景として，コンピュータの処理能力当たりのコストが年々下がり続けていること，インターネットの普及が挙げられる．
2.1

コンピュータの価格低下

1 つ目の要因は，コンピュータの処理能力当たりのコストの低下である．1950 年代の汎用コンピュータの販売開始

この頃から，インターネットの利用人口が増加したことによりインターネットに向けて公開しているサービス（以下，インターネットサービス）へのアクセスが急激に増加したことが推定できる．

３．インターネットサービスを支えるシステム
インフラストラクチャー
インターネットサービスのシステムインフラストラク
チャーのアーキテクチャ（システムインフラ）も大きく進化した．
もともと，インターネットで使われている，サービス提供モデルはクライアントサーバコンピューティングモデル†株式会社インターネットイニシアティブ"Infrastructure Technology for Datacenters (1); Trends of Cloud
Datacenters" by Katsumi Kaneda (Internet Initiative Japan Inc., Tokyo)

220 （74）だった（図 2）．現在インターネットで提供されているサービスも大部分はこのモデルで提供されている．
映像情報メディア学会誌 Vol. 75, No. 2, pp. 220 〜 225（2021）

クラウドデータセンターのトレンド（万人）10,000
9,000

8,529

利用者数

8,000

人口普及率

6,942

7,000

4,708

5,000

7,948

64.3

66.0

72.6

70.8

9,091

73.0

9,408

2,706

3,000

100 （％）
90

75.3

78.0

80
70
60

57.8

50

46.3

4,000

40
30

37.1

1,694

20

1,155

21.4

1,000
0

7,730

8,811

5,593

6,000

2,000

8,754

10

13.4

9.2
平成9

10

11

12

13

14

15

16

18

17

19

20

0
21（年末）①平成 9 〜 12 年末までの数値は「通信白書（現情報通信白書）」から抜粋．
②インターネット利用者数（推計）は，6 歳以上で，過去 1 年間に，インターネットを利用したことがある者を対象として行った通信利用動向調査の結果からの推計値．インターネット接続機器については，パソコン，携帯電話・PHS，携帯情報端末（PDA），ゲーム機等あらゆるものを含み（当該機器を所有しているか否かは問わない），利用目的等についても，個人的な利用，仕事上の利用，学校での利用等あらゆるものを含む．
③平成 13 年末以降のインターネット利用者数は , 各年における 6 歳以上の推計人口（国勢調査結果及び生命表等を用いて推計）に通信利用動向調
査で得られた6 歳以上のインターネット利用率を乗じて算出．
④平成 13 年末以降の人口普及率（推計）は，③により推計したインターネット利用人口を国勢調査及び生命表を用いて推計した各年の 6 歳以上人口で除したもの．
⑤調査対象年齢については，平成11年末まで15〜69歳，平成12年末は15〜79歳，平成13年末以降は6歳以上．
図 1 インターネットの利用者数および人口普及率の推移 1）

クライアントクライアントクライアントクライアント① 要求

クライアントクライアント

サーバロードバランサ
② 処理

サーバ

③ 応答

サーバ

サーバ

クライアントからの要求を各サーバに振り分ける
負荷が上昇するとサーバを増やして対応する

図 3 スケールアウト型アーキテクチャ
図 2 クライアントサーバコンピューティングモデル

表 1 システムインフラに求められる要件
組織内向け
稼働率

インターネット向け組織の業務時間内で稼働して 世界中からのアクセスを想定いれば良い

すると 24 時間 365 日の稼働が求められる

利用者数 組織に所属する人に限られる インターネットのユーザ数がなった当初はユーザも少なく，インターネットサービスを提供するサーバも 1 台だけという状況が多かったように記憶している．
ところが，インターネットユーザが増えてくるとサーバ
1 台だけでは処理が追いつかなくなってきた．そこで，採ため，大きく変動しない（特定 そのままユーザとなり得る（不用されたのがスケールアウト型のシステムアーキテクチャ

多数）である（図 3）．

特定多数）

スケールアウト型アーキテクチャは，負荷の増大に合わせ3.1

システムインフラに求められる要件てサーバを増加させればシステムとしての処理能力を増やでは，ここでインターネットサービスを提供するシステ

すことができること，また，1 台のサーバが停止したとして

ムに求められる要件を，従来の組織内にサービスを提供すも，サーバロードバランサが停止したサーバを切り離すこるシステムと比較してみよう．

とでサービスを継続させることができるという利点がある．

表 1 に示したように，インターネットの出現によってシ
ステムインフラに求められる要件は大きく変化した．
3.2

冗長性とスケールアウトアーキテクチャ

2000 年以前のインターネットが一般に利用できるようにクライアントからの要求を各サーバに振り分ける処理をするサーバロードバランサは 2000 年前後から採用され始めた．また，この頃から 19 インチラックに搭載可能なラックマウント型のサーバが採用され始めた．
（75） 221

講座

データセンターのインフラ技術 第 1 回

さて，スケールアウト型のアーキテクチャの採用により

バの CPU を強化する，メモリーを追加する等のスケール

インターネットユーザからもたらされる膨大なリクエストアップが必要であった．現在はデータベースサーバもスを捌く準備が整った．一方で，24 時間 365 日の稼働についケールアウト可能なものがいくつか存在する．

ては予備の機器をホットスタンバイ状態でシステムに組み込んでおく HA（High Availability）構成を取り入れることで対応していた．

４．サイロ化したシステムとシステムインフラ
統合

同時期にインターネット向けシステムに最適なアーキテ

さて，インターネットユーザの増加に伴って，インター

クチャとして web サーバ，アプリケーションサーバ-，リ

ネットサービスのシステムインフラは強化されていくこと

レーショナルデータベースサーバからなる 3 層アーキテクになるが，2005 年ぐらいに今度はサイロ化したシステム

チャが提唱された．

（図 5）が問題視されるようになった．

図 4 に 3 層アーキテクチャの典型的なシステムインフラ
構成を示す．

サイロ化したシステムの問題とは，ある組織内で目的毎にシステムを作った結果複数のシステムが乱立した状態と3 層アーキテクチャはシステムの構成要素をプレゼンなり，このとき各システムがその処理能力を想定される最テーション層，ビジネスロジック層，データ層に分割して，大負荷に合わせて構築されるために，システムインフラ全

それぞれの層に Web サーバ，アプリケーションサーバ，

体の能力が余剰となった状態のことである．一説には，複データベースサーバを配置したアーキテクチャである．

数システムを合わせたときにそのシステムインフラの 30%

このアーキテクチャの利点は，各層は独立しているので程度しか使われていないということも言われていた．

それぞれの都合で変更を加えることが可能であること，システムのサイロ化が問題として取り上げられるのと同

Web サーバとアプリケーションサーバはスケールアウト可

時期（2005 年頃）に PC サーバを仮想化して利用することが能であることである．当時は，データベースサーバはサー実用可能になってきた．
サーバ仮想化とは，ハードウェアの機能，あるいは，ハイパーバイザと呼ばれるソフトウェアの機能を利用して，SLB

一台の物理コンピュータ内で複数の仮想マシン（VM）を動SLB作させることである．このサーバ仮想化は，物理コン
ピュータの持つリソース（CPU，メモリー，HDD）を論理
SwitchSwitch分割し，それらリソースを VM に割り当てることで実現される．

Web サーバ

WebサーバWebサーバ

サーバ仮想化技術は昔からあったが，2000 年ぐらいから徐々に普及してきた PC サーバで利用できるというのが画期的だった．例えば，VMware 社 VMware ESX，オープ

Switchンソースソフトウェアの Xen，KVM 等がある．

Switch

図 6 にこのハイパーバイザを用いたサーバ仮想化の概念を示す．物理サーバをハイパーバイザで分割することで，Appサーバ

Appサーバ

Appサーバ

複数のサーバを出現させることが可能となる．また，ネットワーク構成の都合からスイッチングハブを仮想化した仮
想スイッチが用意される．より詳細な説明は紙幅の都合もSwitchSwitchあり割愛する．
PC サーバの高性能化と低価格化が後押しとなってサーバ

RDB サーバ

RDBサーバ

仮想化は急速に広まった．
それでは，ここで図 4 に示した複雑なシステムをサーバ

冗長化
ストレージ

空きリソース

SLB：サーバロードバランサ
Switch：スイッチングハブ
Appサーバ：アプリケーションサーバRDB サーバ：リレーショナル・データベースサーバ

利用中のリソース
システムA

システムB

システムC

図 4 3 層システムアーキテクチャ（インターネット接続用のルータ，ファイアウォールは省略）

222 （76）

図 5 サイロ化したシステム
映像情報メディア学会誌 Vol. 75, No. 2（2021）

クラウドデータセンターのトレンド

サーバ仮想化技術の出現によって，サイロ化したシステ
ムのインフラを集約することが技術的には可能となった．
Web サーバ

Appサーバ

RDBサーバ

ここで重要なのは，適切に設計されたシステムインフラがLinux

Windows

Windows

あり，その構成要素がソフトウェアで制御可能であれば，

VM

VM

VM

物理的に手を加えることなくサーバ，ストレージ，スイッ
チングハブに適切な設定を行うことで，論理的な構造を変

vol

vol

vol

更できるようになったことである．

vol

これで，クラウドを構成するための基本的な技術は揃った．次章では初期のクラウドについて解説する．

vSwitchハイパーバイザ５．IaaS（Infrastructure as a Service）

物理サーバ（PC）

ここでは，クラウドコンピューティングのうち IaaS につ

VM：仮想マシン（Virtual Machine）
vol：仮想ストレージ（Volume）
vSwitch：仮想スイッチ（Virtual Switch）

いて解説する．
最初に，クラウドが備えるべき要件を説明するために，

図 6 ハイパーバイザを用いたサーバ仮想化

アメリカ国立標準技術研究所（NIST）が 2011 年に発表した「NIST によるクラウドコンピューティングの定義」（NIST
SP800-145）2），IPA による日本語訳 3）から，クラウドが備

仮想化技術を用いて集約してみよう．
図 4 の SLB から下のサーバとスイッチングハブ（図中では Switch）のみを対象とする．手順としては以下の通りとえる基本的な特徴の一部を引用する．
（1）オンデマンドセルフサービス（On-demand Self-service）

なる．

・ユーザは，各サービスの提供者と直接やりとりする（1）最初にサーバを VM に置き換える．

ことなく，必要に応じ，自動的に，サーバの稼働時（2）次に，スイッチングハブを仮想スイッチ（vSwitch）

間やネットワークストレージのようなコンピューに置き換える．

ティング能力を一方的に設定できる．

（3）最後に，冗長性を確保するために 2 台の物理サーバ上（2）スピーディな拡張性（Rapid elasticity）にこれら VM と vSwitch を配置する．

・コンピューティング能力は，伸縮自在に，場合に後は，物理構成時のネットワークトポロジーを保持する

よっては自動で割当ておよび提供が可能で，需要にように，VM と vSwitch を論理的に接続することで完成と応じて即座にスケールアウト/スケールインできる．

なる．

ユーザにとっては，多くの場合，割当てのために利その結果を図 7 に示す．物理スイッチの台数が 6 台から 2用可能な能力は無尽蔵で，いつでもどんな量でも調台に，物理サーバの数が 8 台から 2 台に削減された．実際にはここまで極端に集約をすることはあまりないが，サーバ仮想化がシステムインフラの統合に有効であることをご理解頂けたのではないかと思う．

では，図8を用いて IaaS の仕組みの概略を示した上で，上記の基本的な特徴をどのように実現するかを説明しよう．
IaaS の構成はおよそこのようになる．

ハイパーバイザーの機能を使った
NIC冗長化（Bonding / Teaming）

NIC
vSwitch
Web
サーバ
Web
サーバ
Web
サーバ
物理サーバ（PC）

達可能のように見える．

SwitchSwitchIEEE802.1 Tagged VLAN
によるネットワーク仮想化

NIC

NIC

vSwitch

RDB
サーバ

Web
サーバ

App
サーバ
App
サーバ

Web
サーバ

App
サーバ
HBA

vSwitchvSwitch

RDB
サーバ
App
サーバ

Web
サーバ
HBA

冗長化ストレージ

NIC

App
サーバ

App
サーバ
物理サーバ（PC）

Switch：スイッチングハブ
vSwitch：仮想スイッチ
Appサーバ：アプリケーションサーバ
RDBサーバ：リレーショナルデータベースサーバ

図 7 サーバ仮想化技術を用いたインフラの集約（77） 223

講座

データセンターのインフラ技術 第 1 回

SwitchSwitchSwitchSwitchSwitch

ユーザA

論理サーバ

Switch

VM

VM

VM

VM

VM

論理イーサネット
サーバ

サーバ

サーバ

サーバ

サーバ

サーバ

ストレージ

ストレージ

ユーザB
VM

論理分割

論理ボリューム

VM

VM

リソース
の割当
VM

物理的なハードウェアインフラ

抽象化されたリソースプール

ユーザ毎のシステム

図 8 IaaS の仕組み

（1）まず，サーバ，ストレージ，スイッチングハブを適切に接続し，仮想化技術を用いて論理的に分割する．

発注をするようになった．BigTech による ODM 機器の採用については連載 3 回目で解説がある．

（2）次いで，VM，論理的なイーサネット，仮想ボリュー

なぜ，BigTech がこのように行動したかを推測すると，

ム（ストレージ）からなるリソースプールを作成する．

システムインフラのランニングコストは，機器費用，電気（3）最後にユーザからの要求に応じてリソースプールか代（機器に供給するものと空調に要するもの），運用人件費ら必要なリソースを取り出し，ユーザの要求したシそれぞれが 1/3 ずつを占めるという話があり，運用人件費

ステムを構成する．

についてはソフトウェア化を進めてコンピュータに置き換

ここで前述したクラウドが備えるべき特徴から必要となる要素を考えてみる．オンデマンド・セルフサービスを実えることで自社の技術で手当はしたので，残る 2 つについて手を打ったと考えられる．

現させるためには，契約の申込み，契約したリソースの配続いて，これも 2010 年ぐらいの話となるが BigTech は自置などをユーザ自身で実現できるような GUI，または，社のサービスに合わせてクラウドを構成する機器に手を加API（アプリケーションインタフェース）が必要である．まえ始める．

た，物理的なハードウェアインフラの論理分割，契約に基これは，当時市販されていた機器では，クラウドオーケ

づいたリソースの割当などを人手で実施していてはスピー

ストレータを使ったソフトウェア制御が困難であったこ

ディな割当を実現するのは非常に困難であるのでソフトと，物理機器を論理分割したときの粒度が充分でなかった

ウェアにより実行する必要がある．特に，クラウド環境でことに起因すると推測される．

は数千台から数万台のサーバを制御する必要があるのでソフトウェアによる制御が必須となる．
これらクラウドを制御するためのソフトウェアをクラウ
ドオーケストレータと呼ぶことにする．

６．クラウドコンピューティングにおける技術の進展

サーバについては，ソフトウェアで制御することは容易であり論理分割数も搭載した CPU とメモリーに依存するので，ODM から調達したコモディティサーバを使いオープ
ンソースのハイパーバイザーに手を加えて利用していたようである．Amazon AWS が Xen に独自の改良を加えてサービスを提供していたということが言われていた．
ストレージについては公開されている情報がほとんどな

ここからは，Big Tech や GAFAM 等と呼ばれている事いため推測となるが，当時の市販ストレージ装置はユーザ業者が保有している大規模クラウドについて，2010 年ぐら

が外部からソフトウェアで制御することはほとんど考慮さいからの技術の進展について解説する．

れておらず，クラウドの特性上少数の大規模なストレージ

最初に注目を浴びたのは，電力コストが安い地域に大規装置を導入したとしても，大量の VM に提供するには論理

模データセンターを建設する動きである．BigTech は機器分割数が不充分であり，アクセスの集中による負荷に対応のランニングコスト削減のために自社で大規模なデータセできなかったという事実を考え合わせると，分散型の自社

ンター（クラウドデータセンター）を建設するようになった．

開発ストレージを採用していたであろうと推測される．

連載 2 回目に，このようなクラウドデータセンターの解説がある．

ネットワーク機器についても同じ様な状況で，機器の制御は管理者が CLI（Command Line Interface）を用いて実施

また，調達する機器のコストを削減するために従来のサーする前提で作られていたため外部からソフトウェアで制御

バメーカではなく，ODM（Original Design Manufacturer，するのは非常に困難であり，論理分割数についても当時一相手先ブランドによる設計製造）ベンダに対して大規模な般的に使われていた IEEE 802.1Q VLAN は 4096 個までと224 （78）

映像情報メディア学会誌 Vol. 75, No. 2（2021）

クラウドデータセンターのトレンド

いう制約があり大規模クラウドの要求を到底満たせるもの（Graphics Processing Unit）の利用が盛んになされている．

ではなかった．

最近では 1 サーバでは処理しきれないために複数のサーバ

リソース同士を接続するネットワークは特に重要で，リソースの在庫があり提供可能であったとしてもネットワー
クの在庫が払底してしまうとリソースを提供することができなくなる
このことから，BigTech は以下のような選択をしたと考えられる．

を連携させて処理を行わせるデータセンタースケールコン
ピューティングが提唱されている．
このデータセンタースケールコンピューティングについては連載 6 回で説明がある．

８．むすび（1）ネットワーク機器で構成される物理ネットワークは2000 年前後に起こったインターネットの発展とそれを受単なる土管として考え，論理分割はサーバ側のネッ

けて 2010 年前後に始まったクラウドコンピューティングのトワーク仮想化で行うこと．

進展について解説してきたが，その進化速度には改めて驚（2）安価なイーサネットスイッチを調達して，それを制かされる．

御する OS（ネットワーク OS）を自社で開発すること．

1950 年代に商用コンピュータが出現した当時はとても高（1）については，VXLAN（Virtual eXtensible Local Area

価なものだった．それがコンピュータの低価格化，小型化

Network）や NVGRE（ Network Virtualization using

が進んだことで個人が所有できるまでになった．

Generic Routing Encapsulation）といったネットワーク仮想

コンピュータは世界のありとあらゆるところで使われる化プロトコルを用いて実装したであろうと考える．（2）にようになり，インターネットの出現によってそれらコン

ついては，マーチャントシリコンと言われる大量生産してピュータはネットワークで繋がった状態となった．ここまいるスイッチ ASIC（Application Specific Integrated

では，コンピュータが分散して広がっていく過程と捉える

Circuit）を用いたイーサネットスイッチ（ホワイトボック

ことができる．

ススイッチとも呼ばれる）に自社開発のネットワーク OS を

このような背景の中でクラウドサービスが世の中に出現搭載して利用していたと推測する．例えば，マイクロソフし急激に成長した．今では，クラウドサービスは世界中のト社の提供するクラウドサービスである Azure で利用してコンピュータで実行されていたアプリケーションを強烈ないる SONiC（Software for Open Networking in the Cloud）

勢いでクラウドデータセンターに吸い上げている．このこというネットワーク OS についてはオープンソース化されとは，世界中のコンピュータがクラウドに集約されて行くており，最近注目されるようになった．

過程と言えよう．

さらに進んで，ネットワークの高速化により顕著になっ

この先，クラウドコンピューティングはさらに発展してた，サーバ仮想化に用いるハイパーバイザーのオーバヘッ

いくだろうが，今のクラウドデータセンターへの大規模集ドを嫌って，I/O 処理をオフロードするのに ASIC や約がさらに進むのか，コンピュータの歴史をなぞるように

FPGA を用いるようになる 4）．このように CPU で処理して小型化して分散していくのか興味は尽きない．
（2020 年 12 月 8 日受付）

いた処理をハードウェアで実行することをハードウェアオ
フロードと呼ぶ．こちらは連載 5 回で解説される．

〔文献〕

最終的には，BigTech は自社のサービスで利用するためにコンピュータを自社開発する．例えば，2017 年に発表された Google の TPU（Tensor Processing Unit）や 2018 年に発表された Amazon AWS の Graviton5）が有名である．

７．進化し続けるクラウド，集約と分散
クラウドデータセンターにコンピュータを集約する形で成長してきたクラウドサービスだが，集約とはまた別の流れがある．一つはハイブリッドクラウドと呼ばれる，組織がもつ自分たちのクラウドとクラウドサービスを併用する

1）総務省： 平成 22 年版情報通信白書 ，https://www.soumu.go.jp/
johotsusintokei/whitepaper/ja/h22/html/me411100.html
2）Peter Mell, Tim Grance: "The NIST Definition of Cloud Computing"(2011)
3）IPA: "NIST によるクラウドコンピューティングの定義" (2011)4）Daniel Firestone et al: "Azure Accelerated Networking: SmartNICs
in the Public Cloud" (2018), https://www.microsoft.com/enus/research/uploads/prod/2018/03/Azure̲SmartNIC̲NSDI̲2018.pdf5）Amazon ： AWS Graviton を搭載した Arm ベースのインスタンスのAmazon EKS サポートの一般提供を開始 （2020），https://aws.
amazon.com/jp/about-aws/whats-new/2020/08/amazon-eks-supportfor-arm-based-instances-powered-by-aws-graviton-now-generallyavailable/

利用形態，もう一つは，地理的にデータ処理を必要とする場所の近くにクラウドを置くエッジクラウドという概念が提唱されている．エッジクラウド，あるいは，エッジコン
ピューティングについては連載第 4 回で解説される．
さらに，近年ML（Machine Learning）/DL（Deep Learning）

か ね だ

か つ み

金田

克己

1991 年，長岡技術科学大学工学部電気・電子システム学科卒業．1993 年，同大学院修士課
程修了．2010，（株）インターネットイニシアティブ入社．以来，クラウドインフラストラクチャーの研究・開発に従事．現在，同社先行開発室長．

の重要性が高まり，それを効率的に行うために GPU（79） 225

講座 データセンターのインフラ技術〔第 2 回〕

クラウドコンピューティングを支える
データセンターのファシリティ
中 西 草 太†１．まえがきいまや放送業界のみならず，ほぼすべての産業分野において，ICT/ディジタル技術の進展は必須であり，クラウド的となってきた．政府も『クラウド・バイ・デフォルト原則』3）を提唱し，基盤システムのクラウドへの切り替えを宣言するなど，クラウドサービスはすでに社会基盤になくてはならない存在となっている．

コンピューティングとその需要は増え続ける一方である．

データセンターは，クラウドコンピューティングの需要

その潮流の中で，「DX ：ディジタルトランスフォーメーの急拡大を実現するためにはかかせない，重要かつ必須な

ション＊1」というキーワードが現在の産業界を席巻している．

戦略的施設であり，サービス提供拠点である．データセン

ディジタルトランスフォーメーションという新たな概念の普ターにおけるサーバ機器等の高性能化/高密度化が進む一

及は，今日における技術や組織の概念に対する変革を要求し，方で，効率的かつ堅牢なデータセンター施設・設備の運用

新たな産業・事業の創生に向けた活動を活発化させている．

とサービスの提供が今後ますます重要となってくる．

そして，その活発化された活動がクラウドコンピューティン
グの更なる拡大を加速度的に押し上げている．
ジークムント・バウマンはその著『リキッド・モダニ
ティ』の中で，「新しく出現した時間の瞬間性は人間の共生形態を激しく変化させた．とりわけ，人間の集団事象とのデータセンターのインフラ技術第 2 回では，ミッショ
ン・クリティカルなシステムを支えるデータセンターのファシリティについて，その概要と技術について述べる．

２．データセンターとはかかわり方，そして，ある事象を集団的なことがらにする

今日，IT システム基盤は，各企業，社会にとっても非常

方法の変化はいちじるしかった」2）と述べている．ディジタに重要なものとなっている．個人的な活動から，企業，政ルトランスフォーメーションのような既存の概念や知識，

府のさまざまな活動にいたるまで，情報の取り扱いの重要技術の範疇を超えるものは，概ね大きな不安の念を持って度は増大し，それが滞ることはすなわちそれが支える活動

迎えられるものであるが，同時にディジタルトランス

自体の停止を招く．一方で，情報システムの安定的な稼働フォーメーションの到来は新たな挑戦でもある．ディジタ

環境を個々のシステムごとに用意し，維持管理することは，

ルトランスフォーメーションは，産業における新たな知を費用/スキル/労力/体制/場所といった諸々の観点に照らし創造する一翼を担うであろう．

て，得策ではないことが多い．したがって，それを包含し，これまで企業では，自社内に置いたサーバを自社のネッまとまった形で構築/準備し，運用していくことが現実的

トワーク回線を通して利用し，個々の業務アプリケーショ

なソリューションとなるため，これらを 1 つの（あるいはまンを運用してきた．しかし，インターネットの普及と IT 技

とめたいくつかの）建物に収容し実現する．それをデータ

術の進化，PC サーバの高性能化/低価格化とあいまって，センター（図 1）と呼ぶ 4）．

この 10 年では，大規模なデータセンター上にあるクラウド

データセンターは，社会的インフラとして，ミッション

サービスを利用してシステムを構築/運用することが一般

クリティカルなシステムを安定して安全に稼働し続ける土台である．システムは止まらないのが当たり前であり，＊1

DX（ディジタルトランスフォーメーション）：企業がビジネス環境の激しい変化に対応し，データとディジタル技術を活用して，顧客や社会のニーズを基に，製品やサービス，ビジネスモデルを変革するとともに，業務そのものや，組織，プロセス，企業文化・風土を変革し，競争上の優位性を確立すること 1）．

†伊藤忠テクノソリューションズ株式会社"Infrastructure Technology for Datacenters (2); Data Center Facilities
Supporting Cloud Computing" by Souta Nakanishi (ITOCHU TechnoSolutions Corporation, Kanagawa)

370 （46）

データセンターも止まらないことがその最上位使命である．万が一システムが停止すると，あらゆる方面で経済的損失が発生するだけでなく，情報収集やコミュニケーショ
ンの方法にも大きな打撃を与えることになる．
例として，2019 年 8 月 23 日，Amazon Web Services（AWS）東京リージョンで大規模障害が発生し，広範囲にわたって影響を及ぼしたことは記憶に新しい．AWS 東京
映像情報メディア学会誌 Vol. 75, No. 3, pp. 370 〜 376（2021）

クラウドコンピューティングを支えるデータセンターのファシリティ

表 1 自然災害/人工的災害リスクの一例
自然災害のリスク

人工的災害のリスク

地震，活断層/塩害/津波/液状化

飛行経路/トンネル，湖，埋立地 /現象/落雷/台風/洪水，河川の氾

無線電波，電磁波/工業汚染/ 大濫/ 森林火災

使館，官公庁，発電所，テレビ局，
駅・空港の近く

図 1 データセンター内部イメージ

リージョン内のデータセンターの空調設備において障害が発生し，それによって一部のサーバの温度が許容限度を超えた結果，サーバの電源が停止し始め，同一データセン
ター内の Amazon Elastic Compute Cloud（EC2）サービスなどのパフォーマンスが劣化した．復旧するまでの間，大手ショッピングサイトやキャッシュレスサービスサイトな図 2 日本近海における主な海底ケーブルルート 5）

どがサービスを停止するなど，さまざまなサービスに影響を与えた．

高い可用性/事業継続性が求められるデータセンターに

３．安心・安全を支えるデータセンターの立地・建物

とって，立地選定におけるデューデリジェンス＊ 2 を行うに

データセンターの安心・安全・安定稼働を支える主な構る．クラウドコンピューティングを支える大規模なデータ

あたり，前述のような耐災害性を検討することは必須であ成要素として，以下 4 つの要素があげられよう．

センターはそれに加え，膨大な量のサーバ資源を収容し稼（1）防災・防犯：災害リスクが低い立地であること．耐働させるための，広大なスペースと大容量電力の確保が必

災害性に優れ，高セキュリティであること．
（2）安定した電源：無停電であること．ノイズが入らな
いきれいな電源が提供されること．
（3）良好で正常な空気環境：適切な温湿度を保持できる
こと．
（4）安定した通信インフラ：常にネットワークがつな
がっていること．
周知のとおり，日本は災害大国であり，地震を代表とする各種災害の影響をいかに最小限に抑えるかはデータセン
ターにとって大切な要素である．また，ビジネスを支える
機密性の高いデータを扱うため，防犯についても高レベルでの対応が求められる．
3.1

データセンターの立地要となる．また，電力会社から 66,000 V などの特別高圧の電力ラインをデータセンターに引き込むにあたっての経路/
コスト/引き込みやすさ（納期）も重要な選定要素である．
さらに言えば，クラウドサービスの根幹を担うデータセ
ンターにとって，レイテンシー（通信の遅延）を目標以内に収められる立地であることは，必須の要件となる．IX（インターネットエクスチェンジ）からの距離はもとより，昨今では，海底ケーブルの陸揚げ地点を考慮し，用地選定することも多い（図 2）．

４．データセンターの生命線となる電源設備
データセンターのおよそすべての設備は，電気がないと稼働できない．現在の IT 機器が電気の ON/OFF で情報を立地選定と建物の選定はデータセンターにとって最重要処理する原理である以上，停電はすべての情報の「0 クリア」

事項のひとつである．データセンターを取り巻く自然起因を意味するため，通常運用のみならず，設備の点検や更新のリスクは，立地選定と建物でほとんど回避可能だからで時，広域停電時や大災害といった場合においても，無停電ある．また，人工的災害の各リスクも回避しなくてはならを実現する必要がある．IT 機器への給電は，一瞬でも停止ない（表 1）．例えば，硫化水素は IT 機器に影響を及ぼすたが許されないという点に，データセンターの本質がある．

め，火災などのリスクを含めて，工場の近くでの立地は避一方で，電気事故は人命に直結するため，あらゆる操作やけるべきである．大使館や官公庁もテロの標的になる可能性があるため，その近くも避けることが望ましい．

＊2

Due Diligence（デューデリジェンス）：投資を行うにあたって，投資対象となる建設用地の価値やリスク等を調査・査定すること．

（47） 371

講座

データセンターのインフラ技術 第 2 回

変電所

電力会社
トランス

高圧の電気を受電するため，トラン
スにて変圧を行う（電圧を下げる）

発電機
需要家

G
図 4 本線予備線受電方式

電気を整え，停電時にはバッテリー
からの電力供給を
可能にする

停電時に備
え，発電機
を常備して
いる

無停電電源装置
UPS

分電盤からサーバなどの IT 機器を収納したラックに電気を分配する

バッテリー

発電機起動
までの電力
供給を行う

分電盤（PDU）

需要家A

データセンター
需要家B
図 5 ループ受電方式
図 3 データセンターの電気設備構成要素

作業は安全確保が前提となる．すなわち，「何かを行う」=「停電させる」ことを意味する．この正反対のまったく矛盾
した両方の要件を満たすための冗長化や二重化などの設計/
構築および運用手順の確立と教育訓練，確実な実施，さらには検証と改善の継続が必須である．それらが伴って初めて，データセンターが機能する．
4.1

データセンターの一般的な電気設備構成要素

データセンターにおける，電気の安定供給を支える一般的な設備の構成要素を図 3 に示す．
4.2

受電方式の種類

需要家

データセンターの電気は，基本的には電力会社から
図 6 スポットネットワーク受電方式

66,000 V あるいは 22,000 V などの特別高圧，ないしは 6,600 Vの高圧にて受電している．受電する方式にはいくつかの方式があるが，ここでは，代表的な 3 つの方式について概略（3）スポットネットワーク受電方式（図 6）：スポットを述べる．

ネットワーク受電方式は常時 3 回線から受電する．保（1）本線予備線受電方式（図 4）：本線予備線受電方式は守時には，1 回線ごとに停止させるため，需要家の停常時は 2 回線で受電し，そのうち 1 回線（本線）を常用

電は発生しない．また配電事故時には，変圧器二次している．本線故障時またはメンテナンス時に本線側の遮断器が自動的に遮断され，復電時には自動的

側遮断器を開放し，予備線側遮断器を投入することに投入される．主に大都市部で採用されている．

により，短時間での停電で受電が再開できるという長所がある．
（2）ループ受電方式（図 5）：ループ受電方式は常時 2 回線で受電するため，1 回線が故障してもその回線を遮断

4.3

発電機の方式

データセンターでは，電力会社からの電力供給が停止した場合でも電源を IT 機器に供給できるよう，発電機を常設している．

することにより，もう片方の 1 回線から受電を継続で2018 年 9 月 6 日の北海道胆振東部地震の影響により北海きるという長所がある．ただし，各需要家間や変電

道電力からの電力供給を失ったさくらインターネット社の所-需要家間の区間ごとに故障を監視する必要がある

石狩データセンターが，約 60 時間もの間，自データセンため，保護継電器が複雑になる．また，需要家の遮ターの発電機より電源を供給し続けたことをニュースで知断器などはループの電流を流すため大型になる．

られた方も多いのではないだろうか．

ループ受電方式は，22 〜 66 kV の特別電圧で採用されている．
372 （48）

データセンターでは，ガスタービン発電機およびディーゼ
ル発電機が採用されることが多い．それぞれ一長一短があ
映像情報メディア学会誌 Vol. 75, No. 3（2021）

クラウドコンピューティングを支えるデータセンターのファシリティ

正常時

異常時

商用電源→

商用電源→

発電機→

発電機→

予備 予備 予備 予備 予備
UPS群

常用 常用 常用 常用 常用UPS UPS UPS UPS UPS

保守用
バイパス
回路

UPS群

常用 常用 常用 常用 常用UPS UPS UPS UPS UPS

保守用
バイパス
回路

：給電ルート：常時利用リソース：予備リソース

ラック群

ラック群

分電盤
（PDU）

分電盤
（PDU）

図 8 並列冗長方式 UPS 構成

表 2 ガスタービン発電機とディーゼル発電機の比較
発電機
外

ガスタービンディーゼル

観

ある．データセンターでは，通常，発電機が稼働し安定した電気を供給できるようになるまでの時間（通常 3 分〜 4 分ほど），UPS にて給電する．
データセンターで設置する UPS は，サーバラック内に設置するような 5 〜 10 kW レベルの小型の UPS ではなく，非常に規模が大きいものとなる．ここでは，代表的な UPS の

単機容量

4,000〜5,000 kVA

2,000〜4,000 kVA

音

対策しやすい対策しにくい

据付面積

小さい

大きい

起動信頼性

高い

普通

余裕をもって設置されている方式（N+1 構成の場合）．

騒接続方式と停電時の流れについて記載する．
（1）並列冗長方式（図 8）：電力負荷に対し，UPS1 台分の

燃料消費量

多

小

常用 UPS1 台に障害があっても，残りの UPS でカ

冷やし方

空冷

冷水

バーし，問題なく稼働できる．設備構成がわかりや

物品価格

高

低

高（専門的）

低（汎用的）すく，メンテナンスが容易である．

メンテナンス難易度（2）待機冗長方式（図 9）： 2 つの UPS（または UPS 群）があり，通常は常用 UPS のみを利用し，予備 UPS（または共通予備 UPS 群）を待機させている方式．常用
UPS に障害があった場合でも，無停電で予備 UPS にて給電可能となる．なお，大規模なクラウド・デー
タセンターにおいては，待機冗長方式をさらに発展させたブロックリダンダント方式＊ 3 を採用している
データセンターも多い．

図 7 UPS とバッテリー

り，設備環境に応じた発電機を採用する必要がある（表 2）．

５．高密度なサーバ群に対応する空調設備

大型のデータセンターではガスタービン発電機を採用するシステムを構成する各 IT 機器は，CPU の指示で動いていことが多いが，昨今の超大型のクラウド・データセンターる．CPU は処理を行うことで熱が発生するが，これが極限においては，発電機の大型化によるスケールメリットよりになると IT 機器のダウンにつながるのである．IT 機器の稼も，備蓄用の燃料タンクが小さくできる点や，メンテナン

働を止めないためにはその熱を冷却する必要があり，デースが容易である点などから，ディーゼル発電機を多数備え

タセンターにとって，その空調環境は非常に重要である．

る方式が採用される事例も散見される．
4.4

無停電電源装置（UPS）の方式

データセンターには各種の IT 機器が設置され，それらの求める動作環境は同じではない．したがって，空調設計に

無停電電源装置（UPS: Uninterruptible Power Supply）

あたっては共通仕様として最も一般的な ASHRAE ＊ 4 TC9.9とは，通常の電力供給がストップした場合においても，接サーマルガイドライン（Thermal Guidelines for Data

続されている IT 機器などに安定した電気を供給し続ける電源装置である（図 7）．ただし，電力供給できる時間は数分〜数十分であることが一般的であり，長時間の停電への備えとしては，発電機と組み合わせた措置を講じる必要が＊3

ブロックリダンダント方式：共通予備 UPS を複数台の並列冗長方式とし，予備給電能力を高めた UPS システム構成のこと．
＊ 4 ASHRAE（American Society of Heating, Refrigerating and AirConditioning Engineers）：アメリカ暖房冷房空調学会の略称．

（49） 373

講座

データセンターのインフラ技術 第 2 回

正常時

異常時

商用電源→

商用電源→

発電機→

発電機→

保守用
バイパス
回路

予備
UPS

常用
UPS

ラック群

：給電ルート

保守用
バイパス
回路

予備
UPS

分電盤
（PDU）

常用
UPS

ラック群

分電盤
（PDU）

図 9 待機冗長方式 UPS 構成

re30- ℃ 25

25

u
at

A3

er

p

em

et

W

b
ul

B

T

20

15

A4
％ 20

20

A2
A1

15

10

10％ 105050Recommended

0

5

10

15
20
25
35
30
Dry Bulb Temperature - ℃

40

Dew Point Temperature - ℃

40
％

30

％

30

90
％
80
％
70
％
60
％
50
％

Relative Humidity

図 11

一般的なデータセンターにおける空気の流れ45

図 10 ASHRAE 温湿度ガイドライン（2015 年）6）

Processing Environments 4 th Ed.）で示される推奨温湿度

図 12

ホットアイルとコールドアイルが採用されることが多い（図 10）．ASHRAE のガイドラインをもとに，データセンターでは一般的に，IT 機器の吸込
み温度範囲が 18 〜 27 ℃となるよう，設計される．
5.1

データセンター内の空気の流れ

ル（Hot Aisle）」を分離することにある（図 12）．
データセンターがまだ「電算室」と呼ばれていたような大型汎用機/ホストコンピュータの時代においては，筐体かデータセンター用の空調機の多くは，ダウンブロー型がら排出される単位面積あたりの熱量はそれほど多くなく，採用されている．このタイプの空調機は，上部から暖気を電算室内において，空気の流れや排熱はあまり考慮されて吸い込み，空気を冷却して，床下に冷気を送り込む．ラッいなかった．むしろ，障害時において筐体の状態を示すラ

クを冷却するために，冷気を床下から穴あきパネルを通しンプが一目で確認できるなどといったオペレーション上のて空気を押し上げる．ラック内のサーバは，前面から冷気

理由から，図 13 のように筐体やラックを同一方向に配置

を吸い込み，ラックの後方から暖気を排出する．排出されすること（フロントトゥバックレイアウト）が多かった．

た暖気は，天井裏などを伝わって，または天井に沿って空しかしながら，ホストからオープン化の波が進み，サー調機に戻っていく．空調機はその暖気を冷やし，また送りバの時代が到来するにつれ，1 ラックあたりの排熱量は増込むというサイクルを繰り返している（図 11）．

大していった．元来のフロントトゥバックレイアウトでは，

5.2

暖気と冷気の分離前方にあるラックに搭載されたサーバの排熱を，その後方

データセンターの冷却ポイントは，サーバにいかにして列にあるサーバが直に吸気してしまうことになる．今日の冷気を当てるかではなく，サーバから出る暖気をいかに効

データセンターでは，暖気は暖気同士，冷気は冷気同士と率的に排出できるかにある．最も重要な点は，機器から排なるよう，ラック列を対面させて立架するレイアウト

出された高温の風が回り込んで，再びサーバに吸い込まれ（バックトゥバックレイアウト：図 14）が一般的である．

ないよう，冷気が通る道である「コールドアイル（Cold

サーバから排出された高温の風が回り込み，サーバに吸Aisle）」と，IT 機器で熱せられた暖気が通る道「ホットアイ

い込まれ再循環してしまうことを総じて「ショートサー

374 （50）

映像情報メディア学会誌 Vol. 75, No. 3（2021）

クラウドコンピューティングを支えるデータセンターのファシリティ

系統①
Front

Back Front

Back Front

機
械
室

Back

系統②

系統③

冷水−冷媒
熱交換

RACK

RACK

RACK

CRAC
図 13

サ
ー
バ
室

フロントトゥバックレイアウト

Front

Back

Back

Front

Front

図 16

Back

天吊り型空調方式イメージ

RACK

RACK

RACK

CRAC

体あたり 1 〜 2 kW 程度の発熱量であったが，2000 年代，
オープンコンピューティングの時代では平均 2 〜 3 kW，2021 年現在，クラウドコンピューティングの時代においては，1 ラック当たり 6 〜 8 kW が水準となってきている．さ図 14 バックトゥバックレイアウト

らに来る AI の時代においては 10 kW 以上が水準となるであろうことが予想されており，現時点においても，局所的には 20 〜 30 kW の冷却能力を保持することを標榜するクラウド・データセンターも増えてきた．
求められる「高密度化」に対応するため，今日のデータセンター業界では，空調技術に対するさまざまな新技術の導入が試みられている．以下，主だった取り組みを紹介する．
（1）天吊り空調方式（図 16）：従来のサーバ室の端などに床置型ダウンブロー型空調機を設置し，サーバ室全

ブランクパネル

体をまんべんなく冷やすのではなく，サーバラック
上部に天吊で局所空調システムを設置することでブランクパネル挿入

サーバラックを必要最小限の循環風量で冷却する方

図 15 サーバの隙間に生じるショートサーキットとブランクパネルの式である．サーバラックからの発熱を直近で冷却でイメージきるため，いわゆる熱だまりを防ぐことができ，局キット」と呼ぶ．ラック内に設置するサーバとサーバの隙

所的には 15 〜 30 kW/ラックの排熱も処理することが間がある場合，特に昨今のサーバは吸気ファンの力が強い可能となった．天吊り空調方式は，データセンター

こともありその隙間からサーバ自身が排出した暖気をその冷却方式の選定基準の一つとして ITU（International

まま吸い込んでしまうという問題も発生する．そのため，

Telecommunication Union）＊ 5 の国際標準化の勧告本

ブランクパネルなどを利用し，その隙間を埋めることも冷文にも採用された 7）．

却管理上重要である（図 15）．
5.3（2）壁吹き出し空調方式：空調機械室とサーバ室との間高密度化/高集積化するサーバと新たな冷却の試みにあるチャンバ室に空調機からの冷気を供給し，これまで，一般的なデータセンターにおける空調/エア

チャンバ室の間仕切壁の開口部から直接サーバ室内

フローについて述べてきた．しかしながら，爆発的に増加に冷気を供給する方式である．床吹出し方式で必要するデータ量を処理するために，近年サーバはますます高であった二重床（フリーアクセス）は壁吹出し空調方性能になり，年々小型化している．クラウドコンピュー式では不要となるため建築コスト削減につながり，

ティングを支える大型データセンターにおいては，IT 機器

また通常の床吹出しに比べ吸気ダクトや床下ケーブを非常に高い密度で設置すること，いわゆる「高密度化」/

ルの排除などにより空気圧力の損失が少ないため，「高集積化」が求められており，それによりデータセンターの単位面積あたりの発熱量も増加し続けている．
1999 年以前のホストコンピューティングの時代では 1 筐＊5

ITU（International Telecommunication Union）：国際電気通信連合「高集積のサーバラック（例えば 5 〜 8KW/ラック以上）を収容する
データセンターでは，「天吊り型局所冷却」を選定すべきである．
」（51） 375

講座

データセンターのインフラ技術 第 2 回

空調機の送風動力が低減可能であるとされている．

ドコンピューティング，AI や IoT，5G といった革新的な（3）液浸冷却システム： IT 機器を筐体ごと，例えば，空技術が実用化を迎え，社会の在り様にまで影響を及ぼしつ

気の 1,200 倍の比熱容量をもつ冷却油などで満たした

つあり，ディジタルトランスフォーメンションという大き特殊なラックに浸けて冷却する液浸冷却も実用化がなうねりは，さらなるイノベーションをもたらすであろう

進んでいる．液浸冷却は，スーパーコンピュータなことはもはや疑う余地もない．

どの高発熱な IT 機器に利用され始めており，ディー

今回は，クラウドコンピューティングを支えるデータセ

プラーニングなどの普及に伴い GPGPU サーバ，

ンターの構成要素のうち，主に電気設備および空調設備のFPGA サーバなどの高発熱機器に対する冷却方法と概説を述べるにとどまったが，データセンターはその運用して，データセンターでの普及が始まっている．

に際し，建築，設備（電気，空調，通信，防火・防災，衛（4）自然環境を利用した冷却環境の構築：空調環境の効生）のみならず，IT としての要素（サーバ，ネットワーク，

率化は，高集積化の要望に応えるだけが目的ではな

セキュリティ，オペレーション），さらには，事業継続，く，省エネルギー化，エコロジーの観点からも重要

プロパティマネジメント，財務，保険，法令等々，ほぼ全である．データセンターの消費電力の空調設備に占方位的な知識が必要であり，かつ多額な費用を扱うビジネ

める割合は IT 負荷についで高く 8），空調設備の消費スでもある．

電力を削減することは重要である．

IT の形態そのものが生き物であり，時間とともに変化す

近年，特に寒冷地において，直接的または間接的に外るデータセンターは，その変化をも迅速に把握し，稼働環

気冷熱を取り入れる設備，いわゆる外気空調を実装し境を対応させていかなければならない．「絶対にデータセているデータセンターが増えている．また，雪を利用

ンターを止めない」という信念のもと，データセンターにした空調システムも実用化が進んでいる．寒冷地に携わる人々は，社会基盤を支えている自負をもって，最適

おいては，雪は廃棄物であり，やっかいものである

化を継続的に行う運用を確実に実施し続けている．

が，冬季に廃雪を保管し，夏季のデータセンターに利用しようとするホワイトデータセンター構想に対

本稿により，IT を支えるデータセンターへの興味が少しでも高まれば，幸いである．

し，2020 年環境省が支援することが決定された 9）．

〔文

寒冷地環境を利活用したデータセンターという観点でいえば，ノルウェーがその世界的な鏑矢となっている．寒冷な気候を生かしたデータセンターはもとより，山をくり抜きトンネルを利用して建築した洞窟データセンターや，データセンターから出る廃熱を利用し，生産エネルギーが消費エネルギーを上回る新たな街の建設など，ユニークかつ大胆なデータ
センター/プロジェクトも数多く存在する．ノルウェーは国家戦略として「データセンター国家」を目指しており，Microsoft や Google などがノルウェーに
データセンターを建設している．
さらには，海底にデータセンターを建築する実験も進んできている．2018 年，Microsoft はスコットラン
ドの海底約 36 m にデータセンターを沈めた．データセンターは 864 台のサーバで構成されており，ストレージの総容量は 27.6 ペタバイトにも及ぶものであった．海底に沈めたデータセンターは，2 年後の 2020 年に引き上げられた．Microsoft はプロジェクトが成功したと発表し，「海中にデータセンターを沈める」というアイデアが優れたものであると実証された 10）．

６．むすび
現代社会は，あらゆる局面において IT の提供するサービスを基盤としており，その安定的/継続的稼働および発展（2021 年 2 月 1 日受付）

献〕

1）経済産業省： ディジタルトランスフォーメーションを推進するためのガイドライン（DX 推進ガイドライン）Ver.1.0 （2018）2）Z. Bauman: "Liquid Modernity", Polity Press (2000)/ジークムント・バ
ウマン： リキッド・モダニティ−液状化する社会− ，森田典正訳，
大槻書店（2001）
3）政府 CIO ： 2018 年 6 月 7 日各府省情報化統括責任者（CIO）連絡会
議決定『政府情報システムにおけるクラウドサービスの利用に係る基本方針』 （2018），https://cio.go.jp/sites/default/files/uploads/
documents/cloud̲%20policy.pdf
4）日本データセンター協会： データセンター運用ガイドブック（2020）
5）PriMetrica, Inc.: "TeleGeography Submarine Cable Map"（2021），
https://www.submarinecablemap.com/
6）ASHRAE TC9.9: "Thermal Guidelines for Data Processing
Environments", Fourth Edition, ASHRAE, Atlanta Georgia (2015)7）ICU-T L.1300 8 Cooling 8.3.2 High Efficiency Cooling Plant:"Recommendation ITU-T L.1300 - Best Practices for Green Data
centers", International Telecommunication Union（Nov. 2011）8）M. Salim, et al.: "Data Centers' Energy Auditing and BenchmarkingProgress Update", ASHRAE Trans., OR-10-013, Orlando (2010)
9）環境省： 2020 年 9 月 11 日『脱炭素イノベーションによる地域循環共
生圏構築事業（一部総務省・経済産業省・国土交通省連携事業）』（2020），http://www.env.go.jp/earth/earth/ondanka/energytaisakutokubetsu-kaikeir03/matetr03-05.pdf
10）https://news.microsoft.com/ja-jp/features/200915-project-natickunderwater-datacenter/
なかにし

そ う た

中西

草太

2000 年，関西大学社会学部産業社会学専攻卒業．2002 年，同大学院修士課程修了．同年,
CRC ソリューションズ（株）（現 伊藤忠テクノソリュー
ションズ（株））入社．以来，データセンターの構築・運用に従事．現在，同社ハウジングサービス課長

が，社会そのものの安定と安心，進歩に直結する．クラウ
376 （52）

映像情報メディア学会誌 Vol. 75, No. 3（2021）

講座 データセンターのインフラ技術〔第 3 回〕

クラウド環境で使われる機材のコモディティ化
小 泉 利 治†１．まえがきても，そのサービスが普及するとインフラ環境も急激に拡大していくことになる．世界各国でサービスを提供するたスマートフォンの普及により，インターネットを介しためのシステムともなると，世界中のデータセンターにイン

多くのサービスを利用することが一般的となっている．

フラ基盤を持つような巨大な環境となる．従来型の業務系

SNS を介した情報のやりとりや，宅配サービス，オンライシステムでは，そのシステムを使用する期間でどれぐらいンゲームなど日々の生活の中で，スマートフォンは必需品の拡張が必要となるのか予め予測することができたので，となっている．スマートフォン普及前は，顧客との接点はシステムの構築を行う前に将来的に必要なリソースを試算

人もしくはテレビや新聞などの不特定多数の人に向けた情

し，システムの拡張をせずに運用が可能なシステムを構築

報発信だけであったため，企業は社内の業務を円滑に進めしてきた．しかしクラウド環境ではシステム構築時に将来るためのシステムのみを運用することが多かった．

的にどれぐらいサービスが普及するか予測することが困難

しかし，顧客ニーズの変化にともない，多くの企業が不なことが多いため，インフラ基盤についても利用状況に合

特定多数のユーザに向けた情報やサービスの提供だけではわせて拡張ができるように設計を行うことが必須の要件となく，特定ユーザに向けたサービスを提供するために，今なる．

まで運用してきた業務効率化のシステムに加えて直接顧客

そのため，サーバ，ストレージ，ネットワークの増強がのニーズに応えるための新たなシステムを構築し運用する必要となった場合，筐体内にある CPU，メモリー，ディス必要が出て来た．これら新たなシステムは，顧客の需要に

ク，ネットワークポートを拡張するのではなく，サーバ，

より利用状況が変化するため，従来のオンプレミス環境にストレージ，ネットワークスイッチの機器自体を拡張してシステム構築するのではなく，柔軟にシステムのリソース

いくスケールアウト型のシステムにしていくことが一般的を変更できるクラウド環境の活用が進んでいる．このようとなっている．このスケールアウト型の拡張方式についてなニーズを即座にとらえ大きくビジネスを拡大させた企業

は，無限の拡張性を実現できるのと同時に可用性も高めるとして Facebook, Amazon, Google, Microsoft 等がある．ス

ことが可能となる．従来の業務系システムにて可用性を考

マートフォンユーザ向けのサービスや，企業向けのクラウ

慮する場合，アクティブ，スタンバイのクラスタ構成をとドサービスを全世界に提供することで業績を大きく伸ばしることが一般的であった．クラスタ構成では，アクティブている．自社サービスを提供するために巨大なインフラ環なサーバに不具合が発生した場合は，スタンバイのサーバ

境を持つ企業がどのようなハードウェア機材を使用し，運に切り替えて処理を再開することになるが，切り替え時に用しているのか以降にて解説する．

瞬断が発生することと，クラスタを構成するサーバ台数に２．クラウド環境で求められるハードウェア機材の要件制限があるため拡張性が必要なクラウド環境では使われな
い方式となっている．スケールアウト方式にて可用性を向上させる場合は，アプリケーションもしくはミドルウェア

企業向けのクラウドサービスやインターネットサービス

が 1 台のサーバ障害がシステムに影響を与えない仕組みとを提供するためのインフラ環境（以降，これらインフラ環なっている必要があるが，クラウド環境のシステムでは数境の総称をクラウド環境と呼ぶ）は，利用者の増加に合わ

千，数万のサーバが並列に処理実行しており，可用性も担せて拡張が必要となる．小規模で始まったサービスであっ保できる仕組みが実装されていることがほとんどである．
このようなスケールアウト型のクラウド環境においては，†伊藤忠テクノソリューションズ株式会社"Infrastructure Technology for Datacenters (3); Commoditization of
Cloud Infrastructure" by Toshiharu Koizumi (ITOCHU Techno-Solutions
Corporation, Tokyo)

495 （42）

ハードウェアに求められる要件も変わってくる．システムとして可用性が担保されているのであれば，今までハード
ウェアにて実装されていた全コンポーネントの冗長化は不
映像情報メディア学会誌 Vol. 75, No. 4, pp. 495 〜 499（2021）

クラウド環境で使われる機材のコモディティ化要となる．過剰なハードウェアの冗長化は，クラウド環境

表 1 製造モデルの比較
設

ではアクティブ，スタンバイ構成により使えるリソースが半分となってしまうこともあり無駄と判断されることが多い．次に，クラウド環境ではインフラに関わるコストをできる限り抑えていく必要がある．提供するサービスの普及

計

製

造

自社ブラ
ンド製品

ODM: Original Design Manufacturing

○

○

○

EMS: Electronics Manufacturing Service

○

○

×

OEM: Original Equipment Manufacturing

○

×

○

が進んでいくとインフラ環境も増設を繰り返していくことになるが，その増設の規模も大きくなることが多い．サー
ビスの収益面を考慮するとできるだけシステムにかかるコストを抑えていきたいという要件は強くなる．システムに関わるコストでは，調達コストはもちろんであるが，メンテナンスや運用に関わるコストも考慮される．
従来型の業務系システムでは，ハードウェア機材の製造

顧客

ハードウェアメーカ

メーカもしくはシステムインテグレータ等が提供する保守作業に自社エンジニアを使わないことが一般的である．上

ODM
顧客

ハードウェアメーカ

障害時にシステムに影響を与えることが多く，速やかに復旧する必要があることから 24 時間 365 日で対応できる体制

汎用
パーツメーカ① ハードウェアメーカからの調達サービスを契約し，オンサイト交換作業等のメンテナンス
述の通り，従来型の業務系システムは，ハードウェア機材

ODM

汎用
パーツメーカ② ODMからの直接調達を整備しておく必要があった．しかし，クラウド環境においては，ハードウェア機材の障害がシステムに与える影響は限定的となるため，即座にハードウェア機材を復旧させる必要がなくなる．多くのクラウド環境では，保守契約は

図 1 調達モデル比較

締結せずに自社で保守用の交換部材を保持し，任意のタイ
ミングで自社エンジニアがハードウェア交換，ハードウェ
ア復旧作業を行うことで，メンテナンスコストを抑えるこ

は設計および製造を行うが自社ブランド製品としては販売とを実現していることが多い．また，運用時のコストといを行わない事業モデルとなる．

う面でなるべく省電力な設計であることが求められる．数ODM の多くは台湾企業である．中国と日本にアクセス

千，数万というハードウェアを運用した場合の電気代は膨が良いこともあり，日本の製造メーカの製造委託を受け，大な金額となる．昨今のハードウェア機材の高スペック化

同じ言語でコミュニケーションができ，比較的安価に労働に伴い，機材が消費する電力も増加傾向にある．また，力の確保および工場の建設が可能な中国の工場でハード

GPU サーバ等の電力を多く消費するサーバの出現により電ウェア機材の製造を行っている．安価にハードウェアを製

力はクラウド環境の運用コストにおいて大きなインパクト

造することが可能であることから，クラウド環境をもつ事を与えるようになっている．機材の消費電力の増大はデー業者が図 1 で示すような ODM から直接ハードウェア機材

タセンターの集積率にも影響を与えるため，なるべく高スを購入することでコスト削減を実現した．

ペックで省電力を実現可能なハードウェア機材というのがODM からの直接機材調達には 2 つのコスト的なメリット求められる．これら要件を実現するために，多くのクラウがある．1 つ目は調達コストを下げることができる点であド環境では，従来のハードウェアメーカから ODMる．前述した通り従来企業にハードウェアを提供いていた（Original Design Manufacturing）と呼ばれる，製造メーカ

メーカの多くは，ハードウェアの製造を ODM に委託をからハードウェア機材の調達を行うことが一般的になって行ってきた．昨今の ODM からの直接調達はハードウェア

いる．

メーカを介さない調達フローにより，ハードウェアメーカ

３．ODM の台頭と ODM 製品の特長が乗せていたさまざまな管理コストや利益を削減できるた
め，大幅なコスト削減が可能となる．また，CPU，メモODM はハードウェアメーカからの委託を受けハード

リー，ディスク等の汎用パーツについても同様に個別調達

ウェアの製造を行っていた．ODM と似た使い方をされる，を行い，ODM が製造した機器に ODM 側で汎用パーツも組OEM（ Original Equipment Manufacturing）や EMS

み込むといった取り組みも合わせて行うことで更なるコス（Electronics Manufacturing Service）などもある（表 1）が，ト削減を実現している企業も多い．

OEM は製造（場合によっては設計も）を ODM に委託し，自社ブランド製品として販売する事業モデルとなり，EMS

2つ目のメリットとしては，自社の環境にあったハードウェ
ア機器にカスタマイズすることが可能となることである．
（43） 496

講座

データセンターのインフラ技術 第 3 回

従来型の業務システムで使用される汎用的なハードウェ
ア機器は，クラウド環境で使われるハードウェアとしては
オーバスペックであることが多い．前述のとおりクラウド
環境のシステムは，スケールアウト型の構成によりアプリ
ケーション含めた可用性担保の仕組みが組み込まれているため，ハードウェア自体の冗長化をそれほど必要としない．
現在一般的に販売されているハードウェア機器は従来の業務システムで使用されることを想定して設計されているものが多く，交換可能なコンポーネントがすべて冗長化されており，単一コンポーネントの障害がハードウェア機器のダウンに繋がらない仕組みとなっている．このような機器はクラウド環境ではオーバスペックであり，冗長化によるパーツ数，消費電力の増大により調達コスト，電力コスト増に繋がってしまう．これら課題を解決するために，オーバスペックとなっているスペックを取り除く自社仕様のハードウェアを ODM に設計含めて依頼し，調達を行っている企業が増えてきている．ただし，自社仕様にカスタマイ

2011
・Winterfell server
・Triplet Rack
2012
・Windmill server
2013
・Dragonstone server
・Winterfell server
・Open Rack V1・Open Vault（Knox）
2015
・Leopard server
・Open Rack v2
・Honey Badger
・Lightning
・Yosemite2016
・Wedge 100
・Backpack・Big Sur2017
・Bryce Canyon
・Big Basin・Tioga Pass
・Yosemite v2
図 2 Facebook が仕様公開したハードウェア

ズされた機材を設計するためには，多くの費用が必要となるため，少なくとも数千クラスの機材調達を行うことが必須となる．また，製造においても個別の製造工程となるた仕様のハードウェアを採用する事業者，Facebook の双方

め，1 回の調達量もそれなりのボリュームが必要となる．小に大きなメリットをもたらすことになる．新たにロットの製造はコスト増および長納期化に繋がるので注意

Facebook 仕様のハードウェアを採用する事業者にとってが必要となる．このような，クラウド環境に適したハードは，Facebook が大規模クラウド環境向けに設計したハーウェアの設計を行うという点で参考になる取り組みがある．

ドウェアを，設計費用をかけずに購入することができる．

Facebook 社が立ち上げた Open Compute Project である．

また，Facebook のシステムで運用実績がある機材という

４．Open Compute Project とはことになるので，安心感も得られるであろう．Facebook
についても，他事業者が同じ仕様のハードウェアを採用すOpen Compute Project は，2011 年に Facebook が設立しることで大量生産が可能となりコスト削減を実現した．またハードウェアのオープン化を推進する非営利組織としてた，Open Compute Project に加盟する同じような悩みを発足したコミュニティである．Facebook は日本国内にお抱える事業者と共同での新たなハードウェア仕様化の推進

いても知名度の高い SNS を運営提供している企業である．

や，他事業者が考えた優れた仕様を自社ハードウェアに取Facebook 社のサービスは全世界に提供され一日に 18 億をり込むことも可能となる．Open Compute Project は従来超えるアクセスユーザ数があり，継続的にユーザ数を増やのハードウェアメーカ主導のハードウェア設計からユーザしている．これらユーザの拡大やサービスの充実を実現す

主導のハードウェア設計への変革を後押ししたコミュニるために世界中の多くのデータセンターにサービスを提供

ティとして大きな役割を果たしている．

するためのインフラ環境を持ち運用している．Facebook

Open Compute Project では多くのハードウェア機器のも当初は汎用的なハードウェア機材をハードウェアメーカ

スペックが公開されているが，代表的なハードウェアとしから購入していたが，急激なユーザの増加によりインフラてラックシステム，サーバがある（図 3）．共に省電力を考環境も多くの増設が必要となる中で，無駄を極力省いてい慮した設計となっており，ラックシステムには集中電源方

くことを目的に，自社仕様のハードウェアを ODM より調式を採用することで，省電力化を実現している．また，達するようになった．そして，自社仕様のハードウェアをサーバについても大規模クラウド環境で使用するハード

オープン化し，自社仕様のハードウェアを同様の悩みを抱ウェアとしては無駄のない設計となっており，低消費電力

える他事業者にも使用してもらうことで自社仕様ハードと集約率の向上を実現している．

ウェアのコモディティ化に成功した．Facebook は Open

サーバ，集中電源ラックシステム等のハードウェア調達

Compute Project の中で自社仕様のサーバ，ストレージ，

コストなどの設備投資コストが含まれる CAPEX（Capital

ネットワークスイッチ，ラックなど多くのハードウェア仕Expenditure）で約 5%〜 10%，電気代やデータセンタコスト様を公開している（図 2）．

などの運用コストが含まれるOPEX（Operating Expense）でこのハードウェアスペックの公開は，新たに Facebook
497 （44）

約 40%のコスト削減が可能となるケースもある（図4）．
映像情報メディア学会誌 Vol. 75, No. 4（2021）

クラウド環境で使われる機材のコモディティ化

表 2 保守レベル比較
期

間

対応時間

対応レベル

言 語 パーツ返却

汎用製品 3年間 平日営業時間帯 翌日以降オンサイト 日本語
ODM

3年間 平日営業時間帯

センドバック

日本語

国

内

−

が多い．センドバックのサービスについても故障パーツを海外のパーツセンターに送付し，修復した後に返却するセ
ンドバックサービスがほとんどであるため，ある程度のパーツを自社でストックしておく必要がある（表 2）．
インターネットサービスを提供するインフラ環境につい
図 3 Open Compute Project 仕様のハードウェアては，前述したとおりスケールアウト構成によりある程度の余裕をもって計画的にメンテナンス作業を行うことが可能であるため，比較的容易に交換作業を行うためのリソースを確保することが可能であるが，日本国内でのクラウド

サーバ台数：500台￥1,200,000,000￥1,000,000,000

CAPEX

OPEX

事業者が持つインフラ環境は従来の業務システムに近い
サービスレベルの提供を求められることも珍しくない．日￥800,000,000

本国内においても企業システムのクラウド化が進む中で，￥600,000,000

業務系のシステムをクラウドに移行するケースも増えてき￥400,000,000ている．日本国内のクラウド事業者は業務系システムのク￥200,000,000￥0ラウド化をターゲットにしている場合も多く，ODM が提OCP

汎用IAサーバ

図 4 コスト比較

供するセンドバックのサービスだけでは足りないということも少なくない．将来のシステム拡張を見据え，保守メン
テナンスの人員を確保し，自社リソースにて対応を行っていくことが一番コスト的なメリット得られる方法ではある

また，日本国内においても Open Compute Project Japan

が，すぐには体制を整備するのは難しい場合は，国内でが活動しており，日本国内での Open Compute Project に

ODM 製品を販売している事業者に依頼することも可能で関する情報発信および日本国内のデータセンターに Openあるため，相談してみるのもよいであろう．

Compute Project のハードウェアが使用できるようにラッ

2 つ目は品質面である．ODM からハードウェア機材を直クシステムおよび集中電源の製品化の支援を行ってきた．

接購入にすることにより，ハードウェアメーカが介在しな耐震性能を考慮したラックシステムや単相電源をサポート

くなりコスト削減を実現することができるが，従来はした集中電源がすでに製品化されており，日本のデータセ

ODM が製造したハードウェアを，ハードウェアメーカのンターにも容易に設置ができるようになっている．

品質管理により，品質を担保してきた．ODM からの直調

５．ODM 製品の課題

達のモデルでは，この品質管理を ODM もしくは調達を行う事業者が行う必要がある．品質管理については，ハードクラウド環境を持つ事業者にとっては，調達コストや電ウェアメーカの役割であったため，ODM には知見が少な

力コストを抑えることができる ODM からの調達は魅力的いケースがあるのと，日本企業が求める品質基準とはかけではあるが，日本国内の事業者がこれら製品を採用する際離れている可能性もあるので注意が必要である．調達したはいくつかの課題が存在する．

機器の品質状況はトレースできるように管理を行い，品質

1 つ目は，ハードウェアの保守メンテナンスをどのような体制で行うかである．日本企業の多くはハードウェア機が悪化傾向にある場合は，定量データを提示しながら改善要望を行う必要がある．

器の保守メンテナンスをハードウェアメーカもしくはシス

3 つ目は調達規模である．1 回の調達規模が数千台といっ

テムインテグレータが実施していることが多く，自社に保たような規模であれば，ODM からの直接調達はメリット

守メンテナンスを行うエンジニアリソースが存在しないこが多いが，自社仕様のハードウェアの設計，製造できる調とが多い．ODM から提供されるサポートとしては，交換

達規模に達しているクラウド環境は日本国内においてはそ

用パーツの送付のみを行うセンドバックサービスとなるれほど多くはない．ハードウェアを自社仕様として設計すケースがほとんどであり，パーツ交換の作業まで行うオンるとなると，数千以上の調達規模が必要となる．しかし，

サイトサービスが可能であったとしても，高額になること

ODM 各社はクラウド環境に適した Open Compute Project（45） 498

講座

データセンターのインフラ技術 第 3 回

Edgeデバイス

Edge

クラウド

情報収集 ・ リコメンド/
ディシジョン

情報分析
AI/DL（トレーニング）
データ追加 ・ 加工

LAN/
LTE/
5G

AI/DL（推論） WAN
学習モデル評価

データ分析

学習

図 5 エッジコンピューティング概略図で設計された製品も含めて汎用的なハードウェアの提供もも多く，限られた設置スペースの中にハードウェア機材を行っているので，ODM の汎用モデルであれば ODM からの設置する要件も増えてくる．今までのデータセンターに設直接調達のメリットを活かしながら，調達数を下げること置するハードウェアと異なり，小型化されたサーバや稼働も可能である．

温度，湿度のスペックが緩和されたハードウェアが求めら

６．今後クラウド環境で使用される
ハードウェアとはれることになる．また，データセンター側にも AI, Deep
Learning の情報分析を行うために，従来のサーバより消費電力が高い GPU サーバを設置する必要が出てくる．インフ

現在多くのクラウド環境で使われているハードウェア機

ラ環境で使用するハードウェア機材についても多様化が進

材はコモディティ化が進み，コモディティ化したハード

むことになるが，ハードウェア機材を調達する規模も大き

ウェアは ODM がその製造を担い，製品として事業者に直くなるため，ここでもハードウェアの製造は ODM が主役接提供するというビジネスモデルになりつつある．このクとなる可能性が高い．ハードウェアに多くの機能を求める

ラウド環境についても多様な活用モデルが生まれてきていのではなく，ハードウェアはシンプルにそして安価にといる．今後インフラ環境の構成を大きく変える可能性がある

うことが求められる流れの中で，多様化とコモディティ化のがエッジコンピューティングであろう（図 5）．

を両立させることが求められる．そしてその要望をかなえ

昨今の AI, Deep Learning の活用拡大により，店舗，工ているのが，現時点では ODM ということになるので，こ場，市街地，車などにカメラやセンサ等のエッジデバイスのビジネスモデルは当面続くであろう．そして事業者はコを設置し，エッジデバイスのデータを収集，情報分析をす

モディティ化されたハードウェア機材を使い，顧客ニーズることでリコメンデーションやディシジョンを行うことがに応じたサービスを作り上げていくことが競合との棲み分可能となっている．エッジコンピューティングでは，リアけになっていくのであろう．

（2021 年 3 月 29 日受付）

ルタイム性を求められることが多く，エッジデバイスになるべく近い場所で推論の処理を行う必要がある．今までクラウド環境で利用していた大規模なデータセンターではな
く，店舗や施設にある小規模なマシンルームにサーバ，ス
トレージ，ネットワークスイッチといったハードウェア機
材を設置する必要が出てくる．データセンターと比較すると電源環境や温度や湿度など厳密に管理されていない環境

499 （46）

こいずみ

としはる

小泉

利治

2000 年，伊藤忠テクノサイエンス（株）（現，伊藤忠テクノソリューションズ（株））入社．
サン・マイクロシステム製品を始めとしたハードウェ
アメーカ製品の主管業務を従事．2015 年より，オープ
ンコンピュートプロジェクトジャパン（OCPJ）の副座長として活動中．

映像情報メディア学会誌 Vol. 75, No. 4（2021）

講座 データセンターのインフラ技術〔第 4 回〕

クラウドと協調するエッジコンピューティング
末 永 洋 樹†１．まえがきデータの送信先がクラウドであるとすると，小さなデー
タが大量にストレージへ流れ込んでいくこととなり，スト2010 年代の初頭頃から，クラウドコンピューティングをレージに対する要求性能が高くなりやすい．もちろん，本補完しうる仕組みとしてエッジコンピューティングの研究講座において過去に紹介してきたように，クラウドのデー開発が活発化している．エッジコンピューティングを大ま

タセンタ技術はスケールアウトを前提とした構成を取ってかに表現すると，データセンタに構築されたクラウドでもおり，データの流量が増えたからと言ってすぐに対応できユーザが手元で使っている端末でもない場所で計算機リなくなるようなことはない．しかし，IoT の進化速度がス

ソースを提供するアーキテクチャである．インターネット

トレージ技術の進化速度を上回ってしまった場合，コストのアーキテクチャでは，データを転送するノードとデータが急激に上昇する可能性がある．一般に利用しているストを処理するノードとは必ずしも区別する必要はない．デー

レージデバイス（SD カードなど）を見ても，安く調達でき

タセンタとユーザの間には広大なデータ処理環境を想定しる性能と容量との組み合わせはある程度決まっているもの

うる．このため，エッジコンピューティングは対象範囲のである．そこから外れてしまうと価格は急激に上昇する．

広い漠然としたアーキテクチャである．本稿では例を挙げ

これがクラウドで発生すると，IoT の利用コストが上昇しつつ，具体的なイメージを持てるよう解説していく．

てしまうと懸念された．

一方で，一部の例にとらわれることなくエッジコン

IoT で使われる通信路についても，データセンタ内部ではピューティングを理解・評価するための考え方も紹介した

複数のモノからの通信が合流して大きな流れとなりコスト

い．対象範囲の広大さはエッジコンピューティングの本質の問題を生じさせる（または充分なコストをかけられず，である．特定の対象にとらわれすぎてしまうと価値を見誤

ユーザの利便性を損なう）可能性がある．他方，データセンる可能性がある．

タと逆側のモノに近い領域でも通信路に問題が生じる可能

２．なぜエッジコンピューティングが注目されたのか性がある．IoT デバイスはスマートフォンのように強力な広域ネットワーク接続能力を持っているとは限らない．仮に4G や 5G などの広域ネットワークへの接続機能を持っていた

エッジコンピューティングが注目された背景として，IoTとしても，電力消費と価格を抑えるために性能を制限せざ関連の技術開発の進展が挙げられる．IoT ではインターるをえないことも考えられる．このため，すべてのデータ

ネットに接続する小さなモノが大量に生まれると考えられを IoT デバイスからクラウドへ直接転送するだけの通信容量る．これらのモノが送信する個々のデータは必ずしも大きの確保は現実的ではないのではないかと懸念された 2）．

くはないが，モノの数が多いためデータの総量は多くなる．

モノに近い領域での通信では遅延が問題となる可能性もIoT により生成される大量のデータは，クラウドのスト

ある．IoT で取り扱われるモノは，物理的な世界の様子をレージと通信インフラに対する負荷となる．総務省通信白観察するセンサと，物理的な世界に影響を及ぼすアクチュ書によると，IoT 機器の数は 2016 年に 187.3 億台，2019 年にエータとに分けて考えることができる．これらを組み合わ

253.5 億台，2022 年に 348.3 億台（予測値）である 1）．IoT によせることで利便性を提供することが IoT の骨子である．こる通信量，データ量の変化をふまえ，既存のクラウドコンのとき，システムの動作速度は通信の遅延に大きく制約さ

ピューティングに対しいくつかの懸念事項が指摘された．

れる．車を例にすると，速度計はセンサであり，速度を制御するアクセルとブレーキがアクチュエータである．車が†株式会社 IIJ イノベーションインスティテュート技術研究所 研究企画室"Infrastructure Technology for Datacenters (4); Edge Computing
Integrated into the Cloud" by Hiroki Suenaga (IIJ Innovation InstituteInc, Tokyo)

621 （42）

速度計の指示値をクラウドに送信し，前方の事故を検出したクラウドがブレーキ信号を車に返信するような自動運転
システムがあったとしても，追突を回避できる保証はない．
映像情報メディア学会誌 Vol. 75, No. 5, pp. 621 〜 626（2021）

クラウドと協調するエッジコンピューティング

インターネットはこのような極めて高い即時性・信頼性をタであれば，エッジコンピューティング設備で処理してし提供できるネットワークとしては設計されていない．一方

まうことでクラウド設備への送信を省略できる．これによで，車の速度計の指示値の統計やブレーキ操作の統計を集

りクラウド設備のストレージとネットワーク資源に対する積するような処理であれば即時性は必要ない．このような負荷を軽減できる．

用途にはインターネットとクラウドは向いている．IoT で

エッジコンピューティング設備を IoT 機器やユーザの近は既存のクラウド技術が得意とする処理と不得意とする処傍に設置することにより，通信遅延もある程度コントロー

理が混在するケースが増えるのではないかと懸念された 3）．

ルできる．クラウド設備との通信は通常インターネットを

通信技術の周辺ではセキュリティとプライバシーも懸念経由するため，通信遅延のコントロールは困難である ＊ 1．

材料になりうる．IoT で扱われるデータには，企業内部の

しかし，IoT 機器やユーザ端末のネットワーク構成を良く活動を推測しうるデータや，個人のプライバシーに関わる

みてみると，品質をコントロールしやすいネットワーク技

データも含まれる．一つ一つのデータは，おそらく断片的術を利用してインターネットゲートウェイに接続しているであり一見すると価値がないようにみえるかもしれない．

場合がある．携帯電話網による接続が好例である．このまた，クラウドにおける情報漏洩事故はときおり報告されIoT 機器やユーザの端末が直結している網にエッジコン

るものの，頻繁に発生しているわけではない．しかし，ピューティング設備を設置できれば，通信遅延は網の仕様

データの断片を丁寧に集めて再構成することは可能であとして与えられ予測可能な範囲に収まる．網の品質と信頼り，そこから高精度の推論ができる可能性はある．イン性はデータの秘匿にも寄与する．

ターネット上に送信するデータを匿名性の高い最低限のデータに絞ることができれば，こうしたリスクを低減できる．このような目的を実現する仕組みとしてエッジコン
ピューティングが注目されることもある 4）．

３．エッジはどこにあるのか
ここまでクラウドの反対側の端，という程度の意味でエッジという言葉を使ってきた．これは曖昧な定義であり，

図 1 にエッジコンピューティングの大まかなコンセプト

実際に何を持ってエッジとすべきか明らかではない．例えを示す．IoT 機器やユーザ端末などの近傍にクラウドコン

ば，クラウド事業者の立場では，クラウド設備とインター

ピューティング向けのデータセンタ設備（以下，クラウド

ネットの境界部分はエッジであると考えることができる．

設備）を簡略化したエッジコンピューティング設備を設置

一方，ユーザの立場からすれば手元の端末とインターネッ

することでここまで見てきたような懸念に対応する．エットの境界がエッジである．明確な境界をイメージさせるよ

ジコンピューティング設備にストレージを用意することうな言葉でいて，広く合意できるような実体はない．

で，クラウド設備に送信するデータ量の削減を見込む．削エッジコンピューティングの対象とする「エッジ」の比較

減の前提として IoT 機器の生成するデータのすべてが長期的わかりやすい定義として，物理現象とディジタルデータ保存されるわけではない，もしくは長期保存すべきではなの境界部分を「エッジ」と考えるという方針がある 5）．例えいという仮定がある．利用後に保存せずに捨てるべきデー

ば，カメラで撮影した映像をネットワーク経由で送信する
場合を考える．カメラに対する入力は光の挙動であり，これは物理現象である．カメラからの出力は光の挙動をサンプリングしたディジタルデータであり，このシステムはエッジを構成すると考えられる．システムの送信したデー全体をクラウドに近い使い勝手で提供

タはメディアに記録されたり，クラウドに集積されたりす
る．データの集積場所は大元の物理現象からは地理的にも

長期保存
クラウド
App

時間的にも遠く離れており，「エッジ」とは呼びがたい．図 2のように IoT 機器やユーザ端末とクラウドとの間に複数のApp
必要最小限の通信

短期利用
エッジ

エッジ

App

App

短期利用

設備がある場合，物理現象に最も近い設備 C が「エッジ」になりうることは比較的わかりやすい．
さらに「エッジ」を拡大することもできる場合がある．先のカメラの例にカメラを遠隔制御する制御システムを追加

低遅延＊1
IoTデバイス

スマートフォン

＊App：サービスアプリケーション
図 1 エッジコンピューティングのコンセプト

インターネットプロトコルと互換性のある閉域網サービスも存在す
る．閉域網であればインターネットと違い細かなコントロールが可能である．しかし長距離通信に利用する際のコストはインターネットよ
りも高く，IoT 機器の接続においては選択しにくいと考えられる．
IoT 機器が直接接続する携帯電話網や FTTH 網も閉域網である．イン
ターネット接続では閉域網は直近のインターネットゲートウェイまでの短い区間でのみ利用する．

（43） 622

講座

データセンターのインフラ技術 第 4 回

４．エッジコンピューティングの具体例
遅延小

遅延中

エッジコンピューティングの標準化事例は複数あるが，遅延大

本稿では標準化が良く進んでおり実際に触れる機会も期待
ユ I
ー o
ザT
端機
末器

できる事例として MEC（Multi-access Edge Computing も

閉
域
網

設
備
C

閉
域
網

設
備
B

閉
域
網

設
備
A

ク
ラ
ウ
ド

しくは Mobile Edge Computing ＊ 2）を例として取り上げる．
4.1

MEC（Multi-access Edge Computing）

MEC は携帯電話網である 5G ネットワークを想定した
エッジコンピューティングの仕組みである．ETSI（欧州電エッジ

インターネット

気通信標準化機構）により標準化が行われている＊ 3．
MEC は 5G の基地局でユーザの通信を中継するだけでは

図 2 エッジの範囲

なく，クラウドで提供されているようなアプリケーション
実行環境を提供するための一連のフレームワーク，アーキ
テクチャ，API である 6）．MEC におけるアプリケーション

した場合，この制御システムも「エッジ」を構成する可能性の配置は図 3 のようになる．わかりやすいアプリケーショがある．この場合，カメラから受け取るディジタルデータ

ンとしては，動画配信サービス，地図サービス，見守りの伝送遅延が問題となる．充分に短い遅延でデータを受けサービスなどが考えられるだろう．従来すべての通信がク取れるのであれば，物理現象にリアルタイムに反応するシラウドに向かっていたところの一部を MEC アプリケー

ステムが構築できる．このシステムは実質的に物理現象にションで終端する．これにより，レスポンスの向上，クラ

接していると考えられ，「エッジ」を構成する．伝送遅延がウド側トラフィックの最適化，プライバシーを含むデータ

大きくなってくると物理現象にリアルタイムに反応するこの局在化などが実現できる．

とはできなくなり，「エッジ」とは言えなくなってくる．

基地局が全国に多数あることを考えると，地理的な条件「エッジ」の範囲は伝送遅延に関連すると言えそうである．

に合わせてサービスを最適化できる可能性もある．先に挙どの程度の伝送遅延であれば「エッジ」と呼べるのかは用途

げた地図サービスの例でいうと，特定の街に設置された基によって異なる．このため，エッジコンピューティングの地局配下のユーザはその街の地図を参照する可能性が高アーキテクチャにおいては許容できる伝送遅延を指定する

い．このことに注目して，基地局配下のユーザに限定して仕組みが組み込まれていることが多い．これにより，用途

クラウドよりも豊富なスポット情報を提供するモデルが考に合わせたエッジを定義できる．図 2 において，設備 B のえられる．これは自動運転の分野で期待されている．自動

伝送遅延が充分に短いのであれば設備 B も「エッジ」の一部

運転では，車に搭載したセンサにより鮮度の高い高精度地として利用できる．

図を生成するダイナミックマップ技術が重要であるとされ物理現象とディジタルデータ以外の視点から「エッジ」をる．ダイナミックマップを MEC で提供する場合，現在位

考えることも可能である．取り扱うデータを秘匿する必要がある場合，データの流通可能な範囲が「エッジ」の範囲を強く制限する．監視カメラで人物を検出するようなシステ
高遅延

ムを考えると，撮影した画像には高度の秘匿性が求められ，システム外には送信できない可能性が高い．外部への送信が許されるとすると，検出結果を Yes/No だけに絞るなど，

低遅延クライアントアプリケーション

MEC
アプリケーションクラウド
アプリケーション
ソフトウェア

部外者がみても意味を推測できないようなデータに限られハードウェアるだろう．図 2 において，設備 B や設備 A の伝送遅延は大
IoT機器

きい．一方で閉域網接続であり通信の秘匿や安定性は担保できる．伝送遅延が問題とならず，通信の秘匿・安定性が

ユーザ端末

基地局
アンテナ

クラウド
（データセンタ）問題なのであれば設備 B や設備 A も「エッジ」として利用できる．

図 3 MEC アーキテクチャの概略

すべての要素を列挙することはできないが，他にも「エッジ」の尺度は考えられるだろう．エッジコンピュー
ティングに触れる場合，どのような尺度を想定しているのかを明確に意識する必要がある．

623 （44）＊2

標準化の初期段階では Mobile Edge Computing と呼称されていた背景があり，いくつかの文書ではこの用語が使われている．新しい文書については Multi-access Edge Computing に統一されている．
＊ 3 5G ネットワークの仕様は 3GPP（Third Generation Partnership
Project）により標準化されているため，厳密には互いに独立した標準であるが，現時点では MEC と 5G は強く関連している．
映像情報メディア学会誌 Vol. 75, No. 5（2021）

クラウドと協調するエッジコンピューティング

置周辺については MEC に集積された鮮度・解像度の高い式が標準化されており，どのような仮想化技術が利用され地図情報が高速に提供され，遠くの街の情報についてはクていたとしても動作条件をコントロールできるよう配慮さラウドから解像度を落とした大まかな情報が提供されるとれている．このデータ形式をAppD（Application descriptor）

いうモデルが考えられる．MEC で収集したダイナミックと呼ぶ 7）8）．

マップのデータは，データの解像度を落として軽量化した

AppD には特定のハードウェア名や仮想化技術の名前が書上でインターネットに集積するようにすればシステム全体

かれるようなことはない．どのような計算リソース（CPU やの効率が向上するだろう．

メモリー）が必要なのか（virtualComputeDescriptor），どの

ダイナミックマップの例は計算量の最適化という側面かようなストレージが必要なのか（virtualStorageDescriptor），

ら捉えることもできる．車の量は膨大であり，各車によっ

どのような通信制御が必要なのか（appTrafficRule），通信て生成されるデータも膨大である．あらゆる処理をクラウ

遅延はどこまで許容できるのか（appLatency）などの抽象

ドでこなすことももちろん可能であるが，MEC を利用す的な要素を指定する．MEC システムは AppD に書かれたる場合，一部のフィルタリング処理を MEC に任せること

要件を解釈し，要件を満たすようにアプリケーションを基でクラウドのデータ量・計算量を減らすという設計もあり地局に配置する．

うる．データセンタの強力な設備を背景に持つクラウドのアプリケーションの配置先となる基地局側の機能・性能

計算能力を MEC で補うとしても効果は限定的だが，副次は仮想化されたリソースとして準備されている．基地局側的な恩恵と考えれば有益である．

の 仮 想 化 ア ー キ テ ク チ ャ は NFV（ Network Function

4.2

MEC のアーキテクチャ

Virtualization）としてやはり ESTI で標準化されている．

MEC はハードウェアの仮想化技術＊ 4 を前提とし，仮想化

大まかには，NFV の枠組みで仮想化された基地局側の提供された環境に任意のアプリケーションを分散配置するアー

リソースと，MEC の枠組みで仮想化された要求リソース

キテクチャとなっている 6）．図 4 に仮想化された環境とのマッチングを図ることでアプリケーションの配置先が決

MEC アプリケーションの関係を示す．MEC は特定の仮想化

定できる仕組みである．

技術やコンテナ技術に依存することはなく，利用する仮想提供リソースと要求リソースを比較検討して最適なアプ化技術は原則として自由である．仮想環境に対してアプリ

リケーションの実行環境を選択する機構はエッジコン

ケーションの動作に必要な要件を提示するためのデータ形

ピューティングにおいて重要である．もちろん，人間の判

MEC Applictaion（VNF）
要求リソース
・VNFD
・AppD

MEC
Applictaion
（VNF）

MEC
Applictaion（VNF）

オーケストレーション
MEC Application Orchestrator（実体はVNFの一つ）

NFVI（NFV Infrastructure）

NFVI（NFV Infrastructure）

仮想リソース・仮想CPU・仮想メモリー・仮想ネットワーク

最適な組み合わせを算出

仮想リソース・仮想CPU・仮想メモリー・仮想ネットワーク

仮想化機構

仮想化機構

ハードウェアハードウェア＊ NFV（Network Function Virtualization）：ネットワーク機能の仮想化＊VNF（Virtual Network Function）：仮想化された個々のネットワーク機能

図 4 MEC アプリケーションの配置＊4

身近な技術としては，VMware による仮想マシンや Docker によるア
プリケーションコンテナがある．

（45） 624

講座

データセンターのインフラ技術 第 4 回断により，ユーザの近隣に独立した機材を配置して個別にエッジコンピューティングに対応するために不可欠な要素

環境を構築することも可能ではある．広義ではこうした手であると分析している 10）．

法もエッジコンピューティングと考えることもできる．し（1）潜在的かつ広範に分散された複数のサイトの動的

かし，ユーザの近隣に独立したコンピューティング環境をプールをサポートする能力

構築する手法は従来からオンプレミスと呼ばれており，（2）潜在的に信頼できないネットワークコネクション

エッジコンピューティングとは異なるアーキテクチャであ（3）ネットワーク間をまたぐサイトにおいてリソース制ると考えた方が理解しやすい．

５．オーケストレーション限が解決困難となる可能性
上記のような課題が解決できれば，エッジコンピュー
ティングとクラウドコンピューティングを区別する必要も

MEC の例でみたように，エッジコンピューティングにおなくなる．ユーザの立場ではエッジコンピューティングといては要求リソースと提供リソースを付き合わせて最適ないう言葉を特別に意識することもなくなるかもしれない．

アプリケーションの配置を導き出す必要がある．この仕組みを一般にオーケストレーションと呼んでいる．オーケス

６．要求リソースを伝える難しさ

トレーションはクラウドコンピューティングのアーキテク

データセンタがエッジコンピューティングを意識した仕組

チャにも存在する要素である．エッジコンピューティング

みに変化することで，ユーザはクラウドコンピューティングのオーケストレーションを考える場合，クラウドコンと同じ感覚でエッジコンピューティングの利益を享受できる

ピューティング向けのデータセンタも考慮に入れる（もしのではないかと考えられる．既存のクラウドコンピューティ

くはクラウドコンピューティング側がエッジコンピュー

ングとの違いは，必要であれば要求リソースをより厳格に提ティングを考慮に入れる）必要がある．

示できる点にある．今まで通りの緩やかな要求リソースを提エッジコンピューティングの提供リソースはクラウドコ

示していれば，今まで通りのクラウドコンピューティングでンピューティングと比較して限られているため，要求が緩ある．追加の要求を出したとき，はじめてエッジコンピューやかなアプリケーションについては貴重なエッジコン

ティングの利用が検討されることになる．

ピューティング設備ではなくクラウド設備を優先的に使っ

ここで，要求リソースの提示がユーザにとって困難な作た方が良い．クラウド事業者の提供サービスはリソースの業となる可能性がある．必要・不要の 2 択で表現できるよ

増強を簡単に実行できるよう設計されており，何かのイベうな要求であれば比較的容易に検討できる．しかし，処理ントによる負荷上昇が予想される場合などには一時的に速度のような定量的な指標については専門知識がないと判CPU パワーを増やしたりメモリーを増やしたりというオペ断が難しい．外部の専門家に協力を求めるとしても，意思レーションも比較的容易である．一方，エッジコンピュー伝達がうまくできない可能性がある．定量的な見積もりのティングの場合，ユーザ近傍の計算資源の一つ一つに関し

曖昧さは時として大きな事故に繋がる．特にエッジコンてはクラウドほどの柔軟性は実現しにくい．クラウドのよ

ピューティングと IoT が組み合わさった場合，情報に関す

うに予備リソースを配置しても有効活用できるとは限らなる事故だけではなく，ケガなどの人的被害が生じることをいし，物理的に予備リソースを置くだけの場所がない可能も想定する必要がある．

性もある．例としてあげた MEC についても，MEC 環境でのスケールアウトはスコープ外としている 9）．

最後にエッジコンピューティングそのものからは少し外れることとなるが，ユーザの助けとなる資料として非機能

エッジコンピューティングには要求の厳しい処理だけを要求グレードを紹介したい．機能の有無だけでは表現でき担当させ，他の処理はクラウドコンピューティングが担当

ないシステムに対する要求を非機能要求と呼ぶ．非機能要すべきである．できることであれば，この処理の分割も自求は本稿で扱ってきたエッジコンピューティングの要求リ動で解決してほしいと考えると，エッジコンピューティン

ソースを包含する概念である．この非機能要求に関する意

グのオーケストレーションとクラウドコンピューティング

思伝達の難しさを軽減する取り組みとして，IPA（情報処のオーケストレーションは密に連携する必要がある．クラ理推進機構）が非機能要求グレードを規定している 11）．非ウドコンピューティングとエッジコンピューティングを同機能要求グレードの骨子は専門家でなくとも理解できる平時にオーケストレーションの対象にしようと考えた場合，易な表現で非機能要求を説明することである．一般的に必設備の提供資源の不均質さが課題となる．データセンタの要と考えられる要求事項が典型的なモデルの例とともに列場合，ある程度特性の揃った均質な計算機群を用意できる．

挙してあるため，検討漏れを防ぐ効果もある．

対してエッジコンピューティングは特性が異なるエッジを例として，システムの可用性はデータセンタ設備で提供使い分ける必要がある．この違いに対処する必要がある．

するクラウドコンピューティングとエッジコンピューティ

例として，クラウドコンピューティング向けのソフト

ングでは異なってくると考えられる．非機能要求グレード

ウェアスタックを提供する OpenStack の場合，以下の点がを参照すると，可用性を説明するための項目がいくつか挙

625 （46）

映像情報メディア学会誌 Vol. 75, No. 5（2021）

クラウドと協調するエッジコンピューティング

げられている．一つを取り出してみると，「システムの稼機能要求について紙面を割いた．今後エッジコンピュー

働時間や停止運用に関する情報」とある．内容は，ティングに出会った際には，それで何ができるのか？ では［レベル 0］規定なし

なく，どれだけ上手にできるのか？ という観点から既存の［レベル 1］定時内（9:00 〜 17:00）

システムとの違いを考えていただければ幸いである．
（2021 年 6 月 28 日受付）

［レベル 2］夜間のみ停止（9:00 〜 21:00）［レベル 3］1 時間程度の停止あり（9:00 〜翌 8:00 内）〔文献〕［レベル 4］若干の停止あり（9:00 〜翌 8:55）［レベル 5］24 時間無停止という大まかなレベルで示されている．充分に平易な表現である．こうした平易な表現をもとに専門家との意思伝達を図ればエッジコンピューティングが必要なのか，クラウ
ドコンピューティングが必要なのかをより的確に判断できるだろう．この非機能要求グレードそのものはエッジコン
ピューティングやクラウドコンピューティングを意識したものではなく，最適なツールとは言えない．しかし，将来的にはエッジコンピューティング周辺においても平易な語
彙も同様に蓄積され，専門的な知識は必ずしも必要なくなっていくと考えられる．

７．むすび2010 年代から注目されはじめたエッジコンピューティン
グについて，背景，具体例を挙げて概観してきた．
エッジコンピューティングに関して常に問われるのは，「クラウドではだめなのか？」である．単純に理屈上の効率性からすれば，より多くの計算機をよりユーザに近い場所に分散配置できるエッジコンピューティングが高効率になりうるのは明白である．しかし，エッジコンピューティン

1）総務省： 令和二年版情報通信白書 ，総務省，p.76（2020）
2）A. Al-Fuqaha, M. Guizani, M. Mohammadi, M. Aledhari, M. Ayyash:"Internet of Things: A survey on enabling technologies, protocols
and applications", IEEE, IEEE Communications Surveys & Tutorials,
17, 4, pp.2364-2366 (2015)3）F. Bonomi, R. Milito, J. Zhu, S. Addepalli: "Fog computing and its rolein the internet of things", ACM SIGCOMM, MCC '12: Proceedings ofthe first edition of the MCC workshop on Mobile cloud computing(2012)
4）S. Parikh, D. Dave, R. Patel, N. Doshi: "Security and Privacy Issues inCloud, Fog and Edge Computing", Elsevier BV, Procedia Computer
Science, 160 (2019)5）IIC: "The Industrial Internet of Things Distributed Computing in theEdge", Industrial Internet Consortium (IIC), p. 6 (2020)
6）ETSI: "Multi-access Edge Computing (MEC); Framework andReference Architecture", ETSI (2019)
7）ETSI: "Multi-access Edge Computing (MEC); MEC Management;
Part 2: Application lifecycle, rules and requirements management",
ETSI, p.29 (2019)8）ETSI: "Network Functions Virtualization (NFV) Release 3;
Management and Orchestration; VNF Descriptor and Packaging
Specification", ETSI, p.24 (2019)9）ETSI: "Mobile Edge Computing (MEC); Deloyment of Mobile Edge
Computing in an NFV environment", ETSI, p.25 (2018)10）
OpenStack Foundation: "Cloud Edge Computing: Beyond the Data
Center", OpenStack Foundation, p.3 (2018)
11）
IPA ： 非機能要求グレード 2018 システム基盤の非機能要求に関するグレード表 ，IPA（2018）

グ環境におけるオーケストレーションは複雑になりがちで，その複雑さのもたらすコストがメリットに見合うのかどうかは決して明白ではない．
本稿はクラウドではだめなのか？ という問いを常に頭におきながら，クラウドとエッジの違いがどこにあるのかを解説してきた．最後に，やや脱線気味ではあるものの，非

すえなが

ひ ろ き

末永

洋樹

2000 年，日本大学理工学部電気工学科卒業．2003 年，北陸科学技術大学院大学中退．同年
より，（株）インターネットイニシアティブにて小規模
オフィス向けのルータ開発に従事する．2016 年より，
フォグコンピューティングおよびエッジコンピュー
ティングの研究開発に従事．

（47） 626

講座 データセンターのインフラ技術〔第 5 回〕

GPU によるアクセラレーテッド
コンピューティング
佐々木 邦 暢†１．まえがきアクセラレーテッドコンピューティングとは，コンピュータの主たる演算装置である CPU（Central Processingては数千万以上となる．また，陰影処理では，画面のすべてのピクセルについて表示する色を計算する必要がある．
ピクセル数は Full-HD 解像度なら 200 万，4K なら 800 万ピ
クセルに及ぶ．

Unit）に加えて，GPU（Graphics Processing Unit）や FPGA

数千万の頂点座標に対する座標変換と，数百万のピクセ（Field Programmable Gate Array）等のデバイスを利用しル毎の陰影計算は，非常に負荷の高い演算である上に，て CPU の処理を肩代わりさせ，システムを高速化することユーザの操作などに応じてリアルタイムに表示内容を変化を指す．その用途として，以下のようなものが挙げられる

させる必要のある 3D グラフィックスの表示においては，こ（1）HPC（High Performance Computing）や AI（Artificial

れらの演算にかけられる時間は限られている．動きが滑らIntelligence）・機械学習処理の高速化

かに見えるためには，少なくとも毎秒 30 回，VR（Virtual（2）ストレージの圧縮・重複排除

Reality）コンテンツではいわゆる「VR 酔い」を避けるために（3）ネットワークの暗号化・複合化

最低でも 60 回程度の画面書き換えが要求されるためだ．

本稿では，この中でも HPC や機械学習処理の高速化におしたがって，3D グラフィックスの処理には高い演算能力

いて重要な要素となった GPU によるアクセラレーテッドコが必要となるが，これを CPU のみで行うことは難しい．そンピューティング（以下，GPU コンピューティング）の状のために，グラフィックス関連の演算を CPU に代わって処況と，それを支える技術について歴史を簡単に振り返り，理する GPU が発展してきた．

最新の状況をお伝えする．

２．GPU の特性，CPU との違い
2.1

GPU とはコンピュータの性能向上に伴って高精細な 3D グラフィッ
クスを高速に描画することが可能となり，ビデオゲームや

2.2

CPU と GPUCPU ではさまざまな種類のアプリケーションが実行されるため，特定の処理だけに特化するわけにはいかない．しかし，GPU はグラフィックス処理に特化することができる
ために，CPU のような汎用性を追求する必要はない．そのため CPU と GPU は大きく異なる特性を持つ．

映画のようなエンタテインメントから，自動運転車の仮想

3D グラフィックスの処理に必要な前述の座標変換処理は空間上での走行試験といった産業用途まで，さまざまな用

頂点座標毎に独立しており，また陰影計算は画面のピクセ

途で活用が進んでいる．

ル毎に独立している．したがって，これらは並列に処理すこのような 3D グラフィックスでは，画面に表示される人ることができる．そのため，GPU は並列演算性能を高める

や建物，自動車などのオブジェクトを 3 次元のモデルで表ことに注力している．CPU はシングルスレッド性能を高め現する．モデルは小さな平面のパネルを組み合わせて構築るためのアウトオブオーダ実行や分岐予測といった機能をされ，その頂点座標群に対して，移動や回転などの座標変備えるが，GPU はこれらを持たず，その分，多くの演算器

換（Transpose）や，光源に応じた陰影計算（Lighting）が適を搭載することにリソースを割き，高い演算性能を獲得し用されることで，2 次元のディスプレイに表示される画像ている．

ができあがる．

例として，2020 年にリリースされたデータセンタ向け

高精細な画像を得るためには多数のパネルからなる精緻CPU（Intel Xeon Platinum 8380 H）と GPU（NVIDIA A100）なモデルが必要で，それを構成する頂点の数は場合によっの倍精度（64-bit）演算性能を比較すると，CPU の 1.79
TFLOPS に対し，GPU は 19.5 TFLOPS であり，10 倍強の†エヌビディア合同会社"Infrastructure Technology for Datacenters (5); GPU Accelerated
Computing" by Kuninobu Sasaki (NVIDIA Japan, Tokyo)
映像情報メディア学会誌 Vol. 75, No. 6, pp. 769 〜 774（2021）

差がある．
GPU がこの高い演算性能を効果的に発揮するのは，同じ（79） 769

講座

データセンターのインフラ技術 第 5 回命令を多数のスレッドで並列実行するタイプの処理で，同時に実行可能なスレッド数は，CPU の場合は数十だが，GPU ではこれが数千レベルとなる．
また，多数の演算器を生かすためには大量のデータを供給し続ける必要があり，そのために高帯域幅のメモリーを搭載するのも GPU の特徴である．最新の NVIDIA A100 GPU
はHBM2eメモリーにより2 TB/sを超える帯域幅を持つ．

３．GPU コンピューティングの歴史
前述の通り，GPU はグラフィックス描画のために並列演

図 1 GeForce 8800

算性能を進化させてきた．ここで少しその歴史を振り返りながら，画面描画に特化したデバイスが汎用的なアクセラ
レータに進化した過程を見てみたい．

Unified Device Architecture ：クーダ）」により，開発者が3.1 ハードウェア T&L（Transpose and Lighting）の実現

慣れ親しんだ C 言語に近い形で，GPU 上での汎用計算を記

GPU の歴史は古く，1970 年代のグラフィックスコント

述できるようになった．これにより，グラフィックス処理

ローラまで遡ることができるが，「GPU」という名称が初めの枠を超えた，本格的な GPU コンピューティングの時代がて使われたのは，1999 年に発売されたエヌビディアの始まり，翌 2007 年には，G80 を搭載したデータセンタ向け

GeForce 256 である．これは，座標変換（Transpose）およ

製品「Tesla」も登場した．

び陰影計算（Lighting）処理とレンダリングの機能を 1 チッ

また，2008 年には GPU に限らずさまざまなデバイスをサプに収めた初めての製品で，NVIDIA はこれを GPU

ポートすることを目指した，クロスプラットフォームの並（Graphics Processing Unit）と命名した．現在まで続く

列コンピューティング API である OpenCL（Open Compute

GeForce 製品はここから始まる．
3.2

プログラマブル GPU

2001 年に登場した GeForce 3 は，初の「プログラマブル
GPU」であった．これは頂点座標の変換を行うバーテックス

Language）の最初の仕様も発表され，AMD やエヌビディ
アもこれに対応している．

４．スーパーコンピュータと GPU

シェーダや，ピクセル単位での陰影計算を担うピクセル

GPU の高い並列演算性能は，高性能計算（HPC）の世界

シェーダの機能を自由にプログラムできる「プログラマブル

でその実力を示すことになる．ここでは，半年ごと（6 月とシェーダ」を搭載したもので，汎用的なGPUコンピューティ

11 月）に更新されるスーパーコンピュータの世界ランキン

ングに繋がる重要な進化であった．Microsoftの初代Xboxにグ TOP500 および Green500 に着目して，GPU コンピューは，このGeForce 3のカスタム版が搭載されていた．

ティングの進化を見てみたい．

プログラマブルシェーダによって GPU の処理に自由度がGPU で高速化されたスーパーコンピュータが初めて生まれると，この非常に高い並列演算性能を，グラフィッ

TOP500 リストに登場したのは，2008 年 11 月のことである．

クス以外の用途にも活用できないかという考えが当然出て東京工業大学の TSUBAME が Tesla S1070 を 170 台搭載し，くる．その初期には，シェーダ記述言語の Cg や GLSL

29 位にランクインした．Tesla S1070 は，G80 の進化型で（ OpenGL Shading Language）， HLSL（ High Level

ある GT200 チップを搭載した 1U ラックマウント型の GPU

Shading Language）を利用した演算も行われた．計算したユニットであった．

いデータをテクスチャに見立てて GPU へ転送し，ピクセル

2009 年，エヌビディアは「Fermi」と呼ぶ新たな GPU

シェーダで計算するといった手法である．しかし，シェー

アーキテクチャを発表する．Fermi 世代の Tesla は，HPC

ダ記述言語はあくまでグラフィックス処理を目的としておで重要な倍精度浮動小数点演算の性能が大幅に強化されり，汎用計算目的に使いやすいものではなかった．

た．その結果，2010 年 11 月の TOP500 リストでは，Tesla

3.3

ユニファイドシェーダと CUDA の登場

M2050 を搭載した中国の Tianhe-1 A が GPU スパコンとし2006年，エヌビディアは新たな世代のGPUチップ「G80」とて初めて首位を獲得．また，東工大の TSUBAME 2.0 はそれを搭載した製品である GeForce 8800 を発表した（図 1）．

ノード毎に 3 基，全体で 4,224 基の Tesla M2050 を搭載し，G80 ではバーテックスシェーダとピクセルシェーダをまとTOP500 リストの 4 位という世界トップクラスのスーパー

めた「統合シェーダ」アーキテクチャが採用されており，処コンピュータとなった．

理の自由度がさらに高まった．

その後，2012 年 11 月には Fermi の後を継いだ Kepler

また，G80 と同時に発表された，GPU コンピューティン

アーキテクチャによる Tesla K20X GPU を 18,688 基搭載しグ の た め の プ ロ グ ラ ミ ン グ モ デ ル「 C U D A（ C o m p u t e

た米国エネルギー省オークリッジ国立研究所（ORNL）の770 （80）

映像情報メディア学会誌 Vol. 75, No. 6（2021）

GPU によるアクセラレーテッドコンピューティング

５．AI ・ディープラーニングへの活用
5.1

GPU とディープラーニング

前章で紹介したスーパーコンピュータの領域に限らず，
現在 GPU コンピューティングは大きな広がりを見せているが，その原動力となっているのは，やはりディープラーニ
ング（深層学習）での活用である．
GPU を活用したディープラーニングが実績を出し始めたのは 10 年ほど前になる．
例えば，2011 年の Seide3）では，GPU を使ったディープ
図 2 Summit

ラーニングで音声のテキスト変換（speech-to-text）の精度を高めたことが報告されている．
また，ディープラーニングを一躍有名にした出来事の一つ

Titan が首位を獲得．Titan を含め 50 システムが NVIDIAに，2012 年の ImageNet Large Scale Visual Recognition

GPU を搭載しており，全体の 10%が GPU スパコンとなっ

Challenge（ILSVRC）でトロント大学の Supervision チーム

た（余談だが，TITAN V や TITAN RTX といった GPU 製が圧勝した事例があるが，彼らの作成した AlexNet という品の名称は，この Titan スーパーコンピュータに由来する）．

モデルは，文献 4）に次のようにあるとおり，GeForce GTX
580 を 2 基使用してトレーニングされた．

2018 年 6 月には 27,648 基の Tesla V100 GPU を搭載した
ORNL の Summit（図 2）が 1 位に，これによってアメリカは

Our network takes between five and six days to train

4 年半年ぶりに TOP500 の首位を中国から奪還し，Summit

on two GTX 580 3 GB GPUs.

は 2020 年 6 月に日本の「富岳」が登場するまで，その座を維では，なぜ GPU はディープラーニングの高速化に有用なのだろうか？

持した．
本稿執筆時点における最新版である 2021 年 6 月のリスト

画像分類用の畳み込みニューラルネットワークを例に取では，TOP5001）の全 500 システム中 140 システム，上位 10

ると，典型的には前段の畳み込み層で画像の特徴を抽出し，システムに絞ると過半数の 6 システムが GPU を搭載してい後段の全結合層でそれを分類する．前述の AlexNet（図 3）る．また，電力性能比（消費電力 1 W あたりの演算性能）のは，5 段の畳み込み層と，3 段の全結合層を持つ．

ランキングである Green5002）では，上位 10 システム中，実畳み込み層，全結合層ともに，入力ベクトル（をまとめに 9 システムが GPU を搭載している．なお，GPU を搭載した行列）に対してパラメータ行列をかける行列積の演算をていない 1 システムは日本の Preferred Networks による大量に行うことになる．これは，頂点座標に変換行列をか

MN-3 で，これは独自開発の MN-Core というアクセラレー

けるといった GPU 本来の処理に類似した，GPU が最も得タを搭載して Green500 の首位を獲得した．

意とするタイプの演算であり，GPU の高い並列演算性能が遺憾なく発揮されることとなった．

CPU のシングルスレッド性能の向上が伸び悩む現在，アクセラレーテッドコンピューティングは高い演算性能・電5.2

力性能比を実現するために欠かせない技術となっている．

AlexNet は 8 層のニューラルネットワークであったが，

3
3

5
11
11

27

55

128

5
5

Max
pooling

Stride
of 4
3

128

192

3
3

13

Max
pooling

2048

128
3

13

13

3
3

55

224

3
3

27
11
11

3
3

192

48

224

3
3

3

5

複雑化するディープラーニングモデル

2048

dense

13
3
13

13

192

192

dense
128 Max
pooling

dense
1000
2048

2048

48
図 3 AlexNet の層構成

（81） 771

講座

データセンターのインフラ技術 第 5 回

じトレーニングを 15 分で完了させた．MN-1 はノードあた

Petaflop/s-days
1e ＋4

り 8 基の Tesla P100 を搭載し，ノード間を FDR InfiniBand

1e ＋3

Neural MachineTranslation

AlphaGoZeroで接続した構成で，2017 年 11 月の TOP500 リストの 91 位にランクインしている．

1e ＋2
1e ＋1

Neural Architecture
AlphaZero
SearchDeepSpeech2
Xception

Google等が記録を更新し，2019年3月には富士通が産総研のT17 Dota 1v1

スーパーコンピュータ AI Bridging Cloud Infrastructure

Visualizing andUnderstanding Conv
Nets
VGG

1e ＋0
1e −1

（ABCI） で 1.2 分の記録を樹立している．この時の ABCI

Seq2Seq ResNets

1e −2 AlexNet

は，1,088 ノードで合計 4,352 基の Tesla V100 GPU を備え

GoogleNet
Dropout
3.4-month doubling
1e −4
1e −3

ていた．現在は，最新の NVIDIA A100 GPU を搭載する「計算ノード（A）」も加わって ABCI 2.0 にアップグレー

DQN

1e −5
2012

2013

2014

この「ResNet-50 チャレンジ」はその後も Tencent, SONY,

2015

2016

2017

2018

ドされ，依然として日本最大の GPU スーパーコンピュータである．

図 4 複雑化するディープラーニングモデル

5.3.2

ゴードン・ベル賞

ゴードン・ベル賞は，HPC 分野で顕著な功績を挙げた研究に対し，アメリカ計算機学会（ACM: Association for
その後のディープラーニングの研究進展によって，モデル

Computing Machinery）から授与される賞である．ここ数は急速に大規模化する．一例として，AlexNet の 3 年後，年は，ディープラーニングを大規模に活用した研究が受賞

2015 年の ILSVRC で首位に輝いた Microsoft Research のするケースも目立ってきた．

ResNet5）は 152 層の複雑な構造を持っていた．

2018 年には当時 TOP500 ランク 1 位だった GPU スーパー

ここ数年は特に，自然言語理解（NLU）関連でモデルの複コンピュータである米国の Summit と，同じく 5 位であっ雑化が著しい．モデルのパラメータ数（トレーニング時にたスイスの Piz Daint を使い，気象画像の分析にディープ調節する必要のある重みの数）に着目すると，2012 年のラーニング（画像のセグメンテーション）を適用した研究 10）

AlexNet が 6,000 万パラメータだったのに対し，2018 年にが受賞している．

登場し，多くの NLU タスクでそれまでの最高スコアを更昨年（2020 年）は．米国とアメリカの研究者を中心とした

新した BERT6）の LARGE 版は 3.4 億，2019 年に公開され，研究 11）が受賞した．これは，分子動力学の計算にディープ生成される文章の品質が高いことで悪用も懸念されると話

ラ ー ニ ン グ を 活 用 す る「 深 層 ポ テ ン シ ャ ル 分 子 動 力 学

題になった GPT-2 7）が 15 億，GPT-2 をさらに発展させ 2020

（DPMD : Deep Potential Molecular Dynamics）」の例で，年に公開された GPT-3 8）に至っては 1,750 億のパラメータを

前述の Summit スーパーコンピュータの 4,560 ノードを使っ持つ．

て大規模実行することで，第一原理分子動力学法と同等のまた，OpenAI のブログ記事 AI and Compute9）によ

精度で，1 億原子規模の計算を可能にしたものである．

れば，2012 年の AlexNet から 2018 年の AlphaGo Zero まで

5.3.3の間に，計算負荷は 30 万倍に増加している（図 4）．

大規模なディープラーニング向けインフラの例として，

5.3

大規模ディープラーニングインフラと分散学習

エヌビディア社内の GPU クラスタ

エヌビディア社内の例を紹介したい．

このような流れの中で生まれてきたのが，複数の GPU，

エヌビディアは 2016 年，新たな Pascal アーキテクチャに複数の計算機を束ねたクラスタ環境でディープラーニング

基づく Tesla P100 GPU と，それを 8 基搭載した「DGX-1」

モデルをトレーニングする分散学習という手法である．

というサーバ機を発表した．DGX-1 は社内にも多数導入さ「機械学習の HPC 化」とも言えよう．ここで，いくつか例

れ，2016 年 11 月の TOP500 リストには DGX-1 の 125 ノードを示す．

クラスタである DGX SATURNV12）がランクインした（「サ5.3.1

ResNet-50 チャレンジ2017 年 6 月に Facebook の研究チームが Tesla P100 GPU

ターンファイブ」という名称は，アポロ計画で人類を月へ運んだサターン 5 型ロケットから）．

を 256 基（ノードあたり 8 基の 32 ノードクラスタ）使い，

その後も SATURNV は成長を続け，2018 年に登場した，

ResNet-50 のトレーニングを 1 時間で完了させたのは一つ

Tesla V100 GPU を 16 基搭載する DGX-2, 2020 年には，の大きな出来事であった．この「ResNet-50 を ILSVRC2012

NVIDIA A100 GPU を 8 基搭載する DGX A100 といった

データセットで 90 エポック，精度 75%」が一つの基準とな

DGX シリーズの後継機が追加されることで，現在は総計

り，以後次々に記録が塗り替えられていくことになる．

2,000 ノードを超える大規模 GPU サーバ群となっている．

2017 年の 11 月には Preferred Networks が Tesla P100 を

SATURNV は社内のさまざまなチームが製品開発に利用

1,024 基搭載する自社のスーパーコンピュータ MN-1 で同しているほか，その運用管理から得られたノウハウを元に772 （82）

映像情報メディア学会誌 Vol. 75, No. 6（2021）

GPU によるアクセラレーテッドコンピューティング

DGX SuperPOD というリファレンスアーキテクチャを公入された．Tensor コアは FP16 を入力とし，4 × 4 行列の積開．これは，20 ノードの「スケーラブルユニット（SU）」を和演算に相当する 128 演算を 1 サイクルで実行する能力を持単位としてモジュール方式でクラスタを拡張可能なアーキ

つ．これにより Tensor コアを搭載する NVIDIA V100 GPU

テクチャで，ストレージやネットワーク装置の構成も定義の FP16 理論演算性能は 125 TFLOPS に達し，前世代のされている．顧客はこれに基づき DGX の性能を引き出す

TeslaP100のFP16性能21.2 TFLOPSの6 倍弱に向上した．

クラスタを自社に構築可能である．
5.4
5.4.1

混合精度演算ディープラーニングと数値の精度

2020年に登場した最新のNVIDIA Ampereアーキテクチャ
では，Tensorコアがさらに強化され，TF32（TensorFloat 32）という新しい数値型をサポートした．これは，FP32 の仮

前述の分散学習は，複数の GPU を使うことで大規模なモ

数部を 10 ビットに短縮した 19 ビットの内部表現を使い，デルを高速にトレーニングすることを可能にする手法でTensor コアによる高速な演算を可能にするという機能でああった．これとは別に，近年注目されているのが，演算にる．TF32 は Tensor コア内部でのみ利用され，入力と出力

使用する数値の精度（ビット数）をディープラーニング向けは一般的な FP32 であるため，Tensor コアに対応していなに最適化する，「混合精度演算」である．

い従来型のプログラムを，修正せずにそのまま高速化でき

GPU の「本来の」用途であるグラフィック向けの演算では，座標などの数値は 32 ビット幅の浮動小数点数で表現される．これを単精度浮動小数点数，あるいは単に FP32 と呼ぶ．

る利点がある．

６．クラウドコンピューティングと GPU
ここまで紹介したとおり，GPU コンピューティングの用

一方，HPC 向けにはより広い範囲を細かく表現できる，

途が当初の科学技術計算から，AI の発展を支える機械学習

64 ビット幅の倍精度浮動小数点数（FP64）が必要となる．

領域へと広がってきたことで，GPU インフラの需要がさら

エヌビディアが Fermi 世代の GPU でこの倍精度演算を強化に高まっている．この状況を踏まえ，大規模なデータセンしたことで GPU コンピューティングが本格化したのはすでタで大量のサーバを運用することに熟達したクラウドサーに述べたとおりである．

ビスプロバイダ各社から，さまざまなタイプの GPU リソー

しかしながら，ニューラルネットワークの重みパラメースが提供されている．ここではその一部を紹介する．

タ等は，倍精度を必要としないため，AI ・機械学習領域で6.1の GPU 利用は FP32 を中心に始まり，近年はさらに小さな各社の最も基本的かつ汎用的なサービスが，GPU を搭載

数値型で演算を行うようになっている．

GPU IaaSしたサーバ（仮想マシンが中心だが，仮想化されていない

InterSpeech 2014でのMicrosoft Researchによる発表 14）でベアメタルサーバを提供するクラウドもある）を従量課金

は，データ並列の分散 SGD（Stochastic Gradient Descent ：で利用できる IaaS（Infrastructure as a Service）である．

確率的勾配降下法）において GPU 間でやりとりされる勾

Amazon Web Services（AWS）の EC2，Microsoft Azure

配を 1 ビットで表現する方式を提案し，これは Microsoft のの Azure Virtual Machines, Google Cloud の Compute

ディープラーニングフレームワークである Microsoft

Engine といったサービスがこれにあたる．

Cognitive Toolkit に 1-bit SGD として実装された．2015 年

最初に GPU インスタンスを提供したのは AWS で，2010の IBM による発表 15）では，半精度の固定小数点数での演

年に CG1 インスタンスをリリースしている．これは，算で精度の低下なくトレーニングを高速化できることが示

Fermi 世代のデータセンタ向け GPU である Tesla M2050 をされ，2017 年の大山らによる論文 16）では，fp8 でのトレー搭載したもので，Tianhe-1 A や TSUBAME 2.0 といった世

ニングについて述べられている．

界有数のスーパーコンピュータと同じ GPU をクラウドで利

5.4.2

ハードウェア側の対応用することができた．

このように，ディープラーニングの演算には，従来から

その後，Kepler 世代の Tesla K80，Pascal 世代の Teslaの FP32 と，よりビット数の少ない数値型を合わせて使う

P100，Volta 世代の V100，Turing 世代の T4，Ampere 世

混合精度演算 17）が一般化しつつあり，GPU 等のハード

代の A100 と，GPU の進化とともに，各社の GPU インスタ

ウェア側でもその対応が進んでいる．

ンスもその種類を増している．比較的新しい Volta 世代以Google が 2017 年に発表した第 2 世代の TPU（Cloud

降の GPU に関して，提供状態を表 1 に示す．

Tensor Processing Unit）18）は，独自の 16 ビット浮動小数

これらクラウド各社の GPU インスタンスを利用して，実点数である bfloat16 に対応した．これは，後に AMD, Arm,

際にどの程度の規模のシステムを構築できるのか，具体的Intel 等のプロセッサでもサポートされることとなった．

な情報は公開されていないが，最新のスーパーコンピュー

同じく 2017 年にエヌビディアが発表した Volta アーキテク

タTOP500リスト（2021年6月）には，Microsoft AzureのND

チャ GPU では，ディープラーニングの学習および推論

A100 v4 インスタンスによって構築されたクラスタが 4 シス

フェーズにフォーカスした新たな演算器「Tensor コア」が導テム，26 〜 29 位にランクインしている 19）．ND A100 v4 は，（83） 773

講座

データセンターのインフラ技術 第 5 回コンピュータやクラウド環境での大規模な利用例等につい表 1 クラウド各社の GPU インスタンス提供状態
Volta

TuringAmpere

V100

T4

A100

AWS

○

○

○

Microsoft Azure

○

○

○

Google Cloud

○

○

○

Oracle Cloud○

IBM Cloud○Alibaba Cloud○○

Tencent Cloud○○

Baidu Cloud○○

GPUによるアクセラレーテッドコンピューティングについて，ささやかながら有用な情報となっていれば幸いである．
（2021 年 9 月 1 日受付）○○

最新の NVIDIA A100 GPU をノードあたり 8 基搭載し，ノード間は低遅延，広帯域の InfiniBand HDR で接続されている．公開されているコア数から逆算すると，ノード数は 164 となり，少なくともこのサイズのクラスタはクラウドで構成することができるとわかる．
なお，IaaS のサービスでは，各社が GPU 対応のマシンイ
メージ（マシンの雛形）を提供していることが多い，例えば
AWS の Deep Learning AMI や，Microsoft Azure の Data
Science Virtual Machine 等である．また，エヌビディアも各クラウド向けに，GPU ドライバや，CUDA Toolkit,
NVIDIA Container Toolkit といったよく利用されるソフト
ウェアをインストール済みのマシンイメージを提供している 20）．これらのイメージを利用することで，GPU インスタ
ンスのセットアップに煩わされることなく，本質的な作業に素早く取りかかることができる．
6.2てお伝えした．

マネージド Kubernetes

コンテナベースのワークロードをある程度大規模な（複数台のサーバが稼働する）環境で実行する場合，コンテナ
オーケストレーションツールである Kubernetes21）が一般的になってきた．Kubernetes は，それ自体の構築・運用にある程度のノウハウが必要になるが，クラウド各社が提供するマネージド Kubernetes サービスを利用することで，Kubernetes クラスタの構築部分をサービスに任せ，利用の敷居を下げることができる．
AWS の EKS, Azure の AKS, Google Cloud の GKE,
Oracle Cloud の OKE といったサービスでは，GPU インス
タンスの利用にも対応しており，コンテナベースの GPU
ワークロードを容易に Kubernetes 上で利用することが可能になっている．

〔文献〕

1）TOP500, https://top500.org/
2）Green500, https://www.top500.org/lists/green500/3）Seide, Frank, G. Li and D. Yu: "Conversational speech transcription
using context-dependent deep neural networks", Twelfth annual
conference of the international speech communication association (2011)4）Krizhevsky, Alex, I. Sutskever and G.E. Hinton: "Imagenet
classification with deep convolutional neural networks", Advances inneural information processing systems 25, pp.1097-1105 (2012)5）He, Kaiming, et al: "Deep residual learning for image recognition",
Proceedings of the IEEE conference on computer vision and patternrecognition (2016)6）Devlin, Jacob, et al: "Bert: Pre-training of deep bidirectionaltransformers for language understanding", arXiv preprint
arXiv:1810.04805 (2018)
7）GPT-2: 1.5B Release, https://openai.com/blog/gpt-2-1-5b-release/8）Brown, B. Tom, et al: "Language models are few-shot learners",
arXiv preprint arXiv:2005.14165 (2020)9）"AI and Compute", https://openai.com/blog/ai-and-compute/
10）
Kurth, Thorsten, et al: "Exascale deep learning for climate analytics",
SC18: International Conference for High Performance Computing,
Networking, Storage and Analysis. IEEE (2018)11）
Jia, Weile, et al: "Pushing the limit of molecular dynamics with abinitio accuracy to 100 million atoms with machine learning", SC20:International Conference for High Performance Computing,
Networking, Storage and Analysis. IEEE (2020)
12）
DGX SATURN V, https://www.top500.org/system/178928/
13）
BFloat16: the secret to high performance on Cloud TPUs, https://cloud.google.com/blog/products/ai-machine-learning/bfloat16-thesecret-to-high-performance-on-cloud-tpus
14）
Seide, Frank, et al: "1-bit stochastic gradient descent and its
application to data-parallel distributed training of speech dnns",
Fifteenth Annual Conference of the International SpeechCommunication Association (2014)15）
Gupta, Suyog, et al: "Deep learning with limited numerical precision",International conference on machine learning. PMLR (2015)16）
大山洋介，野村哲弘，佐藤育郎，松岡聡： ディープラーニングの
データ並列学習における少精度浮動小数点数を用いた通信量の削減 ，情処学研究報告，2017-HPC-158，30，pp.1-10（2017）17）
Micikevicius, Paulius, et al: "Mixed precision training", arXiv preprint
arXiv:1710.03740 (2017)18）
Cloud Tensor Processing Unit (TPU), https://cloud.google.com/tpu/
docs/tpus
19）
PIONEER-EUS - NDV4 CLUSTER, https://www.top500.org/system/179969/
20）
Using NGC on Public Clouds, https://docs.nvidia.com/ngc/ngcdeploy-public-cloud/index.html
21）
Kubernetes, https://kubernetes.io/ささ

き くにのぶ

佐々木邦暢

７．むすび
本稿では，GPU の発展を振り返り，グラフィックスの描画を高速化するデバイスが，HPC や AI 分野に欠かすことのできない演算アクセラレータとなった経緯と，スーパー

774 （84）

1998 年，東海大学工学部動力機械工学科卒業．日本マイクロソフト（株）でクラウド・
HPC 関連のコンサルティングを担当中，東工大
TSUBAME 2.0 構築案件で GPU コンピューティングに出会う．2016 年より，エヌビディア（同）．データセン
ター向け GPU サーバやコンテナ技術などインフラ領域のプリセールスエンジニアとして活動中．

映像情報メディア学会誌 Vol. 75, No. 6（2021）

講座 データセンターのインフラ技術〔最終回〕

データセンター
スケールコンピューティング野田真†

１．まえがき
現在，第三次 AI（Artificial Intelligence）ブームの真っ只２．データセンタースケールコンピューティン
グとは中で，世の中の幅広い産業がその恩恵を受けている．身近

データセンターのアーキテクチャは，初期の物理サーバなところでは，多くの人々が日々お使いになる検索エンジをベースにした静的なシステム，そして次に仮想化されたンや推薦エンジンの最適化，クレジットカード決済時の不動的なシステム，現在では，ストレージなどのリソースを，正利用の検知，各家庭での生活を便利にしてくれるスマーサーバから分離した上，抽象化して利用する動的かつコン

トスピーカをはじめとするスマート家電，さらには医療機

ポーザブルなシステムへと進化している．また，このよう関における画像診断のサポートなど，枚挙に暇がない．さなシステム上で稼働するワークロードのメインストリーム

らに今後は，自動車の完全自動運転，生産現場の産業用ロも，旧来のウェブやメールなどのシンプルなクライアント

ボットのリアルタイム制御，日常会話中の即時通訳，難病

サーバ型のワークロードから，現代社会での利活用が進む

治療に対するより効率的な創薬など，さらなる発展が期待

AI を支えるためのワークロードへ変遷している．この変遷されている．これらを支えるのは AI の中でも，主に深層学の裏には，1990 年台からのインターネットの進展によって

習（ディープラーニング）が中心である．深層学習は，人間

アクセスが可能となった，かつてない量と質のビッグデーの脳の神経系を模したニューロンの層を重ねて，多層で複タ，人工知能に携わる研究者達の絶え間ない研鑽によるア

雑なニューラルネットワークを構成することで，表現力とル ゴ リ ズ ム や モ デ ル の 改 良 ， そ し て G P U（ G r a p h i c s

学習力を高めたモデルを実現できる機械学習の一手法だ．

Processing Unit）などのハードウェアの進化に起因する，

ただ，前述したような多岐にわたる恩恵をもたらす可能性

ムーアの法則を超越した高速演算が可能となったことで，を秘めた深層学習であるが，高度な問題設定に対する，よAI が一気に発展したという背景がある．結果として，深層り精度の高い推論を行うべく，日々そのモデルが複雑化・学習を中心とする AI の学習および推論が，昨今のデータセ巨大化しているのが現状だ．例えば，最近の文章生成言語

ンターワークロードのメインストリームの一部となった．

モデルとして非常に有名な GPT-3（Generative Pretrained

ただし，これらのワークロードは，超膨大なデータ量と複Transformer 3）は，約 1,750 億個ものパラメータを持ち，雑で巨大なモデルの上に成り立つものであり（図 1），デー

一般的なデータセンタークラスサーバ単体の演算能力でうに，今後ますます複雑化・巨大化が想定される深層学習

175
Zettabytes

を含む機械学習のモデルに対応していくためには，従来からのサーバを一つの単位としてコンピューティングを考える「サーバスケール」のアーキテクチャではなく，データセ

58
Zettabytes

ンターそのものを一つのコンピューティングの単位と捉える「データセンタースケールコンピューティング」が不可欠となる．本講座では，このデータセンタースケールコン
ピューティングについて，アーキテクチャや構成要素とその詳細，実現例や今後の方向性を解説する．
†エヌビディア
"Infrastructure Technology for Datacenters (final study); Data Center
Scale Computing" by Makoto Noda (NVIDIA, Tokyo)

70 （70）

2010

2015

2020

2025

#Parameters（Log scale）

は，モデルの学習に途方もない時間を要する．この例のよGPT-3
175 BnTuring-NLG
17 Bn
GPT-2 8B
8.3 BnBERT 340M
Transformer 65M
2017 20182019 2020

Big Data Growth
90％ of the world's Datain last 2 Years

Exploding Model Size
Driving Accuracy

ビッグデータAIモデル

図 1 爆発するデータ量と巨大化するモデル 1）
映像情報メディア学会誌 Vol. 76, No. 1, pp. 70〜 77（2022）

データセンタースケールコンピューティング

タセンター内の個々のサーバで処理し，現実的な処理時間内で演算を完了させることは困難である．そのため，同Accelerated
Computing

GPU

DPU

ワークロードを実行するソフトウェアプログラムも，それSoftware-Defined,
Hardware-Accelerated

ぞれのサーバ単体で実行される形態から，クラウドネイ
ティブにコンテナ化され，個々の小さな疎結合サービスを軽量プロトコルで集約する形で実現するマイクロサービス

Data ProcessingUnit

GPU Accelerates
AI & Machine
LearningCPU

DPU Accelerates
Data Intensive Tasks

アーキテクチャで実装された，データセンター全体の資源を駆使して実行される，分散コンピューティング形態のソ
フトウェアプログラムへと進展した．

図 2 データセンタースケールコンピューティングと CPU，GPU，
DPU の役割

このような状況下，データセンターには，データセンター
全 体 に わ た る 計 算 資 源 ， 具 体 的 に は C P U（ C e n t r a l（System on a Chip）として実装されるのが一般的である．

Processing Unit），GPU，そしてストレージなどのリソース（1）マルチコアCPU：ハイパフォーマンスでソフトウェア

を適材適所に組み合わせて，ソフトウェアプログラムが要

プログラマブルなコア．一般的に広く使用されている

求するタスク処理に最適なコンピューティングプラット

Arm アーキテクチャなどが用いられ，その他の後述すフォームを提供することが求められる．このように，これる SOC コンポーネントと密接に統合され，主に DPU

までのサーバ単位のコンピューティング，あるいは限定さにおけるコントロールプレーンの役割を担う．

れたクラスター内での複数サーバにわたる分散コンピュー（2）高速 I/O のためのインタフェース： CPU や GPU やス

ティングをさらに推し進め，データセンターそのものを一

トレージ，そして外部のデータセンターファブリッ

つのコンピューティング単位とする新たな潮流こそが，クの間で，アプリケーショントラフィックをライン

データセンタースケールコンピューティングである．なお，

レートで効率的に送受信する．

このデータセンタースケールコンピューティングの具現化（3）ブログラマブルなアクセラレーションエンジン：には，データセンター全体にわたって存在する各種計算資ASIC（Application Specific Integrated Circuit）や源を，高速かつプログラマブルに組み合わせることができ

FPGA（Field Programmable Gate Array）で実装さるデータセンターファブリックが重要な鍵となる．そこでれるコンポーネントで，ネットワーク，セキュリ

データセンターのインフラストラクチャ層の処理，つまり，

ティ，およびストレージなどに関する特定の処理を仮想化基盤の処理，ネットワークプロトコルやストレージ

オフロードしてアクセラレーションすることで，シプロトコル処理，暗号化処理などを，アプリケーション層

ステムのパフォーマンスを大幅に向上させる．

の処理から分離し，そのようなインフラストラクチャ層の以降，より具体的なイメージをつかんでいただくために，処理に専念するプロセッシングコンポーネントが登場してマーケットに現存する最新の DPU の実装例を交えながらきている．現時点では，業界内で統一された呼称は定まっ

解説していく．本講座ではエヌビディア社の NVIDIAていないものの，多くのベンダーが，DPU（Data Processing

BlueField DPU シリーズを取り上げる（図 3，図 4）．

Unit）と銘打って，データセンターにおける第三のプロセッ※なお，前述した（3）については，具体例なしにはイサーというコンセプトで定義，展開しており，同名称がメージがし辛いため，NVIDIA BlueField-2 DPU において徐々にデファクトスタンダードとして定着しつつある．

実装されている代表的なアクセラレーション機能を以下に３．データセンターにおける第三のプロセッ
サー： DPU

例示する．

それでは，DPU の役割を明らかにするべく，データセン
タースケールコンピューティングを構成するその他のプロセッサーとの違いを含めて改めて整理する．CPU は高度で複雑な命令セットを用いて基本となる逐次処理を担う汎用
コンピューティング向け，GPU は多くのコアを備えて超高速の並列処理を行うアクセラレーテッドコンピューティン
グ向けである．そして DPU は，データセンターファブ
リックのインフラストラクチャ上で，データの移動や仲介処理を最適化する（図 2）．
ベンダー間で多少の違いはあるものの，DPU は基本的に以下の三つの要素を組み合わせたプログラマブルな SOC

図 3 NVIDIA BlueField-2 DPU 外観（71） 71

講座

データセンターのインフラ技術 最終回

図 4 NVIDIA BlueField-2 DPU ブロック図・OVS（Open Virtual Switch）2）を実装するためのデー

レータ
・SR-IOV（Single Root I/O Virtualization）8）など，およタパケット解析，照合，操作・RoCE（RDMA over Converged Ethernet）3）のためのRDMA（Remote Direct Memory Access）データ転送

び準仮想化に対応する仮想化サポート
・セキュアな分離： RoT（Root of Trust），セキュアブート，安全なファームウェアのアップグレード，認証さアクセラレーション
・CPU をバイパスし，ネットワーク接続されたデータをれたコンテナーおよびアプリケーションのライフサイ（ストレージやその他の GPU から）GPU に直接供給すクル管理るための GPU-Direct アクセラレータ
・RSS（Receive Side Scaling），LRO（Large Receive
Offload）4），チェックサム処理などのTCP（Transmission
Control Protocol）アクセラレーション
・VXLAN（Virtual eXtensible Local Area

４．DPU によるデータセンタースケールコン
ピューティングの最適化
ここからは DPU がデータセンタースケールコンピュー

Network）5）

ティングで果たす，重要な最適化シナリオを解説していく．

などのネットワーク仮想化（オーバレイ）処理と VTEP

4.1

（VXLAN Tunnel End Point）オフロード

昨今，サイバー空間でのコラボレーションの増加や，マ

強固なセキュリティの実現

・マルチメディアストリーミング，コンテンツディスト

ルチテナント環境のクラウドコンピューティングなど，意

リビューションネットワーク，および新たな 4K や 8K

図せずにサイバーリスクに晒される場面も増えてきておでの Video over IP を実現する，パケットペーシング

り，ゼロトラストセキュリティを徹底し，データセンターによるアクセラレータ

内のデータ通信時においても高い機密性を確保することが・5G 無線ネットワークのための時刻同期に関するアクセ
ラレータ重要である．現在のデータセンターの多くは，外部との通信のために DMZ（DeMilitarized Zone）エリアを設置した

・IPSEC（Security Architecture for IP）6）および TLSり，外部ネットワークと内部ネットワークの間にファイア（Transport Layer Security）7）向けの暗号化アクセラ

ウォールを置くなどの対策を行ってセキュリティを確保し72 （72）

映像情報メディア学会誌 Vol. 76, No. 1（2022）

データセンタースケールコンピューティングている．しかし，大容量データを高いセキュリティを保っ

4.2

高度なストレージ仮想化て処理する場合，ファイアウォールやゲートウェイサーバ

DPU に対して，分散ファイルシステムなどで必要となる側の負荷が増大することになり，最悪の場合，同サーバがクライアントのエージェント機能をオフロードすることに通信のボトルネックになりかねない．また，これらをよりよって，サーバの CPU リソースを消費することなく，スト性能の高い機材に置き換えることができたとしても，現在レージを利用可能となり，サーバ側の計算資源をアプリ

そしてこれからのデータセンタートラフィック流量と等価

ケーションワークロードにてより多く活用することができにスケールを続けていくのは非常に困難である．さらに，る．また，ストレージのクライアント機能が DPU で動作すサイバーリスクの影響範囲を極小化するために，データセることになるため，サーバ側のOS（Operating System）の制

ンター内の演算処理を行う個々のサーバ自身の仮想化基盤

限がなくなり，レガシーな OS であっても，モダンなストと統合する形態で，高度なセキュリティ機能を持たせるマ

レージシステムを利用することが可能となるであろう．

イクロセグメンテーションという概念がある．このケース

DPU では，これに加えて仮想化ストレージのエミュレーの場合も，大容量のトラフィックと高粒度のセキュリティションの役割を担うことも期待されている．リモートにあ処理そのものが原因で，同サーバの CPU の負荷が増大して，るストレージ，例えば，NVME（Non-Volatile Memory

本来のアプリケーション処理に計算資源を充分に確保する

Express）9）などの高速ストレージを，あたかもサーバ内のことが困難であることは明白である．ここで，DPU の出番

PCIe（Peripheral Component Interconnect Express）に接となる．データセンター内の各サーバの DPU のマルチコ

続されたローカルデバイスとしてエミュレーションする

ア CPU やアクセラレーションエンジンを駆使して，従来（図 6）．これにより，ストレージ資源の集約によるデータ

ファイアウォールやゲートウェイサーバが担っていたセセンター内のリソース最適化や，従来は実現が容易ではな

キュリティ機能をオフロードする．これにより各サーバのかったリモートストレージをブートデバイスとして利用すCPU や GPU の負荷を上げることなく，高速かつ強固なることなどが可能となる．

データセンターセキュリティが実現可能となる．また，

そして，これら DPU が提供するストレージ機能と，前述

サーバホスト CPU のみでのセキュリティ処理では実現しえした DPU が備えるセキュリティ機能に包含される暗号化なかった，アプリケーションが稼働するホスト，CPU とイ処理を併用することで，CPU 側のオーバヘッドを最小限に

ンフラストラクチャ，DPU を完全に分離してセキュリティ

保ちつつ，機密性の高いストレージ運用を実現することが処理を行うゼロトラスト通信も可能となる（図 5）．これは，できる．

データセンターにてベアメタルインスタンスなどのサービ

4.3

スを提供する際に，各サーバのインフラストラクチャ層とクラウドネイティブでマイクロサービスアーキテクチャ

高性能なネットワーキング

アプリケーション層それぞれを，別の管理ドメインへ配置のワークロードの特徴の一つに，データセンターの横方向可能であることを意味する．

を往来するトラフィック，いわゆるイーストウエストトラ

非DPU

DPU
図 5 DPU によるデータセンターのセキュリティ高度化（73） 73

講座

データセンターのインフラ技術 最終回

非DPU
DPU
図 8 OVS スイッチングのパフォーマンス比較

図 6 DPU によるストレージのエミュレーション

DPU

非DPU

図 9 レイテンシーのばらつきの比較

非 DPU

DPU

図 7 仮想ネットワーク処理のオフロード

フォーマンスと，DPU 処理（NVIDIA BlueField-2 DPU）のスイッチングのパフォーマンス比較を示す（図 8）．
次に，後者のレイテンシーについてであるが，データセン
ター内にわたって点在するコンピューティングリソースをフィックの割合が大きくなることが挙げられる．ネット

利用するにあたり，アプリケーションから要求されるパワーク仮想化においては，このようなトラフィックを，高フォーマンスを達成するためには，ゆらぎの少ない確定的

スループットかつ低レイテンシーで処理しつつ，どれだけなレイテンシーで処理を完了する必要がある．そのためにサーバの CPU オーバヘッドを極小化するかが重要となる．

は，マイクロサービスを実行する個々のサーバでの処理遅

前者のスループットについては，DPU を活用し，ネット

延を，不確定要素による遅延変動が少ない，DPU のアクセ

ワーク仮想化レイヤ，すなわち OVS や OVN（Open Virtual

ラレーションエンジンで均一化（図9）しつつ，それらサーバ

Network）などの処理を，DPU 側のアクセラレーションエ

同士のプロセッシングコンポーネント間で，高速にデータ

ンジンへオフロードして最適化することで，サーバのホスを交換する RDMA を用いて，遅延なくデータ伝送する仕組

ト CPU 側からネットワーキング処理を分離し，システムス

みが重要となる．DPU を介して，GPU 同士で直接データを

ループットの大幅な向上が期待できる．以下の図で，従来交換するGPU Direct RDMAのイメージを例示する（図10）．

は CPU 側のカーネルで行われていた OVS の転送処理を，
DPU のアクセラレーションエンジンへオフロードするイ
メージを示す（図 7）．

５．DPU の具体的な活用事例
DPU によって，仮想ストレージや仮想ネットワーク，セ

加えて，参考データとして一般的なデータセンタークラ

キュリティなどのデータセンターのインフラストラクチャ

スサーバのソフトウェア処理の OVS スイッチングのパ処理の大部分を，サーバホスト側のリソースからオフロー

74 （74）

映像情報メディア学会誌 Vol. 76, No. 1（2022）

データセンタースケールコンピューティング

図 10 GPU Direct RDMA の概要

図 11

VMware 社 Project Monterey の概要

ドして高速化することが可能となる．言い換えると，サー5.2

クラウドサービス基盤での事例

バホスト側の計算資源を，収益に直結する本来の仕事，つ別のユースケースとして，クラウドサービス基盤の最適

まりアプリケーションワークロードの処理に専念させるこ化が挙げられる（図 12）．ここでは，一例としてエヌビとに他ならない．クラウド業界のハイパースケーラー達は，

ディア社が提供する GeForce NOW というクラウドゲーミ

自社製の専用コントローラなどで同様のアプローチを具現

ングサービスを挙げる．GeForce NOW は，クラウド上の化し，このような最適化をいち早く進めているが，DPU を

GeForce サーバに，世界中のゲームユーザがインターネッ

活用することで，今では誰もがハイパースケーラーと同等

トを介して接続できるゲーミングサービスだ．このサービのメリットを享受できる．ここでは，二つの先進的な活用

スでは，ゲームの処理とレンダリングは，ローカルのユー

事例をご紹介したい．

ザデバイスではなく，クラウド側のサーバの GPU で実行さ

5.1

プライベートクラウドでの事例れる．さらに，同サーバへのゲームのダウンロードやパッ

図 11 の例では，エンタープライズで広く利用されている

チ処理などは，すべてクラウド上で行われるので，ローカ

VMware vSphere の仮想化処理の大部分を DPU へオフ

ルのユーザデバイスは，そのような煩雑な処理から解放さ

ロードし，最適化することで，サーバのホスト CPU リソー

れ，GPU など特別なハードウェアを準備する必要なしに，スを，仮想マシンやコンテナなどのアプリケーションワー

いつでもどこでも高品質なゲームを楽しむことができる．

クロードに振り向けている．VMware 社はこのような仕組

このようにクラウド側に集約することによるメリットが大みを Project Monterey として掲げ，エヌビディア社をはじ

きい一方，遅延なくクラウド側からユーザのローカルデバ

めとする DPU を供給するパートナーとともに開発を進めイスへゲームをストリーミングすること，不特定多数のている．

ユーザが利用するクラウド側の仮想化環境において，セ（75） 75

講座

データセンターのインフラ技術 最終回

図 12

クラウドサービス基盤への DPU の適用例

キュアなマルチテナント性を担保すること，そしてアプリについても更なる強化が必要となるであろう．すなわち，ケーションの収容効率を高めてサービス全体の収益性を最省電力で高性能な CPU プロセッサー，プロセッシングコン

大化していくこと，などのチャレンジもある．エヌビディ

ポーネント同士（GPU と CPU 間など）の広帯域インタコネク

ア社はこの GeForce NOW のクラウドサービス基盤に，ト，さらに大容量の次世代メモリー（LPDDR5x10）など）を組

DPU を取り入れて，インフラストラクチャ層とアプリケー

み合わせることによって，前述したサーバ内のボトルネッ

ション層の分離を推進している．

クを解消し，データセンタースケールコンピューティング

この適用により，これまで以上に，効率良くセキュアでハイパフォーマンスなクラウドゲーミングを提供することが可能となり，より顧客満足度の高いサービスへの昇華が期待されている．

６．データセンタースケールコンピューティン
グに関するその他の考慮点の更なる性能向上が期待できるはずだ．
6.2

リアルタイムのサイバーセキュリティ対策

昨今では，データセンターに限らず，企業ネットワークなどにおいてもゼロトラストのセキュリティモデルは常識となっている．このモデルの場合，データセンターのあらゆるトランザクションをリアルタイムで監視し，データセ
ンターファブリックへの不正侵入を検知し，詳細を解析しここからは，データセンタースケールコンピューティン

た上で，脅威を即座に検出して対策を取る必要があるが，グが今後更なる発展を遂げる際に，必須となるであろう二

この一連の流れをデータセンターの超高速のトラフィック

つの関連要素について考察する．

レートに追随して実行しなければならないという課題が存

6.1

各サーバ内の CPU およびメモリーシステムの強化

在する．そのため，多くの場合は検査すべきデータの内，

これまでデータセンター全体にわたるコンピューティング

サンプリングされたほんの一部のデータしか検査がなされに焦点を当てて解説してきたが，一方で個々のサーバ内のていないのが現状だ．この課題に対する解決法として，最処理についても，AI を中心としたワークロードへの変遷に

先端の AI を取り入れた効率的な解析と，DPU のアクセラ

伴って，これまでとは違った配慮が必要となってきている．

レーションエンジンによる検査データの広範化を組み合わ

冒頭の通り，昨今の AI モデルは，複雑性と規模を増しながせていく方法が有効だと考えられる．

ら，大量のパラメータを調整し対話型 AI を改善したり，数具体的には，脅威の検査，特にログの精査に際して，最十テラバイト単位のデータを入力することで推薦エンジン

新の機械学習（特に自然言語処理などの深層学習）を取り入を強化している．こうした大規模データ指向の演算要件が，れることで，従来の手法と比較して，より効率的に暗号化

個々のサーバ内のシステム限界にも直結しつつあるのだ．

されていない機密データの漏洩，フィッシング攻撃，マルより具体的には，ホスト内の CPU と GPU の能力を最大限発ウェアなどの以前は容易に特定ができなかった脅威や異常揮し，高い精度での高速な並列演算を実行するためには，を特定，捕捉，対策を実行するエンジンが実現可能となる

大容量メモリーへの高速アクセスが不可欠である．そのたであろう．このようなセキュリティエンジンに対し，超高

め，DPU によるインフラストラクチャの強化と歩調を合わ

速のラインレートでデータセンターファブリックのトラ

せて，サーバホストの CPU およびホストメモリーシステム

フィックを供給したり，メタデータなどのテレメトリー

76 （76）

映像情報メディア学会誌 Vol. 76, No. 1（2022）

データセンタースケールコンピューティング

図 13 AI と DPU によるリアルタイムサイバーセキュリティのイメージ

データを供給する役割を期待されているのが，それぞれの高エネルギー効率を実現することは，現代の私達にとってサーバに搭載される DPU である．具体的には DPU 側から

だけでなく，これからの先の世代に対しても重要な責務でストリーミングされる検査対象データを，Kafka などの分あろう．本講座が，読者の皆様の多くが携わっていらっ散メッセージシステムを用いて集約し，前述したセキュリ

しゃる放送業界におけるデータセンタースケールコン

ティエンジンの機械学習に入力し推論させ，正確で信頼性

ピューティングの発展に寄与できれば幸いである．
（2021 年 9 月 10 日受付）の高い脅威検出を実行する．検出後は，即座にサーバ側へ
フィードバックし，脅威が検出されたノードの DPU にて，
特定の通信を遮断するなど，脅威の拡大を食い止める対策〔文献〕

をリアルタイムに施す（図 13）．
このアプローチにより，従来の境界型で部分的かつ受動的な脅威検出から，分散型で包括的かつ能動的な脅威検出となり得るため，データセンタースケールコンピューティン
グを，コアからエッジまで一貫してゼロトラストのセキュ
リティモデルで保護することが可能となるであろう．

７．むすび本講座では，データセンタースケールコンピューティン
グが必要とされる背景，アーキテクチャ，主要な構成要素とその詳細，適用ユースケースを解説した．加えて，今後，同コンピューティングの更なる発展に必要となるであろう，個々のサーバシステムに関する考察，さらにセキュリ
ティ面での進むべき方向性と実現案を提示した．これから

1）IDC, The Digitization of the World (May 2020)
2）Linux Foundation, What is Open vSwitch : https://www.
openvswitch.org/
3）Mellanox, RDMA over Converged Ethernet : https://docs.mellanox.
com/pages/viewpage.action?pageId=12013422
4）Microsoft, Introduction to Receive Side Scaling : https://docs.
microsoft.com/en-us/windows-hardware/drivers/network/
introduction-to-receive-side-scaling5）IETF, RFC7348: https://datatracker.ietf.org/doc/html/rfc7348
6）IETF, RFC 6071: https://datatracker.ietf.org/doc/html/rfc6071
7）IETF, RFC5246: https://datatracker.ietf.org/doc/html/rfc5246
8）Intel, PCI-SIG Single Root I/O Virtualization (SR-IOV) Support inIntel (r) Virtualization Technology for Connectivity: https://www.
intel.com/content/dam/doc/white-paper/pci-sig-single-root-iovirtualization-support-in-virtualization-technology-for-connectivitypaper.pdf
9）nvmexpress, What is NVME?: https://nvmexpress.org
10）
JEDEC, LPDDR5 & LPDDR5X : https://www.jeDec. org/category/technology-focus-area/mobile-memory-lpddr-wide-io-memory-mcpのデータセンターは，IoT の本格化により AI に入力されるデータが増大し，必要とされる演算量が指数関数的に上昇する一方，カーボンニュートラルへの対応など，地球規模での持続可能なディジタル社会の実現に向けた配慮が求められる．そのためにも，現代の情報インフラストラクチャの根幹と言っても過言ではない，世界各地に存在するデー
タセンターにおいて，CPU，GPU，そして DPU が三位一体となったデータセンタースケールコンピューティングを展開し，高性能，高可用，そして周辺環境に充分配慮した

の

だ

まこと

野田

真 2002 年より現在まで 19 年以上，一貫して通信に携わる．国内通信キャリヤにて基幹インフラ業務，通信系商社にて通信に関わる研究開発等に従事した後，2009 年より，外資系通信機器ベンダーへ．
エアヴァーナ，アリスタネットワークスにおけるテク
ニカルセールスを経て，2020 年より，エヌビディアにて，通信領域のデベロッパーリレーションズに従事．
主に通信への AI とアクセラレーテッドコンピューティ
ングの普及に邁進中．
（77） 77