情報システムの効率的エネルギー活用検討 WG

成果報告書（WG 活動期間：2018 年 4 月～2020 年 3 月）

2020 年 3 月 17 日
サイエンティフィック・システム研究会
情報システムの効率的エネルギー活用 WG

情報システムの効率的エネルギー活用検討 WG

商標について記載されている製品名などの固有名詞は，各社/各機関の商標または登録商標です．

成果報告書

情報システムの効率的エネルギー活用検討 WG

成果報告書

目次
1.

2.

3.

はじめに........................................................................................................................................................1
1.1.

活動方針 ...........................................................................................................................................1

1.2.

活動内容 ...........................................................................................................................................1

1.3.

活動期間 ...........................................................................................................................................2

1.4.

WG メンバー .......................................................................................................................................2

1.5.

活動実績 ...........................................................................................................................................3

情報システムにおける効率的エネルギー活用の現状と課題..................................................................5
2.1.

現在の電力事情とエネルギー原単位に関する課題について ........................................................5

2.2.

HPC システムにおける電力消費の現状と課題 ..............................................................................6

2.2.1.

理化学研究所（和光） ........................................................................................................6

2.2.2.

理化学研究所 計算科学研究センター（神戸）..............................................................92.2.3.

宇宙航空研究開発機構（調布）.................................................................................... 16

2.2.4.

九州大学 情報基盤研究開発センター ............................................................................ 21

2.2.5.

東京工業大学 学術国際情報センター（GSIC） .......................................................... 25

効率的エネルギー活用に有効な事例 .................................................................................................. 32
3.1.

技術 ................................................................................................................................................. 32

3.2.

制度 ................................................................................................................................................. 32

3.2.1.
4.

再生可能エネルギーの購入について.................................................................................... 32

業務効率や生産性を考慮したエネルギー効率の指標の検討........................................................... 37
4.1.

HPC システムの「経済活動量」および価値について.................................................................... 37

4.2.

「経済活動量」として用いる新たな指標について......................................................................... 37

5.

情報システムにおける効率的なエネルギーの利活用の検討............................................................... 39

6.

提言 .......................................................................................................................................................... 41

7.

6.1.

エネルギー原単位の指標の見直しについて ................................................................................. 41

6.2.

エネルギー原単位削減の対象期間について ............................................................................... 416.3.

冷却設備電力の削減について ..................................................................................................... 41

おわりに ..................................................................................................................................................... 43

Appendix1

事例 .................................................................................................................................... 44

Appendix1.1.

半導体製造ばらつきを考慮した電力制御................................................................. 44

Appendix1.2.

自然エネルギーを活用した空調システム..................................................................... 62

Appendix1.2.1.

センタの冷却方式とその特徴について .................................................................. 62

Appendix1.2.2.

自然エネルギー活用型モジュラ型データセンタの開発........................................ 63

Appendix1.2.3.

冷却機器と計算機連携した一体制御システムの開発..................................... 66i情報システムの効率的エネルギー活用検討 WG

Appendix1.3.

成果報告書

予測技術を活用した空調制御システム ..................................................................... 69

Appendix1.3.1.

センタの空調システムの制御について................................................................... 69

Appendix1.3.2.

Just-In-Time モデリングを用いた大規模センタ向け予測制御技術の開発.... 69

Appendix1.4.

ストレージと温度の関係................................................................................................ 73

Appendix1.5.

電力チューニング関連 ................................................................................................... 79

Appendix1.6.

縮退運転（自動ノード停止） ................................................................................... 83

Appendix2

冷却設備電力の削減見込みに向けた施策 .................................................................. 98ii

情報システムの効率的エネルギー活用検討 WG

成果報告書

1. はじめに1.1. 活動方針
2011 年の東日本大震災以降，電力などのエネルギー消費の問題が顕在化し，特に電力の大需要家である大規模な実験装置を持つ研究機関や IT 機器の集約地であるデータセンターやサーバルームな
どでは，電力料金の増加や国の施策であるエネルギー原単位の削減目標などは，達成すべく改善を進めている状況にある．
ただし，手段が目的化した対応が なされ ていることや，目的(省エネルギー)と目標(業務効率 と生産性維持)と手段のバランスを考えず，闇雲に電力削減だけを目的にしてしまっているようなケースが 散見され，その活動が本当に省エネルギーの効果があるのか，業務効率や生産性を低下していないかデータに基づいて検討するようなフェーズがないなど，本当の意味での省エネルギー になっていない ことが見 受け られる．
また，大学・研究機関の特徴として，昔の特殊なシ ステム導入の名残を残した設備であ った り，竣工から年月が経過した建物や部屋をサーバルームとして利用しているケースも多く，スペースと電力 量のバランスが合っていない部分や設置される機器が 定型的なサーバ・ネットワー ク機器で はない ため に問題が発生するなど，一般的なデータセンターなどとは異なる問題点が 発生していることがあるが，特 異すぎて課題として共有されていない問題も存在する．
上記の状況を考慮して，情報システムの現状を整理して，エネルギー利活用の指針を示す ことを目
指す．

1.2. 活動内容
情報システムの中でも消費電力の大きいスパコンを対象とし，検討を開始する．
多くの機関では歴史的な設備を有していたり，年月が経過した既設施設内に設置されていたり， スタン
ダードな電力利用量や様々な条件（施設，外部環境，利用状況など）の計測が簡単にで きない 構造になっている場合が多い．
本 WG 前半では，⚫

各機関における現状の事例の調査⚫

業界標準の指標・規格・将来動向の調査を実施し，スパコン運用における課題を整理する．
WG 中盤以降は，⚫

様々な条件や電力利用状況を調査・評価する方法の検討⚫

業務効率や生産性を考慮したエネルギー効率の指標の検討⚫

情報システムにおける効率的なエネルギーの利活用の検討を実施し，報告書にまとめる．

1

情報システムの効率的エネルギー活用検討 WG

成果報告書

1.3. 活動期間
2018 年 4 月～2020 年 3 月（会合 計 7 回）

1.4. WG メンバー
Table 1 WG メンバー
区分

名前

機関

役割

会員

姫野 龍太郎

理化学研究所(和光)担当幹事 [~2019 年 4 月]
アドバイザー [2019 年 4 月~]

黒川 原佳

理化学研究所(和光)担当幹事 [2019 年 4 月~]
推進委員(まとめ役)

藤田 直行

宇宙航空研究開発機構(調布)

推進委員

井上 弘士

九州大学

推進委員

遠藤 敏夫

東京工業大学

推進委員

塚本 俊之

理化学研究所推進委員

計算科学研究センター(神戸)
賛助会員

松井 秀司

富士通(株)

推進委員(まとめ役)

(富士通)

吉岡 祐二

富士通(株)

推進委員

末安 史親

富士通(株)

推進委員

クンワー,ラビン

富士通(株)

推進委員 [~2018 年 4 月]

池田 美季子富士通(株)

推進委員 [2018 年 4 月~]

朽網 道徳

富士通(株)

推進委員 [~2019 年 4 月]

石川 鉄二

富士通(株)

推進委員 [2019 年 4 月~]

加瀬 将

富士通(株)

推進委員

遠藤 浩史

(株)富士通研究所

推進委員

事務局

松本 孝之
青木 伸子
甲斐 友一朗[~2018 年 4 月]

2

情報システムの効率的エネルギー活用検討 WG

成果報告書

1.5. 活動実績
第 1 回会合：2018 年 4 月 17 日（火）14:00-17:15

富士通（株）本社

出席者：会員 6 名／富士通 7 名／事務局 3 名
・各機関における「システムおよび組織の効率的なエネルギー利用に向けた取り組み」の現状報告
・今後の取り組み(次回以降)についての意見交換，次回会合で取り上げる課題の検討
第 2 回会合：2018 年 8 月 3 日（金）14:00-17:15

富士通（株）本社

出席者：会員 5 名／富士通 7 名／事務局 2 名・将来のエネルギー状況，情報システム，施設に関する議論
・今後の取り組み(次回以降)についての意見交換，次回会合で取り上げる課題の検討
第 3 回会合：2018 年 11 月 26 日（月）13:55-16:50

富士通（株）本社

出席者：会員 6 名／富士通 7 名（情報提供者 2 名）／事務局 2 名
・現状・動向調査(1)ストレージの動作温度に関する議論(2)再生可能エネルギーの現状及び今後のデータセンターでの利用方法(3)冷凍機をはじめとした冷却システムの性能調査
・今後の取り組み(次回以降)についての意見交換，次回会合で取り上げる課題の検討
第 4 回会合：2019 年 1 月 21 日（月）14:00-17:10

富士通（株）九州支社

出席者：会員 6 名（情報提供者 1 名）／富士通 6 名／事務局 2 名
・効率的なエネルギーの利活用に関する取り組み報告・調査と議論(1)JAXA におけるノード単位の電源停止(2)九大におけるエネルギーの効率的な活用に対する施策(3)電力あたりの演算性能向上（HPC システムの電力に関するトピック）(4)冷却設備電源の削減見込みに向けた施策
・報告書執筆に向けた目次案・内容に関する検討・次回以降議論すべき内容に関する意見交換
第 5 回会合：2019 年 4 月 1 日（月）14:00-16:40

出席者：会員 6 名／富士通 7 名／事務局 2 名
・業務効率や生産性を考慮したエネルギー効率の指標の検討
・情報システムにおける効率的なエネルギー利活用の検討
・報告書の概要についての検討

3

富士通（株）本社

情報システムの効率的エネルギー活用検討 WG

第 6 回会合：2019 年 7 月 29 日（月）14:30-17:00

成果報告書

富士通（株）本社

出席者：会員 3 名／富士通 5 名／事務局 2 名・報告書ドラフト版レビュー（全体，各機関の事例，5/6 章）
・報告書の公開に関する議論
第 7 回会合：2019 年 12 月 10 日（火）14:00-16:45

出席者：会員 5 名／富士通 6 名／事務局 1 名・SBT 達成に向けた中長期的な取り組みに関する報告
・公的機関の再生エネルギー導入に関する議論
・報告書レビューおよび報告書の公開に関する最終確認4

富士通（株）九州支社

情報システムの効率的エネルギー活用検討 WG

成果報告書

2. 情報システムにおける効率的エネルギー活用の現状と課題
本章では，情報システムを取り巻く電力／エネルギーの活用に関するトピックを取り上げ，特に HPCシステムやデータセンターの現状と解決すべき課題について示す．

2.1. 現在の電力事情とエネルギー原単位に関する課題について
2011 年の東日本大震災以降，日本国内では電力などのエネルギー消費の問題が顕在化した．こうした状況は電気料金の増加を招き，電力を多く消費する装置を所有する研究機関や IT 機器の 集積地であるデータセンターやサーバルームの運用者を悩ませている．加えて，「エネルギーの使用の 合理化等に関する法律」（以下「省エネ法」という．）により，空調，ボイラー，発電設備等を持つ事業所，
特に多くの電力を消費する公的機関・研究所においては，エネルギー原単位を中長期的に年平均 1％以上低減させることを求められている．
エネルギー原単位とは，「エネルギー使用量」を「経済活動量」で割った値であり，単位量の製品やお金を生み出すために必要なエネルギー量として定義されている．しかし，実際に「エネルギー量」や「 経済活動量」にどの値を用いるかについては統一された値はなく，対象により慣例的にいくつかの値が用いられている．
例えば，事務所などの場合は，「エネルギー使用量」として原油換算量（kl），「経済活動量」 として床面積（m^2）が用いられる．他には，「エネルギー使用量」として電力量（kWh），ガス使用量（m^3N），重油換算量（l），熱量（J）が，「経済活動量」として製品個数，売上金額，付加価値金額，重量（t），体積（m^3）が用いられる場合がある．また，電力を多く 消費する 情報システムなどの機器を所有する機関では，経済活動の補正を行っている場合がある．その場合， 機器の運転時間などが用いられる．
情報システムは最低でも数年間は同じハー ドウェアが稼働するため ，「経済活動量」 として 床面積を用いる場合，エネルギー原単位を削減するためにはエネルギー使用量を削減することが求められる．しかし，システムを運用する立場としては，エネルギー使用量を削減するにはシステムを一部停止するしか 方法はなく，その結果利用者に対して十分なサービスが提供できない事態に陥りかねない．これを防ぐためには，「経済活動量」としてシステムを運用することによる価値，あるいはシ ステムが提供する 価値を利用することが課題である．これまで，情報システム，特に HPC システムが提供する価値に関する議論はほとんど行われておらず，特定の 1 組織だけでなく，業界全体で広く議論する必要がある．

5

情報システムの効率的エネルギー活用検討 WG

成果報告書

2.2. HPC システムにおける電力消費の現状と課題
大規模な情報システムの集積地である HPC システムやデータセンターでは，必要とする電力も他に比べ非常に大きいことから，電気料金およびその削減に大きな関心が集まる．したがって，これらの施設の運用において効率的にエネルギーを活用することは，運用者が取り組むべき重要な課題の一つである．
ここでは，HPC システムに注目し，各機関および各機関が運用している HPC システムにおける現状と課題について以下に示す．

2.2.1. 理化学研究所（和光）
2.2.1.1.

システム概要理化学研究所（和光）（以下，「理研和光」）では，所内ユーザへの情報サービスの提供お よび所内外への情報提供を目的とした多数の IT 関連システムを運用している．今回は多数の IT 関連シ
ステムのうち所内共同利用の計算・データ処理システム（名称：HOKUSAI システム）のシステム 概要
図を示す．

Figure 1 計算・データ処理システム概要
2.2.1.2.

施設設備概要理研和光の IT 関連システムを設置しているデータセンターの特に冷却関連施設概要を以下に示す．上記，HOKUSAI システムは本データセンター内に設置されている．
本施設設備は 2013 年度から計画的に更新されてきたもので 2016 年度末に更新が完了した．
6

情報システムの効率的エネルギー活用検討 WG

成果報告書

冷却設備更新前機器は電算室用パッケージエアコンと通称されるもので，2015 年当時で約 15 年間利用してきたもので，更新にあたって最新のパッケージエアコンにリプレースしてもエネルギー効率は 低い ものとなる．また，高密度実装タイプの IT 関連機器の冷却は空冷から水冷(液冷)へと転換が図られている時期ということもあり，更新後の冷却システムにはエネルギー効率の高い水冷をメインとなるよ うな冷却システムに転換を図った．
IT 機器冷却用としての冷水の供給能力と AHU（Air Hundling Unit）経由で室内を冷却する空冷冷却能力は４：１程度の割合となっており，IT 機器の冷却の大部分は水冷で行う構成となってい る．
上記の HOKUSAI システムはその発熱の大部分は冷水によって対応しており，空冷を利用するのはネ ッ
トワーク機器とストレージ機器となっている．

屋上
空調用空冷チラー

IT機器用空冷チラー

フリークーリングチラー

生活用水
IT機器用水冷チラー
データセンター内

1階屋外

外調機
システム

AHU

井水
タンク

15度以下で稼働
井戸

Figure 2 冷却システム概要

7

成果報告書AHU

AHU

情報システムの効率的エネルギー活用検討 WG

AHU

停電対応
パッケージエアコン

AHU

AHU

AHU

水冷用配管

外調機

Figure 3 室内概要
2.2.1.3.

消費電力と PUE

本データセンターの改修にあたっての計画策定時に更新前システムの PUE を 2012 年 9 月頃に測定した結果は，概算の PUE が 2 を超える状況であった．そのため，2013 年からはじめた冷却設備更

PUE

新においては，ピークで 1.5 以下，年平均が 1.3 以下という目標を立てて作業を行った．

Figure 4 2015 年度の PUE 変遷

8

情報システムの効率的エネルギー活用検討 WG

成果報告書

Figure 5 2017 年の PUE 変遷
2.2.1.4.

効率改善の取り組み

2012 年から開始した冷却設備の更新によって，IT システムにかかる冷却を含めた総消費電力は想定を上回る削減が行え，冷却設備だけでみた場合 50％以上の削減できたことになる．今後は冷却設備電力の上昇を IT システムの増加や性能向上に対していかにおさえるかが問題となってくる．
2020 年度頃の IT システムの消費電力の大部分は CPU/GPU の消費電力となっている．また，それらの冷却は高密度に実装を行うほど直接/間接あれ ，ほぼ水冷となっていることが予測される ．さらにエネルギー効率の高い冷却を行えるかは，いかに高い水温で冷却できる IT システムを導入できるかどうかであり，冷却水温が高い場合は，冷却設備電力が削減できることになる．
また，空冷機器においても，空調温度を高めに設定することや，冷却範囲を局所化するなどの 方策を実施することでエネルギー効率が高められると推測される．
2.2.1.5.

課題

最終的に事業所として省エネルギーを達成するため に，エネルギー原単位削減に結びつけ る必要があるが，データセンターなどにおいては，生産性を示す原単位の分母となるは，フロア面積とされ ることが多い．これは IT システムの生産性とはかけ離れたパラメータであることが多い．すなわち，設置面積が同じであっても IT システムの生産性は LSI ベースのデバイスの数や種類によって大きく変化し，フロア面積
だけで，生産性を定義するのは実体との乖離が大きく，もっと実体に即した生産性を提案してい く 必要がある．す特に事業所の消費エネルギーのうち，IT システムの占める割合が多い場合は死活問題で ある．

2.2.2. 理化学研究所 計算科学研究センター（神戸）2.2.2.1.

システム概要理化学研究所計算科学研究センター（R-CCS）が 運用するスーパーコンピュータ「京」のシ ス テム
概要図を以下に示す．
9情報システムの効率的エネルギー活用検討 WG

成果報告書

Figure 6 「京」のシステム概要「京」の消費電力は，数万ノード規模の大規模なジョブを実行する場合で最大 15MW 程度，それ以外の通常運用の場合で 11MW 程度であり，電力変動の幅が大きい特徴がある．

Figure 7 「京」の電力変動

10情報システムの効率的エネルギー活用検討 WG

2.2.2.2.

成果報告書

施設設備概要「京」を運用する R-CCS の施設概要を以下に示す．

Figure 8 R-CCS 設備概要
2.2.2.3.

消費電力と PUE

R-CCS 施設全体の消費電力は通常 15MW 程度であり，そのうち 11MW±1MW 程度を商用電力で供給しており，不足分はコジェネレーションシステム（CGS）による自家発電によってまか なってい る ．
設備全体の電力は，運用開始当初は平均 3MW 超であったが，空調設備や冷却塔，冷凍機の効率改善，契約電力超過防止活動等の継続的な省エネ活動により，2017 年度には平均 2.5M W
以下まで低減することができた．これにより，運用当初 1.4 程度であった PUE を 1.3 程度まで低減できた．以下に PUE の変遷と効率化改善への取り組み（詳細は後述）の関係を示す．

11

情報システムの効率的エネルギー活用検討 WG

成果報告書

Figure 9 PUE の変遷
2.2.2.4.

システムの変遷とエネルギー原単位削減の取り組み

R-CCS では供用開始（2012 年）以降毎年 1%のエネルギー原単位の削減に取り組み，達成してきた．R-CCS におけるエネルギー原単位の算出式は以下の通りである．
エネルギー原単位 ＝ 原油換算(kl) ÷ 換算延床面積(㎡)
換算延床面積＝延べ床面積＋当該年度の運転時間／基準年度の運転時間×対象延床面積12情報システムの効率的エネルギー活用検討 WG

2.2.2.5.

成果報告書

効率改善の取り組み以下に示す４つの効率化改善の取り組みの実施により，契約電力の超過（デマンド超過）を撲滅することが出来た（設備障害時を除く）．
①

空調設備の効率改善

空調機の風量を１／２に削減し，温度差を 2 倍とすることで，必要な排熱量を確保しなが ら電力削減を実施した．これに伴い，計算機室の平均温度が下がり，結果をとしてメモリ故障率の 低減の効果を得る事が出来た．
空調機の風量半減：空調機の RAS 機能（2 個のファン）を利用し，ファン１個を停止することで，
風量 6 割，電力半分を可能とした．
温度差を 2 倍：空調機の吹き出し温度と戻り温度の差を，3℃差から 6℃差に変更
吹き出し設定温度を 21℃→17℃，戻り温度を 24℃→23℃

Figure 10 空調設備の効率改善②

冷却塔の効率改善

R-CCS の熱源機械棟の屋上に設置されている複数の冷却塔について，以下の対応を実施した．
これにより，ショートサーキットの消滅およびプリアラームの抑制ができ，結果として余分な冷凍機稼動回数を劇的に減らすことができ，2016 年度以降の効率化（電力削減）につながった．．
・プーリー交換による風量アップ
・白煙防止キャップ撤去による能力アップ
13

情報システムの効率的エネルギー活用検討 WG

成果報告書

・熱源機械棟外壁パネル撤去による風通し改善

Figure 11 冷却塔の効率改善③

冷凍機の効率改善「京」では，フルノードジョブを実行する際，電力が 4MW 程度急激に増大する場合がある．通常
大きな電力負荷の変動には，冷凍能力の高い蒸気吸収式冷凍機を追加起動や出力増加で 対応するが，出力が安定するまでに数十分（出力増加）～数時間（追加起動）を要するため，そ う した短
時間での急激な電力増大には対応することが難しい．こうした状況につい ては，起動や出力の 安 定が早いターボ冷凍機を追加起動して対応している．しかし，起動操作が手動のため，電力上昇を検知して即座に人手で起動することの作業負荷が高い．そこで，急激な電力上昇時に一時的に排熱を支援するため，温度成層方式の蓄熱槽を 2016 年度に導入した．

Figure 12 温度成層方式の蓄熱槽
14情報システムの効率的エネルギー活用検討 WG

⚫

成果報告書

契約電力超過の防止「京」では過去何度か契約電力超過が発生している．その度にペナルティや契約電力上限の 増大が発生し，運用コストに与える影響が非常に大きく なった．このことから，電力超過を防止する 仕組みの確立に取り組んだ．
①大規模ジョブ実行時の投入ジョブの審査制度の導入（小規模での実行時電力を申告し，大規模での実行前に最大消費電力を確認）②施設監視データ（受電電力デマンド値ほか）と「京」システムの連携③ジョブと消費電力の紐づけ（履歴を蓄積・評価）④契約電力超過チェックの自動化⑤契約電力超過リスク発生時のジョブ停止処理連動⑥停止対象ジョブ選定アルゴリズムの開発・運用（計算資源を無駄にしないため）⑦「京」本体の消費電力予測システムの開発・運用

Figure 13 契約電力超過の防止

15

情報システムの効率的エネルギー活用検討 WG

2.2.2.6.

成果報告書

課題

「京」本体の消費電力は最大 15ＭＷであるが，次のスパコン「富岳」の消費電力は「京」の 2 倍以上と想定されており，電力変動幅は「京」より更に大きくなると考えられる．現在，「富岳」向け の 設備増強工事が実施中であるが，現状で以下の課題がある．
⚫

電力変動への対応必要となる排熱能力については，1 台の冷凍機追加で対応可能である．しかし，「富岳」 規模の電力変動に連動する熱負荷変動に対応する「冷却シ ステム」につい ては，複数 台の 冷凍機での対応が必要となるため，全体としての追従能力や冷凍機保護の観点からリスク対策
が十分とれているかを今後確認しながら調整していく必要がある．

⚫

エネルギー原単位の見直し
消費電力が２倍以上となるため，新たなエネルギー原単位の適用が必要となる．「京」 で 採用していた稼働時間を考慮した換算延床面積に対して，性能値を考慮した新たな換 算延
床面積を検討する必要がある．なお，検討にあたっては R-CCS だけでなく，理研全体へ の影響を考慮する必要があるため，関係部署との調整も必要となる．

2.2.3. 宇宙航空研究開発機構（調布）2.2.3.1.

システム概要宇 宙 航 空 研 究 開 発 機 構 ( 以 下 ， 「 JAXA 」 ) の ス ー パ ー コ ン ピ ュ ー タ シ ス テ ム (JSS2: Jaxa
Supercomputer System generation 2)のシステム構成を次に示す．

16

情報システムの効率的エネルギー活用検討 WG

成果報告書

Figure 14 JAXA Supercomputer System generation 2 概要
2.2.3.2.
⚫

効率改善の取り組み
製造技術による効率改善

JSS2 の主計算システムである SORA-MA(Supercomputer for earth Observation, Rockets,
and Aeronautics - MAin system)と前世代の主計算機である JSS-M システムを比較すると，設置面積(ラック)当たりの演算性能が約 200 倍に向上している．半導体技術の進歩により，単位計算性能当たりの消費電力は劇的に減少しているが，その減少を上回る計算性能向上の要求があるため， スー パ
ーコンピュータシステム全体としての消費電力削減努力が必要となっている．SORA-MA と JSS-M を比較すると，理論性能当たり約 25 倍の電力性能の向上が見られる(Figure 16)．これには，プロセッサの性能向上(Figure 17 (a))や高効率電源(Figure 17(b))等が寄与している．

17

情報システムの効率的エネルギー活用検討 WG

Figure 15 設置面積（ラック）当たりの演算

成果報告書

Figure 16 1TFLOPS あたりの歴代計算機の消

性能向上

費電力

Figure 17 省電力化に寄与する要素技術例

18

情報システムの効率的エネルギー活用検討 WG

⚫

成果報告書

運用環境による効率改善

スパコンの回路は，集積度が上がると大量の熱を出すため，従来の空冷方式では冷却しきれ なくなる．JSS2 で はコー ル ドプレー トを用いた水冷方式を採用し，効率の良い 発熱除去を行っている(Figure 18)．

Figure 18 SORA-MA の冷却システム
また，計算機室の環境を設置システムに合わせて変更している．JSS2 システムの設置面積縮小に合わせて壁を設置し空調エリアを約 1/2 にすること，及び，前述の水冷化により空調機の稼働台数
を 40 台から 14 台へ削減した．更に，JSS-M で採用した設置上のホットアイル・コールドアイルの考え方は引き続き採用している．
更に，継続的に空調温度設定を見直し，現在は JSS-M 当時よりも計算機室内の温度を 3℃
上げた 21℃に設定し空調に必要なエネルギーの更なる減少に努めている．水冷技術の採用と相まって，
JSS2 全体の空調に必要なエネルギー量は JSS(前世代のシステム)のそれに比べて約 1/6 となった(Figure
19)．

19

情報システムの効率的エネルギー活用検討 WG

成果報告書

Figure 19 空調エリアと室温による省エネルギー化⚫

ジョブスケジューラと連携したノードの電源制御による効率改善

ジョブが実行されずに待機している計算ノード(待機ノード)の消費電力(待機電力)を抑え る省電力
方式は，ジョブの実行性能に影響を与えないことから有効な方式である(「PC クラスタにおける省電力化の ため の 自動電源制御方式」，研究報告ハイパフォーマンスコンピ ューティング（ HPC）,2017-HPC160(2),1-7 (2017-07-19) , 2188-8841)．待機ノードの状態が長時間継続する場合，電源を停止することで省電力化を実現することができる．バッチジョブスケジューラがスケジュールした計算ノードへのジョブ
配置情報を元に待機時間を予測し，待機ノー ドを電源停止する自動電源制御方式 JSCAPS(Job
Scheduling Aware Power Save)を実装，運用している(Figure 20)．

Figure 20 JSCAPS による電源停止タイミングの決定
20

情報システムの効率的エネルギー活用検討 WG

⚫

成果報告書

テープ媒体の利用による効率改善

ハードディスクは，書き込みや読み込みをしていない時でも電気的に動作し電力を消費する．シ ス
テム全体ではあるが，Figure 21 に示す通り，ファイルシステム(媒体としてハードディスクを使用)とアーカイ
バ(媒体として主にテープを使用)の消費電力はシステムレベルで 10 倍の差がある．アーカイバの特性を理解した上でファイルシステム上のデータをアーカイバで保管・運用することでシステム全体としての 電力効率の改善が期待できる．

ファイルシステム

記憶容量a
総I/O速度
電力
b
電力/容量
b/a

全体

Disk

5.25

5.25

[PB]

[PB]

アーカイバ
等

Tape

Disk
Cache

21.72

21

0.72

[PB]

[PB]

[PB]

全体

等

50

144

50

10

10

20

10

[GB/s][GB/s][GB/s][GB/s][GB/s][GB/s][GB/s]

48.43

38.4

10.03

19.22

6.43

6.21

6.58

[KVA]

[KVA]

[KVA]

[KVA]

[KVA]

[KVA]

[KVA]

9.22

7.31

0.88

0.31

[KVA/PB][KVA/PB][KVA/PB][KVA/PB]システムで10分の1

ドライブで20分の1以下

Figure 21 とあるシステムにおけるファイルシステムのアーカイバの電力比較
2.2.3.3.

課題

技術の進歩により電力効率の良いシステムが登場し，それを積極的に採用したシステム 構築を心がけているが，システム増強の需要が大きく，今後電力量の増加を検討しなければいけない状況にある．
電気代の受益者負担による事業所内での電力量削減効果を狙う考え方もあるが，使用できる電力量
が事業のボトルネックとなってきている．エネルギー原単位の削減以外に，東京都では CO2 排出量規制があり，その対応が大きな事業課題となっている．

2.2.4. 九州大学 情報基盤研究開発センター
2.2.4.1.

システム概要九州大学情報基盤研究開発センターが運用するスーパーコンピュータ「ITO」のシステム概要図を以下に示す．本システムは，国の第 5 期科学技術基本計画に示された超スマート社会の実現，ならびに AI（人工知能・機械学習）・ビッグデータ，データサイエンスなどに対応した研究基盤の提供を目指21

情報システムの効率的エネルギー活用検討 WG

成果報告書

し，柔軟な利用形態を提供できるスーパー コンピュータシステムとして仕様が 策定され たもので あ る．異なるシステム間の協調作業やデータサイエンスにおける対話的な作業を支援する大規模プライベ ー トクラ
ウド環境（フロントエンド）と大規模シミュレーションや機械学習のための高性能計算ノード群（バッ クエンド）を高速ファイルシステムを介して連携運用する構成となっている．また，パブリッククラウ ドとの 本格的な連携インタフェースを導入し，オープンデータと連携したスーパーコンピューティングの方向性を 示し，新たな利用者層と研究課題に向け た研究基盤を提供する．さらに，本シ ステムから新たに導入され た
詳細な電力モニタリング機構と制限電力内のジョブスケジューリング機能を活用し，インテリジェン トな省
電力運用の確立を目指す．

フ ロ ン ト エンド
ロ グイ ン ノ ード 基本フ ロ ン ト エ ン ド ノ ード
(2n od es)
384GB RAM

⼤容量フ ロ ン ト エ ン ド ノ ード

12TB RAMx 4ノ ード…

x 160ノ ード

インターコネクト

サブ シ ステ ムA(2,000n od es)
In tel Xeon Sk yla k e-SP x 2

…

…
…
…
6.9PF

3.0PF

サブ シ ステ ムB(128n od es)
In tel Xeon Sk yla k e-SP x 2
N VID IA Tesla P100 x 4

バッ ク エ ン ド

実効容量24PB

スト レ ージ

Figure 22 「ITO」システム概要
2.2.4.2.

施設設備概要「ITO」を運用する九州大学情報基盤研究開発センターの施設概要を以下に示す．冷却に関しては，計算ノードの CPU とメモリ，GPU が２次の水冷であり，計算ノード中の他の部品およびフロントエン
ド，ストレージ，ネットワーク装置は空冷である．

22

情報システムの効率的エネルギー活用検討 WG

成果報告書

Figure 23 九州大学情報基盤研究開発センター施設概要

2.2.4.3.

消費電量と PUE

「ITO」稼働からのシステム，冷却設備の消費電力および PUE の状況を以下に示す．2019 年 723情報システムの効率的エネルギー活用検討 WG

成果報告書

月時点での 2019 年平均 PUE は，1.22 と水冷，冷却リアドアなどの効果により比較的良い値となっており，今後気温が下がることによりさらに良くなる見込みである．2018 年と比較し 2019 年の PUE が 良
くなっているのは，稼働率向上によるシステム消費電力の増加に比べ，冷却設備消費電力の 増加比率が低いためである．

Figure 24 PUE の変遷
2.2.4.4.

システムの変遷とエネルギー原単位削減の取り組み

九州大学情報基盤研究開発センターにて運用したスーパーコンピュータシステムの変遷は以下の 表に示す通りである．表で示す通り，ITO の導入により電力効率が大幅に改善されており，結果とし てエ
ネルギー単位元の削減に貢献していることが分かる．
なお，ITO は九州大学の新キャンパスに設置されたものであり，PRIMERGY CX400，PRIMEHPC
FX10，ならびに，HA8000+SR16000 とは設置場所ならびに設置環境が異なる．参考まで に，移転前の PRIMEHPC FX10 が設置された環境では供給電力：1,100 KVA，冷却能力：1,247 KW（水冷：400KW ＋ 空冷：847KW）で あ ったの に対し，移転後の ITO 設置環境は供給電力：
3,000 KVA，冷却能力：2,472 KW（水冷：1,800KW ＋ 空冷：672KW）である．

24

情報システムの効率的エネルギー活用検討 WG

成果報告書

Table 2 システム変遷
PRIMERGY

システム名

PRIMEHPC FX10

CX400

HA8000 +ITO

SR16000

システム稼動時期

2012-2017

2012-20172013-20172018-

理論演算性能0.966 PF

0.182 PF

0.720 PF

10.43 PF

消費電力

692 KW

279 KW

824 KW

1,742 KW

電力効率1.40 GFlops/W

0.65 GFlops/W

0.87 GFlops/W

5.99 GFlops/W

2.2.4.5.
⚫

効率改善の取り組み
電力モニタリング機構の拡充

ITO では，従来システムと比較して電力モニタリング機構を大幅に増強している．監視対象は，バックエンドサブシステム A，バックエンドサブシステム B，フロントエンドサブシステム，ストレージサブシステム，
インターコネクトネットワークのスイッチ，ルータ(ネットワーク機器)，冷却装置，であり，時間粒度は 1 分
毎，分解能はラック毎，である．また，投入・実行されたジョブに関し，実行中の 最大消費電力を記録することが 可能で あ る．対象は CPU お よびメモリの 最大消費電力であ り，Intel 社が 提供する
Running Average Power Limit（RAPL）を利用している．現状，ユーザへの電力情報開示方法は問合せベースである．
⚫

電力制御機構消費電力を考慮したシステム運用のための機能を整備（ただし，運用上現在は未適用） し ている．また，ジョブごとに必要な最大消費電力情報に基づき電力を考慮したジョブスケジューリングに関する検討を進めている．例えば，サブシステム A 全体または B 全体の電力上限値設定や，ノードの電力当たり性能（電力効率）のばらつきを考慮したスケジューリングなどが挙げられる．さらに，消費電力削減
機能としてアイドルノードの電源 OFF による電力削減も可能である．なお，電力キャッピング機能を用いた電力効率に関しては，深沢，南里，本田による「MHD シミュレーションコードを利用した CPU 電
力キャッピング下でのスーパーコンピュータシステム ITO の消費電力特性評価」（情報処理 学会研究
報告 Vol.2018-HPC-167 No.18 ）にて報告されている．
2.2.4.6.

課題

現状，システムの運用における電力情報を蓄積している段階である．今後の課題としては，これ ら蓄積した電力情報に基づき，電力キャッピングの適用など様々な施策を適用することが挙げられる．

2.2.5. 東京工業大学 学術国際情報センター（GSIC）
2.2.5.1.

システムの変遷とエネルギー原単位削減の取り組み

2017 年 8 月に運用開始した，東京工業大学 学術国際情報センター運用する TSUBAME3.025

情報システムの効率的エネルギー活用検討 WG

成果報告書

スーパーコンピュータのシステム概要図を以下に示す．

Figure 25 TSUBAME3.0 システム概要
2.2.5.2.

冷却設備概要TSUBAME3.0 の冷却を中心とした設備概要を以下に示す．

Figure 26 TSUBAME3.0 冷却設備
通常運用中の冷却水の流量は，おおよそ下記の通りである：⚫

冷却塔⇔計算ノード (上図左側のループ)：約 2000 l/min⚫

チラー⇔I/O 等(上図右側のループ)：約 200 l/min

冷却能力の多くを担うのは冷却塔による 30℃台の高温の冷却水であり，フリークーリングを用い る
ことにより省エネを目指す設計であ る．一方で，真夏の外気温が 極めて高い場合に冷却能力が 不十分となるおそれを考慮して，より水温の低いチラーによる冷却水との熱交換器を設け た(上図下部中央) ．
幸い，ほぼ 2 年間の運用期間において，この熱交換が必要となったことはない．

26

情報システムの効率的エネルギー活用検討 WG

成果報告書

Figure 27 マシン室内の冷却設備
本図は，マシン室内でのより詳細な冷却整備を示す．ラック・CDU・計算ノードは高効率冷却の ためにセットで設計されている．冷却対象となる計算ノードは，ラックあたり 36 台，システム全体では 15 ラ
ック 540 台となる．
⚫

屋上冷却塔から来た冷却水は CDU に接続される．CDU は全体で 4 つ，1CDU あたり原則
4 ラックを担当する．

⚫

CDU 内で冷却水は 2 つの役割を持つ：もう一段階の純水ループと熱交換，空冷のための空気と熱交換．

⚫

純水ループは各ラック内の各ノードへ接続し，重要な熱源である CPU と GPU を直接液冷す
る．

⚫
2.2.5.3.

計算ノード内の他パーツ(メモリ，SSD など)は空冷される．
消費電力と PUETSUBAME3.0 の消費電力は，通常運用時に 600kW 程度，Linpack 実行時等の事実上のピ ー
クは 1MW 程度である．計算ノードの電力は 3 相 415V により，それ以外のストレージ・管理ノード等は200V 電源により供給される．
グラフは，TSUBAME3.0 の 23 か月間の電力推移を示す．チラー部においては電力計測器の 都合で十分なデータがなく，現在の電力を基にした推定値となっている．またグラフにおいて 4 月/8 月に電力が下がっているのは定期メンテナンスの影響である．

27

情報システムの効率的エネルギー活用検討 WG

成果報告書

Figure 28 PUE の変遷
次に PUE の議論を行う．前節に示したように計算ノードと冷却設備が一体化しているために，PUEの定義が自明ではないが，今回は下記の通りとした：⚫

計算ノード，ストレージに加え，ファンを持つラックの電力も IT 機器電力として計上した．例えば空冷計算機においては，筐体内のファンも IT 機器に含まれることが一般的であるため，この計上は許容されると考える．

⚫

冷却塔，チラーに加え，冷却水の熱交換器・ポンプを持つ CDU を IT 機器「以外」と計上した．

上記の前提においては，期間平均の PUE は 1.29 であった．また上記から，効率が相対的に悪い
チラーによる冷却水ループを除いた場合の PUE は 1.14 となる．

28

情報システムの効率的エネルギー活用検討 WG

2.2.5.4.

成果報告書

システムの変遷とエネルギー原単位削減の取り組み

GSIC では 2006 より TSUBAME スパコンシリーズを運用しており，順次エネルギー効率を改善してきた．
Table 3 システム変遷
システム名

TSUBAME1.0/1.1/1.2

TSUBAME2.0/2.5

TSUBAME3.0

システム稼動時期

2006/4~2010/10

2010/11～2017/7

2017/8～(2007 年秋より 1.1,

(2013/9 より 2.5)

2008 年秋より 1.2)
ノード数

655

1442

540

理論演算性能1.0: 85TFlops

2.0: 2.4PFlops

12PFlops

1.1: 110TFlops

2.5: 5.7PFlops

1.2: 160TFlops
システム全体の消費電力

平均約 1MW

平均約 1MW

平均約 0.5MW

運用時 PUE

1.44

1.28

1.29 (ノード部 1.14)

冷却方式

アイル分離方式空冷

ラック内空冷

直接水冷＋空冷

電力効率(Linpack 時)

0.04～0.08GFlops/W

0.9～3GFlops/W

14GFlops/W

スーパーコンピュータとしての電力効率として，Watt あたりの Flops (Linpack ベンチマーク時)について議論する．この指標は省エネスパコン世界ランキング Green500 で用いられる．なお Green500 に提出する値の算出時には，分母の電力に冷却やストレージ等の電力を含まない．
表に示され るように，TSUBAME の 世代が 変わるたびにこの 値は大きく 向 上し， 11 年 間 で0.04GFlops/W から 14GFlops/W と 300 倍以上の向上を果たしている．さらには，それぞれ同世代の典型的なスーパーコンピュータに比較して高い水準を維持してきた．その表れとして，TSUBAME2.0 はGreen500 において世界 3 位 (2010 年 11 月)，TSUBAME3.0 は世界 1 位 (2017 年 6 月)を達成した．それを実現した最大の要素は，GPU 等の電力効率のよいアクセラレータを世界に先駆け て大幅に活用してきたことである．さらに GPU のためのソフトウェア技術(独自 Linpack 含む)，ボトルネックを可能な限り排除するバンド幅重視のシステムデザイン技術，電力チューニング技術等の研究開発を継続し，上記の成果を得た．
2.2.5.5.

効率改善の取り組み

TSUBAME シリーズにおけるエネルギー効率改善の取り組みは大きく分けて，システム更新の 際の設計面における取り組みと，システム運用中の取り組みの 2 つに分けられる．
設計面，主に冷却設備における取り組みは下記の通りである．
⚫

TSUBAME1 における計算ノードは 4U 空冷サーバであった．それを空調によって冷却する必要29

情報システムの効率的エネルギー活用検討 WG

成果報告書があったが，無駄を削減する取り組みの一環として，ホットアイルとコールドアイルを分離する手法とした．平均的な PUE は 1.44 であった．
⚫

TSUBAME2 においては，TSUBAME1 より効率改善するために，部屋・アイル全体を冷却するのではなく，密閉されたラック(HP Modular Cooling System, MCS)の中のみを冷却する方式とした．計算ノードは空冷用のものであった．ラック内の吸気温度を 17℃程度とするため に，
冷却水は 10℃程度とする必要があり，冷却水を作るためのチラーによる消費電力が課題となった．平均的な PUE は 1.29 であった．

⚫

TSUBAME2 の 運用期間と並行して，先進的な冷却方式を実験するための 小型スパコン
TSUBAME-KFC を導入した．計算ノードは油槽に丸ごとつかり，油温を冷却塔で大 気冷却
された冷却水により下げる．詳細は論文”TSUBAME-KFC: a Modern Liquid Submersion
Cooling Prototype towards Exascale Becoming the Greenest Supercomputer in theWorld” (IEEE ICPADS 2014)を参照のこと．

⚫

TSUBAME3 では，TSUBAME-KFC の経験を経て，チラーの利用を抑制することおよび 30℃
程度の高温液体により直接冷却することを主眼とした．その結果，上述のような CPU/GPU
を直接液冷する方式とした．約 2 年間の計算ノード部の PUE は 1.14 である．ストレージ 等の冷却のために，TSUBAME2 時代から用いているチラーを使っているため，システム全体 PUEは 1.29 に落ちる．

運用中の取り組みについて，TSUBAME2 時代のものを述べる．
⚫

運用開始時期には，チラーで冷却する水温を 10℃程度としていたが，これは保守的で あ り，
順次水温を上げる取り組みを行った．最終的には水温は 17℃程度，ノード吸気温は 24℃程度とし，これでもシステムは問題なく動作した．

⚫

大学から夏季昼間のピーク消費電力を下げるよう(上限 800kW 程度)要請があったため，昼
夜で目標電力を変えるピークシフト運用を行った．

2.2.5.6.

課題

現在の TSUBAME3.0 は，過去のシステムに比べてエネルギー効率は改善しているが，下記の 課
題がある．
⚫

ストレージ等を冷却するチラー関係の消費電力が大きい．ここではチラー方式そのもの の 問題もあるが，TSUBAME2.0 時代から用いているチラーがオーバスペックである点も影響が大きいと考える．この冷却能力は全体で 2MW, ユニット当たりで 250kW である．通常は 1 ユニットのみが稼働していることを確認しているが，それでも平均電力 70kW 程度のストレージの冷却のためにはオーバスペックである．

⚫

計算ノードの冷却設備も，能力とのミスマッチの可能性がある．本冷却システムはラックあ たり
60kW, 計算ノード群全体で 900kW の冷却能力を持ち，これはピーク時の消費電力をもとに設計されている．しかし前述のグラフのように，計算ノー ド群の消費電力は平均運用時 には30

情報システムの効率的エネルギー活用検討 WG

成果報告書

300kW 程度であり，ピーク時の 1/3 程度である．このような場合に，冷却設備自体の消費電力も，ピーク時の 1/3 に近づくことが望ましい．
将来のシステムに向けた，設計上の課題を述べる．
⚫

TSUBAME3.0 の方式において，チラーを用いる部分がエネルギー効率を低下させている．産総研 ABCI システムのように，ストレージも温液冷却とすることにより改善すると期待されるが ，ストレージの故障率への影響の可能性がある．

31

情報システムの効率的エネルギー活用検討 WG

成果報告書

3. 効率的エネルギー活用に有効な事例
本章では，前章に挙げた課題に対して，解決や対策に有効な技術と事例について紹介する．

3.1. 技術
効率的なエネルギー利用および省電力には，各要素技術を改善するとともに，それらを 適 切に組み合わせることが重要である．本節では，そうした効率的なエネルギー利用や省電力に向けて，WG メンバーから提供された事例を列挙する．それぞれの詳細は Appendix1 に記載する．
⚫

半導体製造ばらつきを考慮した電力制御⚫

自然エネルギーを活用した空調システム⚫

予測技術を活用した空調制御システム⚫

ストレージと温度の関係⚫

電力チューニング⚫

縮退運転（自動ノード停止）

3.2. 制度
3.2.1. 再生可能エネルギーの購入について
省エネ法により，年間 1%のエネルギー原単位の削減が求められている．また，東京都条例により，温室効果ガス排出力削減の取り組みがなされている．
3.2.1.1.

東京都条例における排出量取引（参考：排出量取引入門，東京都環境局，平成 30 年 12 月）

東京都では，あるべき姿として「省エネルギー・エネルギーマネ ジメントの 推進により，エネ ル ギー 利用の高効率化・最適化が進展し，エネルギー消費量の 削減と経済成長が 両立した，持続可 能な都市が実現している．産業・業務部門においては，事業者規模の大小にかかわらず，設備機器の 効率的な運用・高効率化が進むとともに，低炭素なエネルギーの選択行動がとられている．」を掲げ，2016
年 3 月「東京都環境基本計画」において，次の目標を設定している．
⚫

温室効果ガス排出量：2030 年までに，30%削減(2000 年比)⚫

エネルギー消費量：2030 年までに，38%削減(2000 年比)⚫

再生可能エネルギー：2030 年までに，電力利用割合 30%程度に2016 年度速報値によれば，東京都 CO2 排出量(6,006 万トン)の内訳は次の通り．
32

情報システムの効率的エネルギー活用検討 WG- 業務・産業部門

51%- 家庭部門28%- 運輸部門

18%

- 廃棄物

3%

成果報告書

業務・産業部門のうち大規模事業所(約 1,200)に対しては，総量削減義務が課され，排出量取引制度が設定されている．
⚫

排出量取引制度の概要[制度概要]- オフィスビル等を対象とする世界初の都市型のキャップ＆トレード制度- 高効率機器への更新や運用対策の推進等，自らの事業所で削減対策を実験- 自らの削減対策に加え，排出量取引での削減量の調達により，合理的に対策を推進することができる仕組み- 大規模事業所間の取引に加え，各種クレジットの活用が可能[削減計画期間]
削減計画期間は 5 年毎に設定されている．
- 第 1 期計画期間：2010～2014 年度- 第 2 期計画期間：2015～2019 年度- 第 3 期計画期間：2020～2024 年度
各計画期間終了後，1 年 6 か月間の整理期間の後，履行期限を迎える．
[削減義務率]約 1,200 の対象事業所を 3 つの区分に分け，削減義務率を設定している．
Table 4 削減義務率
第 1 期計画期間

区分
Ⅰ-1

オフィスビル等※１と地域( ※ 1) オ フ ィ ス ビ 8%

冷暖房施設（「区分Ⅰ-

ル，官公庁 庁第 2 期計画期間
17%2 」 に 該 当 す る もの を除 舎，商業施設，
く．）

宿泊施設，教育施設，医療施設等

Ⅰ-2

オ フ ィ ス ビ ル 等 ※ １の う 事業所の 全 エ ネ
ち，他人から供給されたルギー使用量に
33

6%

15%

情報システムの効率的エネルギー活用検討 WG

熱に係るエネルギーを多く占める他人から利用している事業所

供給され た熱に

成果報告書

係るエネ ル ギーの割合が 20%以上
Ⅱ

区 分 Ⅰ -1 ， 区 分 Ⅰ -2

工場，上下水施以外の事業所

設，廃棄物処理

6%

15%

施設等
削減義務量は次の式で計算し，５年間の排出量を下記で定まる排出量上限以下にする．
削減義務量＝標準排出量×削減義務率×削減義務期間
排出上限量＝（標準排出量－単年度削減義務量）×削減義務期間[排出量取引の位置付け]
削減対策の実施を排出量取引よりも優先するよう定めているが，一方で，排出量取引を実施する必要があると判断した場合には，計画的な取得に努めることを求めている．つまり，排出量取引は削
減不足が確定してから検討するのではなく，早い段階から組織的な検討体制を構築して準備を 進め る
必要がある．
[クレジット]
クレジットとは，削減対策の実施により得られる温室効果ガス削減量のことで，次の 5 種類がある．
1.

超過削減量

2.

都内中小クレジット

3.

再エネクレジット

4.

都外クレジット

5.

埼玉連携クレジット[削減量口座簿]
排出量取引の結果は，東京都が管理する「 総量削減義務と排出量取引システム」とい う電 子シ
ステムに記録する．口座簿の記録は申請等に基づき東京都が行う．口座簿には(1)指定管理 口座と(2)一般管理口座がある．
指定管理口座とは，知事が指定地球温暖化対策事業所の指定を行う際に，職権で開設 される口座であり，削減義務の履行状況を管理するもの．指定管理口座に記録される数値は ，対象事
業所の排出状況を示す数値になる．
一般管理口座とは，事業者からの申請に基づき開設する口座であり，クレジットを売 却，購入する際(排出量取引)に開設が必要となる．
34

情報システムの効率的エネルギー活用検討 WG

成果報告書[排出量取引の実際]
排出量取引を行うためには，次の 4 つのステップを実施する．
1.

削減量の確認

2.

口座の開設

3.

取引先の確保4.

計画的な取引の実施

東京都の排出量取引は相対取引であり，取引価格は取引する当事者同士の 交渉・合意 により決定される．取引価格に対する上限価格，下限価格等の制約はない．
クレジットの販売先や購入先を見つけ方には，いくつかの方法がある．
1.

電子システムの「見積受付登録事業者照会」を利用する方法

電子システム内にある掲示板で，クレジットを売りたい，買いたい者が取引相手を探すため に，自らの情報を登録できるシステムである．
2.

民間のクレジット仲介業者，グリーンエネルギー証書の発行事業者を利用する方法

排出量取引セミナーに出店したことのあるクレジットの販売・仲介を行っている業者の情報を東京都の Web サイトで公表している．
3.

公表データを利用する方法「排出量取引実績等の情報」や「計画書のデータ」を参照し，購入先や販売先の候補を検討する．
前述の通り，取引価格は取引する当事者同士で決定されるが，東京都環境局の Web サイトには，取引価格の参考値が公表されている．
[バンキング]
削減計画期間中に削減対策を実施し超過削減量やオフセットクレジッ ト等を発行したもの の ，当該削減計画期間の削減義務の履行に利用しなかったクレジット等を，翌削減計画期間に持ち越すこと ．
バンキングは期日の到来とともに自動的に行われるため，手続きは不要．
⚫

総量削減義務と排出量取引システムについてクレジットの量や取引履歴などの情報を記録し，管理する電子システムであり，インターネ ッ トを通じて，Web ブラウザ上で操作できる．口座開設者は，自らの事業所の義務履行状況のほか，自分が開設した口座に記録されているクレジットの量や取引履歴などを参照できる．
- 利用時間 ：開庁日（土日，祝日を除く）9:00 から 18:00 まで
- 利用料
⚫

：無料

基準排出量の変更について35

情報システムの効率的エネルギー活用検討 WG

成果報告書

基準排出量が決定した特定地球温暖化対策事業所であって，次の 1，2 に掲げる要因による排出量の増減量として算定される量が，1 は変更部分における排出量の増減量の合計が基準排出量の6%以上，2 は供給先の床面積の増減量が基準年度における供給先の床面積の 6%以上である場合に，基準排出量の変更を行うことになっている．注意すべきは，増加だけでなく，減少した場合も変更を行う必要があること．
1.

熱供給事業所以外の事業所で，次の①から③のいずれかに該当する場合．

① 床面積が増減した場合② 用途が，排出活動指標に定める用途のうち異なる用途に変更した場合③ 事業活動の量，種類又は性質を変更するための設備が増減した場合
2.

熱供給事業所において，熱の供給先の床面積(住宅用途を含む)が増減した場合．

JAXA においては，JSS1(Jaxa Supercomputer System Generation 1)設置時に，既設建屋を取り壊し，スーパーコンピュータ棟の建築を行った際に，床面積の増加に伴う基準排出量の変更を行っている．
3.2.1.2.

低炭素電力事業者からの電力購入

排出量を算定する際に使用する CO2 排出係数が小さい電気事業者から電力を購入することで ，排出量削減を実現することもできる．例えば，2019 年 10 月に JAXA が調査したところでは，東京電力の排出係数(t-CO2/千 kWh)は，0.455 であるが，低炭素電力電気事業者 A，B，C の 排出係数
は，それぞれ，0.229，0.192，0 であった．C 社と電力購入の契約をすれば，計算上 CO2 排出量がゼロになる．その一方，電力の単価は上がるため，年間電力使用量が変わらない場合で も，年間数億円の電気代増加となるという試算であった．

36

情報システムの効率的エネルギー活用検討 WG

成果報告書

4. 業務効率や生産性を考慮したエネルギー効率の指標の検討
2.1 で述べた通り，「経済活動量」としてシステムを運用することによる価値，あるいはシステムが 提供する価値を利用することが課題である．そこで本 WG では，情報システム，特に HPC システムの「経済活動量」や価値に関して議論を行った．

4.1. HPC システムの「経済活動量」および価値について
HPC システムの「経済活動量」および価値の考え方については，システムのハードウェア・ソフトウェア
による価値はもちろん，それ以外にシステム上で動作するアプリケーションの性能や研究の成果 なども考慮することが望ましい．しかし，それら多様な観点を総合的に考慮して一つの指標としてまとめ上げ ることは非常に困難である．また，システムの特性によってどうい った観点を考慮する必要があるかが 異なる場
合があるということも，まとめ上げる困難さをより増大させている．

4.2. 「経済活動量」として用いる新たな指標について
こうした状況のなか，WG の議論の中では新たな指標として，いくつかの候補が挙がった．

37

情報システムの効率的エネルギー活用検討 WG

成果報告書

Figure 29 エネルギー原単位の指標見直しに関する検討結果
議論の結果，表中の黄緑で示したような指標を用いるのが良いのではないかという結論に至った．
具体的には，「計算性能」という一般的な名称とし，実際にどの値を使用するかは各サ イトの運 用者がシステムの特性に合わせて複数から選択できるようにすることで，個々のシステムにより適したエネ ル ギー
原単位を算出することができるようになる．

38

情報システムの効率的エネルギー活用検討 WG

成果報告書

5. 情報システムにおける効率的なエネルギーの利活用の検討
2.2 で示したように，HPC システムを運用するほとんどの機関ではエネルギーの効率的な利用のための活動を継続的に実施している．ここでは，そうした各機関のこれまでの取り組みについて整理し ，これから改善を試みようとする HPC システム運用機関の参考となる，実践済みのノウハウとしての一覧表記について検討した．以下に一覧を示す．
Table 5 効率的なエネルギー利活用のための実践済みノウハウ一覧
観点

手法

説明

冷却方式の変更による改善

空冷から水冷への変更

空冷より冷却効率の良い水冷
方式の採用

液浸の採用

水冷より冷却効率の良い液浸方式の採用

ホットクーリング従来より高い温度でも安定動（冷却温度：XX～XX℃）

作する（特に液浸の）ハード
ウェア／製品の採用

ウォームクーリング

従来より高い温度でも安定動（冷却温度：XX～XX℃）

作する（特に液浸の）ハード
ウェア／製品の採用

設備更新・運用方法の変更に

熱源側冷却方式の変更

大気冷却の採用

空調機設備の更新

同じ冷却能力をより低い 消費よる改善電力で実現できる空調機の採用
空冷エリア縮小

必要な範囲のみ冷却

冷却温度変更より高温での冷却

ホットアイル／コールドアイル分離

熱の流れの整理

冷却塔の冷却能力改善

風通しの向上

蓄熱槽の活用急激な冷却需要の吸収

シ ス テム 更新・運用方法の変電力モニタリ ングと緊急ジョブ自 シ ステム 全体あ るいは特定部

更による改善動停止

分の 電力を常時監視し，超過が発生しそうな場合 にジョ ブ（プログラム ）実行を自動的に停止する仕組みの導入

熱効率の高いプロセッサの採用

同じ計算をより低い 消費 電力で実行できるプロセッサの採用

ジョ ブスケジュ ー ラ連携による待 しばらく 使わない 計算ノ ードは39

情報システムの効率的エネルギー活用検討 WG

機ノード電源停止

成果報告書

電源を停止しておき，使 用するタイミングで自動的に起動する仕組みの導入

電力キャッピング

消費電力が上限を超過しない
ようハ ー ドウ ェア／ソフトウ ェア
的に制御する仕組みの導入

コールドストレージの活用

参照頻度が 少ないデータを少ない 消費電力で 記憶可能な
コー ル ドストレー ジ（テープ装置など）の採用

ピークシフト運用

電気料金の 安価な時間帯を有効活用で きる仕組み の 導入40

情報システムの効率的エネルギー活用検討 WG

成果報告書

6. 提言
これまでに述べた WG での議論から，今後の情報システム（HPC システム，データセンター）の効
率的なエネルギー活用に関して提言する．

6.1. エネルギー原単位の指標の見直しについて
2.2.1.5 および 4 で述べた通り，データセンターや HPC システムにおいては，従来のエネルギー原単位の算出式に用いられてい る指標は実態に即してい ない状況となっている．これ を改善する ため ，本WG としてはエネルギー原単位の指標の見直しを提案したい．
具体的には，現在の計算式の分母（経済活動量）を「計算性能」とし，4 に挙げたような値か ら各機関がシステムの特性に応じて選択できるようにするべきである．

6.2. エネルギー原単位削減の対象期間について
エネルギー原単位の削減目標は，ある年度を基準に毎年 1％ずつとなっている．しかし，4.2 で 示したような指標の見直しが実際になされる場合，数年ごとに実施されるシステム更新によって原 単位は大きく改善することが想定される．また，情報システムの設備の更新は十年程度の間隔である． これ らの更新タイミングで，その時代の技術レベルで可能なエネルギー利用効率化策を積極的に講じるこ とで ，
長期的に見ると単年で 1％削減するよりも大きな効果が得られることと期待される．これらのことから，エネルギー原単位削減の対象となっている全事業者に対して一律に単年度での削減を求めるのではなく ，事業の特性に応じた期間と削減率を運用者・事業者が選択できるようにすることが望まれる．

6.3. 冷却設備電力の削減について
これまで述べてきたように，現状情報システムには冷却のための設備や仕組みが必要不可欠である．
これは，現在の情報システムを構成する部品が以下のような特性（課題）を持つためである．
⚫

動作するために電力を必要とし，それらは最終的に熱として排出される（使うと温度が上が る）⚫

動作を保証された温度帯が低い（高温での動作を保証されていない）

また，一般に部品の故障率は低い方がよいとされており，部品の低故障率の維持のため にも冷却設備の必要性は高いままとなっている．さらに今後，システム規模がますます大きく なることで ，シ ステ
ム・設備全体として消費するエネルギーも増大を続ける傾向にあると考えられる．
しかし，考え方を変え，これまでにない発想でシステムを設計・実装することで，大幅な 冷却設備
電力の削減を実現することができる可能性があると考える．例えば，以下のような冷却設備電力 案が考えられる．

41

情報システムの効率的エネルギー活用検討 WG⚫

熱耐性が高く，高温での実行効率の高い IC チップの採用-⚫

⚫

より少ない冷却設備（冷却電力）で効率よく計算するチップを開発する

部品温度の上昇による故障率の増大を許容するシステム運用保守-

冷却設備に費用をかけない-部品が故障する前提でノード資源等の割り当てを計画する-

部品の交換作業が容易なハードウェア設計とする

冷却不要な半導体素子，ストレージの開発-

冷却設備をなくす-

50℃以上の高温でも問題なく動作する部品を開発する-

熱がほとんど発生しないデバイスを開発する

42

成果報告書

情報システムの効率的エネルギー活用検討 WG

成果報告書

7. おわりに
本報告書では，まず情報システムにおける効率的エネルギー 活用の現状と課題を示し，それ らに有効な技術と事例，ならびに同様の課題を抱える他業界の動向について紹介した．そして，情 報シ ス
テム，特に HPC システムの運用者としての観点から，より受け入れやすいエネルギー原単位の指標について検討した．また，情報システムにおける効率的なエネルギー利活用のために必要な技術や取り組みについても検討した．最後に，これらの検討結果を提言としてまとめ た．これらの提言については，情報システム，特に HPC システムを運用する他組織にも広め，業界全体として改善を図っていきたいと考えている．
なお，今回は情報システムの中でも HPC システムに特化して議論を行ったが，同様に IT 機器で電力を多く消費するデータセンターにおいても，効率的なエネルギー利活用が重要である．そうした他業界との意見交換や共同での取り組みを実現することも，社会全体がエネルギーを効率的に活用出 来るようになるために重要である．

43

情報システムの効率的エネルギー活用検討 WG

Appendix1 事例
Appendix1.1. 半導体製造ばらつきを考慮した電力制御

44

成果報告書

情報システムの効率的エネルギー活用検討 WG

45

成果報告書

情報システムの効率的エネルギー活用検討 WG

46

成果報告書

情報システムの効率的エネルギー活用検討 WG

47

成果報告書

情報システムの効率的エネルギー活用検討 WG

48

成果報告書

情報システムの効率的エネルギー活用検討 WG

49

成果報告書

情報システムの効率的エネルギー活用検討 WG

50

成果報告書

情報システムの効率的エネルギー活用検討 WG

51

成果報告書

情報システムの効率的エネルギー活用検討 WG

52

成果報告書

情報システムの効率的エネルギー活用検討 WG

53

成果報告書

情報システムの効率的エネルギー活用検討 WG

54

成果報告書

情報システムの効率的エネルギー活用検討 WG

55

成果報告書

情報システムの効率的エネルギー活用検討 WG

56

成果報告書

情報システムの効率的エネルギー活用検討 WG

57

成果報告書

情報システムの効率的エネルギー活用検討 WG

58

成果報告書

情報システムの効率的エネルギー活用検討 WG

59

成果報告書

情報システムの効率的エネルギー活用検討 WG

60

成果報告書

情報システムの効率的エネルギー活用検討 WG

61

成果報告書

情報システムの効率的エネルギー活用検討 WG

成果報告書

Appendix1.2. 自然エネルギーを活用した空調システム
本節では自然エネルギーを活用した空調システムについて，富士通研究所での開発例を紹介する．

Appendix1.2.1. センタの冷却方式とその特徴について
データセンタをはじめとした計算機センタでは，その利用用途や規模にあ わせて様々な冷却方 式が採用されている．下図は様々なセンタで 採用されている冷却方式の種類と，関連する熱移 動媒体や使用設備について記したものである．多くのセンタで 採用され ている空冷お よび水冷方式は計算機か ら出る排気と冷媒または水との熱交換が行われてお り，冷媒または水はそれ ぞれ空調機やチラー とい った
設備で放熱・冷却されるのが一般的である．
冷涼な外気を積極的に使用した冷却方式は外気冷却方式と呼ばれ，外気をセンタ内に取り 込む
か否かで直接または間接外気冷却方式に分けられる．これらの方式は自然エネルギーを利用 した冷却方式とも呼ばれており，使用設備の使用電力を低く抑えることができ，空調機の効率を示す COP も高い．一方で計算機の熱を液体に伝達する方法として液浸・油浸冷却やコールドプレート冷却などが あ る．
これらの冷却方式はスペース当たりの熱輸送量が 高い事から，高発熱な計算環境での利用有利が 適する．

Figure 30 主な冷却方式一覧(引用：The Green Grid 資料より(2018))
現在，冷却方式が計算機のスペース当たり発熱量に応じて，現在の空冷から Figure 31 に示す
ように水冷・液浸冷却方式か，または自然エネルギーを利用した冷却方式にシフトし始めている．さらに62

情報システムの効率的エネルギー活用検討 WG

成果報告書

Figure 32 に示すように，これらの冷却方式を組み合わせた冷却方式も出始めており，今後 HPC の 性
能向上や需要増に伴い，より高効率な冷却方式にシフトしていくと考えられる．

Figure 31 冷却方式の推移

Figure 32 今後想定される冷却方式の推移

Appendix1.2.2. 自然エネルギー活用型モジュラ型データセンタの開発
富士通研究所では省エネを追及した自然エネルギー活用型モジュラ型データセンタの開発が行われた．開発したモジュラ型データセンタの外観と内観を下図に示す．このデータセンタは外気を最大限計算機の冷却に利用できるよう設計されており，空調機やチラーといった冷熱源を備えてい ない．外 壁面に63

情報システムの効率的エネルギー活用検討 WG

成果報告書

は外気を給気する開口部と，暖気を排気する開口部を備える．2 つの小さな開口部は気化冷却機とつながっており，外気の温湿度調整が必要な時に，これらからも外気を給気する．
内部は 2 室に分かれており，気化冷却機，循環ダンパ，送風ファンを備えた空調室とサーバ等計算機が設置されたサーバ室からなる．空調室では気化冷却機と循環ダンパの起動によって外気が 温湿
度調整される．調整された外気は送風ファンを介してサーバルームに給気され，計算機を冷却する．サーバ室にはサーバラックが 3 台あり，ラック当たり 8kW 電力供給可能である．ホットアイルに排出され た
暖気は循環ダンパの開閉により一部を空調室に循環させることができる．

Figure 33 モジュラ型データセンタの外観

64

情報システムの効率的エネルギー活用検討 WG

成果報告書

Figure 34 モジュラ型データセンタの内観
このモジュラ型データセンタの冷却システムで年間運用した時の結果を下図に示す．運用 条件はコールドアイルの温湿度条件が一般的なサーバの設置条件である，10～35℃，10～85%である．循環
ダンパは外気が 10℃以下または湿度 85%以上の時に，ダンパが開き暖気を循環するよう制御され た．
また気化冷却機は外気が 35℃以上または湿度 10%以下の時に，気化冷却機が稼働し外気を加湿冷却するよう制御された．循環ダンパおよび気化冷却機の制御によりコールドアイルの温湿度は運用条
件内に制御された．

Figure 35 年間運用結果
65

情報システムの効率的エネルギー活用検討 WG

成果報告書

Appendix1.2.3. 冷却機器と計算機連携した一体制御システムの開発
前項のモジュラ型データセンタにファンレスサーバを搭載することで，総電力の削減に取り組んだ．通常，サーバは内蔵部品を冷却するため冷却用のファンがある．このファンの回転数を制御して，部 品の温度を適切に保っている．一方，冷却機器側にも，サー バに冷気を送風するための ファンが あ る．冷却コストを最小とするために，モジュラ型データセンタ全体を 1 台の大きな計算機として見立て，サーバの内蔵ファンを取り除き，下図のようなモジュラ型データセンタ側の冷却機器と連携する一体制御を実現した．

Figure 36 ファンレスサーバの採用

Figure 37 冷却機器と計算機連携した一体制御システム
66

情報システムの効率的エネルギー活用検討 WG

成果報告書

下図に制御手順を示す．はじめに Figure 38 に示すように，CPU 温度は低温であるほどファン電力が増大し，一方で CPU 温度を高温にするほどサーバ電力がリーク電流起因により増大することか ら，
これら 2 値を合わせた電力が最小となるような CPU 温度で運用させる．さらに Figure 39 に示すように，計算性能を維持する為，CPU 温度はサーマルスロットリングに入らない（クロック数を低下させない）上
限温度以下で運用させる．

Figure 38 CPU 温度に対するファン・サーバ電力の相関

Figure 39 CPU 温度に対する計算能力の相関67

情報システムの効率的エネルギー活用検討 WG

成果報告書

今回実験で得られた総消費電力が従来空調を使用した場合，ならびにファン搭載サーバを使用した場合と比較してどれだけ削減効果があったのか比較した結果を以下図に示す．削減割合はエアコン・ファン付き計算機と比較し，夏場で最大約 41.3%と最も高く，冬場利用でも 36.8%減と極めて高い削減結果となった．本結果より外気利用，ファンレスサーバの採用，更には総電力最小値の効果が 確認できる．PUE は，外気温 35℃の時は 1.14，外気温 13℃の時は 1.05 となり，年間を通して非常に高い冷却効率を実証した．

Figure 40 実証試験に基づく削減効果68

情報システムの効率的エネルギー活用検討 WG

成果報告書

Appendix1.3. 予測技術を活用した空調制御システム
本節では予測技術を活用した空調制御システムについて，富士通研究所での開発例を紹介する．

Appendix1.3.1. センタの空調システムの制御について
従来よりデータセンタの空調システムでは，外気温度や計算機温度の急激な変動でも室内を適切な温度管理条件内に維持できるよう，過剰な空調運用が行われている．特に HPC では電力 消費の異なるお客様が多様なサービスを実行することから，ノード単位の発熱量は変動しやすく，より過剰な空調運用が 行われ る事になる．近年で は空調管理システムやデータセ ンタインフラ管理(Data Center
Infrastructure Management, DCIM)システムにより，冷却機器や ICT 機器に内蔵されたセンサ情報が一括で取得可能となった．このデータを活用した空調制御シ ステムを開発することで，デー タセ ンタの
空調電力のさらなる削減が期待できる．
過剰運用低減による空調電力削減の課題に対し，以下図に示すようなモデル予測制御と呼 ばれる手法が提案されている．この手法は対象センサの将来状態を推定できる予測モデルを構築 し，計測
値とシステムの状態をこのモデルに入力し，予測値を算出する．得られ た予測値から，空調電力が 最小となるような動作を決定し，空調機器を制御する．

Figure 41 モデル予測制御システムの概要

Appendix1.3.2. Just-In-Time モデリングを用いた大規模センタ向け予測制御技術の開発
大規模なセンタでは以下図に示すように，計算機のレイアウトや空調設備の稼働状態が 頻繁に変更され，構築したモデルが実際と乖離していくことから，固有のモデルを持たない手法が求められる．さらに空調機器や計算機の特性を十分に踏まえたうえで，予測値から空調機器を動的に制御する 手法が69

情報システムの効率的エネルギー活用検討 WG

成果報告書

求められる．

Figure 42 データセンタレイアウト変更の課題
上記を踏まえ，富士通研究所では Just-In-Time (JIT) モデリングを使ったデータセンタ温湿度予測
技術と，データセンタの空調電力を大幅に削減する空調制御技術を開発した．J IT モデリングとは固有のモデルを持たず，過去の温湿度計測値から回帰モデルを逐次作成する手法である．はじめに，取得した現在のセンサデータと類似した過去データを，データベースから検索する．次に検索した過去デ ー タから，ローカルモデルを構築する．構築したモデルと現在のセンサデータから予測値を算出する．モデルは逐次廃棄され，都度新しいモデルを構築する点が，本手法の大きな特徴であ る．モデル は自 然に更新されるため，本手法は，対象が例え非線形システムであっても高精度で将来の状態を予測できるメリットを有している．

Figure 43 モデリングの概要
次に空調の消費電力を削減する制御技術として，本稿では外気導入を効率化する判 定制御，
70

情報システムの効率的エネルギー活用検討 WG

成果報告書

および空調機電力を最小化する設定温度制御につい て紹介する．空調機電力効率に基づ い た外気導入制御は Figure 44 に示す．室内の空調機近辺や屋外に温湿度を測定するセンサから，内気循
環時および外気導入時の冷却・除湿に要する消費電力を計算する．この結果に基づき内気 循環と外気導入の比率を制御することで温度および湿度を低消費電力で適切に管理できる．
空調機電力を最小化する設定温度制御は Figure 45 に示す．はじめに設定温度を変更した際に，過去のサーバ・室内温度分布の変化を分析し，空調機ごとの各エリアへの影響の大きさを算出しておく．あるエリアのサーバ温度が上がった時に，サーバが設置されているエリアへの影響が大きい空調機の設定温度を制御することで，最低限の消費電力での温度管理が可能となる．

Figure 44 空調機電力効率に基づく外気導入制御

Figure 45 空調機電力を最小化する設定温度制御

71

情報システムの効率的エネルギー活用検討 WG

成果報告書

本提案手法を運用中のデータセンタで実証し, 従来手法と比較し提案手法の有効性を検証 した．
その結果提案運用の実施により，従来よりも 28.9%の削減効果が得られた．

Figure 46 予測制御による電力削減効果

72

情報システムの効率的エネルギー活用検討 WG

Appendix1.4. ストレージと温度の関係

73

成果報告書

情報システムの効率的エネルギー活用検討 WG

74

成果報告書

情報システムの効率的エネルギー活用検討 WG

75

成果報告書

情報システムの効率的エネルギー活用検討 WG

76

成果報告書

情報システムの効率的エネルギー活用検討 WG

77

成果報告書

情報システムの効率的エネルギー活用検討 WG

78

成果報告書

情報システムの効率的エネルギー活用検討 WG

Appendix1.5. 電力チューニング関連

79

成果報告書

情報システムの効率的エネルギー活用検討 WG

80

成果報告書

情報システムの効率的エネルギー活用検討 WG

81

成果報告書

情報システムの効率的エネルギー活用検討 WG

82

成果報告書

情報システムの効率的エネルギー活用検討 WG

Appendix1.6. 縮退運転（自動ノード停止）

83

成果報告書

情報システムの効率的エネルギー活用検討 WG

84

成果報告書

情報システムの効率的エネルギー活用検討 WG

85

成果報告書

情報システムの効率的エネルギー活用検討 WG

86

成果報告書

情報システムの効率的エネルギー活用検討 WG

87

成果報告書

情報システムの効率的エネルギー活用検討 WG

88

成果報告書

情報システムの効率的エネルギー活用検討 WG

89

成果報告書

情報システムの効率的エネルギー活用検討 WG

90

成果報告書

情報システムの効率的エネルギー活用検討 WG

91

成果報告書

情報システムの効率的エネルギー活用検討 WG

92

成果報告書

情報システムの効率的エネルギー活用検討 WG

93

成果報告書

情報システムの効率的エネルギー活用検討 WG

94

成果報告書

情報システムの効率的エネルギー活用検討 WG

95

成果報告書

情報システムの効率的エネルギー活用検討 WG

96

成果報告書

情報システムの効率的エネルギー活用検討 WG

97

成果報告書

情報システムの効率的エネルギー活用検討 WG

Appendix2 冷却設備電力の削減見込みに向けた施策

98

成果報告書

情報システムの効率的エネルギー活用検討 WG

99

成果報告書

情報システムの効率的エネルギー活用検討 WG

100

成果報告書

情報システムの効率的エネルギー活用検討 WG

成果報告書

以上

===========================================================

情報システムの効率的エネルギー活用検討 WG 成果報告書【発行者】：サイエンティフィック・システム研究会【編

集】：サイエンティフィック・システム研究会 情報システムの効率的エネルギー活用 WG【発行日】：2020 年 3 月 17 日
【連絡先】：サイエンティフィック・システム研究会 事務局〒105-7123 東京都港区東新橋 1-5-2 汐留シティセンター
Email: ssken_office@ml.css.fujitsu.com
http://www.ssken.gr.jp/MAINSITE/===========================================================※著作権は各原稿の著者または所属機関に帰属します。無断転載を禁じます。
101