

北海道大学におけるスパコン・
インタークラウド連携について@(* [( %!*.9 7W1)'*%1 LXN"* 2G [@89=)+Y=)H4:<"* $*(#(
ZCQ="* &(#(B? ;D7S>3RN EIV [57JMO-Q0KUF @(*6T  

北海道大学 情報基盤センター長
PCクラスタワークショップ in 神戸 2022
２０２２年６月２４日

棟朝 雅晴

自己紹介

1
   

棟朝 雅晴（むねとも まさはる）
北海道大学情報基盤センター センター長
システムデザイン研究部門 教授（情報科学院情報科学専攻情報理工学コース）
情報環境推進本部 情報化推進室長
専門： クラウドコンピューティング ・ 並列分散処理
進化計算 ・ メタヒューリスティクス ・ 機械学習 ・ 最適化@(* [( %!*.9 7W1)'*%1 LXN"* 2G [@(*進化計算学会 理事・副会長
89=)+Y=)H4:<"* $*(#([,P=)
ZCQ="* &(#(B?  
情報処理学会 論文誌「数理モデル化と応用」編集委員長;D7S>3RN EIV [57JMO?A/-Q0KUF @(*6T  
７大学情報基盤センター クラウドコンピューティング研究会 主査
クラウド利用促進機構 総合アドバイザー
日本MSP (Managed Service Provider) 協会 顧問 など

センター長あいさつ

北海道大学大型計算機センター発足
H I S1970.4
TORY

用者の利便性やプログラムの互換性にも配慮した使いやすいシステムとして、すでに多くの研究者にご利用をいただいており、全国規模で公募される「学際大規模情報基盤共同利用・共同研
1960

究拠点」や「High Performance Computing Infrastructure (HPCI)」における最先端の大規模計算基盤（全国共同利用施設）（富士通FACOM230-60(160kワード））

教育情

1979

1977.12 交換回線による端末接続サービス開始
1979.10 日立製作所のシステム導入

2（HITAC M-180）
共同研究課題での活用も含め、ほぼフル稼働の状態となっております。また、「北海道大学ハイ
1962.8 北海道大学計算センター発足
北海道大学情報基盤センターは、2003年4月に大型計算機センターと情報メディア教育研1980
パフォーマンスインタークラウド」として、北海道から九州に至る全国規模のインタークラウ
ドシ（学内・道内国立大学・高専共同利用施設）
究総合センターの統合により設立され、本学における情報基盤の高度化に向けた研究開発を推
初期（日立製作所HIPAC103、1981.10 大型計算機センターN1
ステム基盤を実現し、利用者がクリックして申請するだけで、大規模な広域分散クラウ
ドシステ 日本電気
進しています。2018年12月には、スーパーコンピュータシステムとインタークラウ
ドシステム
北海道大学情報基盤センター長
NEAC2203-G（記憶容量10kワード））
NEAC2203-G
ネットワークサービス開始
ム基盤をパッケージとして利用できるサービスを提供しております。
1986.8 スーパーコンピュータ導入から構成される、新「学際大規模計算機システム」のサービス提供を開始しました。新スーパー
1970
棟朝 雅晴
ネットワークやセキュリティに関する研究開発、コンテンツやメディアを活用した教育研究など、（日立製作所S-810/10）
コンピュータシステムは旧システムの20倍以上となる約4ペタフロップスの演算性能を有し、利1970.4 北海道大学大型計算機センター発足
本センターの達成すべきミッションは情報関連分野全般に渡ります。本センターを構成する6部
教育情報基盤（全国共同利用施設）
用者の利便性やプログラムの互換性にも配慮した使いやすいシステムとして、すでに多くの研究
1979.4 情報処理教育センター発足
門、スーパーコンピューティング研究部門、情報ネットワーク研究部門、デジタルコンテンツ研（富士通FACOM230-60(160kワード）） 1990
者にご利用をいただいており、全国規模で公募される「学際大規模情報基盤共同利用・共同研（学内共同利用施設）
1977.12 交換回線による端末接続サービス開始
1993
究部門、メディア教育研究部門、システムデザイン研究部門、サイバーセキュリティ研究部門で（日立製作所HITAC M-170）
究拠点」や「High Performance Computing Infrastructure (HPCI)」における最先端の1979.10 日立製作所のシステム導入
は、それぞれの特色を生かした研究開発を推進しています。さらに、本センター内に設置され
1996（HITAC M-180）
共同研究課題での活用も含め、ほぼフル稼働の状態となっております。また、「北海道大学ハイたサイバーセキュリティセンターを中核として、安心、安全な情報基盤の実現に向けた活動を進1980
パフォーマンスインタークラウド」として、北海道から九州に至る全国規模のインタークラウドシ
めています。
初期実習風景1981.10 大型計算機センターN1
ステム基盤を実現し、利用者がクリックして申請するだけで、大規模な広域分散クラウドシステ
1999
現在進行中のコロナウイルスの世界的な感染拡大に伴い、社会のあり方が大きく変化しよう
ネットワークサービス開始
ム基盤をパッケージとして利用できるサービスを提供しております。
1986.8 スーパーコンピュータ導入
S3800/380スパコンペインティングとしています。感染防止対策として、リモートワークの推進や遠隔会議、遠隔教育の全面的な実
ネットワークやセキュリティに関する研究開発、コンテンツやメディアを活用した教育研究など、（日立製作所S-810/10）
2000
施など、ICT関連技術を最大限活用した取り組みが求められているところです。情報基盤セン本センターの達成すべきミッションは情報関連分野全般に渡ります。本センターを構成する6部
情報基盤センター発足
ターにおいては2020年8月に「情報環境推進連携部」を新設し、本学情報環境推進本部と密1990
門、スーパーコンピューティング研究部門、情報ネットワーク研究部門、デジタルコンテンツ研
2003.4 情報基盤センター開設に連携してキャンパスネットワークやクラウドシステム・サービスの整備・運用、ならびに本学に1993.10 インターネットサービス
ネットワーク基盤
究部門、メディア教育研究部門、システムデザイン研究部門、サイバーセキュリティ研究部門で2003.11 情報基盤センター設置記念式典
おけるサイバーセキュリティ対策を主導するとともに、オープンエデュケーションセンターとも連（電子メール、Web）
開始
平成15年度 情報処理教育研究集会開催
1992.3 北海道大学情報は、それぞれの特色を生かした研究開発を推進しています。さらに、本センター内に設置され1996.3
大
型
汎
用
計
算
機を廃
止し、
携し、遠隔教育に対応した教育用計算機システムの運用を支援しております。本センターの有す2005.3 教育情報システムの更新（HINES）
完成（
たサイバーセキュリティセンターを中核として、安心、安全な情報基盤の実現に向けた活動を進WSとPCからなるサーバ・ク
2006.1 スーパーコンピュータの更新1995.1 スーパー情報ハる「学際大規模計算機システム」のスーパーコンピュータシステムならびにインタークラウドシ
ライアントシステムへ
めています。
2007.3 汎用コンピュータシステムの更新
（ATM）
運用開
ステムのサービスについては、遠隔からネットワーク経由での利用となっているため、幸い影響
1999.4 情報メディア教育研究総合2009.3 キャンパスネットワークシステムの更新
1999.3 超高速キャンパ
現在進行中のコロナウイルスの世界的な感染拡大に伴い、社会のあり方が大きく変化しよう
センターへ改組転換
はほとんどございませんが、感染防止のために研究活動が遅れている分野に対しては、遠隔か・共同研究
2009.6 ネットワーク型「学際大規模情報基盤共同利用
ーク拡充システ
S3800/380スパコンペインティングとしています。感染防止対策として、リモートワークの推進や遠隔会議、遠隔教育の全面的な実として認定（期間 2010.4〜2016.3）
らの実験機器の操作や研究データの管理のための高性能かつセキュアなネットワークの整備・
2000
大韓民国高麗大学校師範大学
・教育大学院と学術交流協2009.7施など、ICT関連技術を最大限活用した取り組みが求められているところです。情報基盤セン支援等が、今後重要な課題となってくるものと予想されます。今後の社会の大きな変化に適応
情報基盤センター発足
ターにおいては2020年8月に「情報環境推進連携部」を新設し、本学情報環境推進本部と密2010し、本学のみならず学術分野を中心として社会全体にとって真に必要とされるセンターとなるべ
2003.4 情報基盤センター開設に連携してキャンパスネットワークやクラウドシステム・サービスの整備・運用、ならびに本学に2010.3 教育情報システムの更新
く、地道に研究開発を進めて参りたいと存じますので、ご支援のほどよろしくお願いいたします。
2003.11 情報基盤センター設置記念式典
2010.7 国立情報学研究所、東京工業大学と次世代グリーンスー
おけるサイバーセキュリティ対策を主導するとともに、オープンエデュケーションセンターとも連北海道大学情報基盤センター

n 情報化を推進するための研究開発並びに情報基盤の整備及び運用を行い，教育研究等の高度化を推進するとともに，情報メデ
ィアを活用した教育の実施及び支援を行うことを目的とする。
   
n 「学際大規模情報基盤共同利用・共同研究拠点」（JHPCN）
（北大，東大，京大，東北大，東工大，名大，阪大，九大）
情報基盤センターの運営組織
n HPCI (High Performance Computing Infrastructure)（スパコン）資源提供機関（第２階層）
北海道大学情報基盤センター長

棟朝雅晴

携し、遠隔教育に対応した教育用計算機システムの運用を支援しております。本センターの有す

情報基盤センター北館
る「学際大規模計算機システム」のスーパーコンピュータシステムならびにインタークラウ
ドシ
ステムのサービスについては、遠隔からネットワーク経由での利用となっているため、幸い影響はほとんどございませんが、感染防止のために研究活動が遅れている分野に対しては、遠隔か

2005.3
情報基盤センター南館
2006.1
2007.32009.32009.6

らの実験機器の操作や研究データの管理のための高性能かつセキュアなネットワークの整備・

2009.7

支援等が、今後重要な課題となってくるものと予想されます。今後の社会の大きな変化に適応2010

し、本学のみならず学術分野を中心として社会全体にとって真に必要とされるセンターとなるべ2014.4 ペタバイト級データサイエンス統合クラウドストレージのICT
2015.3 キャンパスネットワークシステムの更新
教育情報システムの更新
2015.3 教育情報システムの更新
国立情報学研究所、東京工業大学と次世代グリーンスーパーコンピュータ大規
ICT@(* [( サイバーセキュリティ
研究部門の改組(４部門から６部門)、
2015.10%!*.9
模実証実験のための研究協定締結
トワーク型「学際大規模情報基盤共同利用
・共同研究
2016.1 ネッ7W1)'*%1
LXN"*
2G [@(創立10周年記念式典（Ｈ
Ｐ
Ｃ
Ｉ）の構築を主2010.10 革新的ハイパフォーマンス・コンピューティング・インフラ（学際大規模計算機システム（
2018.12 大型計算機システムの更新
89=)+Y=)H4:<"*
$*(#([,P
導する準備段階におけるコンソーシアム構成機関（計算資源提供機関）に決定
2019.12 人工知能対応先進的計算機システムの導入
2011.7 大韓民国漢城大学校芸術大学と学術交流協定締結
ZCQ="*&(#(B?
 
情報環境推進連携部を設置
2020.8（スーパーコンピュー2011.11 大型計算機システムの更新（学際大規模計算機システム;D7S>3RN
EIV [57JMO?A
タシステム、クラウドシステムほか）の導入）-Q0KUF @(*6T  
2012.9 HPCIのサービス開始
2013.11 情報基盤センター創立10周年記念式典
2014.4 ペタバイト級データサイエンス統合クラウドストレージのサービス開始
2015.3 キャンパスネットワークシステムの更新
学際大規模計算機システム運用開始式
2015.3 教育情報システムの更新
サイバーセキュリティセンターを設置
2015.10 研究部門の改組(４部門から６部門)、として認定更新（期間 2016.4〜2022.3）
2016.1 ネットワーク型「学際大規模情報基盤共同利用・共同研究拠点」（令和2年8月1日現在）（学際大規模計算機システム（北海道大学ハイパフォーマンスインタークラウド））
2018.12 大型計算機システムの更新
2019.12 人工知能対応先進的計算機システムの導入
2020.8 情報環境推進連携部を設置

2010.32010.7

く、地道に研究開発を進めて参りたいと存じますので、ご支援のほどよろしくお願いいたします。

情報基盤センター北館

平成15年度 情報処理教育研究集会開催
模実証実験のための研究協定締結
教育情報システムの更新（
2010.10 革新的ハイパフォーマンス・コンピューティング・インフラ
スーパーコンピュータの更新
導する準備段階におけるコンソーシアム構成機関（計算
文部科学省、北海道、札幌市、 平成１５年度
国公私立大学ならびに本学 情報処理教育研
汎用コンピュータシステムの更新
2011.7 大韓民国漢城大学校芸術大学と学術交流協定締結
関係者等約90名が参加
キャンパスネットワークシステムの更新
2011.11 大型計算機システムの更新（学際大規模計算機システム
ネットワーク型「学際大規模情報基盤共同利用・共同研究拠点」 タシステム、
クラウドシステムほか）
の導入）
として認定
（期間 2010.4〜2016.3）
2012.9 HPCIのサービス開始
大韓民国高麗大学校師範大学・教育大学院と学術交流協定締結
2013.11 情報基盤センター創立10周年記念式典

情報基盤センター南館

情 報 基 盤センター
教
准

教

授

7

授

5

情報基盤センター

3

情報基盤センターが提供する研究支援システム
n 学際大規模計算機システム（全国共同利用・共同研究）
n スーパーコンピュータシステム
Grand Chariot (1,004 nodes)
使いやすさ重視の主力システム
Polaire (288 nodes)
省電力メニーコアシステム

パブリッククラウド

共同研究
100Gbps

IaaS/
共同利用・共同研究拠点HaaS

Router

IaaS/
HaaS

本センターは、学校教育法施行規則の規定に基づき、本センターを含む8大学の共同利用施設が連携したネットワーク型「学際大規模情報基盤共
同利用・共同研究拠点」として認定されました。

東京大学情報基盤センター（中核拠点）
東京工業大学学術国際情報センター
名古屋大学情報基盤センター
京都大学学術情報メディアセンター

High-Speed Network(学内LAN)

総演算性能
4PFlops超本センターでは、ネットワーク型「学際大規模情報基盤共同利用・共同研
究拠点」の目的を踏まえ、同拠点として実施する共同研究以外にも、本センター独自の公募型共同研究を平成21年度から行ってきました。

遠隔サイト （東大，阪大，九大，北見工大）
名称を「萌芽型共同研究」として以下の研究類型に分け、情報基盤を用Interconnect
いたグランドチャレンジ的な研究と、これを推進するための学際的な共同北海道大学情報基盤センター

FW/VPN■ ネッ
トワーク型共同利用・共同研究拠点を構成する施設
東北大学サイバーサイエンスセンター

HINES

遠隔
バック
アップ
萌芽型共同研究の推進

大阪大学サイバーメディアセンター
九州大学情報基盤研究開発センター

研究課題を本センターが中心となって実施しています。国内の研究機関等の教員、研究者との間において、10件の共同研究を行っており、このうちの5件は、JHPCNの萌芽型共同研究課題としても採択されています。
スーパーコン
スーパーコン（令和2年5月現在）
ピュータ
ピュータ

サブシステムA

サブシステムB●研究類型A：計算資源利用型●研究類型B：研究集会開催支援型■ 認定の有効期間
平成28年4月1日〜令和4年3月31日

n インタークラウドシステム■ 拠点の目的

本ネットワーク型拠点の目的は、超大規模計算機と超大容量のスト
レージおよび超大容量ネットワークなどの情報基盤を用いて、地球環
境、エネルギー、物質材料、ゲノム情報、Webデータ、学術情報、

管理・業務
系サーバ群

IaaS/
HaaS

IaaS/センサーネットワークからの時系列データ、映像データ、プログラム
IaaS/
App
WebDAV
HaaS解析、その他情報処理一般の分野における、これまでに解決や解明
HaaS(物理・仮想サーバ)(物理・仮想サーバ)
あります。

(物理サーバ)■ 拠点の運営

本拠点は、東京大学情報基盤センターを中核拠点とし、同中核拠点に拠点運営委員会及び共同研究課題審査委員会を設置して運営を行っています。

■ 公募型共同研究の推進本拠点では、大規模情報基盤を利用した学際的な研究を対象として、超大規模数値計算系応用分野、超大規模データ処理系応用分野、
超大容量ネットワーク技術分野、およびこれらの研究分野を統合した
超大規模情報システム関連研究分野に関する研究課題を募集し、令和2年度は、52件（内、本センター拠点関係は7件）の共同研究を行っています。また、平成28年度から、ネットワーク型拠点を構成する各センターで独自に募集する共同研究を将来的なJHPCN課題への進展を期待し、JHPCN萌芽型共同研究とする制度が開始されました。令和2年度は、5月現在で、43件（内、本センター拠点関係は5件）が採択されています。

で、従前、情報セキュリティ
学のサイバーセキュリティ

セキュリティ維持のた

平成27年度末に、情報ットワーク通信可視化シス

ー開館時間中、各館入口に要をリアルタイム表示して※機器調整時等、表示を停

スパコン
人工知能対応先進的計算機システム共同研究
ストレージ
本センターでは、北海道大学の研究者を対象に、アクセラレータを活用
した人工知能研究、サイバーフィジカルシステム等を含むさまざまな研究分

クラウド
野への人工知能技術の移転による研究の加速を目的とする、人工知能対応
ストレージ
先進的計算機システムを導入し、2019年12月より運用を開始しました。

広域分散クラウドシステム環境
物理・仮想サーバ（OpenStack）
クラウドストレージ（Nextcloud）＋遠隔バックアップ（北見工大）
インタークラウドパッケージ（北海道〜九州に至る広域分散システム環境）が極めて困難とされてきた、いわゆるグランドチャレンジ的な問題について、学際的な共同利用・共同研究を実施することにより、我が国の学術・研究基盤の更なる高度化と恒常的な発展に資することにサイバーセキュリティ基
ティセンターを設置しまし（Computer Security In

また、本システムを利用する共同研究課題の公募を実施しており、令和元年度は５件、令和２年度は6件（令和２年8月現在）採択されています。

■ 人工知能対応先進的計算機システムの概要

計算ノード（FUJITSU PRIMERGY CX400 M4、CX2570 M5）は8ノードで構成され、各ノードは2基のIntel製CPU（Xeon Gold6230、20コア）、4基のNVIDIA製GPU（Tesla V100 SXM2、32GB）、384GBのメモリ、NVMe接続の1.6TBのSSDを搭載します。計算
ノード間は、Intel Omni-Pathネットワークにより結ばれます。また、共用ストレージ（DDN ES200NV）として、21台のSSDで構成される、総物理容量76.8TBのストレージシステムを有します。ソフ
トウェアとしては、機械学習用の各種ソフトウェア（Tensor
Flow、PyTorch、Chainer、Caﬀe等）や並列化コンパイラ（PGI
Professional Edition）などが利用可能です。

サイバー訓練不測の事態への備えとしンシデントによる即応体制

情報環境推進本部と連携し計算ノード（8ノード）
FUJITSU PRIMERGY
CX400 M4/CX2570 M5

n 人工知能対応先進的計算機システム（学内専用）■ 拠点公募型共同研究で利用可能な計算機資源
スーパーコンピュータシステム

Grand Chariot（サブシステムA）
Polaire（サブシステムB)※共用ノード利用【ノード構成】
CPU：Intel Xeon
（Gold 6230/20コア）
×2
GPU：NVIDIA Tesla V100
（SXM2/32GB）×4
メモリ：384GB
ストレージ：1.6TB SSD（NVMe接続）×1

n 学内における人工知能関連プロジェクト公募・利活用
インタークラウドシステム

物理サーバ
インタークラウドパッケージ
仮想サーバ※L2VPN利用可

共用ストレージ
DDN ES200NV（76.8TB）
主なソフトウェア
Tensor Flow, PyTorch,
Chainer, Caﬀe,
PGI Professional Edition
人工知能対応先進的計算機システムの構成

参考：令和元年

北海道大学アカデミッククラウド （２０１１〜２０１８）

4n 学術向け「コミュニティクラウド」の先駆け（約１０年前）
n 単なる計算資源の仮想化にとどまらず、クラウドミドルウェア
CloudStack（Cloud.com社 → Citrix社 → Apache財団）を導入
し、本格的なIaaS・PaaSの基盤を学術研究者へ提供
n ビッグデータ処理システム（Hadoopクラスタ＋機械学習パッケージ）を自動的に設定し利用者が占有して利用できる基盤を整備

Cloud.com（当時） CEO Dr. Sheng Liang（現 Ranchar Lab. CEO）と（SC10展示）

5

Virtual Private Cloud (VPC)・ビッグデータクラスタサービス
n 利用者毎にVLANを割り当て、仮想ルータで制御→ 研究者毎にネットワークを隔離したVPCとして利用可能
n ビッグデータ処理パッケージの提供：Hadoop + Mahout（機械学習パッケージ） + R （＋MPI, Torqueなど並列計算も可能）
n 利用者の申請後、自動的に構築してすぐに利用できるクラスタ
パッケージとして提供
Zone

Balancing!overheads!of!disk!I/O!with!
round8robin!assignment!of!Virtual!disks.!

!

!

POD

Resource Pool #1

	



A

VM(

B

HyperVisor #2

Storage #1

Shared Storage #2

HyperVisor #3

VM(

eth0

eth0
eth0.200

eth0.800

eth0.201

eth0.201

VLAN-200

VLAN-201

VLAN-800

VLAN-201

VLAN-200

NIC
eth1

eth0

eth0

B

eth0

	
 

	



Virtual(Disk
Shared Storage #3

HyperVisor #5

VM(

Virtual((
Disk

eth0

eth0

A

eth0

Resouce Pool #4

VM(

HyperVisor #7

	
 

	

VM(
HyperVisor #8


Virtual(Disk

Virtual(DiskStorage #3

VM(
Shared Storage #4

Virtual(DiskStorage #2

VM(

HyperVisor #6

eth1

Hadoop Cluster
VM(

HyperVisor #4

eth0.200

Resouce Pool #3

VLAN-800



Virtual(Disk

Resource Pool #2

eth0.800

Shared Storage #1

HyperVisor #1

Virtual(DiskStorage #4
Virtual(Disk6

アカデミッククラウドの（１０年前ぐらいの）活用事例• 汎用 PaaS (CloudFoundry) を活用した、機械学習（進化計算）と人との連携による大規模なインタラクティブ進化システムの構
築等、先端的な情報システムに関する研究開発を推進• 水産科学（イカ漁場予測）におけるデータの集約などの活用事例

・・・

CloudFoundry
Load Balancer
iGA

iGA

Redis

Database
Redis

Redis

instance

UbuntuUbuntuUbuntuUbuntuUbuntu

VM

VM

VM

VM

VM

・・・

CloudStack
Sever

iGA

Applycation resource
instance
instance
・・・

UbuntuVM北海道大学ハイパフォーマンスインタークラウド（2018〜）

7

n 北大における学術情報基盤を集約化し，全国共同利用・共同研究による国内外の研究者を支援する，基幹システムn 高性能スパコン＋ ベアメタル（物理サーバ）中心の高性能
クラウドを密に連携（スパコン・クラウドGWも用意）n 北海道〜九州に至る広域分散クラウド環境をパッケージ化（インタークラウドパッケージ）して提供 → SINET5を活用した広域ネットワーク・分散システム関連研究を支援
n CloudStack から OpenStack （Mirantis OpenStack）へ
n ペタバイト級のストレージ （＋ 遠隔バックアップ＠北見）→ 研究データの長期保存への対応（＋アーカイブ）

携し、遠隔教育に対応した教育用計算機システムの運用を支援しております。本センターの有す2005.32006.1
2007.32009.32009.6

る「学際大規模計算機システム」のスーパーコンピュータシステムならびにインタークラウドシ
ステムのサービスについては、遠隔からネットワーク経由での利用となっているため、幸い影響はほとんどございませんが、感染防止のために研究活動が遅れている分野に対しては、遠隔からの実験機器の操作や研究データの管理のための高性能かつセキュアなネットワークの整備・

教育情報システムの更新
スーパーコンピュータの更新
汎用コンピュータシステムの更新
キャンパスネットワークシステムの更新
ネットワーク型「学際大規模情報基盤共同利用・共同研究拠点」
として認定（期間 2010.4〜2016.3）
大韓民国高麗大学校師範大学・教育大学院と学術交流協定締結

文部科学省、北海道、札幌市、 平成１５年度
国公私立大学ならびに本学 情報処理教育研究集会
関係者等約90名が参加

北海道大学ハイパフォーマンスインタークラウド（2018〜）
2009.7

支援等が、今後重要な課題となってくるものと予想されます。今後の社会の大きな変化に適応2010

し、本学のみならず学術分野を中心として社会全体にとって真に必要とされるセンターとなるべ

教育情報システムの更新
国立情報学研究所、東京工業大学と次世代グリーンスーパーコンピュータ大規
模実証実験のための研究協定締結
創立10周年記念式典（ＨＰＣＩ）の構築を主
2010.10 革新的ハイパフォーマンス・コンピューティング・インフラ
導する準備段階におけるコンソーシアム構成機関（計算資源提供機関）に決定
2011.7 大韓民国漢城大学校芸術大学と学術交流協定締結（スーパーコンピュー2011.11 大型計算機システムの更新（学際大規模計算機システム
タシステム、クラウドシステムほか）の導入）
2012.9 HPCIのサービス開始
2013.11 情報基盤センター創立10周年記念式典
2014.4 ペタバイト級データサイエンス統合クラウドストレージのサービス開始
2015.3 キャンパスネットワークシステムの更新
学際大規模計算機システム運用開始式典
2015.3 教育情報システムの更新
サイバーセキュリティセンターを設置
2015.10 研究部門の改組(４部門から６部門)、として認定更新（期間 2016.4〜2022.3）
2016.1 ネットワーク型「学際大規模情報基盤共同利用・共同研究拠点」（学際大規模計算機システム（北海道大学ハイパフォーマンスインタークラウド））
2018.12 大型計算機システムの更新
2019.12 人工知能対応先進的計算機システムの導入
2020.8 情報環境推進連携部を設置
2010.32010.7

く、地道に研究開発を進めて参りたいと存じますので、ご支援のほどよろしくお願いいたします。

情報基盤センター北館

情報基盤センター南館

パブリッククラウド

100Gbps

Router

IaaS/
HaaS

HINES

IaaS/
HaaS

遠隔
バック
アップ

Interconnect

スーパーコンピュータ
サブシステムA

High-Speed Network(学内LAN)

総演算性能
4PFlops超

遠隔サイト （東大，阪大，九大，北見工大）

FW/VPN

スーパーコンピュータ
サブシステムB

スパコンストレージ・
クラウド GW
スパコン
ストレージ

管理・業務
系サーバ群

(物理・仮想サーバ)

IaaS/
HaaS

IaaS/
HaaS

(物理・仮想サーバ)

IaaS/
HaaS

App

8

WebDAV(物理サーバ)

クラウド
ストレージ

（北大）
北海道大学情報基盤センター

9

インタークラウドシステム
n OpenStackで自由に環境を構築可能
n 仮想プライベートクラウドとして隔離
n インタークラウドパッケージの提供（北海道〜九州の広域分散システム）
北海道大学 情報基盤センター
サーバ群I（15+1台）学際
FW/VPN

仮想サーバ用（OpenStack）

学際ルータ

サーバ群II（43+1台）物理サーバ用（ベアメタル）

サーバ群III（4台）

クラウド起動
ストレージ（500TB）

GPUサーバ用（V100 x 2）

起動・追加
ディスク用

オンライン
ストレージ
（1PB）
WebDAV用（Nextcloud）

クラウドネットワークシステム（25G/40G/100GbE）

東京大学

大阪大学

九州大学

サーバ群II（3台）

サーバ群II（3台）

サーバ群II（1台）

北見工業大学
磁気テープ
アーカイブ装置（5PB）

10

インタークラウドの実現・活用に向けた取り組み• インタークラウドの活用，共同研究•••

スパコンとクラウドの有機的連携による問題解決基盤
インタークラウドにおける広域分散ビッグデータ処理アプリケーションの最適配備フレームワーク（CREST BigData）
国立情報学研究所「学認クラウドオンデマンド構築サービス」 との連携

• エッジコンピューティングへの展開••

MEC (Mobile Edge Cloud) 最適化
SINET広域データ収集基盤との連携• オープンサイエンス対応•

北大Global Facility Center との連携
（学内実験機器の共同利用）• 国立情報学研究所 GakuNin RDMと北大クラウドストレージとの連携

Simulation,(Supercomputer)
Distributed,
DatabaseOptimization)&,DB)management,(Cloud)system)

Visualization
Automated,
replication,for)DR)and,load)balancingSolutions)DB,(distributed)

Product

11

JST CREST BigData: Optimal Cloud Resource Allocationn 「インタークラウドを活用したアプリケーション中心型オーバーレ
イクラウド技術に関する研究」（研究代表：NII合田教授, H27〜
R2） において 「最適資源割当」を担当
ビッグデータ処理
アプリケーションの広域自動展開・
最適配備“Apps” Layer (Virtual Systems) → Spec. & Requirements

Optimal Deployment of
virtualized systems

Energy/Cost/SLA,Greenness, etc.

.html

.html

FastQCFastQC.fastq.fastqTopHat2.bam
Cufflinks

Autonomous
Adaptation“Infra” Layer (The Inter-Cloud)

.gtf

12

ビッグデータワークフローの最適資源割当

n ゲノム解析等のビッグデータワークフローのための 「インターク
ラウド最適資源割当」の最適化エンジンを，論理推論（等価変換）と進化計算（多目的遺伝的アルゴリズム）を用いて実現
Modified NSGA-III Optimizer
Input from Constraint Solver
Set of resource configurations
satisfying constraints (feasible
configs.)(Search feasible set for optimal configurations)

Distribution of optimal tradeoff
configurations

Feasible initial
set of resource
configs

Historical Data§

Site uptime/downtime§

Hourly usage ratio§

N/w conditions
Input from Users§

Genomic workflow§

Objectives (cost, makespan,
availability)§

Reference values (optional)

Nondominatedsort

Reference values
association

Insert new
feasible resource
configurations
Discard worst
configurations

Niching

Note: Optimal tradeoff solutions areevenly distributed

13

論理記述と進化計算を用いた資源割り当て最適化

n 等価変換（ETA, 論理記述による推論・制約充足）と多目的進化計算（MOGA,
多目的最適化）を組み合わせることで，多数の制約を満たす資源割当を実現

System requirements

MOPLS method

Genomic analysis workflow
Maximum price payable
Deployment location
Service provider type
Description

Logical formula(First-order predicate logic)

Predicate
Logic-definedSpecification

Cloud resource configurations.fastq [2.0 GB].fastq [2.0 GB]

TopHat2

TopHat2

.bam

.bam

Cufflinks

Cufflinks

結局のところ「多数制約付き
Computation
Description
多目的最適化問題」を解けば良い！
Transformationof clause sets
Set of unit clauses
.gif

.gif

StringTie

StringTie

.gtf

.gtf

Clause transformation using ETA (for satisfiability)
while evaluating unit clauses using MOGA (for optimality)

Katsunori Miura, Courtney Powell, Masaharu Munetomo: Optimal and Feasible Cloud
Resource Configurations Generation Method for Genomic Analytics Applications. 2018 IEEE
International Conference on Cloud Computing Technology and Science, CloudCom 2018

14

述語論理記述と等価変換による制約充足n 述語論理で，ワークフロー，インタークラウド基盤に関係する制約条件を記述し，等価変換で解を探索する[Cloud resource[Cloud resource configuration B].fastq [2.0 GB] configuration A]
PLS
formulagiven
in this example
Deploy m4.16xlarge
in Virginia region for TopHat2
Deploy c4.8xlarge in Virginia region for TopHat2
TopHat2
Deploy c4.8xlarge in Virginia region for Cufflinks
Deploy c4.2xlarge in Virginia region for Cufflinks.bam∀{*a,*b,*c}
Environment([*a,*b,*c],[ [level1,
tophat2,[2.0]],
Deploy c4.2xlarge in Virginia
region{ forStringTie
c4.xlarge
Deployin Virginia
region for StringTie[level2, cufflinks, [2.0]],

Cufflinks[Execution time for genome analysis].gif7145.17 sec
StringTie[Cloud resource usage cost]
13.18 USD.gtf

コスト ↑[Execution time for genome analysis][level3,9357.24
sec stringtie, [2.0]] ])∧Budget([*a,*b,*c],[Cloud21.0) ∧resource usage cost]
USD
Location([*a,*b,*c],6.32[Tokyo,Virginia]) }[Cloud resource configuration C]
Replace 441 times
Deploy c4.4xlarge in Virginia region for TopHat2
Deploy c4.4xlarge in Virginia region for Cufflinks
DeploySet of definite clauses
Setof unitm4.xlarge
clauses in Virginia region for StringTie= Clause set !

(40 clauses)[Execution time for genome analysis](43 clauses)
13440.94
sec[Cloud resource usage cost]
4.98 USD

実行時間 →

本学における研究DX実現に向けた計画（情報基盤・情報環境）

15

1. 学際大規模計算機システム（スパコン・クラウド・ストレージ）の整備拡充・利活用 （データセンター設備の整備を含む）
nn

次期システム更新時（2023〜24）の性能向上（現行比最低２倍以上）
今後の研究ニーズ（BigData・AI・IoT等）を踏まえたシステム設計・構築

2. 研究データ管理基盤の整備・利活用nnn

次世代学術研究プラットフォーム・学認RDM （国立情報学研究所）連携
学際大規模計算機システム等、学内ストレージ基盤の整備・利活用
データ公開基盤について、図書館リポジトリ等との連携運用

3. 実験・観測機器と情報基盤との有機的統合nn

電子顕微鏡・シーケンサ等、大規模実験・観測機器のネットワーク対応・
学際大規模計算機システムなど大規模計算基盤との連携・有機的統合
オープンファシリティ等、各種共用実験機器の遠隔操作・データ連携、IoTなどの観測機器からの情報収集、計算処理、AI技術の活用九州大学情報基盤研究開発センター●研究類型B：研究集会開催支援型■ 認定の有効期間
平成28年4月1日〜令和4年3月31日

要をリアルタイム表示しています。
※機器調整時等、表示を停止することもあります。

（申請先：exception-apply@security.hokudai.ac.jp）

学内CSIRT活動■ 拠点の目的

本ネットワーク型拠点の目的は、超大規模計算機と超大容量のスト
レージおよび超大容量ネットワークなどの情報基盤を用いて、地球環
境、エネルギー、物質材料、ゲノム情報、Webデータ、学術情報、センサーネットワークからの時系列データ、映像データ、プログラム
解析、その他情報処理一般の分野における、これまでに解決や解明が極めて困難とされてきた、いわゆるグランドチャレンジ的な問題について、学際的な共同利用・共同研究を実施することにより、我が国の学術・研究基盤の更なる高度化と恒常的な発展に資することにあります。

キャンパス内における情報インシデント発生時には、本学のＣＳＩＲＴ

人工知能対応先進的計算機システム共同研究（Computer Security Incident Response Team）
である情報環境推進本部情報セキュリティ対策室との協働において、情報収集、原因究明、インシデント内容の分析、当座の措置ならびに再発防止策の策定などの中核を担っています。

本センターでは、北海道大学の研究者を対象に、アクセラレータを活用
した人工知能研究、サイバーフィジカルシステム等を含むさまざまな研究分
野への人工知能技術の移転による研究の加速を目的とする、人工知能対応
先進的計算機システムを導入し、2019年12月より運用を開始しました。
また、本システムを利用する共同研究課題の公募を実施しており、令和元年度は５件、令和２年度は6件（令和２年8月現在）採択されています。

啓発活動北海道大学における研究データ基盤を取り巻く環境■ 拠点の運営

本拠点は、東京大学情報基盤センターを中核拠点とし、同中核拠点に拠点運営委員会及び共同研究課題審査委員会を設置して運営を行っています。

■ 公募型共同研究の推進本拠点では、大規模情報基盤を利用した学際的な研究を対象として、超大規模数値計算系応用分野、超大規模データ処理系応用分野、
超大容量ネットワーク技術分野、およびこれらの研究分野を統合した
超大規模情報システム関連研究分野に関する研究課題を募集し、令和2年度は、52件（内、本センター拠点関係は7件）の共同研究を行っています。また、平成28年度から、ネットワーク型拠点を構成する各センターで独自に募集する共同研究を将来的なJHPCN課題への進展を期待し、JHPCN萌芽型共同研究とする制度が開始されました。令和2年度は、5月現在で、43件（内、本センター拠点関係は5件）が採択されています。

■ 拠点公募型共同研究で利用可能な計算機資源

計算ノード（FUJITSU PRIMERGY CX400 M4、CX2570 M5）は8ノードで構成され、各ノードは2基のIntel製CPU（Xeon Gold6230、20コア）、4基のNVIDIA製GPU（Tesla V100 SXM2、32GB）、384GBのメモリ、NVMe接続の1.6TBのSSDを搭載します。計算
ノード間は、Intel Omni-Pathネットワークにより結ばれます。また、共用ストレージ（DDN ES200NV）として、21台のSSDで構成される、総物理容量76.8TBのストレージシステムを有します。ソフ
トウェアとしては、機械学習用の各種ソフトウェア（Tensor
Flow、PyTorch、Chainer、Caﬀe等）や並列化コンパイラ（PGI
Professional Edition）などが利用可能です。

スーパーコンピュータシステム※共用ノード利用

リポジトリ（公開基盤）

インタークラウドシステム
物理サーバ
インタークラウドパッケージ【ノード構成】
CPU：Intel Xeon
（Gold 6230/20コア）
×2
GPU：NVIDIA Tesla V100
（SXM2/32GB）×4
メモリ：384GB
ストレージ：1.6TB SSD（NVMe接続）×1
共用ストレージ
DDN ES200NV（76.8TB）

仮想サーバ※L2VPN利用可

HINES

主なソフトウェア
Tensor Flow, PyTorch,
Chainer, Caﬀe,
PGI Professional Edition

利用者(キャンパス
ネットワーク）GW

学内実験機器(SINET
経由)

関連団体との協働

関係省庁などをはじめ、北海道内のサイバーセキュリティに関わる組織、団体と連携し、各種行事への参画などの活動を行っています。

サイバー訓練不測の事態への備えとして、標的型メールを模した疑似訓練や、仮想イ
ンシデントによる即応体制の訓練など、各種サイバー訓練の主体として、
情報環境推進本部と連携して、企画・立案・実施に取り組んでいます。

実験機器等におけるデータの生成→ クラウド・スパコンストレージへ保存→ スパコン・研究クラウドでの処理→ 保存・公開・フィードバック等のデータフローのガバナンスを確保

人工知能
システム

セキュリティミニキャンプ開催風景

参考：令和元年度 第6回標的型メール攻撃訓練

人工知能対応先進的計算機システムの構成

スーパーコンピュータ（サブシステム A, B）

研究クラウド（OpenStack）
スパコンストレージ（16PB）(SINET経由)

クラウドストレージ（1PB）

学認RDM

16

計算ノード（8ノード）
FUJITSU PRIMERGY
CX400 M4/CX2570 M5

モバイル・センサー等

Grand Chariot（サブシステムA）
Polaire（サブシステムB)

本学で実施される国立大学法人等の各種研修事業や学内部局のFD(Faculty Development)活動において、サイバーセキュリティや個
人情報保護などに関する講演を担当し、啓発活動に努めています。

■ 人工知能対応先進的計算機システムの概要

NextCloud

クラウドアーカイブ（5PB）

遠隔サイト（北見工大）
遠隔地（北見）へ定期的に研究データをバックアップ→ BCP対策

研究手法の改革（いわゆる研究DX）実現に向けて

17

n データの収集〜蓄積〜処理〜公開・利活用のフロー全体を効率化、最適化し、ガバナンスやセキュリティも確保したサービスとして研究者に提供n

特にデータソースとしての実験機器やセンサーネットワークと連携するためのプラットフォームを、サービス・パッケージとして提供すべき

n 計算・シミュレーション、データ解析・可視化、機械学習・人工知
能等の（大規模）計算処理との連携
n

先進的な研究分野から「プラットフォーム」を開発していき、その「ベストプラクティス」を広く共有し、他分野へも展開していくことが必要

n 各研究分野において埋もれているデータを適切に見つけ出し、活用するためのシステム構築、コミュニティ形成が必要
n 最終的には、研究者（人）と情報基盤（IT）とが密に連携し、自律的に共進化するエコシステムを形成したい18

研究DXのための進化的フィードバック（私見）n 社会の問題解決を最大限加速するのためのデジタル技術活用
問題（課題）設定

データ収集・蓄積

データ解析・可視化

この一連のフィードバッ
クを、可能な限り「早く」回す必要がある！

計算・シミュレーション

機械学習・人工知能「解」（ソリューション）の探索・最適化「解」の適用（社会実装・変革の実現）

人間の「知」をアシストする存在として活用
さまざまな戦略や選択
肢の組み合わせを、低コストで数多く試すことが「イノベーション」加速のための必須条件

まとめと今後の方向性について

19

n 北海道大学情報基盤センターでは、１０年以上前からスパコンとクラウドを組み合わせたシステム・サービスを提供してきた。
n 両者のサービスモデルの違いを意識しつつ、（世界規模の）インタークラウドエコシステムにスパコンやプライ
ベートクラウド・ビッグデータストレージ等の（大学の）情報基盤を融合させ、研究者にとって使いやすいプラット
フォームやサービスとして提供し、（共同）研究を活性化することが情報基盤センターに求められる。
n 研究手法の変革に向けたシステムとしての最適解を、
パブリック・プライベートの枠に捉われず模索していく。