High Performance Computing
Infrastructureと学認
合田 憲人
国立情報学研究所

Kento Aida, National Institute of Informatics

2背景と目的 HPCI 京コンピュータと 国内のスーパーコンピュータや大規模ストレージを連携して利用するための革新的ハイパ フォーマンス・コンピューティング・イン
フラ ロードマップ〜2011/03 基本仕様策定（ネットワーク，認証，ユーザ管理支援，共用ストレージ，先端ソフトウェア運用）〜2012/03 詳細設計
〜2012/10 運用試験
2012/11〜 運用
 北大，東北大，筑波大，東大，東工大，名大，京大，阪大，九大，理研，
本講演の目的NIIHPCI上でシングルサインオンを実現するための認証基盤の報告
Kento Aida, National Institute of Informatics

HPCIに対する取り組み
 ネットワーク・認証基盤サービス

 HPCI基本仕様
ネットワーク（NII）

資源提供機関群を接続するためのネットワーク基盤をSINET4を活用して構築・運用する．
 HPCIのニーズに対応してネットワーク増強．
 商用ネットワークとの接続も確保．

認証基盤（NII）

資源提供機関群のリソース（計算機・ストレージ等）にユーザがシングルサインオンして利用するための認証基盤を構築・運用する．
 NIIが中核拠点となり，情報基盤センターと連携して認証基盤を運用．

共有ストレージ（情報基盤センター，理研）

資源提供機関群の計算機からアクセス可能な高性能な共有ストレージを構築・運用する．

先端ソフトウェア運用基盤（情報基盤センター）

HPCI上での将来の利用が想定される先端的なソフトウェア運用実験を行うための実証基盤を構築・運用する．

ユーザ管理支援（情報基盤センター，HPCI事務局）

HPCIの課題申請，利用申請，障害対応，ヘルプデスク業務等のユーザ管理支援業務を実施する．

 ロードマップ（NIIのこれまでの取り組み）
2006

ネットワークグリッド
認証

SuperSINET
NAREGI

UPKI

2008

 認証ポータルにサインオンすることにより，資源提供機関群の計算機やストレージ利用が可能（1つのアカウントで全ての資源を利用可能）．
 SINET4を活用した高速・高品質ファイル転送が可能．
NII
ユーザ認証局

認証ポータル

商用ネットワーク
IX

品質制御VPN（必要に応じて）ユーザDB

資源提供機関資源提供機関資源提供機関（情報基盤センター）（情報基盤センター）（AICS）

2010

SINET32012

SINET4
グリッド配備・運用タスクフォース／RENKEI

学認
仕様策定

HPCI

大学LAN

構築・運用

Kento Aida, National Institute of Informatics

AICS and Supercomputer Centers inJapanese Universities

Hokkaido Univ.：
SR16000 M1 (172TFlops, 22TB)
Cloud system (43TFlops, 14TB)

AICS, RIKEN：
K computer (10 Pflops, 4PB)
Available in 2012

Kyoto Univ.
T2K Open Supercomputer(61.2 Tflops, 13 TB)
Tohoku Univ.：
NEC SX-9(29.4Tflops, 18TB)
NEC Express5800 (1.74Tflops,3TB)

Osaka Univ.：
SX-9 (16Tflops, 10TB)
SX-8R (5.3Tflops, 3.3TB)
PCCluster (23.3Tflops, 2.9TB)

Kyushu Univ.：
PC Cluster (55Tflops, 18.8TB)
SR16000 L2 (25.3Tflops, 5.5TB)
PC Cluster (18.4Tflops, 3TB)

source: Y. Ishikawa, Univ. of Tokyo

Nagoya Univ.：
FX1(30.72Tflops, 24TB)
HX600(25.6Tflops, 10TB)
M9000(3.84Tflops, 3TB)

Univ. of Tsukuba：
T2K Open
Supercomputer
95.4Tflops, 20TB
Univ. of Tokyo：
T2K Open
Supercomputer(140 Tflops, 31.25TB)
A 1 Pflops machine without accelerator will beinstalled by the end of 2011

Tokyo Institute of Technology：Tsubame 2(2.4 Pflops, 100TB)

Storage
HPCI WEST HUB

HPCI EAST HUB
University of Tokyo

AICS, RIKEN• 12 PB+ storage• 10 PB+ storage

Hokkaido University

Gfarm2 is used as theglobal shared filesystemKyushu University

Tohoku University
University of Tsukuba
Tokyo Institute of Technology
Nagoya University
Osaka University Kyoto University

source: Y. Ishikawa, Univ. of Tokyo

6

SINET4の構成
 各県配備のSINETノードと北海道－九州を縦断する40Gbpsベースの超高速・高信頼バックボーンによりHPCIの計算資源へのアクセスをサポート：コア回線 （40Gbps）：コア回線 （10Gbps）

札幌：エッジ回線 （40Gbps）：エッジ回線 （10Gbps）：エッジ回線 （2.4Gbps）：コアノード（ユーザ収容＋中継）：エッジノード（ユーザ収容）

金沢
福岡

仙台

広島
京都
筑波

大阪

米国・欧州

名古屋
東京
アジア

図は平成23年度末の構成

7

HPCIの申請から利用まで(1) 申請(2) シングルサインオン手続き
HPCI
アカウント 証明書

 HPCIアカウントとパスワード入力 ブラウザ上の操作 課題申請 アカウント
取得(3) 計算資源へログイン パスワード入力不要
 計算機上のでジョブ実行
 共用ストレージ上のファイルへのアクセス

計算資源

計算資源

計算資源

HPCI共用ストレージ

Kento Aida, National Institute of Informatics

8

インフラ概要（2012年11月スタート時）
ユーザ管理支援
HPCI ID取得

認証基盤
認証局

HPCI
アカウント

shib.
SP

ポータル

申請／審査
アカウント登録証明書

HPCIアカウントパスワード

ヘルプデスク
情報共有
ポータル

証明書
リポジトリ

シングル
サインオン

shib.
SP

計算資源

計算資源

shib.
shib.
IdP
shib.
IdPIdP

HPCI事務局
（予定）

計算資源
NII

HPCI共用ストレージ

理研（京）情報基盤センター（9大学）
理研，東大

ネットワーク基盤
Kento Aida, National Institute of Informatics

9認証基盤の概要
 HPCIアカウントの管理 アカウント管理の分散，および分散したアカウント管理をShibbolethを用いた連携
 ユーザはどこか一つのHPCIシステム構成機関にアカウントを持てばよい．

 ログイン（シングルサインオン）
 Grid Security Infrastructure (GSI)を用いたシングルサインオン
 グリッドにおけるデファクトスタンダード，パスワード認証よりも安全性高．
ユーザ

認証ポータル
IdP, HPCIアカウント,パスワード(1) 認証ポータルにアクセスし，HPCIアカウントによりサインオン．

シングルサインオン手続% gsi-ssh host.univ.ac.jp(2)計算機へSSHログイン
 計算機毎のローカルアカウントやパスワードを入力する必要はない．

• 計算機資源へのログイン• HPCI共用ストレージ上のファイルへのアクセス

Kento Aida, National Institute of Informatics

10

GSI

grid-mapfile/C=JP/O=NII/OU=…/CN=…
/C=JP/O=NII/OU=…/CN=…
:

認証局

user1
user2

public key
1

network1

login

secret key
証明書

パスフレーズ

1

sign
代理証明書
2

2

検証
2

代理証明書

2

チャレンジストリング

暗号文

暗号文

2

比較

チャレンジストリング

平文

Kento Aida, National Institute of Informatics

11

認証基盤アーキテクチャ〜認証ポータル上でのサインオン〜
認証局運用機関＋認証ポータル運用機関
 ユーザ証明書申請
 シングル
サインオン

認証ポータル(Shib. SP)

証明書管理
システム

代理証明書
リポジトリ

ブラウザ

Shib.
DS

SINET 4
 計算資源
へのログ
イン

証明書
リポジトリ
認証局
システム
(Shib. SP)

HPCIシステム構成機関
ポータル(Shib. SP)

Proxy証明書リポジトリ

GSI-SSH
クライアントShib. IdP

アカウント
DB

GSI-SSH
サーバ
HPCIシステム
構成機関
Kento Aida, National Institute of Informatics

12

認証基盤アーキテクチャ〜資源へのログイン〜
認証局運用機関＋認証ポータル運用機関
 ユーザ証明書申請
 シングル
サインオン

認証ポータル(Shib. SP)

証明書管理
システム

代理証明書
リポジトリ

ブラウザ

Shib.
DS

代理証明書

SINET 4
 計算資源
へのログ
イン

証明書
リポジトリ
認証局
システム
(Shib. SP)

HPCIシステム構成機関
ポータル(Shib. SP)

Proxy証明書リポジトリ

GSI-SSH
クライアントShib. IdP

アカウント
DB

GSI-SSH
サーバ
HPCIシステム
構成機関
Kento Aida, National Institute of Informatics

13

HPCIと学認
 現状
 HPCI開始時点では，HPCIアカウントの認証フェデレーションは学認とは別に運用．
 今後，両者の連携を検討．

 連携に向けての課題
 HPCIアカウントを持つユーザが学認のサービスを利用する場合
 HPCIのIdPが学認フェデレーションに参加するだけでよい？

 学認のアカウントを持つユーザがHPCIのサービスを利用する場合
 HPCIの利用は課題申請制．採択された課題（研究プロジェクト）のメンバのみが利用可能．
 ユーザの属性にHPCIの利用権限を付与すればよい？

Kento Aida, National Institute of Informatics

14

まとめ
 HPCI 上でシングルサインオンを実現するための認証基盤を報告．
 現状
 9大学（北大，東北大，筑波大，東大，東工大，名大，京大，阪大，九大）
情報基盤センター，理研，NIIによるプロトタイプを用いた試験実施中．
 本格運用環境の構築中．

 今後の課題 HPCIと学認のフェデレーション間の連携（または統一？）に関する課題の整理

Kento Aida, National Institute of Informatics