広島大学 大学等におけるクラウドサービス利用シンポジウム2021

学認クラウドオンデマンド構築
サービスの導入と利用
2021年3月5日

佐賀 一繁
国立情報学研究所
クラウド基盤研究開発センター／クラウド支援室

学認クラウドn クラウド利活用促進のためにNII が提供するサービス
導⼊検討 調達
調達
導⼊検討

活⽤
活⽤

＜学認クラウド＞

オンデマンド構築サービス＜学認クラウド＞＜学認クラウド＞

導⼊⽀援サービス

ゲートウェイサービス
研究教育のためのクラウド環境構築を技術的に⽀援

クラウドサービスにワンストップでアクセスするためのポータル機能

On-demand Configuration Service

選択の基準や、導⼊・活⽤に関わる情報を整備し、お伝えするサービス
2

Copyright ©2021 National Institute of Informatics

概要と利用例

3

Copyright ©2021 National Institute of Informatics

学認クラウドオンデマンド構築サービス(OCS)とはn 概要
n テンプレート※を使って、クラウド上にアプリケーション実行環境を作ることができるサービスn 利点
n クラウド上のアプリ環境の構築・再構築の運用をシンプルにできる
n 近年求められている研究環境の再現がしやすい
n オンデマンドに構成変更し再構築できるためコスト低減を図れる
n オンプレとクラウド、複数のクラウドをまたがる環境も作れる
n 他者が作ったテンプレートも利用できる
n 機関とクラウドの接続方法などの相談ができる※テンプレートn アプリ環境の構築ワークフローとドキュメントを記述したファイル
n 実体は Jupyter Notebook ファイルn ドキュメントと構築スクリプトを一体化でき乖離が起こりにくい
n 図表、グラフ、画像なども利用可能
n テンプレート内にスクリプトの実行結果も残しておくことが可能
4

Copyright ©2021 National Institute of Informatics

設計思想： 仮想クラウド
n オンプレ・複数の実クラウドを仮想的な１つのクラウドとして制御、管理
On-premise
ProviderVirtualCloud Provider(overlay cloud)Real Cloud
Provider A

Real Cloud
Provider B

Real Cloud
Provider C

Application-1
VM, BM,or Server

VM or BM

VM or BM

VM or BMApplication-1
bins/libs

overlay network

Application Container

Application-2

VCP Base Container

VM or BMOS (kernel)

VM or BMw/ GPU

Hardware / VM

overlay network
Application-3

VCノードの構成

VM or BMoverlay net.

Academic Hi-Speed Backbone Network, SINET5 (L2VPN)

5Copyright ©2021 National Institute of Informatics

機能的特徴n テンプレートとコンテナによる再現性の高い環境構築
n 構築ワークフロー、資源要件： テンプレートに記述、保存n システム、アプリ環境： コンテナ化し保存

n プロバイダ毎に異なる資源管理インターフェースの抽象化
n サポートしているプロバイダの計算資源は、ほぼ同じ方法で利用可能
n ベンダーロックインの回避
n プロバイダを跨る計算資源の利用やコストの最適化

n SINETクラウド接続を利用可能
n 機関とクラウドプロバイダを直結した、安全なアプリ環境構築が可能
n プロバイダのプロモーションや通信データ量によっては通信コストの低減可能

6

Copyright ©2021 National Institute of Informatics

実行例
n ゲノム環境（Galaxy）の構築

7

Copyright ©2021 National Institute of Informatics

利用例① 講義・演習システムのコスト低減
n 講義・演習毎に最適な資源で構築してコスト低減

構築例︓講義演習環境 Guacamole

講義・演習毎に資源タイプ・資源数を変更

n 講義内容に適した資源タイプ
n 履修者数に合わせた資源数

クラウド環境

・・構築

講義・演習
環境構築⽤
Notebook

受講⽣001⽤
コンテナ群

テンプレートn 関連するOCSの特徴
n オンデマンドで環境構築・削除
n 必要な資源内容や資源数をテンプレートに記述可能
他

Guacamoleユーザ画⾯

受講⽣002⽤
コンテナ群

access

認証DB

受講⽣003⽤
コンテナ群

NFS

受講⽣004⽤
コンテナ群

Browser
受講⽣005⽤
コンテナ群

n 上記特徴による類似応用
n 利用時価格、資源タイプ価格によるプロバイダの選択

LoadBalancer

受講⽣006⽤
コンテナ群

教育⽤Thin-Client・・31

横⼭先⽣（現、群⾺⼤学）資料より
8

Copyright ©2021 National Institute of Informatics

利用例② LMSの安全・安定運用
n クローンによる変更点確認
で安全・安定運用
n 運用システムと同じ構成の検証システムを構築、変更点を検証してから本運用へ

n 関連するOCSの特徴
n 高い環境再現性

n 上記特徴による類似応用
n バイナリレベルでの長期再現性確保
n アプリ環境構築方法まで含めたバージョン管理

Moodle
• IaaS#& Moodle+6<,%. Notebook'/4• IaaS#& Moodle+6<, 12%.
Notebook'/4• VCP$9=< 5
/4-0*•   5 #&=<<#&)3#&;,!7

Moodle Moot 201812
Shibboleth5/ Docker
IaaSAmazon, Azure

8:moodle

>(Moodle< Jupyter Notebook"<
https://moodlejapan.org/mod/data/view.php?d=27&rid=1505

群⾺⼤学 浜元先⽣資料より
9

Copyright ©2021 National Institute of Informatics

利用例③ 資源不足による研究遅延の低減
n 資源不足をクラウドで補う
n 論文執筆時等、システム高負荷時にクラウド資源をシステムに追加
n 新たな資源タイプの必要時にクラウド資源を利用

n 利用するOCSの特徴
n オンプレシステムとクラウドを跨る環境の構築
n オンデマンドで構築・削除 他

n 上記特徴の類似応用
n 複数のプロバイダを跨るアプリ
環境の構築
理化学研究所 ⼆階堂先⽣資料より
10

Copyright ©2021 National Institute of Informatics

サービス内容

11

Copyright ©2021 National Institute of Informatics

背景： 研究・教育のクラウド利用での課題
n クラウド導入
n 機関とクラウドの計算資源を安全に連携する方法がわからない
n 設定方法や用語がプロバイダ毎に異なるので分かりにくい

n アプリ環境構築
n 容易に再構築できるようにしたい
n オンデマンドに構築・再構築できるようにしたい
n 構築・再構築の運用をシンプルにしたい
n 構成変更に対し柔軟に対応できるようにしたい

n 利用情報n クラウド上での研究・教育アプリ環境構築のノウハウが広く流通してない

12

Copyright ©2021 National Institute of Informatics

サービス①： 初期導入支援
n 技術相談n 利用機関とクラウド間を安全に接続するためのネットワーク設定、クラウド設定の技術相談

n 設定支援n クラウド設定用スクリプトの提供、画面共有による設定支援（設定権限が必要なため、作業は利用機関が実施）
SINET
2K=DK?

VC5K>JLG

3G1?BJ@0:,
94FK>

,VLAN
,94FK>
MN

TV78<E+-.

NII
6LA8
$$*!
83HB>/')#("&"
83HB>CL8,;LI,% 13

Copyright ©2021 National Institute of Informatics

サービス②： オンデマンド構築機能
n アプリ環境の構築・再構築のシンプル化
n 環境構築ワークフローのテンプレート化による、構築・再構築の自動化
n システム、アプリケーションのコンテナ化による、バイナリレベルの高い環境再現性
n VCP SDK (Virtual Cloud Provider SDK)による、容易かつ柔軟な計算資源の確保、変更
n 異なるクラウドの資源を同じインターフェースで制御可能（抽象化）
⽬的のテンプレートを⽤意すれば構築・再構築が容易に
1. ログイン2. テンプレート選択
3. 構築実⾏

14

Copyright ©2021 National Institute of Informatics

サービス②： オンデマンド構築機能（続）n サービス（＠SINET関連施設）

n ノード情報収集・可視化サーバ
n ノードの動作状況を収集・表示

n VCPマネージャ

n プライベートレジストリ

n VCPアクセストークンの管理、構築環境の管理等

n コンテナイメージを保存

n VCコントローラ

n クライアントソフト（＠利用者環境）

n Virtual Cloud Provider (VCP)n オンプレ・複数クラウドを仮想的な１つのクラウドとして制御・管理
n クラウドの計算資源の管理・制御

n Vaultサーバ

n Jupyter Notebook Servern NII による機能拡張

n VCP SDKn VCPを利用するための Python ライブラリn 秘匿情報を管理

n 仮想ルータn VC内ルーティング
n SINETクラウド接続のBGPルーティング

15

Copyright ©2021 National Institute of Informatics

サービス③： 情報共有
n 利用機関・利用グループ専用 Wikin ドキュメント類
n 運用情報n 質疑応答履歴 他

n リポジトリn NIIやアプリコミュニティが作った、いくつかの著名アプリの構築テンプレートとコンテナ
イメージ
n ゲノム解析、講義・演習システム、HPC環境 ...

n 過去のハンズオンセミナーの教材

16

Copyright ©2021 National Institute of Informatics

導入

17

Copyright ©2021 National Institute of Informatics

接続形態
SINET関連施設

オンデマンド構
築機能（クライアント）

利用機関

オンプレシステム

オンデマンド構
築機能（コントローラ）

クラウドプロバイダ

SINET接続（L2VPN） or インターネット接続

n SINET接続

n SINETクラウド接続（L2VPN）を利用した接続
n SINETとクラウドプロバイダが直結しているので高速、安全（インターネット接続比）
n 場合によっては、クラウドプロバイダの通信料が安い（インターネット接続比）
18

利用機関の仮想セグメントn インターネット接続

n SINETに接続しなくても／接続してない機関でも使えるn 機関・クラウドプロバイダ間接続が商用インターネットを経由するため安全性が低い（SINET接続比）
n データ転送量が多い場合はクラウドプロバイダの通信料が高い（SINET接続比）
Copyright ©2021 National Institute of Informatics

利用についてn サポートプロバイダ
n 商用クラウドプロバイダ

n Amazon Web Services、Microsoft Azure、さくらのクラウド、Oracle Cloud Infrastructuren 学術クラウドプロバイダ

n 北海道大学ハイパフォーマンスインタークラウド サーバサービス

n オンプレミスプロバイダ
n VMware vSpheren 利用対象n 大学・研究機関などの研究室、学部、機関全体などの組織（利用グループと呼ぶ）
n 教職員個人では申込めません。研究室や所属課等でお申し込みください

n 利用要件n 学術認証フェデレーション（学認）への参加が望ましい
n NII OpenIdP でも利用可能（制限あり）

n 利用料金n 本サービスは無償ですn クラウドプロバイダなどの有料サービスは利用者負担です19

Copyright ©2021 National Institute of Informatics

利用までの流れ① クラウド利活用支援サービス利用申請 【管理部門*】
n 機関としての初回のみ② 接続打合せ 【利用グループ、管理部門* 、NII】
n 接続形態、スケジュール等を打合せ③ 環境構築 【利用グループ、NII】
n クライアント環境： 利用グループ
n サービス環境： NII④ 接続設定・動作確認 【利用グループ、NII】
n クラウドの設定については、NII が設定スクリプトの提供と画面共有による支援を実施
n 必要に応じ、利用グループに対し基本的な使い方のハンズオンセミナーを実施します⑤ 利用開始*: 利用機関において、機関外部とのネットワーク接続を管理する部門
20

Copyright ©2021 National Institute of Informatics

お試し利用n 試用環境n NII の環境を利用してお試しいただけますn オンプレ資源（VMware）と AWS 資源の一部が利用できます
n 利用期間、利用資源量に制限があります
n 利用グループ責任者の申請が必要です

n ハンズオンセミナー
n 6回／年程度一般募集で実施（https://cloud.gakunin.jp 等で告知・募集）
n Covid-19 の影響で当面はリモート開催となりますn 2020年度のハンズオンセミナーは全て終了しました

21

Copyright ©2021 National Institute of Informatics

最新情報
n ポータブル版 VCP（開発中）n OCS の中心ソフトウェアである VCP を公開予定
n 利用申請なしに利用可能（自己責任において利用）
n 想定ユースケース
n 機関のポリシー上、L2VPN で外部サービスを接続できない場合n 環境構築まで含めてソフトウェア配布したい場合
n 海外の機関で利用する場合 他サービス版

ポータブル版

22

Copyright ©2021 National Institute of Informatics

公開テンプレート／スクリプトn URL: https://github.com/nii-gakunin-cloud/ocs-templates/
n 公開中
n LMS環境： Moodle
n HPC環境： OpenHPC
n 講義演習環境： CoursewareHub（JupyterHubを講義演習用に機能拡張したもの）

n 公開準備中・開発中
n 資源補完スクリプト（ジョブスケジューラ連携）： 開発済み、公開準備中
n バッチシステムの資源不足時に、ノードと同等の環境をクラウド資源にオンデマンドに構築・追加するシェルスクリプトn 講義演習環境 学認対応版： 開発中
n CoursewareHub の学認対応版を構築するテンプレート

n OpenHPC + 機械学習環境： 開発中
n 機械学習フレームワークをサポートするクラスタを構築するテンプレート。GPUにも対応
23

Copyright ©2021 National Institute of Informatics

その他情報・問合せ先n 公開情報n Webページ (利用詳細はこちらまで)n https://cloud.gakunin.jp/ocs/

n チュートリアル (過去のハンズオン教材)
n https://github.com/nii-gakunin-cloud/handson/n 公開テンプレート (Moodle, OpenHPC, CoursewareHub, ...)n https://github.com/nii-gakunin-cloud/ocs-templates/n 各種お問合せ
n NIIクラウド支援室

cld-office-support@nii.ac.jp

24

Copyright ©2021 National Institute of Informatics