PCクラスタワークショップ in神戸2022 「クラウドとHPC」

富士通のクラウドコンピューティングの取り組み
富士通株式会社
DC・クラウドサービス事業本部
クラウド基盤統括部 シニアディレクター 兼 クラウド基盤開発部 部長

岩松 昇© 2022 FUJITSU LIMITED自己紹介 – 岩松 昇 (いわまつ のぼる)
○ 富士通研究所にてOS・仮想化・クラウドの研究従事後、2016年より現所属でクラウド基盤開発を指揮○ 経歴
2001年~

富士通研究所入社、ホームネットワーク製品開発・標準化活動に従事

2007年~

仮想化ソフトウェアXenの中核開発者として活動 (世界初仮想USBドライバ・GPU仮想化開発)

2010年~

富士通研究所の次世代サーバー研究プロジェクトで、サーバー・基盤ソフト開発に従事

2015年~

富士通研究所 主任研究員として、富士通のクラウド基盤研究開発を主導
米Intel社とのFPGAクラウド協業、SDN研究、クラウド可用性、自動化技術開発、ログ分析、など

2016年~

現職に異動、FJcloud-O(オープンソースクラウド)のアーキテクトとして設計・開発・自動化を指揮

2021年~

Global Fujitsu Distinguished Engineer認定

2022年~

産総研デジタルアーキテクチャセンター 特別専任研究員○ 開発者としてオープンソースに10数年貢献。自らOSSのビジネスをけん引し、かつ開発者であることを実践し続ける。
○ Ansible, OpenStack, Xen, Linux, QEMU, cobbler, MidoNetなどにコントリビュート。
○ 開発コミュニティでの社外発表、講演も多数。 2020年より日本OpenStackユーザー会ボードメンバーに就任。
2© 2022 FUJITSU LIMITEDAgenda○富士通のクラウドサービスご紹介○FUJITSU Hybrid IT Service FJcloud-Oの基盤設計○Fujitsu クラウドサービスHPC ご紹介

3© 2022 FUJITSU LIMITED富士通のクラウドサービスご紹介

4© 2022 FUJITSU LIMITED富士通のクラウドサービス
Managed

約5万名 のエンジニアが提案/開発/運用

SaaS

業種/業務別に 約400種 のサービスを提供

PaaS

実行基盤として 約100種 のサービスを提供
FJcloud ：国内 第3位 の販売シェア

IaaS

Azure ※AWS

：国内 第1位 の販売実績、GSIパートナー：SI連携 を軸に提携強化※ 当社調査、マイクロソフト社 認定『Global SI Partner』
52022
FUJITSULIMITED©©
2022
FUJITSULIMITED富士通のデータセンター事業・クラウド事業■国内12か所でDC事業を展開（国内トップの総延床面積：27.1万㎡※）■メイン３センター（館林/横浜/明石：総面積の約9割）は首都圏近郊に設置■データセンター内に当社クラウドシステム基盤を設置

北海道DC※出典：クラウド&データセンター完全ガイド 2021年春号

2003年[データセンター構造イメージ]
データセンターには、お客様個別システム設置ゾーンと富士通が標準提供するクラウドゾーンが存在
東北DC
2004年

中四国DC 明石DC
2007年

九州DC
2004年

6

1997年

千里DC
四国DC
2003年

長野DC
2003年

館林DC 1995年

中部DC

横浜DC 2011年

2009年

港北DC 2002年

1998年【富士通DC所在地と開設年】© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service○ 富士通が長年提供してきた、クラウド、データセンター、ネットワーク、セキュリティ、システム運用保守などのインフラサービス、プロダクト、アプリケーション基盤などを新規技術の実装により強化し、新たにDC・クラウド接続基盤や統合マネジメントポータル等とともに、プレフィックスやサブスクリプションなどの形態で提供するソリューション群○ FJcloudはFUJITSU Hybrid IT Serviceのデジタルインフラプラットフォームを構成するサービスの一つ＜FUJITSU Hybrid IT Service＞

7© 2022 FUJITSU LIMITEDFJcloud: 富士通による自社クラウド提供
ベンダーロックインのない標準技術でクラウドを継続的に提供◆オープンソースによるクラウド◆VMwareをベースとするクラウド
FUJITSU Hybrid IT Service
FJcloud-V

FUJITSU Hybrid IT Service
FJcloud-O
KVM

ESXi

OpenStack

オープンソースをベースとする
エンタープライズITソリューション
8ｖSphere

業界標準の仮想化技術により既存資産のクラウド移行を支援© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O
オープンソースで透明性・事業継続性を追求する国産クラウド
2015年9月 FUJITSU Cloud Service K5OpenStackをベースとするクラウド

2018年6月 FUJITSU Cloud Service for OSS「OpenStack準拠」の第二世代基盤として刷新

2020年6月 FUJITSU Hybrid IT Service FJcloud-O
ブランド名を刷新

オープンソースクラウドにこだわる理由
透明性：ソースコードが公開されている。
事業継続性：緊急時の調査・修正、長期保守が可能。

9

https://jp.fujitsu.com/solutions/cloud/fjcloud/© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O:

オープンソースとベンダー協業により自社クラウドを提供
ビジネスパートナーの最新・最高技術を高度にインテグレーション○RedHat社との協業によりOpenStack基盤を構築○RedHat OpenStack Platform (RHOSP)
によりサービスを提供。

○RedHat Enterprise Linux (RHEL) AUS*
によりお客様システムの長期運用をサポートFUJITSU Hybrid ITService
FJcloud-O*Advanced Mission Critical Update Support
特定のマイナーリリースのRHELを6年間に渡ってサポート

10© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O:

OpenStack準拠のサービス群
認証・証明書管理

仮想マシン・ベアメタル
Ironicによるベアメタル
GPGPUインスタンス対応••

仮想ネットワーク

オーケストレーション

Neutron FWaaS
LBaaS

••

•

OpenStackエコシステム(API, CLI,Ansible モジュール)でシステムを構築可能

ブロックストレージ・イメージ••

FWaaS/LBaaS対応

All Flash Storage
データ持ち込みサービス

https://www.openstack.org/project-mascots/
11© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O:

FJcloud-Oの特長と主な機能
仮想サーバサービス
仮想化技術によって物理的なコン
ピュータ・ストレージを分割した、インターネット経由でアクセス可能な仮想サーバやストレージを提供

仮想サーバ
OS提供サービス
ブロックストレージ

ストレージ系サービス
コンテンツとメタデータ単位でデータを分割保存するオブジェクトスト
レージやバックアップ機能を提供

オブジェクトストレージ
バックアップシステム構築・運用を支援

監視サービス
データ持ち込みサービス
ログ提供サービス

共通・セキュリティサービスDNSサービス

メール配信サービス

コンテンツ配信サービス

Trend Micro Cloud One

仮想アプライアンス

仮想ネットワークサービス
仮想化技術によって物理的なネットワークを分割した、インターネット経由でアクセス可能な仮想ネットワークインフラストラク
チャーを提供仮想ネットワーク
仮想ルータ

支援系サービスファイアーウォール
ロードバランサー

WAFやGSLBなどの機能を提供

IPCOM VE2m
BIG-IP
Palo Alto
OpenStackのサービス群

12© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O:

サービス(デリバリー)モデル○ お客様要件に合わせ、パブリッククラウドから完全専有型のプライベートリージョンまで4つのモデルをラインナップ
モデル

内容

サーバ
ストレージ
ネットワークDC

Model 1Model 2Model 3Model 4

パブリッククラウド

プライベートリソースプライベートリージョン

プライベートリージョン(オンサイト)

共有型
富士通DC内のパブリッククラウド環境で、共有型コンピュートリソースを提供

物理サーバ、ストレージを専有
富士通DC内のパブリッククラウド環境に、お客様専用コンピュートリソースを提供

１リージョン全体を専有(富士通DC)
富士通DC内でお客様専用クラウド環境を提供

１リージョン全体を専有(お客様DC)
お客様DC内でお客様専用クラウド環境を提供

共用環境利用（短期・変動対応）

専有環境をリーズナブルに利用

完全な専有環境実現、自社DCへの設置・サービス基盤として活用

共有
共有
共有
富士通

専有
専有
共有
富士通
13専有
専有
専有
富士通

専有
専有
専有
お客様
© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O:

プライベートリソースサービスの商品概要○ パブリッククラウド内に物理的に分離された仮想サーバおよびブロックストレージをお客様専有リソースとして提供するサービスです。

【特長】

コンプライアンスや規制要件への対応

お客様専用のリソースを提供するため、他のお客様との共有が認められない要件に対してもクラウド活用が可能（コアネットワーク）

基幹システムが求める性能コントロール専用の物理リソースを提供するため、他の利用者の影響を限りなく受けずにシステム運用が可能
A社

従量課金型のサービス提供
従量課金メニューはFJcloud-O パブリッククラウドと同等の価格でご提供可能
14

B社

C社

（パブリッククラウドリソース）

D社（お客様専有リソース）© 2022 FUJITSU LIMITED

Digital enhanced EXchange サービス概要
お客様のDX環境のスピーディーかつ最適な構築・運用を実現
当社データセンター内のお客様システムをDigital enhanced EXchangeにつなげることにより、データセンター内外の様々なサービスが利用可能になります。

15© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O
品質確保のための基盤設計
すぐ「直せる」アーキテクチャーへの変更• 基盤全体のSoftware-Defined化• コンテナ化と自動化• 全ログのリアルタイム分析• 「自分で直る」セルフヒーリングの実現

16© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O:

クラウド基盤の設計方針○ブラックボックスの集合体の安定運用が課題○クラウド基盤は要件・問題を事前把握できない

お客様システム

お客様システム

VM VM

VM VM

…

お客様のワークロードを事前定義できない

ブラックボックス部品、バグ・未成熟箇所あり増設やバージョンアップで特性が動的に変わる

OpenStack◼ 問題を即時検出し「すぐ直せる」ことが目標

Hypervisor
Multi-vendor
Hardwareクラウド基盤◼ インフラ全体をすぐに設定変更できる→ データセンターインフラのSoftware-Defined化◼ デリバリーコスト・時間を短縮する → サービスをコンテナ化し、自動配備を実現◼ 即座に問題を見つけ出しトラブルシュートできる → 全ログをリアルタイム分析◼ 障害を監視し自分自身で復旧する → セルフヒーリング機能17© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O:

データセンターインフラのSoftware-Defined化○データセンター内の論理区画作成をソフトウェアで実現○IP Fabricにより、サーバー／ストレージラック群のL2/L3ネットワークを論理分割○論理分割されたネットワークにサーバー／ストレージを自動でプロビジョニング

Pod#0 (C-Plane)

Pod#2 (Compute)

Pod#1 (Compute)…

Pod#31 (Object)…

Scalable and Flexible

18© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O:

サービスのコンテナ化と自動配備○クラウド基盤全体をDockerコンテナ化し、Ansibleで管理○管理サービス群をOpenStack+Dockerで構築、Ansibleで運用保守を統一○年間250回を超えるOpenStackのアップデートを実現！
お客様システム

お客様システム

DBKVS

Web
AP

管理サービス 管理サービス
コンテナ
コンテナ

LB
AP AP AP…
お客様提供OpenStack…

Pod#0 (C-Plane)
Pod#2 (Compute) Pod#31 (Object)
Pod#1 (Compute)

管理サービス用OpenStack…

Scalable and Flexible19© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O:

サービスのコンテナ化と自動配備: Kollaの採用○FJcloud-Oは、OpenStackの配備にKollaを採用○Kollaとは Docker と Ansible によりOpenStackを配備するツール○Kollaをカスタマイズし、RHOSPの柔軟な配備を実現○RHOSPの標準配備範囲を超えるコントローラー配備や大規模クラスタ化を実現○配備やコンテナ更新だけでなく、設定変更やローリングアップデートなどにも適用
20© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O:

全ログのリアルタイム分析: 基盤ログの集約と解析○クラウド基盤を構成するコンテナ群(数100個、100種以上)のログをElasticsearchに集約

Users○Elasticsearchは、Elastic社が開発している
オープンソースの全文検索エンジン○1日2TBのログを常時分析し1年保存

OpenStackAPI

Conductor
Queue
Database

Identity○OpenStackのモジュール間の複雑な呼び出しをリアルタイムでインデックス化○数10のモジュールが処理毎に異なる呼び出し、logloglog

Schedulerlog

Computeloglog

Elasticsearch

1API呼び出しで数100行のログ

User-idRequest-id

Instance-id

独自のインデックス化でログを横断検索可能に！
21© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O:

全ログのリアルタイム分析: ダッシュボード例○API単位、利用者単位、ホスト単位、などでの挙動をリアルタイムで可視化

インシデントに対して、数分で何が起きたかを特定
Machine Learningも導入!

22© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O:「自分で直る」セルフヒーリングの実現 - 1○システム規模の拡大に伴う運用負荷上昇が課題！

○サーバ数1,700台～、ログデータ2TB/日、アラート数～100件/日○監視項目数800、自動化ジョブ数300～、etc.
いつどんなときに何を実行すべきか？

運用者・開発者
人手による “運用判断”がボトルネック

FJcloud-O
基盤システム

データ
採取

モニタリング
ログ収集

イベント
発生

イベント
分析

ログ調査

既存事象の同定

手順書
検索

自動化
ジョブキックジョブ実行
基盤

運用実行・障害復旧の自動化○システムの完全自動復旧（セルフヒーリング）を実現するためには運用判断の自動化が必要

23© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O:「自分で直る」セルフヒーリングの実現 - 2
1. オープンソースのワークフローエンジンStackStormの導入○

イベントごとに処理をディスパッチする仕組みにより運用判断を自動化○

イベントの判断内容やタスクの成功・失敗、事象の分析等を効率的にリアルタイム通知

2. Slackを活用した効率的なリアルタイム通知
開発・運用者
開発・改善継続通知チャネル通知

ワークフローエンジン
FJcloud-O
基盤システム

データ
採取

モニタリング
ログ収集

イベント
発生

ワークフロー

イベント
分析

ルール

関連ログ
調査

未知事象
分析

ワークフロー

ルールイベント
分析

関連ログ 既存事象
調査
同定

通知

自動化
ジョブキック

ジョブ実行
基盤

自動実行

基盤の完全自動復旧（セルフヒーリング）24© 2022 FUJITSU LIMITEDFujitsu クラウドサービスHPC ご紹介

25© 2022 FUJITSU LIMITED

「Fujitsu Computing as a Service」全体像
幅広い分野への適用
金融

製造

物流

医療

サービス連携基盤• API基盤による統合• データ集約、連携• 他クラウド連携 等

API

防災

ソフトウェアAPI基盤• シミュレーション• 分析、予測• 最適化 等

API

HPCクラウドDAクラウド• PRIMEHPC FX1000• x86 、 GPU 等• デジタルアニーラ

API
AIクラウド誰もが容易に利用できる
高度なコンピューティング
技術（量子インスパイアード）

コンサルティングサービス

チューニングサービス• お客様の要望確認と提案• コンピューティング活用計画の策定• 課題に対する解決策の提示• ソフトウェアやライブラリの導入支援• チューニング指針の提示• ボトルネックの特定と解決
26© 2022 FUJITSU LIMITED

「Fujitsu クラウドサービス HPC」 概要○ 世界トップの性能を持つスーパーコンピュータ「富岳」に採用されたテクノロジーを搭載する
PRIMEHPC FX1000をクラウドサービスとして提供します○ 導入から運用まで使いやすい状態でご提供することにより、お客様の研究や解析への専念を支援します
導入面

運用面

HPCの導入で課題となるソフトウェアやライブラリを標準搭載

Fujitsu クラウドサービス HPC
PRIMEHPC
FX1000

API

数値計算

x86

ソフトウェアライブラリ

GPU(NVIDIA)

コントロールパネル

流体解析

可視化

構造解析

性能チューニングやアプリ分析のサポートサービスを提供
27© 2022 FUJITSU LIMITED

「Fujitsu クラウドサービス HPC」 の特長

1

2
3「富岳」のテクノロジーによる高速処理「富岳」と互換性をもつハードウェア・ソフトウェアを採用し大規模シミュレーションの高速処理が可能

オンデマンドHPCサービス
HPCのジョブ実行に必要な環境はサービス側で全て準備されておりサービスに申し込むだけでHPC環境をオンデマンドに利用可能

プロフェッショナルサポート大規模HPC運用に知見を有する技術者によるプロフェッショナルサポートによりHPCの専門知識を持たないお客様も、HPCを最大限に活用可能
28© 2022 FUJITSU LIMITED特長① 「富岳」のテクノロジーによる高速処理
お客様の課題○ 大規模シミュレーションを高速に処理するHPC環境が必要○ 「富岳」で実績のあるアプリケーションを利用する、または将来的な利用を検討するため、「富岳」と互換性のある環境が必要

本サービスによる解決策○ 誰でも「富岳」テクノロジーを活用可能○ 「富岳」と共通のシステム基盤および操作性により、既存「富岳」ユーザにおける互換性を担保

29© 2022 FUJITSU LIMITED特長② オンデマンドHPCサービス
お客様の課題○ HPCを自社の環境に設置するには、多くの初期投資と長いリードタイムが必要になる○ リソースの見積もりが困難である

本サービスによる解決策○ 初期投資不要で、利用開始までのリードタイムを短縮できる○ 必要な時に必要なだけ利用可能になる(必要最小限の構成で月額10万円から)※ 本格利用前の検証等
30© 2022 FUJITSU LIMITED特長③ プロフェッショナルサポート
お客様の課題○ HPC上でのシミュレーション実行環境の整備、およびプログラムのチューニングを行える技術者の確保や育成が困難○ 自社のビジネス上の課題に対し、HPCをどのように活用すればよいのかわからない

本サービスによる解決策○ 大規模HPCの知見を持つ技術者が、HPCの性能を最大化するためにチューニングを支援○ お客様のビジネス計画と連動したHPC活用計画の策定を支援

31© 2022 FUJITSU LIMITED

「Fujitsu クラウドサービス HPC」 利用イメージ
サービス提供範囲

コントロールパネル/API・共通管理

Web/API
サービス管理者

アカウント作成・削除等
管理操作

インターネット

コンピューティングリソース

ログインノード(仮想サーバー)

SSH/API
サービス利用者

インターネット

ルーター
orVPN

✓ SSHログイン✓ データ操作✓ バッチジョブ操作✓ ジョブ結果確認⚫ Armシステム

ジョブ投入

ジョブ管理

リソース割当ジョブ実行⚫ x86システム⚫ GPUシステム

ファイルアクセス

ジョブ読込オプションメニュー
Digitalenhanced
EXchange

SINETストレージオブジェクト
ストレージ

ジョブ実行
結果格納

プライベートLAN

32© 2022 FUJITSU LIMITEDThank you
内容に関してのご質問は、以下までお問い合わせください岩松 昇<n_iwamatsu@fujitsu.com>© 2022 FUJITSU LIMITEDFUJITSU Hybrid IT Service FJcloud-O:

全ログのリアルタイム分析: ログのインデックス化例○OpenStackログの一例

Loglevel

Domain ID

2018-07-31 10:13:20.066 36 INFO nova.osapi_compute.wsgi.server [req34378379-fad7-4b54-acf5-16d53dd0e1a8 983461ab3c3a447bbd55d8c8a9fbeff043906b4ccf124514b26d8a551419ac9f – 31ac69683b234ddb80f753a2a1a0450a
31ac69683b234ddb80f753a2a1a0450a] 10.101.4.138,10.101.4.49 "POST/v2.1/43906b4ccf124514b26d8a551419ac9f/os-keypairs HTTP/1.1" status:
200 len: 2597 time: 0.3791530

Request URI

データ構造化34© 2022 FUJITSU LIMITED