第16回 PCクラスタシンポジウム

HPC on Microsoft Azure
最新情報および事例のご紹介～AI、Big Data with HPC～
日本マイクロソフト株式会社
パブリックセクター統括本部
平塚 建一郎 <kenhirat@microsoft.com>

世界最大のインフラストラクチャー
28 の地域でサービス中、34 の地域まで拡大予定
米国中北部
Illinois
米国中部
Iowa

US DoD West
TBD
米国西部2
California

カナダ中央Torontoイギリス
イギリス
22RegionsRegions

カナダ東部
Quebec City

米国政府
Iowa

北ヨーロッパ
Ireland

米国東部
Virginia
米国西部
California

米国政府
Virginia

米国中西部
Utah
米国中南部
Texas

https://azure.microsoft.com/en-us/regions/

西ヨーロッパ
Netherlands

南韓国
TBD

ドイツ北東**
Magdeburg

北中国 *Beijing

ドイツ中央 **
Frankfurt

西インド
Mumbai

New

中央韓国
Seoul
東日本
Tokyo, Saitama

南中国 *Shanghai
中央インド
Pune米国東部2Virginia
US DoD East
TBD

(2016年 12月 現在)

西日本
Osaka
南インド
Chennai
東アジア
Hong Kong

東南アジア
Singapore
東オーストラリア
New South Wales
南ブラジル
Sao Paulo State 100カ所以上のデータセンター ネットワーク網が全世界で第 2 位の規模
 AWS の 2 倍、Google 6 倍の地域サポート

東南オーストラリア
Victoria

稼働中アナウンス済み / 構築中* Operated by 21Vianet ** Data Stewardship by Deutsche Telekom

1日本初のクラウド セキュリティ ゴールドマークを取得
クラウドセキュリティ（CS）ゴールドマーク取得により、Microsoft Azure、Office 365を、日本のお客様が、客観的な基準により安全性・信頼性が確認されたサービスとして、選択できるようになりました。当社の CSP プログラムなどを活用し Azure や Office 365を活用したクラウドビジネスを推進するパートナー各社にとっても、サプライチェーンとして利用サービスの安全性・信頼性を客観的にお客様へと証明することが可能となります。
http://jcispa.jasa.jp/cs_mark_co/cs_gold_mark_co/

Microsoft Azure、Office 365が情報セキュリティ監査の認定を取得



透明性

セキュリティ監査協会（JASA）クラウドセキュリティ推進協議会が制定した「クラウド情報セキュリティ監査制度」において、日本で初めて「クラウド セキュリティ（CS）ゴールドマーク」を取得「クラウド情報セキュリティ監査制度」:クラウドサービスを提供する事業者のサービスのセキュリティが、国際的な基準（ISO/IEC 27017）で求められる 水準であることを示すことを目的とし、サービス提供の実態が、情報セキュリティマネジメントの基本的な要件を満たしているか評価する仕組みとして制定
CS ゴールドマークは国際的な基準とされる Service Organization Controls（SOC）2 にならぶ、日本で初めての第三者認定制度であり、クラウドサービスの利用者は、CSゴールドマークを導入時や年次の利用者自身の監査結果として利用することができます。
政府調達基準（http://www.nisc.go.jp/active/general/kijun2016.html）においても、セキュリティ監査制度の活用示唆されている
日本マイクロソフトには、JIS クラウド セキュリティ コントロール標準化専門委員会幹事や ISO/IEC JTC 1/SC 27 WG1 および WG4 委員も在籍

日本データセンター開設



セキュリティセンターによる情報公開ISO/IEC 27018の準拠

西日本

東日本

東西拠点により災害対策環境も含めて日本DCを利用可能

その他の第三者認証・監査••

事業者は、カスタマーの同意なしに個人情報をマーケティングや広告には使ってはいけない
事業者は、データの保管場所（国）及び、取扱事業者を公開しなければならない

EU のデータ保護指令の要件を満たすと認定

その他対応規格/認証（世界で最初に認定を受けた企業）

お客様データ・プライバシー保護

原則
お客様データはお客様のものでありクラウドサービスをお客様に提供する目的にのみ使用
 委託先の管理• 社員と同等のセキュリティレベル、プライバシー基準を維持• 下請業者の一覧を公開
 閉域網接続サービスの提供• Azure:提供中• Office 365:提供中MediaServices

ContentDelivery
NetworkMediaAnalytics

Azure Active
DirectoryMulti-Factor
Authentication

準拠法は日本法

合意管轄裁判所は東京地方裁判所

HybridCloud

PortalAzure AD
B2C

準拠法・裁判管轄
Platform Services

Security &Management
Security Center

EU Model Clauses , Data Processing Agreement, ISO 27001, SAS 70, SSAE 16/ISAE 3402,
HIPAA BAA, FISMA, FERPAAPIManagement
LogicApps

BizTalk
Services

Web
Apps

Mobile
Apps

API
Apps

CloudServices

ServiceFabricNotification
Hubs

SQL
Database

SQL Data
Warehouse

SQL ServerStretch Database

Redis
Cache

DocumentDB

Storage
TablesAzure
SearchFunctions

Service Bus

Cognitive Services

Bot Framework

Cortana

Automation

Store/Marketplace
VM Image Gallery& VM Depot

AD Privileged
Identity
Management

Domain Services

BackupOperational
Analytics

Scheduler

Key Vault

Azure AD
Health Monitoring

ContainerService
Batch

VM
Scale Sets

RemoteApp

Visual Studio

MobileEngagement

VS Team Services

XamarinApplication
Insights

HockeyApp

HDInsight

Data
Catalog

MachineLearning

Stream Analytics

Data Lake
Analytics Service

Data Lake Store

Import/Export

Azure Site
RecoveryIoT Hub

EventHubs

Data
Factory

Power BI
Embedded
StorSimple

Infrastructure Services

2

東京工業大学様/だれもが簡単に利用できるスマート創薬環境をクラウド上で実現
スマート創薬のためのソフトウェアをオープンソースとして公開■GHOST-MP:
与えられた大量の塩基配列の類似配列検索をアミノ酸配列データベースに対して行う相同性解析ソフトウェア。マルチコア、マル
チノードのハイブリット並列処理を用いることで高速な相同性配列検索を実現。
■MEGADOCK:
高速フーリエ変換を用いたグリッドに基づくタンパク質ドッキングを行う構造バイオインフォマティクス ソフトウェア。ドッキング計算結果に基づいてタンパク質間相互作用を予測し、創薬に役立てる。

シミュレーションをするためのコンピュータ環境を構築できないといった問い合わせが世界中より来てしまい対応に苦慮 !!

クラウド(Microsoft Azure)上で、シミュレーション環境を提供することで、誰もが、どこからでも利用できる環境を提供
https://www.microsoft.com/ja-jp/casestudies/titech4.aspx

5

広島大学/繁忙期に不足する計算リソースをクラウドでカバー

https://www.microsoft.com/ja-jp/casestudies/hiroshima-u.aspx

63最も高い処理速度とコスト パフォーマンス
HPC に最適なクラウド環境

1
23• 遅延はイーサネットの 1/76 倍• 帯域はイーサネットの 46 倍

InfiniBand
搭載 VM• 機械学習用 GPU: NVIDIA Tesla M60

GPU
搭載 VM

• 科学技術計算用 GPU: NVIDIA K80• CPU に比べ 50 – 150 倍のパフォーマンス
• HPC 用テンプレート 16 種類 を提供

HPC

SLES 12 for HPC, CentOS-based 7.1 HPC, Intel Cloud Edition for
Lustre* Software – GS, STAR-CCM+ v10.06 with HEEDS MDO v2015,COMSOL Multiphysics v5.2, OpenFOAM v2.3 など

HPC インスタンス（A8-A11）
スペック

A8A9A10A11

コア数

816816

CPUXeon E5-2670 2.6 GHz – Sandy Bridge

メモリ

DDR 356 GB

DDR 3112 GB

DDR 356 GB

DDR 3112 GB

標準データディスク

384 GB HDD

384 GB HDD

384 GB HDD

384 GB HDD

フロントネットワーク
バックエンドネット
ワークリージョン価格（Linux/東日本）

10G bps Ethernet
QDR InfiniBand with RDMA

N/A

米国東部・西部・北中部・中南部、北ヨーロッパ・西ヨーロッパ、東日本¥123.22/時間¥91,672.70/月¥246.33/時間¥183,269.52/月

価格は2016年12月現在の従量課金の金額です。価格は変更となる場合がございます。

¥98.53/時間¥73,307.81/月¥197.06/時間¥146,615.62/月
84

ベンチマークテスト: LS-DYNA（衝突解析）
ジョブ当たりの実行時間
12000

実行時間(秒)

10000

3Car

8000
6000
4000
1632641282565126483

3601

2006

1342

1037

949

2000
0

コア数(1ノード１６コア)

large HYBRID using NUMA

A9 nodes MPI RDMA

Large MPI SRIOVAZURE HYBRID using NUMA

9HPC インスタンス（H シリーズ）

Newスペック

H16r

H16mr

H8H8m

H16H16m

コア数1616881616CPUXeon E5-2667 v3 3.2 GHz - Haswell

メモリ

DDR 4112 GB

DDR 4224 GB

DDR 456 GB

DDR 4112 GB

DDR 4112 GB

DDR 4224 GB

標準データ
ディスク

2.0 TB SSD

2.0 TB SSD

1.0 TB SSD

1.0 TB SSD

2.0 TB SSD

2.0 TB SSD

フロントネットワーク
バックエンドネットワーク

40G bps Ethernet
FDR InfiniBand with RDMA

リージョン
価格

（Linux/東日本）

N/A

米国東部・西部・北中部・中南部、北ヨーロッパ・西ヨーロッパ、東日本¥271.32/時間¥201,862.08/月¥363.12/時間¥270,161.28/月¥123.42/時間¥91,824.48/月

価格は2016年12月現在の従量課金の金額です。価格は変更となる場合がございます。

¥165.24/時間¥122,938.56/月¥245.82/時間¥182,890.08/月¥329.46/時間¥245,118.24/月

105

GPU 搭載インスタンス ～ N シリーズ

NewNV Series (Tesla M60 搭載):RemoteFX vGPU によって強力な 3D グラフィック性能を実現
NC Series (Tesla K80 搭載) :Direct device assignment による仮想環境上の強力な GPU 処理を実現
NV6

NV12

NV24

NC6

NC12NC24

NC24r

Cores

6(E5-2690v3)

12(E5-2690v3)

24(E5-2690v3)

6(E5-2690v3)

12(E5-2690v3)

24(E5-2690v3)

24(E5-2690v3)

GPU

1 x M60 GPU(1/2 PhysicalCard)

2 x M60 GPU(1 Physical Card)

4 x M60 GPU(2 PhysicalCards)

1 x K80 GPU(1/2 PhysicalCard)

2 x K80 GPU (1Physical Card)

4 x K80 GPU (2Physical Cards)

4 x K80 GPU (2Physical Cards)

Memory56 GB

112 GB224 GB

56 GB

112 GB224 GB224 GB

Disk~380 GB SSD~680 GB SSD~1.5 TB SSD~380 GB SSD~680 GB SSD~1.5 TB SSD~1.5 TB SSD

Network

Azure Network

Azure Network

Azure Network

Azure Network

Azure Network

Azure Network

FDR InfiniBandwith RDMA◆Physical Card Spec.

◆Physical Card Spec.

GPU 機能GPU

Tesla M60
2x NVIDIA Maxwell GPU

Max Power

300 W

フォームファクター

PCIE 3.0 Dual slot

クーリング ソリューション

Passive/Active

メモリサイズ16 GB (GPU ごとに 8 GB)

CUDA コア数

4,096 (GPU ごとに 2,048)

GPU 機能GPU

Tesla K80
2x Kepler GK210

最大倍精度浮動小数点性能

2.91 TFlop (GPU ブーストクロック)1.87 TFlop (ベースクロック)

最大単精度浮動小数点性能

8.74 TFlop (GPU ブーストクロック)
5.6 TFlop (ベースクロック)

メモリバンド幅

毎秒 480 GB (GPU ごとに毎秒 240 GB)

メモリサイズ

24 GB (GPU ごとに 12 GB)

CUDA コア数

4,992 (GPU ごとに 2,496)

開発中
ComingSoon!

11

Microsoft Cognitive Toolkit（旧 CNTK:Microsoft Computational Network Toolkit）­ AI技術を利用したオープンソースディープラーニング(深層学習)ツール

https://github.com/Microsoft/CNTK

キット­ シングルコア上でも、大規模クラスタでも利用可能­ CPU での利用の他に、NVIDIA が提供する GPU プログラミング向けライブラリ「CUDA(Compute Unified Device Architecture)」を組み合わせた GPU コンピューティング演算も可能­ 画像認識ベンチマーク ImageNet で記録更新!
­ 1000カテゴリの画像について 96％以上の確率で正しく分類­ 従来の5倍近くも深い152レイヤのニューラル・ネットワーク­ CNTK + Azure GPU Lab­ https://blogs.nvidia.co.jp/2015/12/10/microsoft-gpusimage-recognition/

126

Platform Services

Security &Management

HybridCloud

Security Center

Media
Services

Content
Delivery
NetworkMedia
Analytics

PortalAzure Active
DirectoryAPI
Management

Azure AD
B2C

Logic
Apps

Multi-Factor
Authentication

WebApps

Mobile
Apps

API
Apps

CloudServices

ServiceFabricNotification
Hubs

SQL
Database

SQL Data
Warehouse

SQL ServerStretch Database

RedisCache

Azure AD
Health Monitoring

DocumentDB

Storage
TablesAD Privileged
Identity
Management

Azure
SearchDomain Services

BizTalk
Services

Cognitive Services

Functions

Service Bus

BackupCortana

Bot Framework

Automation

Operational
Analytics

Scheduler
Container
Service

Key Vault

Batch

Store/Marketplace

VS Team Services

RemoteApp

Data
Catalog

XamarinApplication
Insights

VM Image Gallery& VM Depot

HDInsightMobile
Engagement

Visual Studio

VM
Scale Sets

IoT Hub

HockeyApp

MachineLearning

Stream Analytics

Data Lake
Analytics Service

Data Lake Store

Import/Export

Azure Site
Recovery
EventHubs

Data
Factory

Power BIEmbedded
StorSimple

Infrastructure Services

Azure IoT Platform >> Cloud AI Platform
Data Ingress

Data Processing (Transform + analyze / Capture + manage)

Real-time Dashboard & Mobile• Accepts Commands• Selectivity Transmits Data

Web SiteAgent0011010111000101

Agent

0011010111000101

Agent

0011010111000101

Agent

0011010111000101

Notification Hub

PowerBI.com

IoT Platform%h5
2mu
ty
id95

strep07

HoloLens
Windows 10

Machine Learning
IoT Hub

StreamAnalytics

CognitiveServices

Gateway

Azure Storage/ Data Lake

IoT

Data Factory

HDInsight& Spark

Azure SQL DB /Data Warehouse

BotFramework

011010110101

Data Management
Gateway

Device Actions through Agent Capabilities

Rest APIM
P:03

Data Egress (Visualize + Decide)

Third-party
Systems
LoB Apps
ExternalAnalytics Tools

Command and Control

147

Azure Machine Learning (Azure ML)
Azure Machine Learning は、未来を予測し「自立的」に判断するアプリケーションをコードを書かずに素早く開発でき、それを稼働させるスケーラブルなプラットフォームである
ブラウザだけで開始できる
Azure サブスクリプションにログインすれば、ブラウザだけで開発が可能。
誰とでも、どこからでも、簡単に共有が可能
オープンで優れた統合環境“R” や “Python” で利用される数百ものアルゴリズムやパッケージを利用可能。
Xbox や Bing で養われた優れたアルゴリズムを利用可能。

① 部品をドラッグ＆ドロップ

ソリューションを数分で展開できる
１クリックで学習が完了したモデルをWeb サービスとして即時ディプロイ。
あらゆる場所からスケーラブルに利用可能。

②各部品のプロパティーを設定

世界への展開グローバルな Azure Machine Learning
Marketplace を介して、ソリューションを販売可能
東日本リージョンからもサービス開始

15

横浜市立大学様/バイオ医薬品の有害事象を機械学習で予測患者の QOL 向上に貢献する研究のシステム基盤に Microsoft Azure を採用
バイオ医薬品

遺伝子組換え技術を利用し、微生物や動物などの培養細胞によって作成

実験動物を使った臨床試験

動物と人間との結果の差が大きく、安全性に関する十分な情報が得られないことがある

人間を使った臨床試験

どのような人がどのような使い方をバイオ医薬品の臨床上の有害事象のデータしたときに有害事象が起きやすい
Azure MLhttps://www.microsoft.com/ja-jp/casestudies/yokohama-cu.aspx

かを予測
16

8

LINE:女子高生人工知能「りんな」https://blogs.bing.com/japan/2015/08/07/aijk_rinna/

Pepper × Azure = Cloud Robotics の衝撃“ソフトバンクグループは８日、ヒト型ロボット「ペッパー」事業で米マイクロソフト(MS) と提携を発表した。MS のクラウドとつないで小売業の接客支援サービスを共同開発し、今秋に提供する。２月に米 IBM の学習するコンピューター「ワトソン」との連携を発表したのに続く協業となる。人工知能 (AI) や言語処理など海外の最新技術を取り込んでペッパーの魅力を引き上げる。”
3月8日付 日本経済新聞より“ソフトバンクロボティクスとマイクロソフト コーポレーションは8日、クラウドロボティ
クス分野において戦略的協業を発表した。協業の第一弾として人型ロボット 「Pepper」とクラウドプラットフォーム 「Microsoft Azure」 を活用した小売業界向け次世代型店舗 ソリューション「未来の商品棚 (仮称)」を 2016年秋を目処に提供する。”
3月8日付 マイナビ ニュースより

9

Microsoft Cognitive Services とはWeb API 経由で利用できる “人工知能パーツ”

19

Cognitive Services:Computer Vision API
画像から有益な情報を取得
概要 , 推測されるタグ情報 , 文字認識 など

20

10

Cognitive Services:Emotion API
人の感情の検出
画像から喜怒哀楽を推測

21

Cognitive Services:Text Analytics API
テキストから情報を取得
言語判定 , 重要フレーズの抽出 , センチメント分析(現状、日本語は非対応)

2211革新を生みだす他社にないテクノロジー群
機械学習
AI

25 種類

分析

ビック
データ

データセンター
基盤

大容量

何百万

国内東西 DCリージョン

音声 / 顔認識、機械翻訳

直観的な操作性による容易なデータの可視化

高速に処理可能無制限
ネイティブ形式
InfiniBand 搭載 VM
32 Gbit/s の高速ネットワーク処理

GPU 搭載 VM
Tesla M60 / K80による高速演算処理

 本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものです。Microsoftは絶えず変化する市場に対応しなければならないため、ここに記載した情報に対していかなる責務を負うものではなく、提示された情報の信憑性については保証できません。
 本書は情報提供のみを目的としています。 Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません。
 すべての当該著作権法を遵守することはお客様の責務です。Microsoftの書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うことは、どのような形式または手段（電子的、機械的、複写、レコーディング、その他）、および目的であっても禁じられています。
これらは著作権保護された権利を制限するものではありません。
 Microsoftは、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合があります。Microsoftから書面によるライセンス契約が明確に供給される場合を除いて、本書の提供はこれらの特許、商標、著作権、またはその他の知的財産へのライセンスを与えるものではありません。
© 2015 Microsoft Corporation. All rights reserved.
Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です。
その他、記載されている会社名および製品名は、一般に各社の商標です。

24

12