第16回IPABシンポジウム
IoT/クラウド時代のバイオデータ解析

日本マイクロソフト株式会社
パブリックセクター統括本部
クラウドアーキテクト
寿穂@2016 Microsoft Corporation.中田All rights reserved.

1

https://www.youtube.com/watch?v=TnhZqkLchIM@2016 Microsoft Corporation. All rights reserved.

2

先端医科学研究センター

バイオ医薬品の有害事象を機械学習で予測、患者の QOL 向上に貢献する研究のシステム基盤に Microsoft Azure を採用
https://www.microsoft.com/ja-jp/casestudies/yokohama-cu.aspx

 オンプレミスと比較して柔軟性が高くコストの低いシステムを実現

 初めて利用する学生でも簡単に機械学習の分析モデルを作成可能
 大規模データの解析にも、Azure の機能拡張で対応できる@2016 Microsoft Corporation. All rights reserved.

3

Microsoft Azure とは@2016 Microsoft Corporation. All rights reserved.

4

(2015年 11月現在)

世界最大のインフラストラクチャー
22 の地域でサービス中、24 の地域まで拡大予定
米国中北部
北ヨーロッパ
IrelandIllinois

米国政府
Iowa

米国中部
Iowa

カナダ中部
Toronto

カナダ東部
Quebec City

南中国 *Shanghai

米国東部
Virginia

米国西部
California
米国中南部
Texas

米国政府
Virginia

西ヨーロッパ
Netherlands

米国東部２Virginia

北中国 *Beijing
東日本
Saitama

中央インド
Pune

西日本
Osaka

南インド
Chennai

西インド
Mumbai

東アジア
Hong Kong
東南アジア
Singapore
東オーストラリア
New South Wales

南ブラジル
Sao Paulo

東南オーストラリア
Victoria

100カ所以上のデータセンター
ネットワーク網が全世界でトップスリーの一つ
AWS の2倍、Google 6倍の地域サポート @2016 Microsoft Corporation. All rights reserved.
構築中 * Operated by 21Vianet
稼働中G Series – 最大 VM 提供開始 – 32 コア, 448GB RAM, SSD…

5

Azure Cloud Platform
Platform Service
Security &Management

CloudServices

Service
FabricWeb Apps

APIAppsAPI
Management

Logic
Apps

Notification
Hubs

Visual Studio

Azure SDK

Azure AD
Connect HealthPortalActiveDirectory

Batch

MobileApps

Remote App

Team Project

Application
Insights

Multi-Factor
Authentication

Automation

Key Vault

Storage
QueuesBiztalk
Services

HybridConnections

ServiceBus

Media
Services

Content Delivery
Network (CDN)

HDInsight

MachineLearning

SQL
Database

SQL Data
Warehouse

Data
Factory

Event
Hubs

Redis
Cache

SearchImport/Export

StreamAnalytics

MobileEngagement

DocumentDB

TablesSite
RecoveryOperational
Insights

StorSimple

Infrastructure Services

6AD Privileged
Identity
ManagementBackup

Store /Marketplace
VM Image Gallery& VM Depot

HybridOperations@2016 Microsoft Corporation. All rights reserved.

Research 向けの Microsoft Azure の機能
Virtual Machine

HDInsight

 Windows, Linux が利用できます。

 Apache Hadoop の PaaS環境です。

 InfiniBandやGPUを搭載したインスタンス

 Spark、HBase、Storm などが利用できまも利用できます。

す。

Machine Learning

Event Hub

 機械学習を簡単に始められるサービスで

 数百万台の IoT デバイスからデーターを収集す。

できるサービスです。

 自由度が高く、「Python」、「R 」 など

 収集したデータをリアルタイムで解析するを使って新しいアルゴリズムを開発するこAzure Stream Analytics なども用意されていとも可能です。

ます。

@2016 Microsoft Corporation. All rights reserved.

7

Windows HPC Server (HPC Pack) とその歴史

オンプレミス・クラウドを統合管理できる
ジョブスケジューラー
MPICH2 ベースの MPI ライブラリ (MS-MPI)
使いやすい GUI 管理ツール
効率的なコマンドライン管理ツール
Excel 高速化機能
最新版は HPC Pack 2012 R2 Update 2(2015 年 7 月リリース)

三菱UFJ証券様のクラスタがTop 500にランクイン。
(1760コア、6.52TFlops)
http://www.top500.org/system/174885



上海スーパーコンピューティングセンターのDawning 5000AがTop500で11位にランクイン。(30,720コア、180.6TFlops)
http://www.top500.org/system/176118



東工大のTSUBAME 2.0で初のペタフロップス越え。
1.13PFlops. Top500の5位相当の記録。



HPC用AzureインスタンスでTop500にランクイン (8064コア, 151.3TFlops) http://www.top500.org/system/177982+@2016 Microsoft Corporation. All rights reserved.

8

オンプレミス + クラウドの統合クラスタ
 社内とクラウドの計算ノードを「一つのクラスタとして」統合管理可能
 クラウドへのノード追加・削除は、数百ノードレベルでも10分程度で完了
 スケジュールに従って自動的にノードを追加・削除することも可能
クラウド (Azure)

柔軟に増減可能な Azure の計算ノード (Windows / Linux)

社内

遊休時にジョブを割り当て

管理ツール

ジョブ投入

利用者端末ジョブの割り当て

ヘッドノード(Windows Server)

オンプレミスの計算ノード※ 次のバージョンで Linux 対応予定

一般的な Windows PC や、汎用のWindows サーバ (ファイルサーバ等) も計算ノードとして利用可能@2016 Microsoft Corporation. All rights reserved.

9

高性能インスタンス (A8 - A11)
サイズ

コア数

メモリ容量

A8856 GB

A916112 GB

A10856 GB

InfiniBand 搭載

ネットワーク 1

Xeon E5-2670
2.6 GHz10 Gbps
イーサネットQDRInfiniBand(w/ RDMA)
無し

A1116112 GB

 TOP500 にランクインしました (2012年11月)
 151.3 TFLOPS (効率 90.2%) で 165 位
 A9を504ノード, 8064 コアで実施
http://www.top500.org/system/177982

 MSMPI と Intel MPI に対応。

 「A8,A9 の速い CPU や大きなメモリは必要だが、MPI は使わないので InfiniBand 無しモデルを」という要望を受けて追加。
 InfiniBand の有無以外は A8, A9 と同一。
https://msdn.microsoft.com/library/azure/dn689095.aspx@2016 Microsoft Corporation. All rights reserved.

10検証事例: Particleworks on Azure 4000万粒子規模の解析
 内容: 自動車の水はね オンプレミスの Linux クラスタと、AzureのA7,A8,A9インスタンスで同じ解析を実施し、実行時間を比較。
 機種: ProLiant SL 390s G7 ｘ 4 ノード (計48コア)
 CPU：Intel Xeon X5675 3.06GHz 6 cores ×2
 RAM：4GB×12 = 48 GB
 QDR InfiniBand 40Gbps×2@2015 Microsoft Corporation. All rights reserved.

11

オンプレミスの物理マシンと遜色ない性能
1.2
1

1

1.04

オンプレLinux

A8

0.8
0.60.4(SL390s G7)
0.21

0.2

A7
0
オンプレミスの InfiniBand 付き物理マシンの性能を1 とした場合の比較
1A8/A9 は物理マシンと同等、A7 との比較では 5 倍の性能を記録(流体計算アプリケーションでの性能検証結果)@2015 Microsoft Corporation. All rights reserved.

12

Comping soon !!

2015 年 12 月プレビュー開始

NVIDIA Tesla M60 あるいは K80 を備える「Nシリーズ」
サイズ

コア数

メモリ容量 (GB)SSD (TB)

InfiniBand with RDMA

GPU

N1664~0.5-

M60 x 0.5

N10664~0.5-

K80 x 0.5

N1112128~1.0-

K80 x 1

N1224256~2.0-

K80 x 2

N2124256~2.0有り

K80 x 2

GPU インスタンスの想定用途
 ゲームなどのクラウドレンダリング 動画のエンコーディング デスクトップアプリでの OpenGL / DirectX サポート GPGPU (CUDA / OpenCL)@2016 Microsoft Corporation. All rights reserved.

13

NCBI BLAST on Windows Azure
http://research.microsoft.com/en-us/projects/ncbi-blast/

Azure お試しプラン
https://azure.microsoft.com/ja-jp/free/@2016 Microsoft Corporation. All rights reserved.

14

Azure Machine Learning
ブラウザだけで、すぐに始められる機械学習環境@2016 Microsoft Corporation. All rights reserved.

15

Azure Machine Learning の特徴
 ブラウザ (ML Studio) だけで すぐに始められる• サーバー等の環境準備/設定不要
 複雑なモデルを GUI 操作だけでも実装可能
 作成したモデルをボタン 1つで Web サービス化
 R / Python での実装も可能
 各種ストレージ、データベースを入力、出力に• Azure Blob/Azure Table/Azure SQL Database/
HiveQL/Web URL via HTTP/OData 1時間あたり ¥102 (ML Studio)/ ¥204 (API) の従量課金• 実行時間に対してのみ課金される• サブスクリプションなしで始められる Free Tier あり
16

Azure ML における開発の流れ
1. トレーニングデータ（実績データ）の準備
予測モデルを作成する為のトレーニングデータ（実績データ）を準備例：顧客属性によるお勧め商品の提示（リコメンデーション）を行いたいのであれば、どういった属性情報のお客様が、どういう商品を買ったのかという実績データが必要

2. 予測モデルの開発と評価

3. 予測モデルの公開（Web サービス）
作成した予測モデルは、非常に簡単な操作でWebサービスとして公開可能。
@2016 Microsoft Corporation. All rights reserved.

17

Azure Machine Learning Studio ( Azure ML Studio )• Web ベースの開発ツール• グラフィカルな GUI で予測モデルの作成・評価を実施可能②各部品のプロパティーを設定① 部品をドラッグ＆ドロップ

Azure ML Studio の基本的な使い方

18基本的な予測モデルの作成例
トレーニングデータの読込み予測モデルの作成に使用するアルゴリズム

データクレンジング・メタデータ設定

読み込んだデータを「トレーニングデータ」と「評価用データ」に分割
予測モデルの作成（トレーニング）
左インプット：利用するアルゴリズム
右インプット：トレーニングデータ

作成した予測モデルを評価する為に、評価用データで予測を実行

予測結果の評価と可視化

19Microsoft R ServerMicrosoft R Open@2016 Microsoft Corporation. All rights reserved.

20

Microsoft R 製品： 2016/01/01から製品をリブランド
Microsoft R Open- マイクロソフトにより開発・提供されるオープンソースライセンス(GPLv2)の R ディストリビューションです。

- GNU R と 100 % の互換性を保ちつつ、GNU R より高速※1に動作します。
- R のマルチスレッドよりに対応します。
- Windows、Mac OS、Linux プラットフォームで動作します。
※1: インテルの数値演算ライブラリの活用により高速化を実現

Microsoft R Server, SQL Server 2016 R Service- 複数ノードでの分散・並列処理(Scale R、Distributed R)を行うことができます。
- SQL Server、Hadoop、Teradata を使用した並列処理ができます。
- R の統合開発環境 Develop R がバンドルされます。
@2016 Microsoft Corporation. All rights reserved.

21

Microsoft R のパフォーマンス
Matrix calculation

行列の変換操作(2,500*2,500行列)

乱数のべき乗(2,400*2,400行列)

乱数7,000,000のクイックソート

線形代数クロス積(2,800*2,800行列)

クロス積の逆行列(3000*3000行列)

0%

10%

20%

30%
GNU R 3.2.3

40%

50%60%70%

80%

90%

100%

MRO 3.2.3@2016 Microsoft Corporation. All rights reserved.

22

Microsoft R のパフォーマンス
Matrix functions

乱数2,400,000のフーリエ変換

乱数(640*640行列)の固有値2,500*2,500行列の行列式

3,000*3,000行列のコレスキー分解

1,600*1,600行列のQR分解

0%

10%

20%

30%
GNU R 3.2.3

40%

50%

60%

70%

80%

90%

100%

MRO 3.2.3@2016 Microsoft Corporation. All rights reserved.

23

Microsoft R のパフォーマンス
Programmation

3,500,000のフィボナッチ数の計算

3,000*3,000のヒルベルト行列の生成

乱数400,000ペアの最大公約数の計算

500*500のテプリッツ行列の生成45*45の複雑な行列計算

0%

10%

20%

30%
GNU R 3.2.3

40%

50%

60%

70%

80%

90%

100%

MRO 3.2.3@2016 Microsoft Corporation. All rights reserved.

24

GNU R vs. Microsft R Open vs. Microsoft R Server
GNU R
データ処理

インメモリ

Microsoft R OpenMicrosoft R Server

インメモリ

インメモリ or ディスク

分析スピードシングルスレッドマルチスレッド

マルチスレッド
1:N のサーバーに対する
並列処理

サポート

コミュニティ

コミュニティ

コミュニティ+商用サポート分析のためのパッケージ

7500 を超えるパッケージ 7500 を超えるパッケージ(CRAN)(CRAN)

7500 を超えるパッケージ(CRAN) +商用の高速並列関数

ライセンス

オープンソース

商用ライセンス

オープンソース@2016 Microsoft Corporation. All rights reserved.

25

GNU R で分析した時の課題-

メモリに収まる範囲のデータしか分析できない
GNU R は基本的にすべてのデータをオンメモリで扱うため、大規模なデータの処理や分析には適しません。

-

マルチスレッド処理できない
GNU R は基本的に 1 つのコアを使用して 1 つの処理を行うため、最新のコンピュータ(マルチコア) の計算資源を有効に活用できません。

-

商用サポートなし
企業利用の場合、問題が発生しても解決が難しい場合も相談する窓口がない。

Microsoft R Server はこれらの課題を解決します。
@2016 Microsoft Corporation. All rights reserved.

26

Microsoft R Server 今後の機能拡張(予定)Azure HDInsight

Azure Data Lake Store Azure Machine Learning

 R Tools for Visual Studio@2016 Microsoft Corporation. All rights reserved.

27

Microsoft R Open のダウンロード
https://mran.revolutionanalytics.com/download/@2016 Microsoft Corporation. All rights reserved.

28

研究者のためのクラウド

Microsoft Azureが大学生協でお支払い可能になりました！
10,200円単位のプリペイド形式です。

有効期限12か月です。 使い切れるようにお求めください。

Volume License Service Center（VLSC）を通じて提供されます。

新しい購入方法はクレジットカード決済不要
10,200円単位のプリペイド形式です。

料金計算ツール
http://azure.microsoft.com/jajp/pricing/calculator/
サービス専用お問い合わせ、ご質問窓口℡03-5665-8651（平日9時～17時まで)

担当 竹内※大学出張セミナーは実施回数に限りがございますので、上記窓口へ事前にお問い合わせください。

ご注文は、生協店舗まで@2016 Microsoft Corporation. All rights reserved.

29

@2016 Microsoft Corporation. All rights reserved.

30