SS研科学技術計算分科会2017年度講演

富士通のディープラーニング
高速化技術のご紹介
2017年10月26日
株式会社富士通研究所
コンピュータシステム研究所
田原 司睦
0Copyright 2017 FUJITSU LABORATORIES LTD.

アウトライン はじめに ディープラーニングとは 富士通のAI への取り組み

 ディープラーニングの高速化
 ① Distributed caffe (画像認識)
 ② 分散並列データ供給技術
 ③ Deep Tensor (グラフデータ対応)
 ④ ディープラーニング専用プロセッサ DLU

 次世代アーキテクチャ
 ⑤ 最適化問題専用プロセッサ Digital Annealer

 まとめ

1

Copyright 2017 FUJITSU LABORATORIES LTD.

はじめに ディープラーニングとは 富士通のAI への取り組み

2

Copyright 2017 FUJITSU LABORATORIES LTD.

ディープラーニングとは
 学習の過程で自動的にデータの特徴をとらえる、分類用機械学習
従来の深層学習
機械学習

生データ
画像データ

音声データ

入力・前処理文章・文書

特徴抽出手作業分類器

機械学習

機械
学習

分類結果

 ニューラルネットワークを多層にした物
 従来の機械学習に比べ、学習処理に必要な計算量が大幅に増加
3

Copyright 2017 FUJITSU LABORATORIES LTD.

GPUを用いたディープラーニング例
認識結果

トップ側

ニューロン層3

誤差E

パラメタw

勾配情報Δw

差分

data

ニューロン層2

パラメタw

多数のニューロンからなる層(Layer)

勾配情報Δw

各ニューロンの重みパラメタw

差分

data

ニューロン層1パラメタw

勾配情報Δw

ボトム側
入力層

data

label (正解)

学習時、一度に複数のデータを処理する。
このデータ数をミニバッチサイズと呼ぶ
4

Copyright 2017 FUJITSU LABORATORIES LTD.

GPUを用いたディープラーニング例
ＧＰＵ
認識結果

ニューロン層3

誤差E

パラメタw

学習処理サイクル

勾配情報Δw

Forward
差分
diff

data

ニューロン層2パラメタw

勾配情報Δw

Update

差分
diff

data

ニューロン層1入力層

Backward

パラメタw

data

学習係数（学習処理1サイクルでの反映量を決めるハイパーパラメタ）をかける

勾配情報Δwlabel (正解)

ＣＰＵ
ストレージ

data / label

5

Copyright 2017 FUJITSU LABORATORIES LTD.

はじめに ディープラーニングとは 富士通のAI への取り組み

6

Copyright 2017 FUJITSU LABORATORIES LTD.

ジンライ

 語源

：疾風迅雷（すばやくはげしいこと）

 名前に込めた想い：人の判断・行動を“スピーディ”にサポートすることで、企業・社会の変革を “ダイナミック”に実現させる
7

Copyright 2017 FUJITSU LABORATORIES LTD.

Zinrai のサポートする領域
 幅広い領域の AI サービスをサポート

サイバー攻撃対策
Fintech

ものづくり
ネットワーク自動制御

先端医療
知識ベース

ロボティクス自動車

クラウド運用管理

自動分析・自動意思決定
予測最適化
リアルタイム分析
知識ネットワーク
ソーシャル数理
データ統合

計算量の多いディープ
ラーニングもサポート

感性メディア処理
人の感情・特性ﾓﾃﾞﾙ化 感情・感性理解

機械学習
脳科学
ディープラーニング
社会受容性
自然言語理解Zinraiプラットフォーム<出典>http://www.fujitsu.com/jp/documents/solutions/business-technology/ai/ai-zinrai/zinrai_20161128.pdf

8Copyright 2017 FUJITSU LABORATORIES LTD.

HPC技術をAIに適用
30年に渡るAI研究と、HPCで培った世界最速クラスのディープラーニング技術などの最先端・独自AI技術を結集ディープラーニングアプリの開発
ディープラーニングの特徴• メリット : 適切な特徴量の自動抽出  人間を超える認識率を実現• デメリット : 学習に多大な計算量
 学習時間の長期化
検証・評価時に学習を行う
ディープラーニング利用
アプリケーション開発プロセス

適用分野の拡大と精度向上のため、学習に必要な演算量が増加

仮説・提案

分析

実装

検証・評価

GTC2017 Keynote より
10

Copyright 2017 FUJITSU LABORATORIES LTD.

ディープラーニングアプリ開発の課題
課題

ディープラーニングの検証時間が非常に長く、開発プロセスを回せない

GPU 1台 (20 TFLOPS)で100 ExaFLOPSの処理に58日⇒ハードウェア、ソフトウェア両面からの高速化が必要
専用ハードウェア④ Deep Learning Unit
次世代アーキテクチャ⑤ Digital Annealer
アルゴリズム最適化③ Deep Tensor
高速なデータ共有方式② プリフェッチ技術

富士通の取り組み

Acc.

Acc.

Acc.

メモリ

メモリ

メモリ

CPU

CPU

CPU

NIC

NIC

NIC

スト
レージ

…

分散並列化
① Distributed Caffe
11

Copyright 2017 FUJITSU LABORATORIES LTD.

① Distributed Caffe (分散並列化)

12

Copyright 2017 FUJITSU LABORATORIES LTD.

Distributed Caffe
Caffe : 古参で著名なディープラーニングフレームワーク。
オープンソースソフトウェア。
ほぼすべてが C++ と CUDA で書かれており高速。
主に画像認識用。
GPU は複数利用可能。
Berkeley Vision and Learning Center が作成。
富士通が独自に分散並列化
Distributed Caffe : Caffe を MPI で分散並列化したもの。
ノード間集約には CPU を使っている。
AlexNet (スケーラビリティの悪いニューラルネット)でも、weak scale なら16ノードで15倍以上のスループット。
2016年 SWoPP で発表

13

Copyright 2017 FUJITSU LABORATORIES LTD.

ディープラーニングの分散並列化
ＧＰＵ
認識結果

ニューロン層3

誤差E

パラメタw

差分
diff

data

ニューロン層2パラメタw

勾配情報Δw
差分
diff

data

ニューロン層1

入力層

勾配情報Δw

パラメタw

data

学習処理サイクル
ForwardBackward
Update

勾配情報Δwlabel (正解)

ＣＰＵ
ストレージ

data / label

14

Copyright 2017 FUJITSU LABORATORIES LTD.

ディープラーニングの分散並列化
ＧＰＵＧＰＵ
認識結果

ニューロン層3

誤差E

パラメタw

学習処理サイクル
勾配情報Δw

勾配情報Δw

Forward

差分

dataBackward
ニューロン層2パラメタw

勾配情報Δw
All-reduce

Update

差分

data

ニューロン層1

入力層

勾配情報Δw

パラメタw

data

勾配情報Δw

勾配情報Δwlabel (正解)

ＣＰＵ

ＣＰＵ
ストレージ

勾配情報Δw

data / label

勾配情報Δw

All-reduce（ノード間通信）15

Copyright 2017 FUJITSU LABORATORIES LTD.

複数ノードで行う学習処理の課題
 All-reduce処理が加わる事でＧＰＵが動作しない時間が発生「重みパラメタの要素数」が多い場合、増加「ノード数」増により増加

ＧＰＵ

Forward

集約処理によるオーバヘッド

Backward

UpdateＣＰＵ

All-reduce

基本的なアイディア

集約処理時間を他のGPU処理時間に隠蔽集約処理時間を短縮

16時間

Copyright 2017 FUJITSU LABORATORIES LTD.

Backward処理時間への隠蔽
各層のForward処理

方法

各層のBackward処理が終わる毎に層単位でAll-reduce処理を開始する

ＣＰＵAll-reduce処理
Update処理

２層目以降のBackward処理とAll-reduce処理を並列に実行することでオーバヘッドを短縮
集約処理によるオーバヘッド

隠蔽前
隠蔽後

ＧＰＵ

各層のBackward処理

L1

L2 L3

L3L2

L1L3L217

L1Copyright 2017 FUJITSU LABORATORIES LTD.

Forward処理時間への隠蔽方法

各層のForward処理• 集約処理を複数スレッドで実行• Update処理を分割• Forward処理の開始を、層毎に判定

各層のBackward処理
All-reduce処理
Update処理

層単位でUpdate処理

すべての層のAll-reduce処理の完了を待たずに、次のForward処理を開始

ＧＰＵ

L2

ＣＰＵL3

L1

L1

L3

L2

L1
L218

Copyright 2017 FUJITSU LABORATORIES LTD.

細分化による並列化方法• GPUとのデータ転送、ノード間転送、Reduce演算等について、データを細分化して実行

各層のForward処理
各層のBackward処理
All-reduce処理
Update処理

All-reduceにかかる時間を短縮
細分化前
細分化後ＧＰＵＣＰＵ
ＣＰＵ

19

Copyright 2017 FUJITSU LABORATORIES LTD.

評価環境
 評価環境 九州大学 情報基盤研究開発センター 高性能演算サーバ
 東京工業大学 学術国際情報センター TSUBAME2.5
九州大学 高性能演算サーバ

 Deep Neural Network AlexNetを使用•層構成•畳み込み層 5層•全結合層
3層•重みパラメタの総要素数：約6100万

 学習用データ
 ILSVRC2012画像認識データセット•学習用 約128万枚、検証用 5万枚

20

•
•
•
••
•

計算ノード: 1476台 内16台
CPU: 16 core, 128 GB
GPU: Tesla K20m x1
CUDA7.5, cuDNN v4.0
Intel MPI 4.0.3
InfiniBand FDR 4レーン x1（6.8 GB/s）

東京工業大学••••••TSUBAME2.5

計算ノード: 約1400台 内256台
CPU: 12 core, 54 GB
GPU: Tesla K20X x3
CUDA7.5, cuDNN v4.0
OpenMPI 1.6.3
InfiniBand QDR 4レーン x2（4.0 GB/s x 2）
Copyright 2017 FUJITSU LABORATORIES LTD.

処理速度のスケーラビリティ
v=N

処理速度 v [arbitrary]

ノード当たりのミニバッチサイズ

100

216.6

256
128
64
32

ノード当たりのミニバッチサイズを256、 167.2
ノード数を256で実行した場合、処理速度は217倍
119.5
108.1

ノード当たりのミニバッチサイズを128から64とし、86.8
ノード数を倍にすることで、性能を上げられる
60.4

52.4

30.3
28.4

32.6

62.3

60.2

31.7

ノード当たりのミニバッチサイズを64から32とし、18.0
18.9
ノード数を倍にすると、性能は下がってしまう103264128256

ノード数 N（=GPU数）
21

Copyright 2017 FUJITSU LABORATORIES LTD.

ミニバッチサイズの影響
 AlexNetにおける学習の進み方
60

top1 正解率 [%]50403020

全画像を20回学習

100100010000

学習処理回数
22100000

Copyright 2017 FUJITSU LABORATORIES LTD.

ミニバッチサイズの影響(1)全画像を20回学習した時のtop 1 正解率
ミニバッチサイズが1024で正解率が最大となる

top1正解率[%]

45.3

47.3

46.2

ミニバッチサイズが8192を超えると最終的な正解率が50%を下回る
44.3

40.2

256

37.1

512

1024

2048

4096

8192

ミニバッチサイズ
23

Copyright 2017 FUJITSU LABORATORIES LTD.

① 学習速度の評価(2) top1 正解率が45%に到達するまでにかかる時間と高速化率
学習速度[arbitrary]
30 時間
24 時間

50(38.8)

25.2

27.0

18 時間

2014.7

6 時間
0 時間

3020.3

12 時間

4010

5.7
1.0

4.4

1.7

1(256)

8(512)

16(1024)

1.2

32(2048)0.964(4096)0.70128(8192)

ノード数（ミニバッチサイズ）
24

Copyright 2017 FUJITSU LABORATORIES LTD.

Distributed Caffe まとめ 1ノードあたり画像256枚のミニバッチでは、64ノードで60倍を超える処理速度
 学習の速度では、64ノードの場合、64枚 / ミニバッチ / ノードが最速で27倍
 最終到達予測精度もミニバッチあたりの画像枚数による
 現状の手法では、分散並列による高速化には上限がある
 富士通 Zinrai サービスで提供中
 SWoPP2016で発表
 2016年8月プレスリリース ( http://pr.fujitsu.com/jp/news/2016/08/9.html )25

Copyright 2017 FUJITSU LABORATORIES LTD.

② 分散並列データ供給技術

26

Copyright 2017 FUJITSU LABORATORIES LTD.

分散並列データ供給技術
アクセラレータの高速化により、分散並列実行時のデータ供給速度が問題(nVIDIA Pascal 4枚使用で画像認識の学習(AlexNet) なら300MB/s 程度の処理速度)

Dist. CaffeDist. CaffeDist. Caffe

FEFS
Client cache

FEFS
Client cache

FEFS
Client cache

FEFS
OSS

FEFS
OSS

FEFS
OSS

対象とするケース Distributed Caffe: 深層学習の分散並列フレームワーク
 FEFS: Lustre から派生した分散並列ファイルシステム

 LMDB: メモリマップファイル利用のデータベース(Dist. Caffe のデータ入力に使用) クライアントのコンピュータ上データをキャッシュすることで、ストレージへのアクセス時間を軽減
 データの一部のコピーを一時的にコンピュータのメモリ上に置いておく方式
 全データをメモリ上に置くのは、通常は容量不足で不可能

 必要なデータを必要なタイミングでメモリ上に持つことも困難
27

Copyright 2017 FUJITSU LABORATORIES LTD.

課題解決のアイディア
データファイル
分散並列プロセス 1

データアクセス検知
次に読まれるべき
データ

分散並列プロセス 2

分散並列プロセス 3

深層学習フレームワークで、各プロセスが連続領域をアクセス 分散並列実行時、それぞれのプロセスが連続したデータ領域を担当すればプリフェッチが可能
 データベースでのアクセス位置がわかれば、プリフェッチすべき領域がわかる

 データアクセスが行われたことをどうやって知れば良いか？
28

Copyright 2017 FUJITSU LABORATORIES LTD.

分散並列データ供給技術実装案
1: protect を張っておく
深層学習プログラム

メモリマップファイル

2: データ読みだし

protected page
LMDB
データベース

3: fault
4: 一時停止

no-protected page

SIGSEGV
シグナル
4: シグナル検出

7: プリフェッチ
7: 再開シグナルハンドラ

5: プロテクション削減
6: callI/O プロセス メモリマップファイルなら、‘mprotect’ と ‘signal handling’ でアクセス検知可能 mprotect であらかじめ検出したい領域をアクセス禁止にしておく アクセスバイオレーションのシグナルを検知し、プロテクトを解除、プリフェッチ
29

Copyright 2017 FUJITSU LABORATORIES LTD.

実装時のパラメータ
 入力データは、メモリマップファイルのアドレスXからアドレスZまで
 Prefetch の契機 -- mprotect で保護されたページにアクセスした時
 Prefetch 量 (Size) – 一度に prefetch するデータ量

 不感応期間 (Distance) -- すでにプリフェッチした領域を再プリフェッチしないため
メモリマップファイル

Protected page

Address X

Protected Page

Size

一度で prefetchするデータ

Protected Page
Protected Page

初回プリフェッチ
1回目不感応期間(Distance)
2回目プリフェッチ

Protected Page

一度で prefetchするデータ

Protected Page

Protected Page

Address Z

30

Copyright 2017 FUJITSU LABORATORIES LTD.

分散並列データ供給技術評価結果
2,045 s
処理時間 87.98% 削減
10.47 倍高速化

処理時間 37.99% 削減
1.89 倍高速化

284.65 s

245.73 s

176.50 s

処理時間 48.82% 削減
2.89 倍高速化
322.86 s

165.23 sWarm cache: 164.6s

31

Copyright 2017 FUJITSU LABORATORIES LTD.

分散並列データ供給技術評価結果
本技術適用前

本技術を導入し prefetch を行わない場合

 本技術導入による処理時間の増加は、測定誤差の範囲で見られなかった

 本技術のオーバーヘッドは無視できるほど小さい
32

Copyright 2017 FUJITSU LABORATORIES LTD.

分散並列データ供給技術 まとめ
 メモリマップファイルの逐次読み出しはプリフェッチで高速化可能
 分散ファイルシステム上のファイルでは効果が大きい
 Local NVMe RAID では、あらかじめメモリキャッシュに乗せた場合とほぼ同じ
 オーバーヘッドは無視できるレベル

 今後
 逐次読み出しを行う他のアプリケーションへの適用
 Linux kernel module メカニズムで prefetch 機能の追加を検討
 2017年SWoPP発表

33

Copyright 2017 FUJITSU LABORATORIES LTD.

③ Deep Tensor(アルゴリズム高速化)

34

Copyright 2017 FUJITSU LABORATORIES LTD.

Deep Tensor とは 学習時 : 教師あり(ラベル付き)のグラフデータをディープラーニング
グラフデータラベル

A
DeepTensor• ラベルと部分グラフを関連づけ• 特徴となる部分グ
ラフは自答抽出B 推論時 : グラフデータを入力し、分類• グラフデータの類似性で推論

DeepTensor

B 高速数値演算ライブラリや GPU により高速動作
35

Copyright 2017 FUJITSU LABORATORIES LTD.

グラフデータの課題36Copyright 2017 FUJITSU LABORATORIES LTD.

Deep Tensor のコア技術
技術
座標非依存な情報に変換

37

Copyright 2017 FUJITSU LABORATORIES LTD.

グラフデータ学習の応用先

38

Copyright 2017 FUJITSU LABORATORIES LTD.

高速化の必要性と実施
複数特徴精度向上により演算量増加  50倍程度の高速化が必要
1. テンソル処理の高速化
プロファ
イル取得

改善

遅い原因
特定

改善ポイント対策

冗長な計算

無駄の少ない計算に変更

メモリキャッシュ

メモリキャッシュが活用される演算方式に変更

ライブラリに適 フレームワークの流儀に従って、関数切な関数がない 追加
並列度設定

最適な並列度に設定

地道な改善で、20倍以上の高速化 (可読性も維持)

2. 分散並列処理化


可変長データの処理時間をミニバッチ単位で調整
4ノードで3倍程度
全体で50倍以上の高速化を達成
39

Copyright 2017 FUJITSU LABORATORIES LTD.

Deep Tensor まとめ Deep Tensor は、グラフデータをディープラーニングの手法で学習
 分類に影響を与える特徴パターンで判定 アルゴリズム改善とロードバランス調整で、可読性を損なわず、50倍以上高速化

 2016年10月、2017年9月プレスリリース( http://pr.fujitsu.com/jp/news/2016/10/20.html ,http://pr.fujitsu.com/jp/news/2017/09/19-3.html )40

Copyright 2017 FUJITSU LABORATORIES LTD.

④ ディープラーニング専用プロセッサ DLU

41

Copyright 2017 FUJITSU LABORATORIES LTD.

ディープラーニング専用チップの必要性
 ディープラーニングには高い演算性能が必要
半導体微細化技術による電力性能の進化

ムーア則の終焉

2002年

103

10nm
20nm

2025年

↓
複数チップによる高性能化

電力効率性能 [arbitrary unit]↓
1チップの性能が伸びない

104

40nm

90nm

102

180nm
101

250nm
350nm

11980

 大量の演算で大電力を消費

1990

2000

2010

Year

現在20202030

Source: Stanford, K. Ruppを元に推測

 ディープラーニングに不要な回路を省くことで省電力化

スケーラビリティのよい、ディープラーニングに特化したプロセッサがベスト
42

Copyright 2017 FUJITSU LABORATORIES LTD.

Deep Learning Unit (DLU)
2018年度から

DLU

TM(Deep Learning Unit)DLU の特徴 ディープラーニングのためのアーキテクチャデザイン
 低消費電力 最適な演算精度
 電力あたり処理性能で10倍を目指す
 Tofu インターコネクト技術によるスケーラビリティ
 大規模ニューラルネットワークを処理できる能力

43

Copyright 2017 FUJITSU LABORATORIES LTD.

DLU 向けアーキテクチャとは?
 領域特化型、最適な演算精度、高並列従来型アーキテクチャ

新アーキテクチャ

汎用領域特化型

複雑な Out of Order コア

領域特化型コア

高精度演算

最適演算精度倍/単精度浮動小数点

ディープラーニング用整数演算

逐次 + 並列高並列高機能マルチコア

メニーコア
44

Copyright 2017 FUJITSU LABORATORIES LTD.

DLU アーキテクチャ
DLUTM

1. 領域特化型
領域に特化したコア- 新規命令セット- 簡素化されたマイクロアーキテクチャ- ソフトウェアから透過、制御可能- ヘテロジニアスコア- DPE と大容量レジスタ
ファイル(Deep Learning Unit)
DPU-0

Host I/F

DPE

DPU

DPE

DPE

DPE

DPE

DPE

DPE

DPE

DPE

DPE

Inter-chip
I/F
DPU-1
DPE

DPU
DPE

DPE

DPU

HBM2

DPE

DPU-n

DPE

DPE

DPE

DPE

DPU: Deep Learning Processing Unit, DPE: Deep Learning Processing Element

2. 最適化演算精度
Deep Learning Integer
3. 高並列 (Massively Parallel)
多数の DPU をチップ上ネットワークで接続
チップ間ネットワークにより大規模なDLUシステムを構成
45

Copyright 2017 FUJITSU LABORATORIES LTD.

ヘテロジニアスコア
 少数のマスターコアと多数の小型実行コア(DPU)により、従来の単一コア構成に比べ、省電力で高いパフォーマンスを実現
マスターコア:
メモリアクセスとDPUの制御
DPUとのデータ転送
DPUの実行制御

DPU

マスター

メモリ

マスターコアの制御下でディープラーニング処理を行う

DPU

多数のDPUの利用方法

DPU(畳み込みでの例)• DPU毎に1チャンネルの出力• 複数イメージをDPU毎に処理

DPU
DPU

メモリコントローラ

••

DPU

入力
チャンネル

出力
チャンネル

DPU
命令とデータ

DPU

46…

••

DPU: 実行

Copyright 2017 FUJITSU LABORATORIES LTD.

DPE と大容量レジスタファイル (RF) DPUは 16個の DPEからなっている
 DPEは大容量RFと多SIMD実行ユニットを有し、効率的なディープラーニン
グ処理を行う メモリキャッシュ($)とことなり、RFはソフトウェアで制御できるため、ハードウェアのポテンシャルを引き出せる
DPU: 16 DPE* = 128 SIMD

DPE = 8 SIMD* と大容量RF(通常のCPUコアの100倍)
レジスタファイル
実行
実行
実行
実行
実行
実行実行
実行
ユニットユニットユニットユニットユニットユニットユニットユニット

プロセッサ

レジスタ、$UNIX

SPARC64 XII

RF+$HPCSPARK64 Xifx

RF+セクター$AI

DLU

大容量RF
ソフトウェア制御可能性* 単精度浮動小数点

47

Copyright 2017 FUJITSU LABORATORIES LTD.

Deep Learning Integer ディープラーニングを8～16 bit の整数演算で実現  省電力化

 16 bit で単精度浮動小数点並みの精度

48

Copyright 2017 FUJITSU LABORATORIES LTD.

DLU のまとめ
 ディープラーニングに特化したプロセッサ 演算器の高並列化
 キャッシュなし、大量レジスタファイル
 演算精度の最適化
 高い演算性能と、電力あたり演算性能比を目指す 2017年 ISC 発表
 2016年11月プレスリリース (http://pr.fujitsu.com/jp/news/2016/11/29.html)

49

Copyright 2017 FUJITSU LABORATORIES LTD.

次世代アーキテクチャ

50

Copyright 2017 FUJITSU LABORATORIES LTD.

デジタルアニーラ
量子コンピュータを実用性で超える新アーキテクチャーを開発(2016年10月発表)
 量子現象に着想を得たデジタル回路により、一般的なコンピュータでは解けない組み合わせ最適化問題1を瞬時に解く
 プロトタイプ性能評価2において、一般的なコンピュータ比12,000倍に高速化

量子コンピュータ組み合わせ最適化問題

MAX-CUT問題

巡回セールスマン問題

ナップサック問題

デジタルアニーラ• 小規模の問題のみ適用• 実用規模の問題に適用• 拡張が困難• 拡張が容易• 量子状態維持が難し• デジタルのため安定動
く、作、小型化が容易
大型装置が必要
注1： 与えられた条件の中で色々な選択肢の中から一番良い解を選ぶ問題の総称
注2： 巡回セールスマン問題によるベンチマーク評価における 解を求めるまでにかかる時間
51

Copyright 2017 FUJITSU LABORATORIES LTD.

デジタルアニーラの実問題適用に向けて
 富士通と1QBit1、量子コンピュータ技術を応用したAIクラウドで協業を開始（2017年５月）

 クラウドでデジタルアニーラのトライアル提供を開始（2017年8月）
組み合わせ最適化問題
金融

化学・製薬

医療

ポートフォリオ
最適化

分子類似性
検索

放射線治療

ソフト

1QBit社協業

基本アルゴリズム

イジングモデルへの変換

ハード

17年5月発表

デジタルアニーラ

16年10月発表

デジタルマーケティング

エネルギー

リコメン
デーション

需給ギャップ調整

注1： 1QB Information Technologies Inc.（本社：カナダ バンクーバー市)

応用領域の明確化が進み、準備段階が完了
52

Copyright 2017 FUJITSU LABORATORIES LTD.

実問題への適用における課題 組み合わせ最適化手法の根本課題
 扱う問題の種類ごとに、数週間単位の長い準備期間がかかる
 最適解が得られるパラメーター設定1を、試行錯誤により繰り返し探索
パラメーター１
パラメーター2パラメーター3

デジタルアニーラ（基本回路）

パラメーターN

数万回以上の繰り返し計算

多数のパラメーター設定の中から最適設定を決定

応用
問
題の種
類
ごとに
数
週間

注1：アニーリング（焼きなまし）法における温度の冷まし方(初期温度、勾配など)

デジタルアニーラ技術を進化させ根本課題を解決
53

Copyright 2017 FUJITSU LABORATORIES LTD.

新規デジタルアニーラを開発
 パラメーター探索を不要とする技術により、数週間の準備期間を1日未満に短縮 基本回路を並列動作させ、複数の初期パラメーターを与えて同時探索
 各回路の動作状態1に応じて、パラメーターを自動制御
新規デジタルアニーラ

状態を観測・制御

最適解

応用
問
題の種
類
ごとに
１
日
未満

注1：アニーリング法における最適化対象となるエネルギーの状態

新技術により実問題への適用を容易に
54

Copyright 2017 FUJITSU LABORATORIES LTD.

必要な特性の分子を発見し新材料を設計
 4000万以上の既知材料から、求める特性の分子を探索 デジタルアニーラで50原子規模の分子同士の類似性検索を実現

構造特性の比較

既知材料デジタル
アニーラ

比較元分子50原子規模の分子比較
1京 x 1京 x 1京 通り
以上の組み合わせ既知材料の中からSimilarity Scoreの高い順に出力

新素材開発や創薬への適用を開始
55

Copyright 2017 FUJITSU LABORATORIES LTD.

ポートフォリオを最適化し投資リスクを削減
 膨大な組み合わせの中から、価格変動で似た傾向をもつ銘柄同士をクラスタ化し、資産を適切に分散するポートフォリオを構成
 デジタルアニーラにより500銘柄の最適化に成功
クラスタ化後の相関データ
400

300

300

銘柄

銘柄

銘柄間の相関データ
400

200

デジタル
アニーラ

100

0100200300

400

100

100200300

銘柄

400

最適ポートフォリオ

1.2

投資割合 (%)

2000銘柄500銘柄の並べ替え
1京 x 1京 通り
以上の組み合わせ

1.00.8
0.6
0.4
0.2
00100

200

銘柄

300

400

金融危機の影響回避、安定運用に適用
56

Copyright 2017 FUJITSU LABORATORIES LTD.

アニーラーの応用 通常のコンピュータに、量子アニーラーをアクセラレータとして付加する方法
 ボルツマンマシンの学習において、パラメータの更新に必要な計算に量子サンプリング結果を利用する方法が提案されている

1v1 w112h11 w11h12v2h12v3h132w32

h22

1v4 w43v:入力データw:求めるパラメータ(他に、各ニューロンに割り振られたバイアスも求める)“Application of Quantum Annealing to Training of Deep Neural Networks”, S.H.Adachi, Maxwell P. Jenderon
57

Copyright 2017 FUJITSU LABORATORIES LTD.

デジタルアニーラまとめ 最適化問題に特化したプロセッサを開発、効果を検証
 問題によっては、汎用プロセッサの1万倍以上の高速化
 2016年10月、2017年9月プレスリリース( http://pr.fujitsu.com/jp/news/2016/10/20-1.html ,http://pr.fujitsu.com/jp/news/2017/09/20-2.html )58

Copyright 2017 FUJITSU LABORATORIES LTD.

まとめ

59

Copyright 2017 FUJITSU LABORATORIES LTD.

まとめ
 富士通のAI：Human Centric AI 「Zinrai」
 AIサービスを加速させるZinraiプラットフォームサービスを提供中 富士通の AI に対する取り組みの紹介
 ディープラーニングの高速化• ① Distributed caffe (画像認識プログラムの分散並列化)• ②分散並列データ供給技術• ③ Deep Tensor (グラフデータ学習プログラムのアルゴリズム最適化)• ④ ディープラーニング専用プロセッサ DLU

 次世代アーキテクチャ• ⑤ 最適化問題専用プロセッサ Digital Annealer

富士通は新しいコンピューティング技術でお客様の課題解決に貢献して行きます60

Copyright 2017 FUJITSU LABORATORIES LTD.

Copyright 2017 FUJITSU LABORATORIES LTD.