世界最大のインフラストラクチャーhttps://azure.microsoft.com/ja-jp/regions/2018.06 updatesNorway East / West開設発表China North 2 / East 2提供開始West Europe でのAvailability Zones 提供開始54100K+130+200+RE G I O N S WORLD W I D EM I L E S OF F I BE R A N D S UBS E A C A BLEE D GE S I T E SE x p r essRo ut e P a rtnersThe world’s first globally distributed database serviceA car is runningA man is cutting apiece of meatA man is performing ona stageA man is riding a bikeA man is singingA panda is walkingA woman is riding a horseA man is flying in a fieldデータ通信変わるシステムアーキテクチャー• アルゴリズムをもとにした開発からデータとAIによる学習・モデル化による実装への変革データ収集・分析を前提としたサービスの増加• 単一データから多種多様なデータの総合的活用へ課題は・・• シングルデータリポジトリの不在• セキュリティとデータ通信の避けられない連携リアルタイム AIRecurrent Neural Networks深層学習により得られた大きな進歩•••••画像処理機械翻訳音声認識
QA
他課題は・・• オンラインサービスにおける運用、展開、そしてスケーラビリティyt-1ytyt+1ht-1htht+1ht-1htht+1xt-1xtxt+1Convolutional Neural Networks17

ClientCloudTrainingHumansGPUsInferenceASICs?HomogeneityEfficiency(ASICS)DRAMコントローラCPUCPUUSBコントローライーサネットコントローラDSPスライスRAMRAMDSPスライスIgniteCatapult v1Catapult v22011Catapult v020122013スケール v120142015本番展開2016...• 1U rack-mounted• 2 x 10Ge ports• 3 x16 PCIe slots• 12 Intel Westmerecores (2 sockets)

2Stratix V8GB DDR3PCIe Gen3 x8Top Of Rack Switch (TOR)Server 48Server 1FPGADTWSS0FPGADTWSS0Server 47Server 2FPGADTWSS0FPGADTWSS0Server 46Server 3FPGADTWSS0Server 45Server 4FPGADTWSS1FPGADTWSS1FPGA Torus…

…

10Gb Ethernet LinksFPGADTWSS0Server 26Server 23FPGADTWSS2FPGADTWSS2Server 25Server 24FPGADTWSS2FPGADTWSS2FEStreamPreprocessingFSMFFEDTSDTT [3][11]DTT [3][10]DTT [3][9]DTT [3][8]DTT [3][7]DTT [3][6]DTT [3][5]DTT [3][4]DTT [3][3]DTT [3][2]DTT [3][1]DTT [3][0]Distribution latchesControl/Data TokensFeatureTransmissionNetwork55 BodyBlockFeatures20 State Machines45 % UtilizationFFE [1][2]FFE [0][2]FFE [1][1]FFE [0][1]FFE [1][0]FFE [0][0]Basic TileBasic TileRegistersConstantsDSP89 Non-BodyBlockFeatures34 State Machines55 % UtilizationFFE [0][3]Complex ALULn, ÷, divFFE 1Inst.

…

FE1Scheduling LogicFE0FFE [1][3]LocalALUFFE nInst.
DSPCompressionThresholdsBasic TileBasic TileDTT [2][11]DTT [2][10]DTT [2][9]DTT [2][8]DTT [2][7]DTT [2][6]DTT [2][5]DTT [2][4]DTT [2][3]DTT [2][2]DTT [2][1]DTT [2][0]DTT [1][11]DTT [1][10]DTT [1][9]DTT [1][8]DTT [1][7]DTT [1][6]DTT [1][5]DTT [1][4]DTT [1][3]DTT [1][2]DTT [1][1]DTT [1][0]DTT [0][11]DTT [0][10]DTT [0][9]DTT [0][8]DTT [0][7]DTT [0][6]DTT [0][5]DTT [0][4]DTT [0][3]DTT [0][2]DTT [0][1]DTT [0][0]FFE: 64 cores / chip256-512 threadsDTT: 48 DTT tiles/chip240 tree processors2880 trees/chipCatapult v2 Mezzanine カードWCS Gen 4.1 ブレードと NIC と Catapult FPGA[ISCA’14, HotChips’14, MICRO’16]パフォーマンス柔軟性スケール数万TOPでの、低ロットサイズでの効果的な推論スループット超低遅延による最新の DNN の提供CPUやGPU と比較して10倍以上単一の DNN サービスで多くの FPGA に拡張急速に進化する ML への対応CNN、LSTM、MLP、強化学習、特徴抽出、デシジョンツリーなど推論に最適化された数値精度カスタム値、複数化、極小精密ネットより大きい、より速いモデルのための更なる圧縮マイクロソフトは、FPGA に対して世界最大のクラウド投資人工知能の容量を複数のExa-Ops でFPGA ファブリック上で強力な DNN サービスプラットフォームl1ネットワークスイッチl0InstructionDecoder & Ctrl

l0FPGA

fPretrained DNN モデルCNTK などでffffスケーラブルな DNNハードウェア マイクロサービス

fNeural FUBrainWaveSoft DPURoutersHardware acceleration planeDeep neuralnetworksFPGAsWeb searchrankingSQLCPUQPICPUSDN offloadWeb searchrankingFPGACPUsTraditional software (CPU) server planeQSFPQSFP40Gb/sQSFP40Gb/sToRCaffeモデルCNTKモデルTensorflowモデルフロントポータブル IR1000-dim ベクトルFPGA0グラフスプリッタ と オプティマイザFPGA1分割500トランスフォーム IRs500500x500マトリックス500x500マトリックスMatMul500ターゲットコンパイラターゲットコンパイラターゲットコンパイラCPU-CNTKFPGACPU-カフェ500x500マトリックス500x500マトリックスMatMul500MatMul500Add500MatMul500Add5001000-dim ベクトルSigmoid500Sigmoid500分割展開パッケージ500500Add500FPGA ハードウェア マイクロサービスAdd500concat

出力前のアクティベーション入力アクティベーションN ウェイトカーネル=O(N3) dataO(N4K2) compute=O(N2) dataO(N2) computeDRAM で初期化されたモデルパラメータ2xCPUFFPGADRAM で初期化されたモデルパラメータ2xCPUFPGA

ハードウェア利用(%)
バッチサイズFPGA

ハードウェア利用(%)

最大
許可遅延99回目待ち時
間バッチサイズバッチサイズバッチ処理により HW の使用率が向上するが、待ち時間は増加

ハードウェア利用(%)

最大
許可遅延99回目の待ち時間バッチサイズバッチサイズバッチ処理により HW の使用率が向上するが、待ち時間が増加2xCPUFPGA

観測2xCPU2xCPU2xCPU2CPULSTMLSTM2CPULSTM2CPULSTMLSTM2CPULSTM2CPULSTMLSTM2CPU2CPU2CPULSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTM2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPULSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTM2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPU2CPUFPGAMVU カーネル××××××××+++++++

Microsoft製FPGAボード「戦争と平和」露→英 訳「Wikipedia」英→西 訳Configurable CloudCPU compute layerReconfigurablecompute layerConverged networkHostCPUSmartNIC• 1 VM 10Gbps時代(Hostは>100Gbps以上)◼ SDN◼ Security◼ AI/MLSNICASICFPGACPU