No. ITPF-NBG-EE-170011

ExpEther ボード（40G）
ExpEther I/O 拡張ユニット（40G）
動作検証レポート

検証デバイス：NVIDIA Tesla K80（GPU）

日本電気株式会社

2017 年 5 月

p. 1

No. ITPF-NBG-EE-170011

目次
1 はじめに ....................................................................................................... 3
2 検証対象の I/O デバイス ............................................................................... 3
3 検証環境（サーバ装置・OS・周辺機器）..................................................... 34 接続構成 ....................................................................................................... 4
5 検証内容 ....................................................................................................... 5
6 検証結果 ....................................................................................................... 6
7 問い合わせ先 ................................................................................................ 7

商標についてMicrosoft Windows7、Windows Server、Visual Studio は、米国 Microsoft Corporation の米国およびその他の国における登録商標または商標です。
Intel、Pentium、Xeon は米国 Intel Corporation の登録商標です。
PCI EXPRESS は Peripheral Component Interconnect Special Interest Group の商標です。
Linux®は、Linus Torvalds 氏の日本およびその他の国における商標または登録商標です。
Red Hat®、Red Hat Enterprise Linux は、米国 Red Hat, Inc.の米国およびその他の国における商標または登録商標です。
その他記載の会社名および製品名は各社の商標もしくは登録商標です。

日本電気株式会社

2017 年 5 月

p. 2

No. ITPF-NBG-EE-170011

1

はじめに日本電気製 ExpEther ボード（40G）／ExpEther I/O 拡張ユニット（40G）に IHV ベンダのデバイスを搭載して動作検証を行った。本レポートでは、検証構成・検証結果を報告するものである。

2

検証対象の I/O デバイス
ベンダ

NVIDIA

品名

NVIDIA Tesla K80

型番900-22080-0000-000

デバイス種別GPU仕様

PCIe Gen3 / x16

製品ページ（URL） http://www.nvidia.com/object/tesla-k80.html

3ファームウェア・

80.21.1F.00.01

バージョン

80.21.1F.00.02

検証環境（サーバ装置・OS・周辺機器）
本検証で使用したハードウェア・オペレーティングシステムを以下に示す。

装置

名称

型番

サーバ装置

Express5800/R120g-2M

CPUIntel® Xeon® Processor E5-2699 v4

メモリ

128 GB（32GB DDR4 DIMM x 4）

GPU

NVIDIA Tesla K80

1～2 枚搭載

ExpEther ボード

ExpEther ボード(40G)

N8104-165、2 枚

ExpEther I/O 拡張ユニット

ExpEther I/O 拡張ユニット(40G)

N8141-80、1 台

40Gb イーサネットスイッチ

Mellanox 社 MSX1012B-2BFS

12 ポートスイッチ

40Gb イーサネットケーブル

Mellanox 社 MC2210310-003

光, 3m ケーブル

オペレーティングシステム

Red Hat Enterprise Linux 7.2

カーネル・バージョン

3.10.0-327-36.3.el7.ｘ86_64

NVIDIA ドライバー・バージョン

352.39

ExpEther ボード（40G）は、サーバ装置の PCI スロット#1c に搭載。

ExpEther ボード（40G）と ExpEther I/O 拡張ユニット(40G)は、40Gb イーサネットスイッチを介して 40Gb イーサネットケーブルで接続。

日本電気株式会社

2017 年 5 月

p. 3

No. ITPF-NBG-EE-170011

4接続構成
以下の２通りの接続構成で性能検証を実施した。

構成 A：1 枚の GPU をサーバの内蔵 PCIe スロットに搭載する。

図 1、検証接続構成図（構成 A）

構成 B：サーバに ExpEther ボード（40G）を 1 枚搭載し、40G スイッチ・ケーブルを介して ExpEther I/O拡張ユニット（40G)に接続する。I/O 拡張ユニットには GPU を１枚搭載する。

Slot1：Group ID= ”1”

EE ボード：Group ID=”1”

図 2、検証接続構成図（構成 B）

日本電気株式会社

2017 年 5 月p. 4

No. ITPF-NBG-EE-170011

構成Ａ－Ｃを下表にまとめる。
表 1 検証装置の構成一覧
構成 サーバAExpress5800
R120g-2M

OSkernelCPUメモリ

EE カードNVIDIA GPUdriver

搭載位置

搭載スロットGPU 搭載
スロット3.10.0-327RHEL7.2 36.3.el7. ｘ E5-2699 v4 32G x4 352.39 サーバ内蔵 －#2c（※）

86_64
ExpEther

B

同上

同上

同上

同上

同上

同上

I/O 拡 張 ユ slot#1c

#1

ニット

（※）N8116-34/-34A PCI(x16)ライザ を使用。

5

検証内容
構成 A、B において、NVIDIA が配布している Cuda のサンプルプログラムである“nbody”を用いて性能測定を実施した。
使用ツール：nbody

https://developer.nvidia.com/cuda-zone

バージョン：7.5
性能測定で用いたパラメータ：
IOPS 試験
パラメータ値

benchmarkenablenumbodies

2,048 – 307,200

numdevices

1precision

Single - precision

採取データ処理方法：
・nbody を 5 回実施した。
・K80 の内部にはコアが二つ存在しているため、nbody の実行においては片側のコアを指定。
・最大最小を除いた 3 回の実行結果の平均を取得した。
日本電気株式会社

2017 年 5 月

p. 5

No. ITPF-NBG-EE-170011

6

検証結果

項番

確認項目

結果

1

ExpEther ボード(40G)－ExpEther I/O 拡張ユニットの接続問題なし

2

I/O デバイスの OS からの認識問題なし

3

I/O デバイスに対する試験（nbody）

問題なし

性能測定結果を次ページ以降に以下に示す。
範例：
local：
サーバ本体装置内に GPU を搭載した構成を示す（構成 A）。
HBA1：
サーバに ExpEther ボード（40G）を 1 枚搭載し、ExpEther I/O 拡張ユニット（40G）に GPU を 1 枚搭載した構成を示す。
（構成 B）

日本電気株式会社

2017 年 5 月

p. 6

No. ITPF-NBG-EE-170011

性能測定結果：検証結果：・サーバ本体に内蔵した構成と（構成 A）、ExpEther I/O 拡張ユニット（40G）に搭載した構成では（構成 B）、nbody の実行結果はほぼ同等であることを確認できた。

7

問い合わせ先
問い合わせ ML：ee-desk@ioth.jp.nec.com

日本電気株式会社

2017 年 5 月

p. 7

No. ITPF-NBG-EE-170011

改版履歴
版数

改版日

内容

1

2017 年 5 月

初版作成

［EOF］

日本電気株式会社

2017 年 5 月

p. 8