No. ITPF-NBG-EE-170011

ExpEther ボード（40G）
ExpEther I/O 拡張ユニット（40G）
動作検証レポート

検証デバイス：Intel DC P3700（NVMe SSD）

日本電気株式会社

2017 年 5 月

p. 1

No. ITPF-NBG-EE-170011

目次
1 はじめに ....................................................................................................... 3
2 検証対象の I/O デバイス ............................................................................... 3
3 検証環境（サーバ装置・OS・周辺機器）..................................................... 34 接続構成 ....................................................................................................... 4
5 検証内容 ....................................................................................................... 5
6 検証結果 ....................................................................................................... 6
7 問い合わせ先 .............................................................................................. 10

商標についてMicrosoft Windows7、Windows Server、Visual Studio は、米国 Microsoft Corporation の米国およびその他の国における登録商標または商標です。
Intel、Pentium、Xeon は米国 Intel Corporation の登録商標です。
PCI EXPRESS は Peripheral Component Interconnect Special Interest Group の商標です。
Linux®は、Linus Torvalds 氏の日本およびその他の国における商標または登録商標です。
Red Hat®、Red Hat Enterprise Linux は、米国 Red Hat, Inc.の米国およびその他の国における商標または登録商標です。
その他記載の会社名および製品名は各社の商標もしくは登録商標です。

日本電気株式会社

2017 年 5 月

p. 2

No. ITPF-NBG-EE-170011

1

はじめに日本電気製 ExpEther ボード（40G）／ExpEther I/O 拡張ユニット（40G）に IHV ベンダのデバイスを搭載して動作検証を行った。本レポートでは、検証構成・検証結果を報告するものである。

2

検証対象の I/O デバイスベンダ

インテル（Intel Corporation）

品名Intel® SSD DC P3700 Series (400GB, 1/2 Height PCIe 3.0 x4, 20nm, MLC)
MM# 933088

型番

SSDPEDMD400G401

デバイス種別NVMe SSD

仕様

PCIe Gen3 / x4

製品ページ（URL） https://www-ssl.intel.com/content/www/us/en/solid-state-drives/solid-statedrives-dc-p3700-series.html
ファームウェア・

8DV101F0

バージョン

3

検証環境（サーバ装置・OS・周辺機器）
本検証で使用したハードウェア・オペレーティングシステムを以下に示す。

装置

名称

サーバ装置

Express5800/R120g-2M

CPUIntel® Xeon® Processor E5-2699 v4

メモリ

128 GB（32GB DDR4 DIMM x 4）

NVMe SSD

Intel® SSD DC P3700 Series (400GB)

4 ドライブ使用

ExpEther ボード

ExpEther ボード(40G)

N8104-165、2 枚

ExpEther I/O 拡張ユニット

ExpEther I/O 拡張ユニット(40G)

N8141-81、1 台

40Gb イーサネットスイッチ

Mellanox 社 MSX1012B-2BFS

12 ポートスイッチ

40Gb イーサネットケーブル

Mellanox 社 MC2210310-003

光, 3m ケーブル

オペレーティングシステム

Red Hat Enterprise Linux 7.2

カーネル・バージョン

3.10.0-327-36.3.el7.ｘ86_64

NVMe ドライバー・バージョン

1.0

日本電気株式会社

型番

2017 年 5 月

p. 3

No. ITPF-NBG-EE-170011


ExpEther ボード（40G）は、サーバ装置の PCI スロット#1c / #2d に搭載。

ExpEther ボード（40G）と ExpEther I/O 拡張ユニット(40G)は、40Gb イーサネットスイッチを介して 40Gb イーサネットケーブルで接続。

4接続構成
以下の３通りの接続構成で性能検証を実施した。

構成 A：SSD 四枚をサーバの内蔵 PCIe スロットに搭載する。
構成 B：サーバに ExpEther ボード（40G）を 1 枚搭載し、40G スイッチ・ケーブルを介して ExpEther I/O拡張ユニット（40G)に接続する。I/O 拡張ユニットに SSD を 4 枚搭載する。

Slot1：Group ID= ”1”
Slot2：Group ID= ”1”
Slot3：Group ID= ”1”

EE ボード：Slot4：Group ID= ”1”

Group ID =”1”

図 1、検証接続構成図（構成 B）
構成 C：サーバに ExpEther ボード（40G）を 2 枚搭載し、40G スイッチ・ケーブルを介して ExpEther I/O拡張ユニット（40G)に接続する。I/O 拡張ユニットに SSD 四枚を搭載し、SSD は各 2 枚ずつをExpEther ボードへ接続する（Group ID #1/#2 の指定によりグループを分ける）。

Slot1：Group ID= ”1”
Slot2：Group ID= ”1”
Slot3：Group ID= ”2”
Slot4：Group ID= ”2”

EE ボード：Group ID =”1”
Group ID=”2”

図 2、検証接続構成図（構成Ｃ）

日本電気株式会社

2017 年 5 月

p. 4

No. ITPF-NBG-EE-170011
構成Ａ－Ｃを下表にまとめる。
表 1 検証装置の構成一覧
構成 サーバAExpress5800
R120g-2M

OSkernelCPU

メモリ

nvme

NVMe SSD

driver

搭載位置

EE ボード搭載スロット3.10.0-327RHEL7.2 36.3.el7. ｘ E5-2699 v4 32G x4 1.0

サーバ内蔵 -86_64

SSD 搭載スロット#1c,#1d,#2c,# 2d

ExpEtherB

同上

同上

同上同上同上同上

I/O 拡 張 ユ slot#1c#1,#2,#3,#4

ニット

ExpEther
C

同上

同上

同上同上

同上同上

I/O 拡 張 ユニット

5

1 枚目：
slot#1c
2 枚目：#1,#2,#3,#4

slot#2d

検証内容
構成 A～C において、ディスク装置の性能測定ツールである “fio”を用いて性能測定を実施した。
使用ツール：fio

https://github.com/axboe/fio

バージョン：2.2.8
性能測定で用いたパラメータ：
IOPS 試験
パラメータ値

Variation

randread, randwrite

Block Size

4k

num jobs

4

queue depth

1, 4, 16, 64

日本電気株式会社

2017 年 5 月

p. 5

No. ITPF-NBG-EE-170011
Bandwidth 試験
パラメータ

値

Variation

randread, randwrite

Block Size

4096k

num jobs

4

queue depth

1, 4, 16, 64

採取データ処理方法：
・各パラメータにつき fio を 5 回実施した。
・IOPS と Bandwidth について最大最小を除いた 3 回の実行結果の平均を取得した。
・SSD 複数枚に対して同時実行を行った場合、取得した平均値の和を結果として取得した。

6

検証結果

項番確認項目結果

1ExpEther ボード(40G)－ExpEther I/O 拡張ユニットの接続問題なし

2I/O デバイスの OS からの認識

問題なし

3I/O デバイスに対する試験（fio）

問題なし

性能測定結果を次ページ以降に以下に示す。
範例：
local：
サーバ本体装置内に SSD を搭載した構成を示す（構成 A）。
ExpEther、及び ExpEther（HBA1）：
サーバに ExpEther ボード（40G）を 1 枚搭載し、ExpEther I/O 拡張ユニット（40G）に SSD を搭載した構成を示す。
（構成 B）
ExpEther（HBA2)：
サーバに ExpEther ボード（40G）を 2 枚搭載し、ExpEther I/O 拡張ユニット（40G）に SSD を搭載した構成を示す（構成 C）。

日本電気株式会社

2017 年 5 月

p. 6

No. ITPF-NBG-EE-170011
IOPS（SSD x 1 枚）：

IOPS（SSD x 2 枚）：

日本電気株式会社2017 年 5 月

p. 7

No. ITPF-NBG-EE-170011
IOPS（SSD x４枚）：

Bandwidth（SSD x 1 枚）：

日本電気株式会社

2017 年 5 月

p. 8

No. ITPF-NBG-EE-170011
Bandwidth（SSD x 2 枚）：

Bandwidth（SSD x 4 枚）：

日本電気株式会社

2017 年 5 月

p. 9

No. ITPF-NBG-EE-170011

検証結果：・SSD 1 枚構成、及び 2 枚構成において、サーバ本体に内蔵した構成と、ExpEther I/O 拡張ユニット（40G）に搭載した構成を比較すると、ExpEther I/O 拡張ユニット（40G）の搭載において 95％以上の性能を発揮することが可能であることが検証された。
・SSD 4 枚構成における Random Read において、ExpEther ボード(40G) 1 枚では内蔵構成に対する性 能差が 見られ た。 DC P3700 の性能 はカタ ログ Spec か ら 3GB/s が上 限と推 定され 、一 方
ExpEther40G の Spec は Gen3/x8（64Gb/s＝8G/s）のため、ExpEther ボード(40G) 1 枚に DC P3700を 2 枚まで接続することが適当と判断する。SSD が 2 枚を超える場合は、ExpEther ボード(40G)を 1枚追加して、SSD を 2 枚に分散して使用することで SSD の性能を発揮できる。
・ExpEther ボード（40G）の搭載枚数を追加することにより、より帯域を求められるシステム・アプリケーションにおいてもサーバ本体内蔵構成と同等の性能を発揮することが可能であると判断する。
・SSD 1 枚構成の Randwrite 結果において、スペックシート上の値 17.5 万 IOPS に対して、20 万IOPS を超える測定結果がでているが、書込キャッシュによるものが要因であると考える。

7

問い合わせ先
問い合わせ ML：ee-desk@ioth.jp.nec.com

日本電気株式会社

2017 年 5 月p. 10

No. ITPF-NBG-EE-170011

改版履歴
版数

改版日

内容1

2017 年 5 月

初版作成

［EOF］

日本電気株式会社

2017 年 5 月

p. 11