Command completion time measurement tool Whitepaper extension＜Produced＞
JVCKENWOOD Corporation
Yoshinobu Nagase

MIKASA SHOJI CO.,LTD.
Ryosuke Shimizu
Takayuki Yokoyama
Hirota Seisakusho Limited
Hisao Ichimura
Hiroshi SatoThe University of Tokyo
Kazuo Goda,Ph.D,
TOYO Corporation
Masumi Okada＜Sample HDD ＞
Filed Three Corporation
Fieldthree Sotokanda Bldg.,5-3-6,Sotokanda,Chiyoda-ku,
Tokyo,101-0021,JAPAN2017/03/29

Introduction
2008 年に発行された“Command completion time measurement tool Whitepaper”は、発行当時の 28bitLBA、1 セクター512Byte を前提とした GByte 単位の HDD のパフォーマンス評価を中心に考慮されてきた。
ところが、発行後 8 年経過した現在において、HDD は 48bitLBA への ATA 規格の拡張と 1 セ
クター4096Byte 等の大容量化技術の実用化により TByte 単位が主流になりつつある。このHDD の大容量化により、これまでの“Command completion time measurement tool Whitepaper”の特に Detailed benchmark をそのまま運用すると評価時間に非常に多くの時間を要することが分かっている。そこで、ここに“Command completion time measurement tool Whitepaper”の基本的な評価方法とその結果を維持しつつ、特に TByte 単位の HDD の評価時間の短縮を目的とした評価方法を“Command completion time measurement tool Whitepaper”の拡張として定める
このように、本“Command completion time measurement tool Whitepaper”の拡張は、基本的に元の“Command completion time measurement tool Whitepaper”の Detailed benchmark
評価方法についてのみ、その評価方法を変更すること無く、その運用方法を TByte 単位のHDD の評価時間短縮に対応して定めた物である。
◆従来の評価方法と同等の特性が得ることができ、かつ評価時間を短縮するために、以下に方法を定める。
CCTL 測定値時間の短縮(Long BLK 化)
CCTL では、 Read(又は、Write)の Command 実行時間を先頭から最終まで測定し、Command実行時間をプロットする事で、 HDD 全体の時間バラツキを把握するものである。
HDD 全領域に対し高速のアクセスを実現するには、 次の項目が必須である。
1. 転送ブロック数を増やす。(発行 Command の転送ブロック数を大きくする)
実験では、 256(128KB) → 16,384(8MB) と 64 倍に拡大
※ 試験器では、Max 64MB の転送が可能であるが、 未サポート HDD があることから 8MBとした。
2.シーケンシャルアクセスのみとする。
HDD の特性比較に適している。
3.キャッシュを有効にする。
キャシュ機能を有効にすることで、 Command 終了 → 次の Command 発行間に時間ロスが見えなくなる。
また、HDD 側は連続して動作するため、 無駄な回転待ちを抑制できる。

2017/03/29

 拡張項目
1. アクセス単位は、基本4096セクター（1セクター512Byteで2MByte）を最小単位とし、そのｎ倍を拡張として用意する“Command completion time measurement tool Whitepaper”は28bitLBAで有ったことから、1回の転送量の最大値を0xFFの256セクターとし、１セクター512Byteとして128KByteを最大としてきた。
これに対し、48bitLBAでは、転送量の最大値が65536セクターと大幅に増えていることから、HDDのパフォーマンス評価に 有効な設定値 の検討を進めてきた結果、 “Commandcompletion time measurement tool Whitepaper”のアクセス最小単位を4096セクターとし、そのn倍でのアクセス単位で評価を行う物とする。
Sequential Write Cache-OFF (セクター長：256 ブロック長)
Sample-A (500GB HDD)
測定時間：5.5h / 平均転送レート：14.9MB/s

Sample-B (500GB HDD)
測定時間：5.5h / 平均転送レート：14.8MB/s

Sequential Write Cache-OFF (セクター長：4k ブロック長)
Sample-A (500GB HDD)

Sample-B (500GB HDD)

測定時間：1.5h / 平均転送レート：91.4MB/s

測定時間：1.5h / 平均転送レート：91.9MB/s

2017/03/29

2. アクセスパターンはシーケンシャルアクセスに固定する“Command completion time measurement tool Whitepaper”のDetailed benchmarkでは、アクセスパターンとして、シーケンシャルとジグザグアクセスを定義している。
大容量HDDにおいて、ジグザグアクセスでは、HDDのパフォーマンスの比較評価をしにくいことから、シーケンシャルアクセスに限定する。
なお、Outer-to-Inner、Inner-to-Outerのアクセス方向とジャンプパターンはこれまで通り、“Command completion time measurement tool Whitepaper”のDetailed benchmarkに準ずる◆Long Block (16K以上) でCash-On状態で、 全領域 シーケンシャルに測定。
- 測定は、Read と Write で実施。
- 全域を最短時間で行うことが可能。
- この測定値のグラフ化で、 HDDのバラツキがある程度推測できる。
- バラツキのヒストグラムは、移動平均との差分で表示。
◆Sample 6TB HDD
Sequential Write Cache-ON (セクター長：32K ブロック長)
測定時間：約 10h / 平均転送レート：169.6 MB/s

測定データ出力(CSV 形式)

2017/03/29

3. HDDのキャッシュはONで行う“Command completion time measurement tool Whitepaper”のDetailed benchmarkでは、HDDのキャッシュをOffにすることが推奨されていた。これを運用する場合、非常に多くの評価時間を要することが分かっている。
しかし、アクセスパターンをHDDの内部キャッシュよりも大きく取ることにより、キャッシュを超えた範囲でのHDDのパフォーマンスが評価出来ることが確認されたので、評価時間の短縮のため、キャッシュをONにすることを定める。
◆転送ブロック数(セクター長：4k/8k/16k/32k,ブロック長)を増やし、キャッシュをONにすることを定めたことにより、キャッシュOff 時と比較した結果を以下に示す。
■Sequential-Write Cache ON

測定時間：37h (全ブロック長のTotal)(Sample:6TB HDD)

■Sequential-Write Cache OFF

測定時間：47h (全ブロック長のTotal)(Sample:6TB HDD)

2017/03/29

4. まとめ◆大容量 HDD 対応、CCTL 測定値時間の短縮(Long BLK 化)結果について
元の“Command completion time measurement tool Whitepaper”を引用し同じ特性が得ることができ、かつ評価時間を短縮するために、以下の方法を定めた。
1. 転送ブロック数を増やす。
2. シーケンシャルアクセスのみとする。
3. キャッシュを有効にする。
結果
上記の方法を定めた結果、元の“Command completion time measurement tool Whitepaper”と比較し、評価精度を落とすこと無く、測定時間の短縮化が図れた。

2017/03/29

●Appendix

大容量 HDD 対応 CCTL 測定に使用した機材と試験方法を以下に記載する。
■実施
株式会社 広田製作所〒382-0005 長野県須坂市大字小河原 3954 番地 13
代表電話番号 026-245-1212
URL. http://www.hirotass.co.jp
E-mail.eigyo@hirotass.co.jp

SMART TESTER for 6G■機材
・SMART TESTER for 6G(本体)・ホスト PC (ホストプログラム用)■試験方法
1) SMART TESTER に測定用 HDD を接続する。

(接続構成：図 1 参照)

-仕様-

(図 1)
2) ホスト PC のホストプログラムの起動から、被試験装置との接続チェック等を実施し、試験実施が継続可能な状態であるかを確認する。
※SMART TESTER は、4port 同時試験可能であるが、用途に合わせて Port を選択し、試験可能。

2017/03/29

3) 初期内部 SMART(Self-Monitoring, Analysis and Reporting Technology)の確認。
CCTL 測定を実施する前に、事前に初期内部 SMART 情報を取得し、現状の HDD の状態を確認し、各属性に異常値はないか等のチェックをする。
4) CCTL 測定用スクリプト(シーケンシャルアクセス＆アクセス時間)で測定開始。
目的：シーケンシャルアクセスを行いアクセス異常アクセスの確認。
セクター長：4K、8K、16K、32K ブロック長で実験を実施。
測定範囲 : 全面
セクター長 : 4096 (2MB): 8192 (4MB): 16384(8MB): 32768(16MB)
キャシュ: On
Access Mode : Write , Read , Write+Seek , Read+Seek※機能：指定領域間を順方向にシーケンシャルアクセスを実施。この機能では、R/W コマンドの実行時間を計測し、CSV 形式の File に出力。

2017/03/29

5) CCTL(アクセスタイム時間)測定結果について
対象スクリプト：Sequential Write Cache(On) /セクタ長:4096(4KB)
出力された CSV File 名：例) GENERIC S600 HARD DRIVE 95N9K02KF57C 3_1_2 09104115.csv※CSV File を専用の(Measure Graph – HDD/SSD Tester)にてグラフ化に変換。

変換(CSV File)(変換後のプロット図 1)
結果、変換後のプロット図 1 では、100～110ms 近いアクセス時間が発生拡大したため、帯状の部分が縮小し、分析しにくい。
。

変換後のプロット図 2 は、Access Time 値を、0～30ms に拡大表示することにより、各HD 毎の記録密度の差、リトライ(まばらな点)が分析し易くなる。
見易いグラフに変更。
(拡大変換後のプロット図 2)6) 5 項で作成したプロット図から、各リード/ライトコマンドのアクセス時間のバラツキ(太い帯状になった部分や、その周りにまばらな点からのバラツキ)から、HDD にどのような挙動が占めているかが把握できる。又、各転送 Block Sizeの測定時間や平均転送レートからの要因の分析、さらに、各アクセス毎に出力された SMART 情報の差分から比較し起こりうる障害の早期発見と故障予測を分析する。
<特に SMART 情報で重要視される項目>

2017/03/29

■追加評価実施例
今回実施した CCTL 測定では、測定環境、特に HDD を外部に設置しての測定では、外部の振動が HDD に大きな影響を与える可能性があります。
そこで、株式会社広田製作所で独自開発した Drive Fixture は、免振構造で高い Drive
Performance の効果を引き出します。

Drive Fixture
Common for 2.5inch & 3.5inch

2.5inch3.5inch
このレバーで HDD の挿抜が可能になります。
※挿抜耐久回数：5,000 回(弊社実証確認済み)

このレールを外すことで、3.5inch Drine が対応することができます。

2017/03/29