情報処理学会第68回全国大会

5A-5

広域 IP 網を介した iSCSI 通信におけるプロトコルチューニングの一検討
藤原啓成†

若宮直紀‡

(株)日立製作所システム開発研究所†

志賀賢太†

大阪大学大学院情報科学研究科‡
表1 プロトコルチューニング一覧

1.はじめに近年の iSCSI プロトコル[1]の実装の進展と広域 IP 網サービ
スの低価格化により，企業の PC・サーバ等が遠隔地にあるデータセンタのストレージ装置に直接アクセスできる環境が整いつつある．広域 IP 網サービスは専用線サービスよりも安価である
が，遅延やパケット損失率が大きいため，iSCSI 通信を適用した場合のスループット低下が指摘されている．
本稿では，広域 IP 網を介した長距離アクセス向けに，iSCSIおよび関連プロトコルレイヤ(TCP，SCSI およびバックアップア
プリ：図 1参照)のプロトコルチューニングを検討した．iSCSIのソフトウェア実装[2]をチューニング対象とし，WAN エミュレータによる広域 IP 網の模擬環境により，チューニングの効果を確認したので報告する．

2.広域 IP 網を介した iSCSI 通信の課題
広域 IP 網を介した iSCSI 通信のスループット低下の原因は，広域 IP 網の遅延の大きさによる帯域遅延積の増大と，パケット損失時の TCP レイヤの通信スループットの低下である．本章では，原因ごとに課題を説明する．

プロトコル
レイヤ

パラメータ
チューニング前

バックアップアプリ 書込み多重度
SCSI
書込み多重度iSCSI
InitialR2TFirstBurstLength
MaxConnections
TCP
Window Scaling
送信バッファサイズ
受信バッファサイズ
sacktimestamps

プロトコルチューニングの種類
チューニング後(2)TCP通信のスループット低下
対策チューニング
(b)
(a)
66816
No
No
256KB
256KB
816
有効
有効10MB
5MB
40MB
20MB
有効有効
有効
有効

(1)帯域遅延積の増大対策チューニング
62
No
256KB
1
有効10MB
40MB
無効
無効

11
Yes64KB
1
無効
128KB
170KB
無効
無効

チューニング前

表1の(1)チューニング後

InitialR2T=yes
FirstBurstLength=64KB

R2TをR2Tを待たずに待たずに256KBまでデータを送出できる送出できる

iscsi
R2T
到着後
データ送出

TCP
iscsi write(240KB)
R2T
DataOut

iscsi response

240KB

R2Tを待たずに64KBまで送出できる
64KB以降は
R2T到着後にデータ送出

InitialR2T=noFirstBurstLength=64KB

iscsi

TCP
iscsi write(240KB )DataOut
64KB
R2T

DataOut
iscsi response

176KB

InitialR2T=noFirstBurstLength=256KB

iscsi

TCP
iscsi write(240KB)

DataOut
iscsi response
iscsi write(240KB)
DataOut

240KB

240KB

iscsi responseTCPレイヤへの単位時間当たりのデータ送出量増大

2.1.高遅延に伴う帯域遅延積の増大
広域 IP 網を介した iSCSI 通信では，長距離アクセスであることにより，エンドポイント間の伝播遅延が大きく，帯域を使い切るために広域 IP 網上に送り出すべきデータ量(帯域遅延積)が増大する．帯域遅延積が増大して TCP のウィンドウサイズおよび送受信バッファサイズを上回ると，帯域を使い切れなくなる．
これは，図 1に示す TCP の各上位レイヤのデータ送出量が不十分な場合も同様である．この結果，広域 IP 網の利用率が低下して iSCSI 通信のスループットが低下する．

2.2.パケット損失に伴う TCP 通信のスループット低下
広域 IP 網では，網内の輻輳により IP パケットの損失が発生する．パケット損失が発生すると，TCP の輻輳制御[3]によって，TCP 通信のスループットが 1/2 以下に低下し，その後，1RTT 毎に，TCP 通信のスループットが向上する．しかしながら，長距離アクセスでは RTT が大きい為，パケット損失前のスループットまで回復するには LAN 環境に比べて長い時間がかかる．
このため，TCP を下位プロトコルとする iSCSI 通信もパケッ
ト損失が発生時にスループットが低下する．

図 2 iSCSI レイヤチューニングの効果

3.プロトコルチューニングの検討
各プロトコルレイヤのチューニングによる前章の課題解決を検討した．高遅延環境下における iSCSI 通信については[4]など
で Read の性能向上の検討がなされているが．本稿では，バックアップアプリのシーケンシャル Write の性能向上を検討する．
また，企業のエンドユーザがチューニングすることを考慮して，
iSCSI のソフトウェア実装[2]で設定可能な iSCSI パラメータをチューニング対象とする．なお，帯域遅延積の大きいネットワークにおける TCP 通信の性能向上としては HighSpeed TCP などの検討もなされているが，本稿では，TOE (TCP/IP オフロードエンジン)などの実システム環境を考慮して，RFC1323 などに示されている一般的に利用可能な TCP パラメータの範囲内でチューニングを検討する．
表 1に検討したプロトコルチューニングの一覧を示す．以下，課題別の検討内容を説明する．

3.1.帯域遅延積の増大対策チューニング
サーバストレージ

バック アップアプリ

ディスク

SCSI

SCSI

iSCSI
TCP
IP
Ethernet(*1)

iSCSI
長距離アクセスTCPIP
Ethernet

広域 IP 網図1 広域 IP 網を介した iSCSI 通信のプロトコルレイヤ

A study on protocol tuning for iSCSI transmission over awide-area IP network
Keisei Fujiwara†，Naoki Wakamiya‡，Kenta Shiga††Hitachi，Ltd.，System Development Laboratory‡Graduate School of Information Science and Technology ， Osaka
University

1-55

帯域遅延積の増大による広域 IP 網の利用率の低下を防ぐため，
表 1の(1)のチューニングを検討した．
TCP レイヤでは，WindowScaling を有効にし，かつ送受信バッ
ファを拡大する．WindowScaling により TCP のウィンドウサイ
ズは約 1GB まで拡張可能となるが，表 1(1)では送受信バッファサイズを帯域遅延積(表 2の広域 IP 網の模擬値から，帯域遅延積は 100ms×100Mbps＝1.25MB)よりも十分大きいものとした．
iSCSI レイヤでは，InitialR2T を no かつ FirstBurstLength
を 256KB とすることで，単位時間当たりの TCP レイヤへのデータ送出量を増大させる(図 2)．
バックアップアプリおよび SCSI レイヤでは，書込み多重度を増やし，iSCSI レイヤへのデータ送出量を増大させる．
以上のチューニングにより，広域 IP 網に対して帯域遅延積を上回るデータ送出量を確保する効果が期待できる．
(*1)Ethernet は富士ゼロックス株式会社の登録商標です。

情報処理学会第68回全国大会

スループットバックアップスループット

TCPコネクションが1本の場合
iSCSIセッション
1パケット損失発生

スループット低下幅大TCPコネクション

TCPコネクションを多重化した場合

チューニング前チューニング後

20目標値

15105スループット

00.001%0.01%

パケット損失率

1パケット損失発生

図5 帯域遅延積の増大対策チューニングの効果

スループット
低下幅小PC サーバ(Linux2.4.20-8(*2)，
TCP NewReno)

バックアップアプリ

仮想ディスクWAN
エミュレータUnh iSCSI
1.5.03(Initiator)
FE

PC サーバ(Linux2.4.20-8(*2)，(Packet Sphere
NE-FE-1U)

Unh iSCSITCP NewReno)
1.5.03(Target)

FE

FE

FE

バックアップスループット

図 3 TCP コネクション多重化によるiSCSI 通信のスループット低下の軽減効果

チューニング前チューニング後

20

目標値

15105(a)(b)(b)

00.01%

0.1%

1%

パケット損失率

図6 TCP 通信のスループット低下対策チューニングの効果
FE ：Fast Ethernet インタフェース

図 4 実験環境

バックアップスループットの目標値は，あるサーバが行うバックアップのスループットと同等以上であることとし図 5，図 6中に破線で示している．

表 2 WAN エミュレータの設定値
設定パラメータ

WANエミュレータの設定値

往復伝播遅延100ms

ランダムパケット損失率

0.001%，0.01%，0.1%，1%

帯域

100Mbps

4.2.実験結果

3.2.TCP 通信のスループット低下対策チューニング
パケット損失時の，TCP の輻輳制御による TCP 通信のスループット低下の影響を軽減するため，表 1(2)の(a)，(b)のチューニングを検討した．
まず，表 1(2)の(a)について説明する．
TCP レイヤでは，sack オプションの有効化により, パケット再送時間を短縮する．また, timestamps オプションの有効化により，RTT の計測精度を向上させる．これにより，RTT を元に算出される再送タイムアウト時間(RTO)の精度を向上し，不適切なRTO によるパケットの誤再送を防止する．
iSCSI レイヤでは，MaxConnections を 8 とする．これにより，
1 つの iSCSI セッション内で 8 本の TCP コネクションを確立でき，各コネクションが広域 IP 網の帯域を分割使用する．このTCP コネクションの多重化には，IP パケット損失時の iSCSI 通信のスループット低下を軽減する効果が期待できる(図 3)．なお，TCP のウィンドウサイズの合計値および送受信バッファサイズの合計値も増大するため，帯域遅延積の増大対策としても有望である．
SCSI レイヤでは，書込み多重度を 8 に変更し，8 本の TCP コ
ネクションに 8 つの書込みが並行して行えるようにする．なお，iSCSI レイヤへのデータ送信量も増大するため，帯域遅延積の増大対策としても有望である．
次に，表 1(2)の(b)について説明する．表 1(2)の(b)では，上記 の (a) の チ ュ ー ニ ン グ に 加 え て ， iSCSI レ イ ヤ のMaxConnections および SCSI レイヤの書込み多重度を 16 に変更する．これにより，(a)の効果の増大を見込める．ただし，実験環境のメモリ資源の制約のため，送受信バッファを縮小した．
以上のチューニングにより，TCP の輻輳制御に伴う iSCSI 通信のスループット低下を軽減する効果が期待できる．

測定したバックアップスループットのグラフを，プロトコルチューニングの種類別に図 5と図 6に示した．なお，結果は 1 回の測定値を示す．ただし，チューニング前の測定値およびチューニング後の目標値付近の測定値については，再現確認のために 2 回の追加測定を実施し，計 3 回の最小値を示した．
(1) 帯域遅延積の増大対策チューニングの効果
図 5は，表 1の(1)のチューニングを適用する前後において，バックアップスループットを測定した結果である．図より，本チューニングが広域 IP 網を介したバックアップスループットの向上に有効であることが確認された．特に，パケット損失率0.001%時には目標スループットを達成できている．
(2) TCP 通信のスループット低下対策チューニングの効果
図 6は，表 1の(2)のチューニングを適用する前後において，バックアップスループットを測定した結果である．さらなるチューニングによって，図 5と比較してバックアップスループットをより向上でき，パケット損失率が 0.01%の場合にも目標スループットが達成できることが確認された．

5.おわりに本稿では，広域 IP 網を介した長距離アクセス向けの iSCSI お
よび関連レイヤ(TCP，SCSI およびバックアップアプリ)のプロトコルチューニングを検討し，その有効性を確認する実験を行った．実験の結果，数倍のスループット改善が得られ，検討したプロトコルチューニングの有効性が確認された．ただし，パケット損失率 0.1%および 1%時には，スループット改善の効果はあるが，バックアップスループットとしては不十分であることが確認された．

参考文献
[1]

4.実験
4.1.実験環境
実験環境は，iSCSI のソフトウェア実装[2]を導入した PC サーバ 2 台および広域 IP 網を模擬する WAN エミュレータで構成した(図 4)．表 2に WAN エミュレータの設定値を示す．
実験にあたり，企業のバックアップサーバが広域 IP 網を介して遠隔地にあるデータセンタのストレージへデータのバックアップを行うことを想定した．
(*2)Linux は登録商標です。

1-56

[2]
[3]
[4]

J. Satran 他,“rfc3720: Internet Small Computer
Systems Interface (iSCSI),” IETF, 2004.4.
http://sourceforge.net/projects/unh-iscsi/
M.Allman 他,“rfc2581:TCP Congestion Control,”
IETF, 1999.4.
山口 実靖 他,“iSCSI 解析システムの構築と高遅延環境におけるシーケンシャルアクセスの性能向上に関する考察,” 電子情報通信学会和文論文誌 データ工学特集号(和文論文誌 D-I) pp.216-231, 2004.2.