2005/12/12

前回のおさらい（１）
前回のおさらい（１）z 並列プログラムのデータ入出力
 単一プロセッサに代表してやらせる 各プロセッサで並列にやる
z 並列入出力のためのしくみ 並列ファイルシステム• Vesta• Acacia

データ工学特論（５）
情報基盤センター
天野 浩文

z 当初の予定では，この後に…
 並列入出力ライブラリ 並列入出力インタフェース
 ...と進むはずだったが，今回は少し予定を変更する．
z 次回の特別講義の下準備のため

この講義に関するwebサイト：
http://isabelle.cc.kyushu-u.ac.jp/~amano/data-engineering/1

2

前回までに扱ってきたことは…
前回までに扱ってきたことは…

さて，今回からは…（１）
さて，今回からは…（１）z これまでの講義では
 転送速度・スループットを向上させるために⇒ディスク側の速度向上• ディスクアレイ， RAID (redundant array of inexpensivedisks) 並列プログラムへのデータ供給を効率化するために⇒並列プログラムの並列データアクセス性能の強化• 並列ファイルシステム• 並列入出力インタフェース• 集団型入出力インタフェース

z現代の計算機システムにおけるディスクのつなぎ方はどのように変わりつつあるか？
z計算機とディスク（アレイ）の間の接続方法は？
インタフェース
インタフェース？
接続トポロジ？
接続トポロジ
転送速度？
転送速度
プロトコル？
プロトコルz各種ディスク入出力インタフェース
SCSI
HIPPIFibre Channel
GSN（Super HIPPI，HIPPI-6400）？
3

データ工学特論（５）412005/12/12

さて，今回からは…（２）
さて，今回からは…（２）データ配置から見た計算機利用形態の変遷（１）データ配置から見た計算機利用形態の変遷（１）zディスクの機能は今のままで十分か？
ホスト側のCPUにかかる負担は？

z集中処理の時代（1970年代～1980年代半ば）
１台のホスト（メインフレーム）による集中処理ディスク（データ）はすべてホストに集中利用者は，端末から専用線経由でホストにアクセス（端末側
では，独自の処理をほとんど行わない）

zホストに負担をかけないためには？
SAN（storage area network）
NAS（network attached storage）
zさらに賢いディスク装置に向けて
高機能ディスク自律ディスクインタフェース

端末（専用端末）

ディスクの機能？

全データ
計算機センター56

データ配置から見た計算機利用形態の変遷（２）データ配置から見た計算機利用形態の変遷（２）データ配置から見た計算機利用形態の変遷（３）データ配置から見た計算機利用形態の変遷（３）z分散処理の時代（1980年代～）
LAN，ワークステーションの台頭
組織全体のサーバだけでなく各部門のサーバにある程度のデータを移して，分散処理を行うことが可能に

z協調処理の時代へ（1990年代後半～）
インターネット／イントラネットの普及
データのさらなる大容量化
複数のサーバ間でのデータの共有が急速に進行

全社サーバ（スーパーコンピュータ）

ダウンロード・アップロード

アプリケーション
サーバ

基幹サーバ（計算サーバ）ファイル共有インターネット／イントラネット
部門サーバ（可視化WS）

部門WS（研究室のWS）

部門サーバ（プリ・ポストWS）

クライアントクライアント7データ工学特論（５）822005/12/12

ディスク接続形態の変遷（１）ディスク接続形態の変遷（１）ディスク接続形態の変遷（２）ディスク接続形態の変遷（２）z１対１接続
各ディスク装置に対して，専用のチャネルを用意• 主としてメインフレーム用に発達
各ベンダで固有の仕様• 電気チャネル
• 光チャネル
最大ケーブル長は数十～数千ｍ

zデイジーチェーン接続（１対１接続の一種と見ることもできる）
１つのインタフェースに複数のディスクを数珠つなぎ
やや拡張性が増す
複数ディスクを同時に使うことはできない（転送速度，スループットは１台のときと同じ）
例１：SCSI（small computer systemsinterface）• インタフェースあたり7～15台• 最大ケーブル長（合計）は1.5～3m
例２：IDE（integrated drive electronics）• インタフェースあたり2台まで• ケーブル長は，PCのケース内（～1m）
910

ディスク接続形態の変遷（３）ディスク接続形態の変遷（３）ディスク接続形態の変遷（４）ディスク接続形態の変遷（４）zループ接続
ホスト，ディスクともに，それぞれ２つの通信口を持つ
それらをループ状に接続する
自分が処理に参加していないときは，他の通信をそのまま通す複数ディスクを同時に使うことはできない（最大転送速度，スループットは 1 台のときと同じ）

zスター型接続，（ファブリック接続，スイッチ接続）
スイッチやハブを通して，星状に接続
複数ディスクを同時に使うことも可能（スループットが向上）

11

データ工学特論（５）1232005/12/12

ディスク入出力インタフェース（１）ディスク入出力インタフェース（１）SCSIの現状SCSIの現状zSCSI（Small Computer Systems Interface）規格
基本的に，単一の計算機内での周辺機器の接続を想定
デイジーチェーン接続
接続ケーブルの電気的仕様から，CPU側と周辺機器側でのデータのやりとりに用いるSCSIコマンドプロトコルまでを規定
IDEと異なり，ディスクコントローラ側で処理を分担するため，CPU負荷がやや軽くなるただし，初期のSCSIは大して高速ではなかった• SCSI（5MB/sec），SCSI-2（10MB/sec），SCSI-3（20MB/sec）
z高速のSCSIも登場
Ultra2 SCSI： 40MB/sec
Ultra2 Wide SCSI： 80MB/sec
Ultra160 SCSI： 160MB/sec

z個人用のPCではほとんど使われなくなった．
ディスクドライブが大容量になり，IDEのディスク1台～2台で十分な容量が確保できる．価格も安い．
増設が必要な場合でも，シリアル系のUSBやIEEE1394など，高速のインタフェースで簡単に外付けできるようになった．
CPUの性能が上がったため，ディスク制御の負荷がかかっても気にならなくなった．
zSCSIケーブルは信号線が複数並列にたばねられたパラレルケーブルだった．
信号を同期させるための回路や，クロストーク対策などが必要最近では，シリアルケーブルで周波数を上げるほうが高速化しやすい．
次世代 SCSI 規格は serial attached SCSI (SAS)に移行中

1314

ディスク入出力インタフェース（２）ディスク入出力インタフェース（２）HIPPIフレーム
HIPPIフレームzHIPPI（high-performance parallel interface）
元々，スーパーコンピュータと周辺機器を接続するためのインタフェースとして登場• その後，計算機間の接続にも銅線ケーブルで25m以内• 100MB/sec (32bit幅，50芯ケーブル使用)または200MB/sec (64bit幅，100芯ケーブル使用)• その後，ファイバ系（Serial HIPPI）も登場
１本のケーブルは単方向通信用，双方向通信にはケーブルをペアで使用
１対１接続またはHIPPIスイッチ経由でスター型接続
遅延は大きいので，大量データを一気に転送する用途向け
（スパコン専用のため）市場規模小さく，価格下がらず

z送受信の単位は256ワード（１ワード32ビットまたは64ビット）のバースト
z先頭のヘッダ情報（I フィールド）は，スイッチの経路制御用
z接続を確立した後は，その送り手・受け手が線路を独占
zフレームの長さは約4GBまで可（データには長さの情報は含まれていない）

15

データ工学特論（５）I フィールド（32ビット）
データパケット
バースト

パケット
バーストパケット
バースト

パケット

パケット
バースト

チェックサム（1ワード）
256ワード1642005/12/12

HIPPIによるデータ転送（１）HIPPIによるデータ転送（１）HIPPIによるデータ転送（２）HIPPIによるデータ転送（２）z送信開始時z送信終了時接続要求
ON に保持（Data側では I フィー
ルド送信開始）
1.

DATA BUS 32(64)PARITY BUS 4(8)

5.

パケット
送信要求
バーストが続く間，ずっとONに保持

PACKET
READY
BURST

4.

4.

接続終了
（信号OFF）

パケット
受信了承

3.

受信側

DATA BUS 32(64)5.

PARITY BUS 4(8)REQUEST

接続終了（信号OFF）

CONNECT
PACKET
READY
BURST

2.

CLOCK = 25MHz

INTERCONNECT D→S 1(2)

パケット終了（信号OFF）

これのON/OFF
でフロー制御INTERCONNECT S→D 1(2)

送信側

接続了承
ONに保持

データ終了

REQUEST
CONNECT

3.

2.

1.

故障をチェックするための直流電圧

バースト終了（信号 OFF）

CLOCK = 25MHz
INTERCONNECT S→D 1(2)

送信側

INTERCONNECT D→S 1(2)

受信側

17

故障をチェックするための
直流電圧
18

HIPPIによるデータ転送（３）HIPPIによるデータ転送（３）ディスク入出力インタフェース（３）ディスク入出力インタフェース（３）z接続を確立した後は，送り手・受け手が線路を独占
zデータ以外の信号線を使うことによって，長さ情報が入っていな
くても，可変長データを扱うことができる

zFibre Channel
HIPPIより数年遅れて登場
同一の物理インタフェース上でさまざまな機器を接続することを目指すFC自体はデータ伝送媒体としての位置づけ• その上を流れるパケットの規約やスイッチ制御の規約• その上に他のさまざまなプロトコル（SCSI, HIPPI, IP, ATMなど）を通すための規約も制定
当初は光ファイバを想定• その後銅線系も登場したため，fiber をフランス語風のfibre に改称
双方向，100MB/sec光ファイバで最大500～10,000m，銅線で25mz長大なデータをまとめて転送するのに適しているが，小さなデータを，断続的に低遅延でやりとりするのにはあまり向いていない

19

データ工学特論（５）2052005/12/12

FCデータフレーム
FCデータフレーム

ファイバチャネルの特徴
ファイバチャネルの特徴

zフレームごとに，送り手・受け手のアドレスその他の情報がヘッダとして付随
z１フレームあたりの最大データ量は2112バイト
z1フレームに収まり切れない場合は，複数のフレームに分割→シーケンスzすべての通信は，比較的小さなフレームにバラして送受信する
zすべてのフレームに送り手・受け手のアドレスがついている

スタートフレーム命令（4バイト）

エンドフレーム命令（4バイト）

データ（最大2112バイト）
フレームヘッダ（24バイト）

z途中のスイッチが高速に配送経路の切り替えを行えば，複数の通信を同じ線路の上で同時に流せる

zHIPPIに比べると安価で，現在急速に普及しつつある

エラーチェック（4バイト）

21

22

HIPPI
HIPPI vs.
vs. Fibre
Fibre Channel
ChannelFibreFibre Channel
Channel による接続の形態（１）による接続の形態（１）

HIPPI
最大転送速度 800, 1600
(Mbps)

zPoint-to-Point型（2ノード）
N（node）ポートどうしを接続

Fibre Channel
100, 200, 400, 800
1600, 3200
主な伝送媒体 銅ケーブル
光ファイバ
伝送形態
並列直列
通信形態
独占（多重化不能） 多重化可能
オプション
転送速度のみ多種多様
1対1，スター
1対1，スター，ループ他
接続形態
1988年
1993年
製品化
欠点
高価
プロトコルが複雑すぎるとの低速の通信を多数 批判も扱うことはできない
23

データ工学特論（５）N portN portzFibre Channel-Arbitrated Loop
（FC-AL，最大127ノード）
ループ機能を持つNL（node loop）ポートを使用

NL port

FC-ALハブ
246

2005/12/12

Fibre
Fibre Channel
Channel による接続の形態（２）による接続の形態（２）ディスク入出力インタフェース（４）ディスク入出力インタフェース（４）zFabric型（スイッチのポート数次第で最大1600万ノードまで）任意のNポート間を自由に接続できるFCスイッチを使用
スイッチ側はF (fabric) portzGSN（Gigabyte System Network）
次世代HIPPIを目指す（Super-HIPPI, HIPPI-6400）
6.4 Gbps (800MB/sec)HIPPI-800の欠点を克服することを目指す• 低遅延（通信の立ち上がりが速いということ）• マイクロパケット（32バイト＋制御用64ビット）単位• 仮想チャネルによる多重化（大容量データの転送中にも，スイッチ制御などのためのメッセージを割り込ませることができる）• 豊富な機能を盛り込む

N portFCスイッチ– エラー訂正，フロー制御，再送制御• ただし，価格の問題は？
ようやく製品が出始めた
普及はまだまだこれから？

F port25

26

Scheduled
Scheduled Transfer
Transfer (ST)(ST) プロトコル
プロトコル

ファイル共有の形態
ファイル共有の形態

zGSN上の伝送プロトコルフロー制御，エラー制御，バッファ管理，遠隔DMA転送などの機能を実現
他のメディア上でも利用可能
zマイクロパケット上で高速・大容量転送を実現する
接続の確立受け手は転送のために連続領域のメモリバッファを確保
以後は，メモリ→メモリの転送をホスト側プロセッサの介入なしに実行
zイーサネットでのCPU負荷を100%とすると，STでは15%ほどと言われる
zこの上にSCSIプロトコルを載せる技術が開発中

zNFS（Network File System），CIFS（Common Internet FileSystem），SMB（Server Message Block，”Samba”）
他のホストにあるファイルをあたかもローカルファイルのようにアクセスするための機構
クライアントからのリクエストに応じて，サーバがディスクアクセ
ス

27

28

データ工学特論（５）

実際のディスクア
クセスはサーバが代行

OS

OS

アプリケーションからはローカルファイルと同じ

7

2005/12/12

ネットワーク上のファイル共有の問題点（１）
ネットワーク上のファイル共有の問題点（１）

ネットワーク上のファイル共有の問題点（２）
ネットワーク上のファイル共有の問題点（２）zHIPPI，Gigabit Ethernet などでネットワークは高速になったものの…
ディスクアクセスの負荷はすべてサーバに集中大容量のデータアクセスや多数のリクエストが発生するとネットワーク負荷が増大

z並列型スーパーコンピュータなどでは…
PEのうちの一部のみが外部ネットワークに接続
外部のサーバにファイルを置くと，プロセッサ間ネットワークが他のジョブのデータで「汚れる」
ファイルをローカルに置くと，可視化システムに対してNFSサービスを行う必要がある

OS

OS

OS

他の通信のじゃまOS

プロセッサ間ネットワーク
PEPE

PE

PE

可視化システムファイルサーバ

外部ネットワーク

スパコンなのにNFSサーバ...

29

30

新技術を応用したファイル共有の形態
新技術を応用したファイル共有の形態

NAS
NAS

zNAS（Network Attached Storage）
他のサービスも受け持つホストをファイルサーバにすべきでない→ファイルサーバをNFSサービスに専念させるのなら，いっそのこと専用機に
計算機ネットワークにじか着けするディスク装置
ファイル共有以外の通信サービスと経路を共有して使用
zSAN（Storage Area Network）
大容量のデータ転送や多数のリクエストが殺到する場合のネットワーク負荷を軽減
ファイル共有のためのネットワークを，それ以外の通信とは別の経路で
最近注目されている技術
FCの最初の応用か

z計算機ネットワークにじか着けするディスク装置
zNFS, CIFS, SMBといったファイル共有プロトコルを利用
zただし，業界団体SNIA（Storage Networking IndustryAssociation）が制定した用語の定義では，どんな種類のネットワークにつないでもかまわないことになっている

31

データ工学特論（５）クライアント
ファイルデータもそれ以外のメッセージも同じところを通る

ネットワーク

専用プロセッサ

NAS

32

8

2005/12/12

NASの例
NASの例

SAN（１）
SAN（１）

zこの講義の第３回で紹介した以下の製品はNASである
Auspex Netserver
Netapp Multiprotocol Filerz基本的な考え方
ファイル共有のためのネットワークを，それ以外の通信とは別の経路でホスト間通信ネットワーク

zこの他にも，多くのベンダーから多数の製品が発表されている

SAN
SAS（SAN-AttachedStorage）

33（SANが通常の計算機ネットワークと同じプロトコルを使うなら実はNASでもよい）34

SAN（２）
SAN（２）

SANのトポロジ
SANのトポロジ

zFCファブリックなどを応用して，複数のディスクを共有することも可能ただし，共有ファイルへのアクセスの排他制御などはホスト側で処理する必要がある

zスター型
 最も単純な構成
 スイッチの故障は，全システムに影響する

ホスト間通信ネットワーク
クライアントzデュアルスター型
 スイッチと接続を冗長化
 片方のスイッチが故障してもシステムは止まらない どちらのスイッチを使うかを切り替えることで負荷分散も可能 スイッチがN台のときは N-wide
スター型というファブリック
スイッチ
最近は8～16ポートのものをswitch，32ポート以上のものをdirector と呼び分けることもあるようだSAS
35

データ工学特論（５）3692005/12/12

SANのトポロジ（つづき）
SANのトポロジ（つづき）
zツリー型
 スイッチをコアスイッチとエッジスイッチに分ける ノードはエッジスイッチにつながる コアスイッチの冗長化も可能

SANのその他の効用
SANのその他の効用
zリング型，メッシュ型
 多数のスイッチを，リング状または全対全で接続
 リングにコアを加えると，スター・リング (ring with star) 型

zストレージの集中管理による管理効率の向上
z複数のホストに分散するストレージを個別にバックアップ・リストアするよりも，一括で行えるほうがよい
zSANバックアップ専用装置の利用バックアップ専用ホストやSANにじか着けできるテープライブ
ラリ装置があれば，サービス用ホストやLANの負荷なしにバックアップ可能（LAN-free backup）
z異種ホスト間デバイス共有
一つのディスク装置を，異なるOSが動作する複数のホスト間で共有することが可能な製品も登場

37

38

エッジスイッチ

コアスイッチLAN-freeLAN-free バックアップ
バックアップ

異種ホスト間ディスク共有
異種ホスト間ディスク共有

zホストやホスト間通信ネットワークに負荷をかけることなくバックアップ可能な構成

zSGI社のクラスタファイルシステム（CXFS）
zADIC社のCentraVisionファイルシステム（CVFS）
zIBMソフトウェアのTivoli SANergyシステム

バックアップデータはLANを流れないLAN

バックアップデータはホストにも流れない（ホストには負荷がかからず，サービスを止める必要もない）

SAN

LAN
IRIX

Solaris

WinNT

Linux

製品によってサポートしている
OSに若干の違いはあるが．．．
アクセス前後のメタデータのやりとりだけは，LANを使わなくてはならないものもあるが．．．

SAN
テープライブラリの容量が十分なら１台でよい

バックアップ専用
計算機

各ホスト（OS）から，LANを経由することなく同一ボリュー
ムを透過的にアクセス可能！

テープライブラリ装置
39

データ工学特論（５）40102005/12/12

NAS
NAS vs.
vs. SAN？
SAN？

まとめ
まとめ

zNASとSANを対立する技術として扱う意見
NASのほうがSANよりも手軽
SANのほうがNASよりもLANの負荷を軽減できる
zNASとSANは共存可能な関係にあるとする意見
SANで結合されたストレージシステムも，外側（クライアント）から見ると，NASと同じ仕事をしてくれる
同じセンターの中に両方あっても矛盾はしない
zNASとSANは将来統合されるのではないかとする意見
FCなら同じ物理層の上にさまざまなプロトコルをのせることができる
では，すべての通信をFCの上に
FCスイッチを活用すれば，ホスト間の通信のバンド幅はデー
タ転送のじゃまを受けない

zディスク利用形態の変遷
集中処理，分散処理，協調処理
z計算機とディスク（アレイ）の間の接続インタフェース
SCSI
HIPPIFibre Channel
GSN（Super HIPPI，HIPPI-6400）
z接続トポロジ1対1, デイジーチェーン，ループ，スター
zNFS, CIFS, SMBによるファイル共有
zNAS
zSAN

41

42

次回予告
次回予告
z特別講義 １２月１９日第２限
「ストレージのテクノロジと最新技術動向」
ブロケード コミュニケーションズ システムズ(株)小宮崇博氏
z教室は変更になるかも知れません．
この講義のwebサイト，および，掲示に注意していてください．

43

データ工学特論（５）11