分散ファイルシステム

分散ファイルシステム  またはネットワークファイルシステム  とは、複数のホストがコンピュータネットワークを経由して共有しつつファイルにアクセスすることを可能にするファイルシステムである。複数のマシン上で複数のユーザーがファイルやストレージ資源を共有できるようにする。

クライアントノードはファイルシステムを構成している二次記憶装置に直接アクセスすることはできないが、通信プロトコルを使ってネットワーク経由でやり取りする。その通信プロトコルがどう設計されているかにもよるが、アクセスリストまたはケーパビリティに基づいてクライアントとサーバの双方でファイルシステムへのアクセスを制限することも可能である。

これに対してクラスタファイルシステムでは、全ノードがファイルシステムを構成しているストレージ全体に一様に直接アクセスできる。その場合、アクセス制御はクライアント側の責任となる。

分散ファイルシステムには一般に、透過的レプリケーションとフォールトトレラント性に関する機能がある。すなわち、ファイルシステムを構成するノード群の一部がオフラインになっても、データを失うことなくシステムとして機能し続ける。

分散ファイルシステムと分散データストアの違いはあいまいだが、分散データストアは一般にLANでの利用に特化していることが多い。

1. 歴史と具体例
---------

このようなファイルサーバは1970年代に開発された。1976年、DECが DECnet Phase II の一部である Data Access Protocol 実装として File Access Listener  を開発したのが、世界初の広く使われたネットワークファイルシステムとなった。1985年、サン・マイクロシステムズが世界初の広く使われる Internet Protocol ベースのネットワークファイルシステムとなる Network File System  を開発した。他のネットワークファイルシステムとしては、Andrew File System  や Apple Filing Protocol 、NetWare Core Protocol 、Server Message Block がある。

2. 透過性
------

分散ファイルシステムは透過性を備えていることが多く、プログラムやユーザーから見ればネットワーク経由のファイルがローカルディスク上のファイルと全く同じに扱える。サーバや記憶装置の多様性と分散は隠蔽される。ファイルの配置やデータ転送はファイルシステムに任されている。

3. 性能
-----

ネットワークファイルシステムでは、処理にかかる時間も重要な課題である。通常のファイルアクセスならば、これはディスクアクセス時間と少しのCPU処理時間に相当する。ネットワークファイルシステムでは、分散構造であるが故の余分なオーバヘッドが必要となる。このオーバヘッドには、サーバに要求を届けるまでの時間、応答をクライアントまで戻すのにかかる時間などが含まれる。どちらの方向も情報転送時間だけでなく、通信プロトコルソフトウェアの実行にかかるCPU時間が含まれる。ネットワークファイルシステムの性能もある意味でネットワークファイルシステムの透過性の一部と言える。すなわち、理想的なネットワークファイルシステムの性能はローカルなディスクアクセスと同程度になる。

4. 同時ファイル更新
-----------

ネットワークファイルシステムは複数のクライアントプロセスが同じファイルを同時に更新できるようにしなければならない。あるクライアントのファイル更新によって別のクライアントの参照や更新が妨害されてはならない。そのため並行性制御やロックをファイルシステムに組み込むか、追加プロトコルに組み込む必要がある。

5. 分散データストア
-----------

分散データストアとは、ユーザーが自身の情報を複数のノードに格納しておくことを指す概念で、分散データベースとして実装される場合と複数のユーザーがP2Pネットワーク上で情報を格納する場合がある。

5.1. 分散データベース
-------------

分散データベースとしての分散データストアは関係データベースではなく、多数のノードがあるデータに素早くアクセスできる。例えば、GoogleのBigTableがあるが、これは分散ファイルシステムあるいはP2Pネットワークに近い。他にも、Amazon.com の Dynamo、Windows Azure Storage などがある。

任意のクエリを可能にすることは可用性ほど重要視されないので、分散データストアは一貫性を犠牲にして可用性を向上させる設計を採用することが多い。しかし、高速な読み書きを可能にすると一貫性が低下するので、CAP定理で証明されている通り、一貫性、可用性、分断耐性を同時に保証することはできない。

5.2. P2Pネットワークによるデータストア
-----------------------

P2Pネットワークのデータストアでは、ユーザーは互いに自らのコンピュータをストレージノードとして提供し、同時に他者のコンピュータをストレージノードとして利用する。ある情報に他のユーザーがアクセスできるかどうかはネットワークの設計に依存する。

多くのP2Pネットワークは、各ユーザーのノードが常にネットワーク上にあるわけではないため、分散データストアを持たない。しかし、BitTorrentなどのシステムではこの区別があいまいとなる。というのも、あるノードがオフラインになってもその内容が相変わらず提供され続けるようになっているためである。なお、これは個々のファイルが再配布者に要求された場合であり、全てのコンピュータが全てのファイルを提供するようになっているFreenetなどのネットワークとは対照的である。

分散データストアでは、誤り検出訂正技法がよく使われる。場合によっては、ファイルの一部が壊れていた場合に前方誤り訂正技法で修復する。そうでない場合は、異なるミラーサイトから同じファイルを再度ダウンロードする。

6. 主なプロトコル
----------

分散ファイルシステムは、レプリケーションによるフォールトトレラント性強化を目指したもの、並列化による性能強化を目指したもの、両方を同時に実現しようと設計されたものがある。

6.1. 分散ファイルシステム
---------------

9P - Plan 9 の通信プロトコル
Amazon Simple Storage Service 
Andrew File System  - カーネギーメロン大学の開発した分散ファイルシステム。NFS version 4 に影響を与えた。実装の1つに OpenAFS がある。
Apple Filing Protocol  - Apple
DCE/DFS - DCEの一部として開発された。AFSの影響を受けている。
MapR FS - ファイル、テーブル、メッセージングAPIが利用可能な高性能分散ファイルシステム。
NetWare Core Protocol  - ノベル
Network File System  - サン・マイクロシステムズ
Self-certifying File System 
Server Message Block  - 元々はIBMだが、多くのバージョンはマイクロソフトによる。//Common Internet File System // とも。
WebDAV : Hypertext Transfer Protocolを拡張し、Webサーバを分散ファイルシステムとして利用するためのプロトコル。

6.1.1. 分散フォールトトレラントファイルシステム
---------------------------

Coda - カーネギーメロン大学  の開発したAFSの後継となる分散ファイルシステム。
Distributed File System  - マイクロソフト。透過性と高可用性を重視。
InterMezzo - HTTP を使った同期。なお、開発者らは Lustre に移行したので、既に開発終了している。
Moose File System 

6.1.2. 分散並列ファイルシステム
-------------------

FhGFS  - フラウンホーファー協会
Parallel Virtual File System

6.1.3. 分散並列フォールトトレラントファイルシステム
-----------------------------

Chiron FS - fuse ベース。既存のファイルシステムを使い、ファイルシステムレベルでの RAID1を実現。ただしプロジェクトは2008年以降低調。
Coherent Remote File System  - Btrfsを使用。開発中。
Gfarmファイルシステム - 産業技術総合研究所の開発したグリッド向け分散ファイルシステム。メタデータには OpenLDAP または PostgreSQL を使用し、マウントには FUSE または LUFS を使用。
Ceph - カリフォルニア大学サンタクルーズ校。Linuxカーネル 2.6.34 にて取り込まれるようになった。
GlusterFS
Google File System - Googleの開発した分散ファイルシステム。
Hadoop - Apache によるGoogleFSクローン
HAMMER/ANVIL - DragonFly BSD
Lustre - ストレージのフェイルオーバーによる高可用性を実現。
PlasmaFS - SunRPC風のプロトコルを採用し、トランザクションAPIを実装。NFSのボリュームとしてもマウント可能で、POSIX互換。データもメタデータもレプリケーション対象。
PNFS  - NFSの最新版
POHMELFS  - POSIX準拠。Linuxカーネル2.6.30から含まれるようになった。
XtreemFS - SSL と X.509 の認証をサポートしており、公衆ネットワークをまたいだ運用が可能。
zFS - IBMのz/OSのファイルシステム。分散トランザクション指向。

6.2. SAN/クラスタファイルシステム
---------------------

CXFS  - シリコングラフィックス 
EMC Celerra HighRoad - EMC
General Parallel File System  - IBM
GFS2  - レッドハット
Oracle ACFS - オラクル
OCFS2  - オラクル
StorNext File System - クアンタム。Xsanと相互運用可能。従来はCVFSと称していた。
Xsan - アップル
VMFS - VMware/EMCコーポレーション

6.3. 分散データストア
-------------

6.3.1. 分散データベース
---------------

Apache Cassandra - Facebook がかつて採用していた。
BigTable - Google
Dynamo - Amazon.com
HBase - Facebook がメッセージングプラットフォームとして採用
Riak
Voldemort

6.3.2. P2Pネットワークによるデータストア
-------------------------

BitTorrent
Chord project
[1] - 匿名性を重視したP2Pファイルシステム
Freenet
[2]：P2Pネットワークソフト
Infinit
[3] - MITのP2Pファイルシステム
NNTP 
[4] - フランスで開発中のP2Pファイルシステム
Storage@home
Tahoe-LAFS
Sia
IPFS
Storj

7. 脚注
-----

8. 関連項目
-------

ファイル共有
Global File System
Gopher
Peer to Peer
分散ハッシュテーブル

9. 外部リンク
--------

[5] インターネットコム
[6]  by Philip S Yeager, Thesis, University of Florida, 2003. 
[7]