日本ソフトウェア科学会第 30 回大会 (2013 年度) 講演論文集

ファイル共有サービスにおけるアクセス傾向予測を用いた分散ストレージシステムの省電力化手法
大越 淳平

長谷部 浩二加藤 和彦

本研究では，ファイル共有サービスにおける分散ストレージシステムの省電力化手法を提案する．ファイル共有サー
ビスの特徴として，大量のデータの逐次的な追加やアクセス傾向の急激な変化が挙げられる．本提案手法では，アップロードされてからの経過時間とそれまでのアクセス数の二つから将来のアクセス傾向を予測し，その予測に基づきデータをディスク上に配置することで，アクセス頻度の高いデータを一部のディスクに集約する．これにより，アクセスの少ないディスクをスピンダウンさせ，システム全体の消費電力を削減する．また本研究では，消費電力および応答時間を，Flickr 上の写真ファイルのアクセスパターンを用いたシミュレーションとプロトタイプの実装により評価し，提案手法の有用性を示す．

レージシステムを対象としており，近年の大規模化す

1 序論

るストレージシステムに対応することは難しい．その近年，クラウドコンピューティングの発展と普及にため，近年ではこれらの研究における基本的なアイデ

伴い，YouTube や Flickr 等のファイル共有サービス

アを，大規模な環境に適用した手法が提案されているに代表される，大規模なインターネットサービスが実[3] [4] [6] ．しかしながら，これらの手法をファイル共用化されている．その一方で，こうしたサービスを有サービスに適用することを考えた場合，次の 2 点運用するデータセンターの運用コストの増加が問題において解決すべき課題を残している．第一に，多くとなっており，その削減が課題となっている．特に，の研究はディスク台数やストレージシステムに格納さIT 機器においてストレージの占める消費電力の割合れるデータ量が固定的であると仮定している．しかが高いことから，ストレージの省電力化が運用コストしながら，ファイル共有サービスではクライアントにの削減において有効であると考えられる．

よって大量のデータが逐次的にアップロードされてお初期のストレージシステムの省電力化手法

り，提案するストレージシステムには格納されるデーと し て MAID（Massive Arrays of Idle Disks）

タ量に応じた高いスケーラビリティが要求される．

[1]，PDC（Popular Data Concentration）[10]，DIV

第二に，多くの手法がアクセス頻度やデータの移動（DIVerted accesses） [11] 等が挙げられる．しかし，を管理する中央コントローラの存在を仮定している．

これらの初期の手法は数台から数十台の小規模なスト

しかしながら，大規模化するストレージシステムを考慮した場合，ボトルネックや単一障害点の観点から，

Power-Aware Distributed Storage Systems for File
Sharing Services Using Data Access Prediction.
Jumpei Okoshi, 筑波大学大学院システム情報工学研究科コンピュータサイエンス専攻, Department of Computer
Science, Graduate School of Systems and Information Engineering, University of Tsukuba.
Koji Hasebe, Kazuhiko Kato, 筑波大学システム情報系情報工学域, Division of Information Engineering,
Faculty of Engineering, Information and Systems,
University of Tsukuba.

中央コントローラを廃したストレージシステムが望ましい．
これらの課題に対応すべく，我々は手法 [8] を提案した．この手法は，PDC のアイデアを大規模な分散ストレージシステムに適用させたものであり，各ディ
スクは直近のアクセス回数（例えば，直近 200 時間のアクセス数の累積）に基づき自律的にデータの交換

を他のディスクと行う．これにより，一部のディスク

ス数の二つから，将来のアクセス傾向を予測する．そにアクセスを集約し，一定時間アクセスのないディス

して，その予測されたアクセス傾向に基づきデータ

クをスピンダウンさせることで，システム全体の消費をディスク上に配置することで，アクセス頻度の高電力を削減する．しかしながら，Flickr にアップロー

いデータを一部のディスクに集約する．これにより，ドされた写真データの分析により，アクセス傾向に関アクセスの少ないディスクをスピンダウンさせ，シスする次の三つの特徴が明らかとなった．第一に，アクテム全体の消費電力を削減する．我々が過去に提案しセスと経過時間には強い負の相関が存在し，時間の経た手法 [9] では，前述の手法の省電力性をディスクの過とともに急激にアクセス回数は減少する．第二に，稼働時間によって評価していたが，本論文ではディスアクセスは一部のファイルに集中しており，過去にア

クの電力消費モデルを組み込むことでより現実に近クセスの多いファイルは継続してアクセスされる傾い評価を行なっている．また本研究では，消費電力と向にある．第三に，アクセス頻度の低いデータに対し応答時間を，前述の Flickr 上にアップロードされたてもランダム性の高い一定のアクセスが生じている．

写真ファイルのアクセスパターンを用いたシミュレー

過去の提案手法では，時間的局所性を利用し，直近のションとプロトタイプの実装により評価し，本提案手

アクセス数にのみ注目し負荷の集約を行なっていた．

法の有用性を示す．

しかしながら，直近のアクセス数のみでは，データが本研究では，Flickr にアップロードされた写真デー

アップロードされてからの経過時間が考慮されておタのアクセスパターンを用いて，シミュレーションとらず，第一の特徴である時間の経過に伴う急激なアクプロトタイプの実装により提案手法を評価した．シ

セス回数の減少がアクセス頻度の算出に反映されてミュレーションでは，ストレージシステム全体の消費いない．また，直近にアクセスのないデータであって電力とスピンダウンしているディスクへのアクセス数

も，過去にアクセスのあったデータはそれ以降においを計測することで，提案手法の省電力性と応答性をてもアクセスされる傾向にあり，第二，第三の特徴を評価した．プロトタイプの実装では，クライアントか

アクセス頻度に反映させるためにも，直近のアクセス

らのアクセスの応答時間を測定することで，提案手数のみによるアクセス頻度の算出では不十分である

法の応答性およびデータの交換が応答性に与える影と考えられる．したがって，前述の三つの特徴を考慮

響を評価した．それらの評価より，提案手法によってし，より高い精度でアクセス頻度を算出することで，17.3%の消費電力の削減とデータの交換によるわずか

さらなる省電力化が実現可能であると考えられる．

な応答性の悪化が観察された．一方で，スピンダウン

そこで本研究では，Flickr にアップロードされた写しているディスクへのアクセスにより，応答性の悪化

真データのアクセスパターンを分析し，より高い精度が観察された．

でデータのアクセス頻度を算出することで，スピンダ

本論文は，次の構成に従う．第 2 章では，関連研究

ウンしているディスクへのアクセスによる応答性の悪について述べる．第 3 章では，Flickr にアップロード

化を防ぎつつ，さらなる省電力化を達成する手法をされた写真データの分析結果について述べる．第 4 章

提案する．写真データのアクセスパターンは，Flickr

では，システム構成について説明する．第 5 章では，にアップロードされた 50,000 枚の写真データの 1 時

本研究で想定するディスクのモデルについて述べる．

間毎のアクセス回数を計測することにより収集した．
また，この計測には Flickr の Web API†1 を用いて

第 6 章では，シミュレーションとその結果について述

おり，およそ 6ヶ月にわたりアクセス回数を計測した．

のプロトタイプの実装とその実験結果について述べ

本提案手法では，この分析結果を用いて，データがる．第 8 章では，結論と今後の課題について述べる．

アップロードされてからの経過時間と過去のアクセ†1 http://www.flickr.com/services/api/

べる．第 7 では，クラスターマシンを用いた提案手法

を Hot Zone と Cold Zone に分類し，データのアク2 関連研究セス頻度に応じて各 zone にデータを格納することでストレージシステムの省電力化は，過去の研究によ

消費電力を削減している．

り多くの手法が提案されている．これらの手法に共通

本研究は，PDC のアイデアを大規模な分散スト

して見られる基本的なアイデアは，アクセスを集約

レージシステムに適用するものである．本研究の特し，アクセスのないディスクを省電力モードに移行さ徴として，次の 2 点が挙げられる．第一に，大量のせるというものである．より詳細には，アクセスの集

データの逐次的な追加に対応している点である．過約の方法により，次の 3 つのカテゴリに分類される．

去の研究の多くは，ディスク台数やデータ量が固定的第一のカテゴリは，アクセス頻度に着目した手法でであり，本研究で想定するファイル共有サービスにそあり，MAID [1] や PDC [10] が該当する．MAID はのまま適用させることは難しい．本研究では，その点一部のディスクをキャッシュとして用いることにより，を考慮し，クライアントからのデータのアップロード

キャッシュディスクにアクセスを集約し，他のディスに応じて，動的にディスク台数が調整されるストレー

クへのアクセスを抑制する手法である．PDC は定期

ジシステムを提案している．第二に，アクセス傾向の的にデータの再配置を行い，アクセス頻度順にデータ

急激な変化に対応した点である．Flickr や YouTube

をディスクに格納することにより，一部のディスクににアップロードされたデータは，時間の経過に伴い急アクセスを集約する手法である．

激にアクセス傾向が変化する．過去の研究の多くは，第二のカテゴリは，NVRAM（Non-Volatile Ran-

その特徴が十分に考慮されていない．本研究では，アdom Access Memory）を用いた手法であり，Perga-

クセス傾向予測を導入することにより，将来のアクセ

mum [13] が該当する．Pergamum は，ディスクへのス傾向を予測することで，効率的なデータの移動と省アクセスやファイルのメタデータを NVRAM にキャッ電力化を実現している．

シュすることにより，ディスクへのアクセスを抑制する手法である．

3 Flickr における写真データの分析

第三のカテゴリは，データの冗長性に着目した手法

本章では，Flickr にアップロードされた写真データ

であり DIV [11] や PARAID（Power-Aware RAID）のアクセス傾向の分析結果について述べる．本研究[14] が該当する．DIV は，オリジナルデータと冗長

ではこの分析結果に基づき，写真データのアクセス

データを異なったディスクに配置し，アクセスの割傾向の予測を試みた．提案手法において，この予測

り当てを工夫することにより消費電力を削減する．

されたアクセス傾向に基づきデータをディスク上にPARAID は，RAID 環境においてデータの配置を工配置することで，効率的なアクセスの集約と省電力夫することにより，負荷に応じて使用ディスク台数の化を達成している．分析対象となるデータは，Flickr

動的な変更を可能にしている．

にアップロードされた 50,000 枚の写真データの 1 時

前述の手法は研究初期の省電力化手法であり，その間毎のアクセス回数である．アクセスパターンの収多くは少ないディスク台数を前提とした手法である．

集は，Flickr の Web API を用いて 6ヶ月にわたり行

近年では，大規模化するストレージシステムを対象となった．本研究におけるシミュレーションと実装の評した手法も多く提案されている．Harnik らの手法 [3]価においても，収集したアクセスパターンをワーク

では，DIV のアイデアを大規模な分散ストレージにロードとして用いている．

応用することで，すべてのデータへのアクセスを保証

図 1 は，Flickr にアップロードされた写真データ

しつつ省電力化を達成している．Hasebe らの手法 [4]の 1 時間毎の平均アクセス回数の推移を示している．

では，DHT 上の仮想ノードを用いた物理ディスクに

図より，アップロードされてからの経過時間とアクセ

おけるデータの動的な移動により，使用ディスク台数

ス回数の間に強い負の相関が観察される．特に，アッを抑制している．Kaushik らの手法 [6] では，サーバ

プロード直後からの減少は大きく，最初の 1 時間の平

Potential future access

−1

10

−2

10

−3

10

5000
0
6000
4000
4000

−4

10

0

1000 2000 3000 4000 5000 6000 7000
Time (hour)
図1

Cumulative number of accesses

10000

2000

Elapsed time (hour)

平均アクセス数の推移

図3

Potential future accessAverage number of accesses per hour

0

10

4

10

2

10

0

10

5
4

2000

3

4000

2

6000
Time (hour)
図2

4

0
6000
2000

4000
4000

Elapsed time (hour)
図4

均アクセス回数は 6.7 · 10−1 回である一方，1,000 時−3間経過後には平均アクセス回数が 5.9 · 10

将来のアクセス傾向

5000

1

アクセス頻度の偏り

Access (past)

10000

x 10

Photos

2000
6000

2000
6000

Access (past)

平滑化したデータ

後にアクセスが集中していることに加え，それらのアまで減少

クセスが一部のファイルに集中していることが観察する．また，アップロード後に一貫してアクセス回数される．また，多くのファイルはアップロードされては減少するものの，7,000 時間経過後の平均アクセス

からほとんどアクセスされず，7,000 時間後において−4

回数は 3.2 · 10であり，時間の経過とは独立したア

クセスの存在が観察される．

19.6%のファイルは一度もアクセスされず，68.8%のファイルは 10 回以下のアクセスであった．

図 2 は，Flickr にアップロードされた写真データに

図 1 および図 2 より，Flickr にアップロードされ対するアクセスの偏りを示している．この図は，アッた写真データのアクセス傾向に関して，次の 2 点がプロードされてからの累積のアクセス回数を各写真

明らかとなった．第一に，アクセス数と経過時間にはごとにソートして示している．なお，z 軸に対数を用

強い負の相関が存在する一方，経過時間によらない一いているため，アクセス回数が 0 のファイルの累積

定のアクセスが存在する．第二に，経過の時間とは独

アクセス回数は図中に表示されていない．図より，時立したそれらのアクセスも，多くは一部のファイルに

間の経過に伴い累積のアクセス回数が増加するファイ

集中している．

ルが少ないことから，図 1 と同様にアップロード直本研究では前述の傾向を踏まえ，アップロードされクライアント
・・・
書き込み

読み込み

（2）ファイルの交換

ディスク群A・・・（1）ディスクの移動

空のディスクの追加

D(1, 1) D(1, 2) D(1, 3) D(1, 4)（3）ディスクの移動
D(2, 1) D(2, 2) D(2, 3) D(2, 4)

・・・

D(3, 1) D(3, 2) D(3, 3) D(3, 4)

ディスク群C
空のディスクの移動

図5

ディスク群B

システム構成てからの経過時間と過去のアクセス回数から将来の群 A のいずれかのディスクに対して行われ，空き容アクセス傾向の予測を試みた．図 3 は，Flickr にアッ

量のなくなったディスクはディスク群 B に移動する

プロードされた写真データのアップロードされてか（図 5 中の（1））．また，ディスクの移動に応じて新らの経過時間（Time（hour）），それまでのアクセス

たな空のディスクがディスク群 C より追加され，ディ

回数（Access（past））および予測されたアクセス傾

スク台数は一定に保たれる．

向（Access（future））の関係を示している．この図ディスク群 A より移動したディスクはディスク群

は，生のデータを近傍 2,500 地点の平均で平滑化（図B を構成し，このディスク群においてディスクは論

4 に平滑化したデータを示す）し，さらに各時間ごと

理的に矩形状に配置される．ここで，i 行 j 列のディに最小二乗法を用いて累乗関数で近似することによ

スクを D(i, j) と表記する．新たなディスクがディスり生成している（なお，生のデータの z 軸は，各経過

ク群 A より追加された場合，そのディスクは D(1, 1)

時間における将来 1,000 時間のアクセス回数の累積でとなり，1 行目に存在したディスクは列番号が 1 増加ある）．この図を用いて将来のアクセス傾向を予測することで，提案手法における効率的なデータの移動とする．また，j の最大値は（例えば，ディスク群 B の√ディスク台数を N とした場合，j = ⌊ N ⌋ などと）省電力化を実現する．

あらかじめ定められており，その値を超えた場合，その行において一番大きな列番号を有するディスクは，

4 システム構成

それより小さい列番号を有するディスクとアクセス頻

提案するシステムの構成を図 5 に示す．提案する度に着目したデータの交換を行い，アクセス頻度の小システムは数千台のディスクで構成され，それらの各

さいデータを集約する（図 5 中の（2））．より具体的

ディスクはディスク群 A，ディスク群 B およびディには，次のステップに従い，データの交換を行う．

スク群 C のいずれかに分類される．初期の状態では，

Step 1 末尾より前の各ディスクの空き容量の合計

ディスク群 A に数台のディスク（ディスク台数はデーを算出し，末尾のディスクの全データを前の

タの流入量により決定される），ディスク群 B に 0 台

ディスクに移動可能か判定する．可能であれのディスク，ディスク群 C に残りのディスクが格納ば末尾のディスクに格納されたデータを先頭される．

のディスクから各ディスクに順に移動し，末クライアントからのデータの書き込みは，ディスク

尾のディスクを空にした後，末尾のディスク

ダウンさせ，スタンバイモードに移行させることにより行われる．しかし，ディスクのスピンアップには数
Idle

Spindown

Standby

秒から十数秒の時間を要し，またその消費電力も大きいため，スタンバイ時間を十分に継続できない場合，

Seek

Spinup

消費電力の増加と応答性の悪化を招く．
ディスクのアクセス時間（ディスクへのアクセスが開始されてからデータの読み書きが終了するまでのActive時間）Tacs は次の式で表される [2].

Tacs = Tsk + Trt + Ttf
図6

ディスクの状態遷移

ここで，Tsk はシーク時間，Trt は回転遅延，Ttf はデータの転送時間である．これより，ディスクの応答をディスク群 C に移動させ処理を終了する．
可能でない場合，処理を継続する．

Step 2 末尾より前の各ディスクに格納されている
データと末尾のディスクに格納されているデータを将来のアクセス傾向順にソートする．

Step 3 末尾より前の各ディスクに格納されているア
クセス傾向の最も低いデータと，末尾のディ
スクに格納されているアクセス傾向の最も高いデータを比較し，前者のアクセス傾向が高い場合データの交換を行う．なお，データの交換が可能な限り，この処理を継続する．
その後，末尾のディスクは次の行の先頭に移動する（図 5 中の（3））．以上の一連の手続きにより，各ディ
スクにデータがアクセス頻度順に格納される（この場合，i や j が小さいほどアクセス頻度の高いデータが集約される）．また，ディスク群 B に所属するディ
スクは，一定時間（例えば 30 秒など）アクセスがな
ければスピンダウンし，消費電力の削減を行う．

5 ディスクの消費電力モデル
本章では，本研究で用いるディスクの消費電力モデ
ルとディスクの消費電力の特性について述べる．
図 6 にディスクの状態遷移図を示す．ディスクには，データの読み書きが行われずプラッタが回転を継続するアイドルモード，データの読み書きが行われているアクティブモード，プラッタが回転を止めている
スタンバイモードの 3 つの状態が存在する．ディス
クの省電力化は，アイドルモードのディスクをスピン

時間（ディスクへのアクセスが生じてからデータの読み書きが終了するまでの時間）Trp は，ディスクの状
態に応じて次の式で表される．



Tacs



Trp = Tup + TacsTq + Tacs

(I)
(II)
(III)

ここで，Tup はディスクのスピンアップ時間，Tq は前のアクセスの終了待ち時間である．
（I）はアイドル
モードのディスクにアクセスが生じた場合であり，応答時間はアクセス時間と一致する．
（II）はスタンバ
イモードのディスクにアクセスが生じた場合であり，ディスクのスピンアップ時間が（I）に加わる．
（III）はアクティブモードのディスクにアクセスが生じた場
合であり，前のアクセスが終了するまでの時間が（I）に加わる．読み書きを行うデータが数 MB であると仮定すると，Tsk ，Trt ，Ttf はいずれも数 ms から数
十 ms となり，Tup が数秒から数十秒の時間を要することを考えると，ディスクのスピンアップは応答時間において大きな遅延を生じさせることとなる．
表 1 にディスクのパラメータを示す †2 ．T は，最th

後のアクセスが終了してからスピンダウンまでのア
イドル時間を示す．したがって，ディスクは Tth の時
間アイドルモードを継続した場合，省電力のためスタ
ンバイモードに移行する．この値にはブレイクイーブ
ンタイム [7] と呼ばれる値を設定した．ブレイクイー†2 各値は Seagate 製の ST500DM002 のプロダクトマ
ニュアルより設定した．

表1とが保証されているためであり，また，最悪のタイミ

ディスクのパラメータ

ングでアクセスされる場合において消費電力が最小

記述

意味

値

Pid

アイドル時の消費電力

5W

れる [5]．まず，次のアクセスのタイミングを正確にPsb

スタンバイ時の消費電力

0.79 W

予測でき，理想的な電力制御を行える場合，ディスク

Pac

アクティブ時の消費電力

6.57 Wの各アクセス間の消費電力は T · Pid もしくは Eup のPsk

シーク時の消費電力

6.57 W

小さい値となる．ここで，T はアクセスの間隔，Eup

Pup

スピンアップ時の消費電力

24 W

はスピンアップに要する電力である．前者はアクセ

Tsk

平均シーク時間

8.5 msスの間隔がブレイクイーブンタイムより短い場合で，Tup

スピンアップ時間

8,500 ms

ディスクはアイドルモードを継続する．後者はアクセ

Trt

平均回転遅延4.16 msスの間隔がブレイクイーブンタイムより長い場合で，Tq

前のアクセスによる遅延-

ディスクはアクセス終了後，即座にスピンダウンす

Ttf

データの転送時間-

る．続いて，Tth を設定しディスクをスタンバイモー

Dra

ディスク内転送速度

125 MB/s

ドに移行させる場合を考える．Tth の値は，
（1）ブレ

Dsi

ディスクサイズ

500 GB

イクイーブンタイムより小さい値，（2）ブレイクイー

Tth

アイドル時間のしきい値

47 s

ブンタイムと同じ値，（3）ブレイクイーブンタイムよ化されるためである．そしてこれは次のように説明さり大きい値のいずれかとなる．そして，最も消費電力
ブンタイムとは，ディスクのスピンダウンが消費電力が大きくなるアクセスのパターン，すなわち，スピン

において中立となる時間であり，次のアクセスまでのダウン直後にアクセスが生じる場合を考える．
（1）の時間がブレイクイーブンタイムと等しい場合，スピン場合，アクセスを正確に予測できるディスクの消費電

ダウンを行いスタンバイモードを継続した場合の消力は T · Pid であり，Tth でスピンダウンするディス

費電力とアイドルモードを継続した場合の消費電力

クの消費電力は Tth · Pid + Eup である．したがって，が一致する．また，ブレイクイーブンタイム Tbe は次スピンアップに要する時間を無視すると Tth = T とのように求まるものとする [7]．ただし，ディスクのなり，理想的な電力制御より Eup の電力が必要とな

スピンダウンは即座に行われるものとし，その消費電る．加えて，任意の Tth において Eup が必要となる力はスタンバイモードの消費電力と等しいものと仮ことは変わらないものの，Tth を小さくすることで単min
定する．Tbe は，Tup と Tsbの和であり，

位時間あたりのスピンアップ回数が増加し，消費電min
Tbe = Tsb
+ Tup

(1)

力の増加を招くため，（2）の Tth = Tbe とすることで単位時間あたりのスピンアップ回数を最小化できる．

minとなる．ただし，Tsb
はスタンバイモードに移行した場合とアイドルモードを継続した場合の消費電力が等しくなるスタンバイモードの最小の継続時間であり，（3）の場合，アクセスを正確に予測できるディスクの消費電力は Eup であり，Tth でスピンダウンする
ディスクの消費電力は Tth · Pid + Eup となる．したがって，Tth · Pid の電力が理想的な場合より必要とな

minmin
Psb · Tsb
+ Pup · Tup = Pid (Tsb
+ Tup )

(2)を満たす．式（1）および式（2）より，

Tbe =Pup · Tup − Psb · Tup
Pid − Psb

る．これは Tth を小さくすることによって削減でき，（1）の場合と同様に（2）の Tth = Tbe とすることで消費電力が最小化される．以上の議論により，（2）のTth = Tbe とすることで最悪なタイミングでのアクセを得る．また，Tth にブレイクイーブンタイムを設定

スパターンにおいて消費電力を最小化することが可する理由は，任意のアクセスにおいて最も理想的な電能となる．一方，Tth = Tbe とした際の理想的なディ

力制御を行った場合の電力消費の 2 倍を超えないこ

スクの消費電力は Eup (= T · Pid ) で，Tth でスピン

Power consumption reduction rate (%)

Power consumption reduction rate (%)

100
80
60
40
20
0
−20 0
10

1

2

10
10
Number of accesses per hour
図7

3

10

アクセスと消費電力の削減率

20
15
10
5
0
−5
0

Proposed method
No data exchange
1000

図8

2000
3000
Time (hour)

4000

5000

消費電力の削減率ダウンするディスクの消費電力は Tth · Pid + Eup でクとした（なお，本シミュレーションではディスク群

あり，Tth = Tbe = T であるため，理想的なディスク

A およびディスク群 C のディスクの消費電力は考慮の 2 倍の電力消費となる．

しない）．各ディスクの仕様は表 1 に従うものとする．

図 7 は，生成した消費電力モデルを用いて 1 台のネットワークの速度は 60 MB/s とした．写真データ

ディスクに 1 時間の間にランダムなタイミングでアクは Flickr のレポートに従い，1 分間に 3,000 枚がアッセスを与えた時の消費電力の挙動を示している．横軸

プロードされるものとし，ファイルサイズは我々の測が 1 時間あたりのアクセス回数，縦軸がスピンダウンを行うことによる消費電力の削減率である．なお，

定結果に基づき一律で 2,330 KB とした．また，ディ√スク群 B において各段のディスク台数は ⌊ N ⌋（N

パラメータの設定は表 1 に従う．この図より，1 時間

はディスク群 B に格納されているディスク台数）にあたりのアクセス回数が 10 回以下である場合，スピ調整されるものとし，この値よりディスク台数が増加

ンダウンを行うことによって 60%以上の消費電力がした際は第 4 章で述べたステップに従いディスク間で削減されることが観察される．その一方で，1 時間あ

データの交換を行った後，次の行の先頭に末尾のディ

たりのアクセス回数が 100 回程度となると，削減率

スクが移動する．なお，格段におけるディスク台数のが 0 より小さくなり消費電力の増加が観察される．こ調整は，24 時間に一度の頻度で行われるものとする．

れは，スピンダウン後，消費電力を削減するために十図 8 にディスクの消費電力の削減率の推移を示す．

分なスタンバイモードを継続できず，スピンアップに

縦軸は，すべてのディスクを常時稼動させた際と比よって消費電力が増加したことを示している．それ以較した消費電力の削減率である．また，図中の “Pro-

降は，アクセス回数の増加に伴いスピンダウンそのもposed method” は提案手法，“No data exchange” はのの回数が減少し，消費電力の削減率は 0 に近づく．

提案手法においてファイルの交換を行わず 47 秒のアイドル時間でスピンダウンする場合を示している．

6 シミュレーション

この図より，5,000 時間経過後には，提案手法におい本研究におけるシミュレーションでは，消費電力とて 17.3%の消費電力の削減が観察される．一方，“No

スピンダウンしているディスクへのアクセス数を計測

data exchange” の削減率は 4.4%であり，ディスク間することで提案手法の省電力性と応答性を評価した．

におけるデータの交換が消費電力の削減において効シミュレーションで想定する環境を次に述べる．

果的に作用している様子が観察される．

ディスク群 A のディスク台数は数台とし，ディスク群

図 9 に全アクセスに占めるスピンダウンしている

B は初期状態で 0 台，ディスク群 C は無数のディスディスクへのアクセス数の比率の推移を示す．5,000

Maximum (ms)

Proposed method
No data exchange

0.6
0.5

400
200

0.4

0
0

0.3

80

Average (ms)Ratio of access for spin−down disks (%)

0.7

0.2
0.1

図9

0
0

1000

2000
3000
Time (hour)

4000

全アクセスにしめるスピンダウンしているディスク

4000

6000

2000

4000
Time (ms)

6000

60
40
20
0

5000

2000

図 10

応答時間の推移（1,000 時間経過後の最もアクセ

へのアクセスの比率

ス頻度の高い 10 台）とが観察される．これらのアクセスは，ディスクのス
ピンアップのために 8,500 ms 以上の遅延が生じることが予測される．

7 実装
本研究では，クラスターマシン（Dual Xeon 3.6

GHz, 2 GB Memory, 36 GB SCSI）10 台を用いてAverage (ms)スピンダウンしているディスクへのアクセスであるこ

Maximum (ms)

時間経過後には，全アクセスの 0.57%のアクセスが
10000
5000
0
0

6000

2000

4000
Time (ms)

6000

5000
0
0

で提案手法の応答性およびデータの交換が応答性にのディスク容量は 36 GB であるが，同一のファイル

4000

10000

プロトタイプの実装を行い，応答時間を測定すること与える影響を評価した．実験環境において，各サーバ

2000

図 11

応答時間の推移（1000 時間経過後の最もアクセス頻度の低い 10 台）に対して読み書きを行うことで仮想的に 500 GB の容量があるものとした．また，実験環境におけるネッ頻度の最も高いファイル群が格納されており，図より

トワーク帯域の制約により，応答時間はディスクからディスクがスピンダウンしている様子は観察されなメモリ中にファイルが展開されるまでの時間を計測しい．また，図中の点線はこのディスクが含まれる行のた．加えて，現在の（各サーバに搭載されるディスク

末尾のディスクによりファイルの交換が開始された時

台数は 1 台で，OS がインストールされている）環境点を示しており，ファイルの交換によりわずかに応答

では実際にディスクをスピンダウンさせることが困難

性が悪化している様子が観察される．平均応答時間であるため，スピンダウンはアクセスがなされた際は，0–3600 ms の区間で 40.7 ms，3601–7200 ms のにプログラム上で遅延を生じさせることにより実現

区間で 58.2 ms，全区間で 49.5 ms であった．

した．

図 11 は，1,000 時間経過後のディスク群 B におい

図 10 は，1,000 時間経過後のディスク群 B において，最後の行の末尾から 10 台のディスクの応答時間て，第一行目の先頭から 10 台のディスクの応答時間の推移を示している．これらのディスクにはアクセスの推移を示している．これらのディスクにはアクセス頻度の最も低いファイル群が格納されており，図より

8,000 ms を越える遅延が複数回観察される．これはスタンバイモードのディスクに対してアクセスが生じ，ディスクのスピアップによってアクセスが遅延しているためである．

8 結論と今後の課題
本研究では，Flickr や YouTube に代表されるファ
イル共有サービスのストレージシステムを対象とした省電力化手法を提案した．本研究は PDC のアイデ
アを大規模な分散システムに適用させたものであり，
定期的なデータの移動によりアクセス頻度順にディスクにデータを配置する．PDC と比較し，ファイル共
有サービスの特徴である逐次的な大量のデータの追加と，アップロードされたデータの急激なアクセス頻度の変化に対応した点において大きく異なる．また，過去の提案手法 [8] と比較し，データのアクセス傾向予測を導入することにより，効率的なデータの移動と省電力化を実現している．
また本研究では，Flickr にアップロードされた写真
データのアクセスパターンを用いて，提案手法をシ
ミュレーションとプロトタイプの実装により評価した．評価において，17.3%の消費電力の削減と十分な応答性が観察された．一方で，一部のスピンダウンしたディスクに対するアクセスにより，応答性の悪化が確認された．
今後の課題として，Chord [12] に代表される分散
ハッシュテーブルを組み込んだインデックスの実現
や，交換アルゴリズムの改善によるさらなる省電力や応答性の向上が挙げられる．

参 考 文 献[ 1 ] Colarelli, D. and Grunwald, D.: Massive arraysof idle disks for storage archives, Proceedings of the2002 ACM/IEEE conference on Supercomputing,
Supercomputing’02, 2002, pp. 1–11.
[ 2 ] Deng, Y.: What is the future of disk drives,
death or rebirth?, ACM Comput. Surv., Vol. 43,
No. 3(2011), pp. 23:1–23:27.
[ 3 ] Harnik, D., Naor, D., and Segall, I.: Low
power mode in cloud storage systems, Proceedings ofthe 2009 IEEE International Symposium on Parallel&Distributed Processing, IPDPS ’09, 2009, pp. 1–

8.
[ 4 ] Hasebe, K., Niwa, T., Sugiki, A., and Kato, K.:
Power-Saving in Large-Scale Storage Systems with
Data Migration, Proceedings of the 2010 IEEE Second International Conference on Cloud Computing
Technology and Science, CLOUDCOM ’10, 2010,
pp. 266–273.
[ 5 ] Irani, S., Singh, G., Shukla, S. K., and Gupta,
R. K.: An overview of the competitive and adversarial approaches to designing dynamic power management strategies, IEEE Trans. Very Large Scale
Integr. Syst., Vol. 13, No. 12(2005), pp. 1349–1361.
[ 6 ] Kaushik, R. T. and Bhandarkar, M.: GreenHDFS: towards an energy-conserving, storageeﬃcient, hybrid Hadoop compute cluster, Proceedings of the 2010 international conference on Poweraware computing and systems, HotPower’10, 2010,
pp. 1–9.
[ 7 ] Lu, Y.-H., Chung, E.-Y., Šimunić, T., Benini,L., and De Micheli, G.: Quantitative comparison of
power management algorithms, Proceedings of theconference on Design, automation and test in Europe, DATE ’00, 2000, pp. 20–26.
[ 8 ] Okoshi, J., Hasebe, K., and Kato, K.: PowerAware Autonomous Distributed Storage Systems
for Internet Hosting Service Platforms, 3rt International Conference on Cloud Computing, CloudComp’12, 10 pages, 2012.
[ 9 ] Okoshi, J., Hasebe, K., and Kato, K.: PowerSaving in Storage Systems for Internet Hosting Services with Data Access Prediction, 4th International
Green Computing Conference, IGCC’13, 10 pages,
2013.
[10] Pinheiro, E. and Bianchini, R.: Energy conservation techniques for disk array-based servers, Proceedings of the 18th annual international conferenceon Supercomputing, ICS’04, 2004, pp. 68–78.
[11] Pinheiro, E., Bianchini, R., and Dubnicki, C.:
Exploiting redundancy to conserve energy in storage systems, SIGMETRICS Perform. Eval. Rev.,
Vol. 34, No. 1(2006), pp. 15–26.
[12] Stoica, I., Morris, R., Liben-Nowell, D., Karger,
D. R., Kaashoek, M. F., Dabek, F., and Balakrishnan, H.: Chord: a scalable peer-to-peer lookup protocol for internet applications, IEEE/ACM Trans.
Netw., Vol. 11, No. 1(2003), pp. 17–32.
[13] Storer, M. W., Greenan, K. M., Miller, E. L.,
and Voruganti, K.: Pergamum: replacing tape withenergy eﬃcient, reliable, disk-based archival storage, Proceedings of the 6th USENIX Conference
on File and Storage Technologies, FAST’08, 2008,
pp. 1:1–1:16.
[14] Weddle, C., Oldham, M., Qian, J., Wang, A.I. A., Reiher, P., and Kuenning, G.: PARAID:
A gear-shifting power-aware RAID, Trans. Storage,
Vol. 3, No. 3(2007).