並列データ処理実行時の  統合型  クラスタの動作特性解析
原 明日香

指導教員小口 正人

はじめに実験概要

近年、情報システムにおいて処理される情報量が爆発的に増本研究では、アクセス性能が高い  ディスクをデータの大しており、その中からユーザが必要とする情報を高速に取り読み書きを高速化する ! "# 構成とすることで、高性能なス出すことが求められている。そこで膨大なデータを処理するたトレージを持つディスクを $  ストレージとした 

めに、本研究ではバックエンドとフロントエンドのネットワー統合型  クラスタを構築した。この際に、クラスタ構築管理 統合型  クラスタを構築して利用しツールである !  を用いた。また、クラスタの通信状況をた。ただしアプリケーション実行時にクラスタのノード間通信モニタリングするために % のインストールを同時に行っ

クを統合したや の実行がどのように振舞いシステム性能に影響を与えた。表にクラスタノードのスペックを示す。ているのかなど詳しい解析は行われていない。そこで本研究で表    
   
   !   
" "#$  %& &'' ()& ** +& * × ,-*' ).

モニタを行い解析することによって、  統合型クラスタの詳しい振舞を明らかにする。

 統合型  クラスタ
我々は図のような  を使用した  クラスタにおいて、  を導入することで、図のような &' ( )：は、相関関係抽出などの並列データ処理を実行し、システムの と のネットワークを同じ  ネットワークに統合した
 統合型  クラスタの実現を考えている。ネットワー

クを統合することでネットワーク構築コストと管理コストの削実験結果と考察減が期待出来るが、ネットワーク統合により性能がネットワー

  性能測定  対 クバウンドになる可能性が懸念される。

まず、構築したクラスタの基本性能を測定するために、ハーClient

ClientLLA
A NN

ドディスクベンチマークの * ++ を用いて、$ ディスクと  ディスク ! "# 構成 であるローカルデバイス、LAN&SAN
LAN&SANおよび  ディスク ! "# 構成 を $  ストレージとしServerて 
Server (Initiator)
Storage (Target)

SSAANN
Storage図 通常の  クラスタ

図 統合型  ク

 アクセスと -)

こ の 結 果 か ら 、ロ ー カ ル デ ィ ス ク と し て  デ ィ ス ク
! "# 構成を用いた場合の性能が格段に良いことが分かった。また、 を用いた通信の方がローカルディスクとして$ ディスクを用いた場合よりも性能が良いことが分かっ

相関関係抽出のアルゴリズムとしてよく知られているもの
 アルゴリズムと  らによる アルゴリズムがある。 

 は発見された頻出アイテムセットから候補アイテムセットを生成し、数え上げを行う。 接続させた  の計 , 種類のストレージについて -)

並列データマイニング

対  アクセスを測定した。

ラスタに、  らによる  と $  を は巨大なトランザクションデータベースをコンパクトに圧縮したデータ構造である

  を利用することで、候補パターンを生成せずに頻出パターンを抽出する。

 統合型

並列データマイニング  対 

次に、上記実験と同じ環境で、 アルゴリズムと   アルゴリズムの並列化プログラムについて、アイテム数をとし、トランザクション数が相関関係抽出で扱うデータはしばしば巨大であるため、データベースを分散し計算処理を並列化する必要がある。 

た。これらにより、今回高性能なディスクを クラスタに導入できたということが確認できた。

###.、 .、/.、0. のトランザクションデータを用い、最小サポート値を #12 ％として実行した。



この結果から、 の場合どのクラスタにおいても性能はの並列相関関係抽出のアルゴリズムはいくつか提案されていほとんど変わらず、  の場合ベンチマークで格段に性能がるが、本研究ではハッシュ関数を用いて        

 を並列化するいうこが分かった。この時のモニタリングの結果から、ネット列相関関係抽出のアルゴリズムは、既存研究において提案されワークにはまだ十分余裕があり、  のトラフィックを統た   

合してもネットワークの帯域にあまり影響を与えないことが分を用いる。 良かった  ディスクを用いたクラスタの性能がやや劣ると

 の並を用いる。

かった。また、今回使用した  のプログラムはディスクアると考えられる。

クセス性能やメインメモリ容量の影響を受けにくく、  のプログラムはディスクアクセス性能の影響は受けにくいが、メイ700600ンメモリ容量の影響を受けやすいと考えられる。

 性能測定 500

対 と $  を対が

4M
8M

01:1

2:1

4:1

8:1

Number of iniators versus target

台の $  にアクセスする形が一般的であると考えられる。 、 対 、/ 対 、0 対+PKVKCVQT ኻ 6CTIGV ኻ 2M100

接続していたが、 の使われ方を考えると、数台の 

1M200

これまでの実験においては、  統合型  クラスタの

Number ofTransacon

400
ExecuonTimes[S] 300と $  を対にそれぞれ接続することで、ネットワークと $  に高負荷をかけた環境を構築した。そのシス

図 ,

+PKVKCVQT ኻ 6CTIGV ኻ * ++ と  を実行させたときの  実行 図 / * ++ と  を実行させたときのネットワークトラ時の実行時間

フィック

テムにおいて、 ディスク ! "# 構成 であるローカルデバイス、 ディスク ! "# 構成 を $  ストレージとして接続させた  のストレージについて、ハードディスク
ベンチマーク * ++ を用いて、-)

 アクセス

Iniator  Target  1  1

Iniator  Target  1  1

Iniator  Target 㧞 1

Iniator  Target 㧞 1

Iniator  Target  4  1

Iniator  Target  4  1

Iniator  Target  8  1

Iniator  Target  8  1と -)   アクセスを測定した。
その結果、-)

 アクセスにおいてはどの接続方式においても性能はほとんど変わらず、-)   アクセスにおいては負荷を高くしていくごとに性能が少し低下した。
このとき、ネットワーク帯域にはまだ余裕があり、3 負荷が高くないことから、ネットワークではなく $  のストレー* ++ と  を 図 5

実行させたときの

* ++ と  をの 実 行 さ せ た と き の $  の3 使用率ジ  がボトルネックであると考えられる。

図 4

3 使用率

並列データマイニング  対 * ++ と同様に、 /対、0 対と $  を対 、 対 、でそれぞれ接続することで、ネットワークに高まとめと今後の予定ネットワークと $  に高負荷をかけた 統合型

負荷をかけた環境を構築した。そこで、 アルゴリズムと

 クラスタにおいて、並列データマイニングおよび複数プロ  アルゴリズムの並列化プログラムについて、アイテム数をセスを実行させたときの性能評価を行った。その結果いずれの.、 .、/.、0. のトラ場合においても当初懸念されたネットワークバウンドにはならンザクションデータを用い、最小サポート値を #12 ％として実ず、  統合型  クラスタの柔軟なシステム構成を実現行した。プラットフォームとしては、先の * ++ 実験時とすることが可能である。

### とし、トランザクション数が今後は他のデータ処理アプリケーションを用いシステムの評同じ環境を用いた。
その結果、どちらのプログラムにおいても、負荷の量を変え価を行うことで、  統合型  クラスタの最適化などをた場合においても実行時間はほとんど変わらなかった。このと行っていく。

きネットワーク帯域にはまだ余裕があり、3 使用率が非常参考文献に高くなっていることから、ネットワークではなく の6 7 原明日香、神坂紀久子、山口実靖、小口正人8並列データマ3 がボトルネックであると考えられる。

イニング実行時の複数プロセス  対 

ワーク特性解析89 分散、協調とモバイル " . ##2

次に、* ++ を実行させながら  アルゴリズムと  アルゴリズムの並列データマイニングプログラムについて、アイテム数を### とし、トランザクション数が 統合型  クラスタのネット.、 .、シンポジウム9, 912#42 / 札幌9 ##2 年 2 月
6 7 )  9 :)
 .

:(9 ;) <()9)8;=   > /.、0. のトランザクションデータを用い、最小サポート値を)      ) " ?

#12 ％として実行した。プラットフォームとしては、先の実験 89

時と同じ環境を用いた。

 

その結果、図 , のように高負荷を与えてトランザクションデータ量を増やしていくごとに実行時間が長くなった。このとき図 / に示すようにネットワーク帯域にはまだ余裕があり、図 4および図 5 から、$  における処理が軽いときは、 1 #

$&"" *)

    >  ()

" ##0 9  15, #/ 9  9;(9  ?(*##06,7 原明日香、神坂紀久子、山口実靖、小口正人8  統合の 3 使用率が高く、$  における処理が重いときは、型  クラスタにおける並列データ処理アプリケーション$  のストレージ負荷が高くなっていることから、 実行時の特性解析8 コンピュータシステム研究会 < 9の 3 または $  のストレージ  がボトルネックであ

京都9 ##0 年月