グリッドコンピューティング
ＳＧＩの取り組みと事例紹介
日本SGI株式会社説明概要
 コンピュータ利用技術の新しい動き
 グリッドコンピューティングの概要
 グリッドコンピューティングの事例
 SGIでの取り組みについて
 まとめ

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介2

1

コンピュータ利用技術の新しい動き
 背景

ネットワークと計算機の高速化
Internetの普及
大規模計算の需要の拡大
計算機リソースに対する継続的な要求
システム負荷の問題：“over-load” と “underutilized”
情報システム総合コスト; TCO （total cost ofownership）の低減要求
 より柔軟で、スケーラブルなソリューションへの要求
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

3

広域分散コンピューティング PCによる広域分散コンピューティング

遊休計算機資源の活用
ピア・ツー・ピア技術
 グリッドコンピューティング

広域ネットワーク上に配置された複数の計算資源を利用して分散/並列計算を行うシステムを構築

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介42

PCによる広域分散コンピューティング ピア・ツー・ピア技術で、PCの余剰時間を集め、大規模な計算が可能であることを示す事例
Intel-United Devices CANCER Research
Project
SETI@home 最大級のスーパーコンピュータに匹敵する計算能力
 インターネットやプライベート・ネットワーク上の数百、数千のコンピューターにコンピューティン
グ・タスクを下請けさせるというビジネスモデル
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

5

分散コンピューティングプロジェクト
 SETI@home

インターネットにつながっているコンピュータを使って地球
外知的生命体の探査(SETI：the Search for ExtraTerrestrial Intelligence)を行なう科学実験
無料のプログラムをダウンロードして電波望遠鏡のデータを分析することで、参加することが誰でも参加可能
 Folding@home

スタンフォード大学化学部主催
タンパク質の折りたたみがどのような課程をたどっているかをシミュレートタンパク質の折りたたみメカニズムの解明を目指す
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介63

分散コンピューティングプロジェクト
 United Devices

Intel-United Devices CANCER Research
Project：数種類の病気との関連で重要なたんぱ
く質に、膨大な数の色々な分子がどう作用するか調査し、新しい抗ガン剤・白血病への治療方法等への開発に繋がる物を発見する。（Intel,アメリカ
国立癌研究財団(National Foundation forCancer Research)，全米癌学会(American
Cancer Society)，オックスフォード大学との共同）Intel Philanthropic Peer-to-Peer Program
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

7

ピアツーピアのネットワークの利点 演算タスクが極めて多くのコンピューターに分散 放っておけば空き時間になってしまうコンピューターの時間でピアツーピアの作業処理
 高価なスーパーコンピューターがなくても研究者が複雑な計算を行なったりプログラムを実行できる方法として人気

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介84

ピアツーピアのネットワークの問題点
 一般的な計算機システムの構築は困難

実際の計算を行うコンピューターとの間の情報伝達のための帯域幅が足りない計算に参加する無数のコンピューターに、計算ソフトをインストールしなければならない

人々にソフトをインストールさせるだけでも十分困難だが、企業が、たとえば計算内容をチップの設計からデリバティブ市場の分析に変えたいとき、人々にインストール済みソフト
を新しいソフトと入れ替えてもらうのは更に難しい2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

9

Cell computing TM

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介105

グリッドコンピューティング
概要
一般的な定義ネットワーク上に点在する異機種の計算機システム、
ストレージ、グラフィックスシステムをより効果的、効率的に使用することを目的としたIT技術

グリッドコンピューティングの概要
 1995年頃から、活発な活動
 ネットワークの上の計算機資源（リソース）を共有することを可能とすることを目的とする セキュリティ、リソースマ
ネージメント、異機種コン
ピュータ環境の構築などの分野の研究・開発が要
求される
 多くの大学、研究所、官庁で採用
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介12

6

グリッドコンピューティング
GridInternet

Grid

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

13

グリッドコンピューティングとは?
 その発展の背景は…

“Distributed Computing” – 分散コンピューティン
グ技術の発展
 大規模アプリケーションを多くのシステムに分散させて処理
 システムの‘遊休’リソースを最大限に利用して、ジョブの処理 ネットワークを介した広域分散コンピューティ

ングの可能性の拡大

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介147

市場の要求 どのような問題を解く必要があるのか？

科学技術計算分野で、最大規模の問題を解く

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

15

ユーザの分散 …しかし、そのためには、それに関わる人々がより多く必要であり、その人たちは、広範囲に分散し、また移動している…

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介

16

8

しかし…
 一方、先端的なコンピュータシステムは限定される

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

17

したがって…
 現在では、ユーザは、リモートにあるシステムにログインして、そのシステムを使用することになる…

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介18

9

グリッドコンピューティングとは?
 ネットワーク結合型コンピュータ利用技術の新たな動き
コンピュータリソースをプールし、必要な時に必要なユーザに提供
ユーザは、透過的なアクセスが可能で、必要な時に自由に使用可能Î 電力グリッドが、何処で発電がなされているかを意識することなく、電力を使用できることを可能としていることに対応して、（ Grid
Computing）グリッドコンピューティングと呼ばれている
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

19

グリッドコンピューティングとは?
 何が可能となるのか？

広域ネットワーク上に分散配置された計算資源を仮想的な高性能計算機（メタコンピュータ）と見た
立てて分散・並列計算が可能となるユーザが、コミュニティを形成し、お互いの計算機
リソース（計算能力、データなど）を共有化することで、研究や開発の効率化を図ることを可能となる ネットワークを介したコンピュータの利用技術であり、計算能力自体の向上を図るものは一
般にない
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介20

10

グリッドコンピューティングの各社の見解「ユーザーが膨大な量のコンピューティングパワーを利用できるようにしてくれる非常に高い潜在能力があることから，グリッドが企業の環境で一般的なものとなるのは時間の問題だ」
 「われわれは，これを避けることのできないものだと考えている。移行が避けられないほどに得られるものは非常に多く，企業にとってのメリットは計り知れない。あとは，その時期と所要時間だけの問題だ」


サンのラージアカウントシステム製品グループでグループマーケティ
ングマネジャーのジェフコック氏
「私は“インターネットの次の大きな動きは何か”という質問をよく受ける。これまで私にはその答えがなかった。だが今では，グリッドコンピューティングが次の大きな動きになると強く確信している」
IBMのインターネット戦略担当副社長，ジョン・パトリック氏
21

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

計算機システムレイヤーとマーケット
VolumeBusiness

Grid Application

Core Competency Computing :企業などで、最も他に比べて優れていると考えられる技術・能力を活用したコンピューティングによって、研究、製品開発、ビジュアルコ
ラボレーションなどを実現

HPC

Core
Competency
ComputingWorkstations and networks

IT
infrastructure

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介スケーラビリティ
新しい計算機環境の構築
問題解析のための新たなアプローチ
遊休サイクルアクセス
セキュリティ
22

11

グリッドコンピューティングの価値
Ftp, telnet rlogin etc

クライアントワークステーション

HPC サーバ

現在のコンピューティング(既に過去のもの？)

23

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

グリッドコンピューティング 計算・シュミレーションでのデータの動き
以前の計
算結果

計算結果

データ
計算

前処理
2002/2/26

可視化
ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介24

12

グリッドコンピューティング
 ドメイン間でのデータのやり取り
外部リソースやサードパーティー
自分のローカルなシステム

計算機センターなど（リモート）
2002/2/26

可視化システム
25

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

グリッドコンピューティング 実験装置などからのデータの取り込み
外部リソースやサードパーティー
自分のローカルなシステム

計算機センターなど（リモート）
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介可視化システム26

13

グリッドコンピューティング 他のスーパーコンピュータとの連携

外部リソースやサードパーティー
自分のローカルなシステム

計算機センターなど（リモート）

可視化システム

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

27

グリッド関連プロジェクト
 The Globus Project (Globus ツールキットの開発と提供)
www.globus.org
オープンアーキテクチャ/オープンソース
サービス
 セキュリティ リソース管理 データアクセス

主に、大学、研究所の方々が参加

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介28

14

グリッド関連プロジェクト
 IEEE Task Force on Clustered Computing (TFCC)

the CCGRID2002 International Symposium on
Clustered and Grid Computing のスポンサー
 New Productivity Initiative

www.newproductivity.org
システムベンダー、ソフトベンダー、サービスプロ
バイダーによって構成
 SGI
 HP/Compaq
 Platform
 Terraport その他、多くのベンダー
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

29

グリッドコンピューティングの実績
 NCSA/Max Planc/SDSC/Argonne – Cactus の実

行 (relativistic astrophysics simulation)
3台のOrigin 2000’s (one 256p, two 128p)とIBMの128
nodes ( 1020 p) をATM/OC12ネットワーク で接続 Cactus toolkit/Globus toolkit/MIPCH-G2
 ピークの７０％のスケーラビリティ

 European DataGrid Project

http://www.eu-datagrid.org/
CERN, CNRS, ESRIN,INFN,NIKHEF,PPARCとその他
15 のパートナー
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介30

15

グリッドコンピューティングの実績
 NASA PowerGrid

Information Power Grid (IPG)
政府機関、大学、民間企業の共同プロジェクト
 ASCI Distributed Resource Management Testbed

ローレンスリバモア国立研究所とサンディア国立研究所
計算リソースの統合と運用管理のための試験台

31

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

グリッドコンポーネント／機能概要
Applications and Portals
ScientificEngineering

Languages

Libraries…

Prob. Solving Env.

Collaboration

Web enabled Apps

Development Environments and Tools
Debuggers

Monitoring

Resource Brokers…

Distributed Resources Coupling Services
Security

Information

Process

Resource Trading

Web tools…

Market Info

QoS

Grid
Apps.

Grid
Tools

Grid
Middleware

Local Resource Managers
Queuing Systems

Operating Systems

Libraries & App Kernels…

TCP/IP & UDP

Networked Resources across Organisations
Computers

Clusters

Storage Systems

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介Data Sources…

Grid
FabricScientific Instruments

16グリッドコンポーネント／ツール概要…
…

Applications
ScienceEngineering

Commerce

Portals

ActiveSheet

High-level Services and Tools
DUROC

MPI-G

CC++

Nexus

HeartbeatMonitor…
…

Grid Status

Nimrod/G

globusrun

GRAM

GRACE-TS

Grid
Apps.

Grid
Tools

Core Services

MDS

GASS

DUROC

Condor

GRD

QBank

LSF

PBS

eCash

GlobusSecurity
Interface

GARA

GMD

GBank

Local Services

JVM

TCP

UDP

Linux

Irix

Solaris

Grid
Middleware
Grid
Fabricソフトウエアツール(フリー/オープンソース)
 Globus toolkit (アルゴンヌ国立研究所)

www.globus.org
グリッドアプリケーションのためのサービスツールキット
 Globusリソースアロケーションマネージャ（GRAM）
 グリッドでのセキュリティ機能
 メタコンピューティング用ディレクトリサービス
 2次ストレージに対するグローバルなアクセス Neuxとグローバルなコミュニケーションサービス
 システム間でのハートビートモニター
 各サービスでのAPIの提供

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介34

17

ソフトウエアツール(フリー/オープンソース)
 MPICH-G2

http://www.niu.edu/mpi/
グリッドコンピューティングに対応したMPI v1.1 仕様のMPI
Globusのサービスを使用“globus2” デバイスを使用したMPICH
アルゴンヌ国立研究所から提供

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

35

ソフトウエアツール(フリー/オープンソース)
 Sun Grid Engine ソフトウエア

www.sun.com/gridware
Sunのホームページからダウンロード可能(OpenSource) 基本プロダクト ( Sun Grid Engine Software) は、無料
 Global Resources Director は製品化

クロスプラットフォームのサポート
 Sparc/Solarisと IA-32/Linux Milan Project ( Metacomputing in Large Asynchronous

Networks)
http://www.cs.nyu.edu/milan/milan/
ニューヨーク大学とアリゾナ州立大学
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介36

18

ソフトウエアツール(フリー/オープンソース)


GRACE (Grid Architecture for Computational Economy)
http://www.csse.monash.edu.au/~rajkumar/ecogrid/
Globus上で実行
プラットフォームサポート：
Alpha/Tru64
Intel IA32/Linux 2.2
 MIPS/Irix 6.5
 SPARC/Solaris 7 or 8
 RS/6000/AIX
 Alpha/Digintal Unix 4.0

Condor Project - http://www.cs.wisc.edu/condor
Condorプロジェクトは、ワークステーションの計算パワーのより効果的な使用を目的としたもの
Condorでは、ワークステーションクラスタの運用管理が可能
分散したワークステーションの遊休CPUを使用して、計算の実行を行う
Solaris, IA-32 Linux, IRIX, NT, Digital Unix および HP-UXをサポート

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

37

Entropia – 商用ソフトウエア
 ３つの主要コンポーネント

ネットワークマネージャ
 クライアントのリソースのコントロールとどのクライアン

ト上でどのアプリケーションを実行するかを管理
 GUIベース

ジョブマネージャ ジョブの投入とそのジョブの実行状況のモニター

クライアントソフトウエア
 クライアントマシン上でアプリケーションを実行

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介38

19

グリッドコンピューティング
事例

グリッドコンピューティング事例
 IPG：the NASA Information Power Grid

データベース、計算リソース、実験装置、可視化システムを統合
異種計算機による分散コンピューティングシステ
ムを構築
計算リソースとして、大規模なOriginシステムを使用

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介4020

NASA Information Power Grid (IPG)

http://www.ipg.nasa.gov
ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

41

IPG：the NASA Information Power Grid
 NASAの実績と成果

完全な航空機のシュミレーションMulti-Disciplinary Simulation :より安全性の向上を図る

完全な米国領空のシュミレーション

Multi-Disciplinary Simulation :連成解析や他領域解析などと呼ばれる手法で、一つの解析だけでなく、複数の設計要因や構造を同時に検討するようなシュミ
レーション。近年、航空機設計や自動車設計などの分野において、盛んに用いられている。

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介42

21

Multi-Disciplinary Simulation
Wing Models•Lift Capabilities•Drag Capabilities•ResponsivenessAirframe Models

Stabilizer Models•Deflection capabilities•Responsiveness
Crew Capabilities- accuracy- perception- stamina- re-action times- SOP’sEngine Models•Braking performance•Steering capabilities•Traction•Dampening capabilities

Human Models

Landing Gear Models•Thrust performance•Reverse Thrust performance•Responsiveness•Fuel Consumption

システム全体のシュミレーションは、個々のサブシステムの
AMNH June 14, 2001
シュミレーションを組み合わせて実行される

グリッドコンピューティングの効果
 NASAの実績と成果

リアルタイムでの実験データの収集とそのシュミ
レーション
 空洞実験データの取得
 衛星データの取得

より効率的なリソースの利用
データマイニング

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介44

22

グリッドコンピューティング
Application framework

IPG Services: Uniform access to heterogeneous, distributed resources

IPG によって、計算、データ、実ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介
2002/2/26
験の各リソースが管理される

45

IPG：the NASA Information Power Grid
Lomax
MCAT/ Origin 2000
512p
MDS
DMF
SRB

BoeingCA
O2000

cluster

300 node
Condor pool
MDS

EDC
O2000

NGIX

NREN

ARC

GRC
CMU

NCSA

GSFC
LaRC

JPL
SDSC

O2000

cluster

NTON-II/SuperNet

MSFC

MDS

O2000

JSC

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介

KSC

46

23

大規模分散コンピューティング:
high-lift subsonicwind tunnel model

The research branch of NAS is investigating algorithms that are suitable
for a Grid computing “meta-platform.” One candidate is overset grid codesthat can tolerate timestep mis-matches on the intra-object boundaries. A
version of the OVERFLOW, Navier-Stokes, CFD simulation code is being
modified for this approach. It has been demonstrated operating acrosssystems at ARC, GRC, and LaRC, solving for flow about large test objects
mounted in a wind tunnel.

Glenn
Cleveland, OH

Ames
Moffett Field, CA

Sharp

Langley
Hampton, VA

OVERFLOW on IPG
using Globus and
MPICH-G2 for intraproblem, wide area
communication
Whitcomb

Lomax
512 node SGI Origin 2000

Application POC: Mohammad J. Djomehri

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

47

グリッドコンピューティング事例
 CSAR

マンチェスタ大学に設置された、英国国内の大学に対するHPCサービスを行う機関
Cray T3E, Origin 2000, Origin 3000, ItaniumクラスタおよびFujitsu システムから構成される
 約１５００のスカラプロセッサと８台のベクトルプロセッサから構成

SGIとCrayが提供するCSA (Comprehensive System
Accounting) によって、アカウンティングと課金処理を行っている
ディスク、CPU、テープなど個々のリソース毎に異なった
料金体系

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介48

24

CSARシステム構成図
T3E –816CPUs

Origin 2000

Fujitsu
Vpp3000 - 8

128CPUs

Itaniumcluster

IBM SP
cluster

Origin 3000
512CPUs
Globus運用管理ドメイン
National Service

Origin 2000

マンチェスタ大学構内

128CPUs

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

49

CSARシステム構成図
Metropolitan Area
NetworkGlobus運用
管理ドメイン

Globus運用
管理ドメイン

Daresbury Labs - CCLRC

マンチェスタ大学

英国の研究者が使用出来る計算機システムプロトタイプを構築（EPSRC:The Engineering and Physical Sciences ResearchCouncil)
ユーザがジョブの管理を行える手法の開発
Globusによるグリッドコンピューティングの試験台

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介50

25

DoD HPCMP
 国防総省（DOD）のスパコン・センター更新計画

HPCMP（High Performance Computing
Modernization Program）
 DoD HPCMPのイニシアチブを取る3本柱
高性能コンピューティング(HPC)センター
ネットワーキング
Common High Performance Computing Software
Support Initiative (CHSSI) プラットフォームコンピューティング社 の技術資料：

http://www.platform.com/PDFs/whitepapers/build
inggrids.pdf
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

51

DoD HPCMPの目標
 市販されている最高の高性能HPCシステムを継続的に確保する 共用ソフトウェアツールとプログラミング環境の確保と開発
 DoD高性能コンピューティングのユーザベースの拡張と訓練
 高速ネットワークを介したユーザとコンピュータのリンクと協力的な作業環境の作成の促進
 全国的HPC基盤から生まれる最高のアイデア、ア
ルゴリズム、およびソフトウェアツールの活用
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介52

26

DoD HPCMP 計算機センター
AEDC

Site

LocationType

Arnold Engineering Development
CenterArnold Air Force Base, TN

DC
MSRC

ARL

Army Research Lab

Aberdeen Proving Ground, MD

AFFTC

Air Force Flight Test Center

Edwards Air Force Base, CA

DC

NAVO

Naval Oceanographic OfficeStennis Space Center, MS

MSRC

NRL

Naval Research Laboratory

Washington, DC

DC

RTTC

Redstone Technical Test Center

Redstone Arsenal, AL

DC

SMDC

Space and Missile Defencse Command

Huntsville, AL

DC

SSCSD

Space and Naval Warfare Systems
Center, SD

San Diego, CADC

TARDEC

Tank‑Automotive Research,
Development and Engineering
CenterWarren, MI

DC

WSMR

White Sands Missile Range

White Sands Missile Range, NMDC•4つのMajor Shared Resource Centers (MSRC:主要共有リソースセンター)•17のDistributed Centers (DC:分散センター)
53

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

DoD HPCMP 計算機センター
Site

StatusLSF Cluster Name

System Name

System Configuration

ARL

Activeari‑sgi

Gargole8CPU Origin2000

NAVO

Activenavo‑sgi

odyssey

128 CPU Origin2000

NRL

Activenrl‑metag

Neo

128 CPU Origin3000

RTTC

Activerttc‑sgi

lucy, snoopy

2 x 32 CPU Origin2000

SMDC

Activearc‑sgi

arc22080 CPU Origin2000

TARDEC

Activetacom‑sgi

dracos orion

32 CPU Origin2000
28 CPU Origin2000

WSMR

Activewsmr‑sgi

Deep‑kimchi
Deep‑purple

4 CPU Origin2000
64 CPU Origin2000

AEDC

Inactive

AFFTC

Inactive

SSCSD

Inactive

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介54

27

Confidential
Major Shared Resource Centers (MSRCs)
導入システムとアプリケーション
Organization

Systems

Applications

US Army Research Lab

10 x O2000/O3000
Structural Mechanics,
Total of 1256p
Electromagnetics(includes 3 x 3800/256, total of 768)

Wright-Patterson AFB
Aeronautical Systems Ctr

6 x O2000
Total of 512p

CFD, Electromagnetics

US Army Engineer andDevelopment Center3 x O2000/O3000
Total of 776p
(includes 3800/512)

Structural Mechanics
Climate Modeling

Naval Oceanographic
Office, Stennis

2 x O2000
Total of 136p

CFD, Climate
Modeling

Total

2680p

2002/2/26

55

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

Confidential
Distributed Centers (DCs)
導入システムとアプリケーション
Organization
AAC (MS)

Systems2 x Onyx2
O2000

Total CPUs
68
20

Applications
CFD

AEDC (TN)

O2000

64

CFD

JNTF (CO)

Onyx2
O2000

88
64

FEA

NAWCAD (MD)

Onyx2

64

FEA, CEM, Acoustics

NAWCWD (CA)2 x Onyx2

64

FEA, CEM, Acoustics

NRL (DC)

O2000

128

CFD, Climate, Chemistry

RTTC (AL)

2 x O2000

64

FEA

SMDC (AL)

8 x O2000

320

CFD, FEATARDEC (MI)2 x Onyx2

88

FEA

WSMR (NM)

O2000

128

FEA

MSRC & DC
2002/2/26

48 systems

3840 cpus

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介56

28

リファレンス
Foster, I. & C. Kesselman (eds.), The Grid: Blueprint fora New Computing Infrastructure, Morgan Kauffman
Publishers, Inc., The GLOBUS Project, http://www.globus.org
 Platform Computing, http://www.platform.com
 Global Grid Forum, http://www.gridforum.org
 New Productivity Initiative,
http://www.newproductivity.org
 Department of Defense, United States of America, High
Performance Computing Modernization Program,
http://www.hpcmp.hpc.mil
 NASA Information Power Grid (IPG),
http://www.ipg.nasa.gov


2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

57

e-HPC.com“必要な時にスーパーコンピューティング’
 SGI と CSCに共同出資
 グリッドによって、プロダクション環境でのスーパーコンピューティングを提供
 512P Origin3800と 6 pipe Onyx などのシス
テム構成
 現在の顧客: BNFL, BAE Systems, Prattand Whitney, Merrill Lynch など
 民間でのGridコンピューティングの展開
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介5829

e-HPC.com ホームページ
URL:
http://www.e-hpc.com/

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

59

SGIのグリッドコンピュー
ティングへの取り組み

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介30

グリッドコンピューティング
 SGIの基盤技術

NUMAアーキテクチャ（大規模共有メモリ）
IRIX ACE (Advanced Cluster Environment)
Performance Co-Pilot
NUMAflexVizServing
CXFS
…..

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

61

SGI™ プロダクトの特徴

大規模計算

VizServer™

可視化

Origin™
CXFS™

RealityCenter™

大規模データ2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介62

31

SGI – グリッドへの対応
 SGIが現在所有している知的所有権（IP)による技術は、グリッドコンピューティングに最適 グリッドコンピューティングでは、SGIが目指
すHPC、データマネージメント、可視化のリンクが重要 オープンソースに欠けた部分を自社で補完
 システムのインテグレーション
 ビジュアルエリアネットワークの展開
2002/2/26

63

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ビジュアルエリアネットワーキングディスクトップ
ユーザの要
求に応えて

部門用途とディスクトッ
プの用途に応えてエンタープライズシステムのリソースとパワーをリモートで100％活用可能
グループでの意思決定の支援

エンタープライズ
向け
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介

部門で

64
個人で

32

SGI – グリッドへの対応
Layer 3
付加価値サービス

SGI 開発ソフトウエア- PCP, 共有ファイルスペー
ス, データマネージメント、高可用性、LSFシステ
ムインテグレーション、アカウンティング
ビジュアルサービング

互換性のテストシステム構築
サポート
システム
インテグレーション

Layer 2
グリッドマネージメント -S/W 資産
Layer 1
ハードウエア、ソフトウエア

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

65

Layer １ テクノロジー
付加価値
サービス
互換性のテストシステム構築
サポート
システム
インテグレーション

2002/2/26

Layer 1
ハードウエア、ソフトウエア

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介66

33

SGIサーバーの歴史
RISC SMP

大規模
SMP

分散共有メモリ

ChallengeTM/
Power ChallengeTM

SGITM
OriginTM
2000

SGITM
OriginTM
200

コンパクト、NUMAflexTM
コストパフォーマンス
モジュラー
モジュール
コンピューティング

SGITMOriginTM
3000 Series

SGITMOriginTM
300

IRIS Power
SeriesTM

1988

1994

1996

2000

2001

2002

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

67

スケーラブルシステムアーキテクチャ
CPU

CPU

CPU

CPU

Hub

Hub

MemoryMemoryRouters

ローカルメモリは、cache-coherent
Non-Uniform Memory アーキテク
チャによって、システム全体で共有される

Next level


CPU

CPU

CPU

CPU

Hub

Hub

MemoryMemory2002/2/26

ccNUMA アーキテクチャ

Single-system image (SSI).
単一の共有アドレス空間.
単一のオペレーティングシステム.

非常に多くのプロセッサ構成までの拡張性高いネットワークバンド幅.
低いリモートメモリアクセス遅延
既に多くの512プロセッサシステムの稼動実績（日本でも2台）

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介6834典型的なバスベースSMP

Processor

Processor

Processor

SnoopyCache

SnoopyCache

SnoopyCache

ボトルネック
スケーラビリティ
Central Bus の限界

Main
Main
Main
Main
MemoryMemoryMemoryMemory2002/2/26

I/O
I/O
I/O
I/O
69

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

Bus & Switch の複合アーキテクチャ
Processor Processor
Local Switch

Processor Processor

Main
MemoryLocal Switch

Main
Memory

高コスト
スケーラビリティの限界

Bus Backplane
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介70

35

ccNUMA アーキテクチャ
C‑brick

C‑brick

R‑brick
C‑brick

SGI Origin 3000

C‑brick

C‑brick

R‑brick

C‑brick

C‑brick

C‑brick

NUMAlink3 Interconnect FabricC‑brick

C‑brick

R‑brick
C‑brick

C‑brick

C‑brick

C‑brick

R‑brick
C‑brick

C‑brick
71

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

共有メモリシステムのスケーリング
512

SGI

64

HP & Sun

Compaq 32

IBM 16
2002/2/26

0100ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介
200
300
400

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介

500

600
72

36

NUMAflex TM

モジューラコンピューティン
73

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

モジュール化の利点


システム構成の柔軟性
最適なシステム構成が可能
必要に応じてシステムを拡張可能
SSI、パーティショニング、クラスタ
プロセッサの選択（MIPS と IPF）



システム構成の柔軟性

システムの堅牢性 – 可用性
冗長性をシステム内に実現
高可用性を実現するシステム構成

システムの堅牢性
システムへの投資効率システムの高い性能システムへの投資効果
システム内の構成を個々に技術革新可能CPU, インターコネクト, IO, グラフィックスは単独にアップグレード可能システムの高い性能
スケーラビリティの拡張

Origin 3000では512CPUまでのスケーラビリティ
1000 CPUまで拡張可能なアーキテクチャ的な自由度

最先端のコンパイラとツール
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介7437

NASA/Ames: 1024 CPU Origin 3000
CPUs
1024 (MIPS R12000)
400 MHz CPUs
800 MFLOP/s per CPU
819 GFLOPS total
8 MByte cache per CPU
8 GByte total Cache
Memory256 GB main memory
Disk
4 TB FC Raid disks
System Software
OS single system image
Single XFS File System
Compiler parallel 1024 CPUs wide

75

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

共有メモリ MLP
MLPプロセスがどのようにOrigin上で実行を行うかを示す。各プロセスは、細粒度での並列処理（ループレベルでの並列処理）を行うために少ないCPUを使用する。
各MLPプロセスが使用するプロセッサ数はロードバランスを調整するために、可変である。このような動的なロードバランスの実装が可能なことは、共有メモリの利点の一つである。MLPで使用する共有メモリアリーナは、他のMLPプロセスで共有され、調節的なアクセスが可能となる。
MLP Process 1
MLP Process 2
Common /local1/ a1,b1
Common /local2/ c1,d1

Solve Zones 1,4,3
CPU

CPU

CPU

MemoryMemoryMemoryCommon /local1/ a1,b1
Common /local2/ c1,d1

Solve Zones 2,5Data sharing via
Load/Stores
330 nanosec
Contrast with
MPI at10 microsec

CPU

CPU

CPU

MemoryMemoryMemoryUNIX Shared Memory Arena (Holds BC data, etc)
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介
Common /global/ x,y,z

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介76

38

Origin3000スケーラビリティ
OVERFLOW‑MLP Performance vs CPU Count
Systems: 512 CPU O2K, 128 CPU O3K

75

Problem: 35M Points, 160 Zones
60
Mendel O3K (400 MHz)

Performance (GFLOP/s)

45

Lomax O2K (300MHz)30

15Steger O2k (250MHz, 4MB cache)
16 CPU C90 OVERFLOW limit
Origin limit for Standard Release

0
0

128

256
Number of CPUs

384

512

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

77

Origin3000スケーラビリティ
NASA Climate Modeling
Initial FVCORE Scaling on Popular Systems
FVCORE 2x2.5@55
Levels (B55)(MPI resultsfrom Rotman,
Mirin etal)
14

12

Gigaflops

10

O2K 300mhz - NAS - MLP
Power3 200mhz - NERSC
O2K 250mhz - NAS
PPC604e 332mhz - ASCI Blu
EV5 440mhz - LLNL
T3E-900 - NERSC

8

6

4

2

0
0
16
2002/2/26

32

48

64
80
96
112
128
144
160
176
ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介#CPUs

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介

192

208

224

240

256
78

39

大規模共有メモリシステムの利点
 運用管理 負荷分散複数の計算機で構成されるクラスタの場合、すべてのノードに、リソー
スマネージャなどの資源管理ソフトの導入が必要で、その負担は大きい
共有メモリでは、シング
ルノードにインストール
すれば、システム全体のリソースの管理が行える

2002/2/26

動的にジョブの使用するプロセッサを変動することも可能
ロードバランスのマネー
ジメントが容易 通信性能共有メモリでは、通信時のレイテンシを低く抑えることが可能であり、プログラミングを容易にす
る

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

79

新しいモジュール製品

www.sgi.com/origin/300

www.sgi.co.jp/origin/300

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介80

40

SGI™ Origin™ 300：よりコンパクトな筐体


SGI Origin 300 ベースサーバ
2 又は 4 MIPS® CPUs, 最大 4GB,
Tall rack (39U)
を 3.5インチの筐体に実装
最大 76 CPUs
NUMAlinkによる高いスケーラビリ をシングルラックに搭載
ティの実現



PCIモジュール
12 の64-bit, 66MHz PCI スロットを追加
NUMAlink ポートに接続可能



SGI™ Total Performance 900(TP900) ストレージシステム
8台のUltra160 SCSI JBOD ドライブ
最大 584GB を 3.5インチの筐体に

2002/2/26

NUMAlink モジュール
8つのNUMAlink ポート３．５インチの筐体に最大 32 CPUs 又は 56 PCI スロットの構成をSSIで実現

Short rack (17U)

最大 32 CPUs

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

81

SGITM OriginTM 300


ベースモジュール構成仕様

2U (3.5”) ラック搭載可能
2 又は 4つの MIPS CPUs
 500MHz R14000/2MB
キャッシュ
最大4GB メモリ
2台のUltra3 SCSI ディスクドライブ（筐体前面からアク 
セス可能で、ホットスワップ
可能）
2 64-bit/66MHz full-length
PCI スロット
10/100base-T Ethernetを内臓Ultra3 SCSI ポート(VHDCI)NUMAlink3インターコネクトで8プロセッサまでの共有メモリSSI
を実現

2002/2/26

NUMAlinkモジュール
NUMAlink : 高バンド幅/低レイテンシを実現
Origin3000のRouter(RBrick)を使用し、最大32プ
ロセッサまでの共有メモリを実現

システム構成Short(17U) rack : 2-16P
構成
Tall（39U) rack : 2-32P 構
成
高い価格/性能比と共有メ
モリの利点の両立

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介82

41

SGITM OriginTM 300
32p Origin300

sgi

39U Origin3000 Rack
16 pci slots...8 busses
16 internal disk slots
8 external SCSI busses
32GB MAX Memory
23U config

sgi
sgi

24p Origin300

sgi

17U Origin3000 Rack
12 pci slots…6 PCI busses
12 internal disk slots
6 ext scsi bus
24GB MAX Memory
13U config

sgi
sgi
sgi

Origin300 4P
Origin300 4P
Origin300 4P
Origin300 4P

sgi
sgi
sgi
sgi
sgi

RouterOrigin300 4P

sgi

Origin300 4P

sgi

sgi

Origin300 4P

sgi

Origin300 4P

sgi

Origin300 4P

sgi

Origin300 4P

RouterOrigin300 4P

sgi

sgi

Origin300 4P

Origin300 4P

sgi

sgi

Origin300 4P

Power Bay

Power BayＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

83

Layer 2 テクノロジー
付加価値
サービス
互換性のテストシステム構築サポート

Layer 2
グリッドマネージメント -S/W 資産

システム
インテグレーション

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介8442

Layer 2 - グリッドマネージメント -S/W 資産
 システム構築のための要素技術とサービス

ユーザ認証
計算資源管理と情報サービス
システムパフォーマンスモニター
グローバルコンピューティング用MPI（MPICHとベン
ダー提供MPIライブラリの拡張）
ファイル転送データ管理
インターフェイス
ÎGlobus (Globus Metacomputing Toolkit)
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

85

Globusとは？
 グローバルコンピューティングのためのサービスの集まり（ツールキット）
サービス
名称
サービス
名称
Resource
Management
GRAM
Resource Management GRAM
Communication
Nexus
Communication
Nexus
Information
MDS
Information
MDS
Security
Security
HealthHealthand
andstatus
status

GSI
GSI
HBM
HBM

RemoteGASS
Remotedata
dataaccess
accessGASS
Executable
management
GEM
Executable management GEM

2002/2/26

機能
機能
リソースの割り当ておよびプロセス生成
リソースの割り当ておよびプロセス生成
Unicast/Multicast
Unicast/Multicast通信
通信
システムの構造および状態に関する情報へのアクセスシステムの構造および状態に関する情報へのアクセス
Authenticationなどのセキュリティサービス
Authenticationなどのセキュリティサービス
システムの状況サービス
システムの状況サービス
データへのリモートアクセスサービス
データへのリモートアクセスサービス
実行ファイルの構築、キャッシングおよび配置
実行ファイルの構築、キャッシングおよび配置

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介86

43

他の組織のシステム
へ

GlobusLDAPに基づいたデータベー
スに、リソースの情報を公開
リソースデータ
ベース

リソースブローカーへのジョブの投入

インサイドでの実行指定されたリソース上で実行

複数ホストでの実行を指示

Duroc によってジョブの実行

Duroc
GRAM GRAM
PBSPro Fork()

GRAM
LSF

Origin 3000

Origin 300

GRAM
Fork()
Onyx

Cluster
2002/2/26

Gram 計算資源管理システムのローカルなスケジューラが指定されたポリシーでワークロ
ードを管理

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

87

IRIXでのGlobusサポート
 IRIX上でのGlobusサポートの現状

Origin2000, Origin3000, Origin300, Octane…
LSF, PBS-Pro, OpenPBS…
IRIX message passing toolkit, MPICH-G2
OpenLDAP, Netscape server, Oracle...
ニュースリリース：
http://www.sgi.com/newsroom/3rd_party/1112
01_globus.html
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介88

44

今後の課題は?
 現在のGlobusは、以下の機能に関してサ

ポートがないアカウンティング、課金処理
World-Wide でのスケジューラ
商用アプリケーションの対応
非グリッドノード（DHCPやWWW)からのアクセス

Layer 3 テクノロジーがこの部分を補完

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

89

Layer 3 テクノロジー
Layer 3

付加価値
サービス
互換性のテストシステム構築SGI 開発ソフトウエア- PCP, 共有ファイルスペー
ス, データマネージメント、高可用性、LSFシステ
ムインテグレーション、アカウンティング
ビジュアルサービング

サポート
システム
インテグレーション

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介90

45

SGIの持つ技術とIPの適用
 SGI ‘Layer 3’ 主要テクノロジー

Performance Co-Pilot Globusが提供するシステムモニターよりも強力

チェックポイント・リスターと機能 ワークロードマネージメントとシステム予約などに効果的

IRIXシステムアカウンティング
システムマネージメントツール
CXFS – 高性能共有ファイルシステム
DMF - HSM ソリューションの提供
VizServer – ビジュアルサービング
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

91

グリッドコンピューティングへの貢献要求される機能
アカウント管理

SGI が提供するツールと開発プラン• UID マッピング、ファイル共有など

アプリケーションと試験台• メタコンピューティングに対応したグリッドを意識したアプリケーションとコラボレーション可視化ツール、リモートコンピューティング

グリッド情報サービス• 負荷分散、クラスタ利用状況、コンソール管理機能など• PCP(Clusterviz)、SGIConsole(Hoover)など

リモートデータアクセス• CXFS ‐ クラスタ共有ファイルシステム• AFS ‐ グローバルファイルシステム• リモート RAID モニターリング

セキュリティ

• IRIX が提供するアドバンスドセキュリティ機能、UID マッピング
機能など

アドバンスドコ
ラボレーション
環境• VizServer によるネットワーク経由での可視化の実現、Viz ツー
ルによるリモートコラボレーション• ディスクトップビデオ会議ツール、メタコンピューティング環境

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介92

46

グリッドコンピューティングへの貢献要求される機能
グリッドプロトコル
アドバンスドプ
ログラミング環境
グリッドパフォーマンスモニター
スケジューリング
ユーザサービス

2002/2/26

SGI が提供するツールと開発プラン• Global Grid Forum の提案• NASA AMES が提案しているマルチレベル並列化手法（MLP)など• Global Grid Forum が提供するモデルなど• クラスタパフォーマンスモニターツール• Infiniband などの新しいネットワーク技術の導入• PBS, LSF, NQE などが使用可能• 負荷分散や分散リソース間での公平なリソースの分配z アカウンティング、複数サイト間でのリソースの取引、公平なジ
ョブの割り当ての確保

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

93

グリッドコンピューティングへの貢献

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介94

47

スケーラブルなデータと情報管理 データ生成（計算ホスト）:

シングルシステムイメージ（SSI)サイズ
スループットとメッセージパッシングでのクラスタ
大規模並列アプリケーションシステム
 データ移動:

複数のギガバイト/秒のデータ転送パス
ギガバイト/秒の実効転送性能
 情報管理:膨大なデータセット
データ間の相互依存
デザイナー間でのデータ共有
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

95

複合データマネージメント
 ハイパフォーマンスコンピューティング（HPC)とビジュアリゼーション（可視化）では、より多くのストレージが必要 膨大なビジュアリゼーションデータには、データの資産管理ツールが必要 HPCシステムと可視化システムは、一体化している場合も、別システムとなる場合もある

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介96

48

理想的なデータの流れの提案
 一般的な業務の流れを考えてみると….:

コンセプトの段階から、最終的な製品化の段階
まで、データは、業務の流れの中心に位置する
情報は、多くのグループで共有され、データは、
ホストコンピュータ間で移動する
データセットのサイズは、各ステップ毎により大きDesignくなるComputeImagine
もし、各ステップ毎で、データをコピーし、移動する必要がないのであれば、業務の効率を向上さ
Data
せ、本質的な問題の理解に時間を割ける
Post‑
DecideProcess
Visualize

2002/2/26

97

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ストレージエリアネットワーク
TP9400 異機種混在環境:

直接又はスイッチ接続
IRIX®
Linux®
Solaris™
Windows NT®

CXFSによる
ファイル共有の実現
2002/2/26

DMF &data mgm’t
IRIX

Public LAN

SolarisＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介

Linux

NT
98

49

ストレージの共有
データ非共有

LAN
LAN

LAN
LAN

(NFSの性能)(NFSの性能)

IRIX

IRIX

Tape
Library

SAN(FCの性能)TP9400

共有ファイルTape
Library

32‑bit LinuxNT

TP9400LinuxNT

データは複数ボリュームの複数のファ データは、システム全体で共有
イルシステムに分散
 レプリケーションは不要
 データの共有には、ホスト間でのレプ
 SGI XFSTM の性能）
99
2002/2/26
リケーションが必要 ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介


CXFS™によるデータ共有の実現
ユニークな特徴
ユニークな特徴
zz全てのホストは、全てのホストは、一つ以上のディス
一つ以上のディスクアレイ上で、一クアレイ上で、一つ以上のボリュー
つ以上のボリュームを共有
ムを共有
zz非常に高いモジュ非常に高いモジュ
ール化
ール化
zz高性能
高性能
zz真のファイル共有
真のファイル共有

SAN

LAN

Storage
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介100

50

グリッドコンピューティング 全てのシステムは、SAN上で、同時に全てのデータに直接アクセス可能

可視化システム101

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

大規模システムでの活用事例
User Access
User Network
HIPPI
2x Gb

SCSI
9840

HIPPI
2x Gb

Total 512 CPUs

Partition 1 Partition 2 Partition 3 Partition 4 Partition 5
Front‑End
Batch
Front‑End Batch
Batch
64 CPUs
32 CPUs
128 CPUs
32 CPUs
256 CPUs

STK 9310
6 9840
Drives1 MagStar
Drive (Tmp.)

SCSI 9840

Fast Ethernet

OnlineStorage(CXFS)

Fibre
ChannelCXFS™ Metadata

GSN(2003)

HIPPI

Fibre
ChannelBatch 512 CPUs
Can Be Partitioned in Three Partitions
HIPPI
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介SAN:
5 16‑port
Fibre
ChannelSwitches
10TB User
Data (RAID)
High‑
Performance
Computing
Network1024 CPU/1 TFLOPS/10TBデータ

102

51

まとめと今後の展開
 グリッドコンピューティングは今後のハイパ

フォーマンスコンピューティングの重要な技術
 SGIの技術の活用で、より効率的なグリッドコ
ンピューティングの展開が可能
 今後の展開の可能性….

ビジュアルエリアネットワーキングへの展開
MDOなどの新技術

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

103

ビジュアルエリアネットワークング リアルタイムシュミレーションの可視化

リモートノード上で、可視化の実現
コントロールとAPIの提供
パラレル可視化ツールの提供

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介10452

ビジュアルエリアネットワーキング
Engineering

Remote Locations

Corporate HQ

Suppliers
Customers

105

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

Ford と SGI による設計最適化プロジェクト
 自動車車体のNVHと衝突解析における設計最適化

プロジェクト

Ford社の390K自由度のbody-in-prime モデル
NVH：MSC.Nastran、衝突解析：RADIOSS
NVHと４つの衝突モードでの最軽量化
Response surface と Kriging 最適化
Ford社で6ヶ月かかったプロジェクトを4週間で終了
SGIのOrigin3800/256プロセッサで1.5日間で、妥当な設計計算を終了 – これは、PC
では約3年分のCPU時間に相当

Side

NVH

Roof Crush

MDO

Ford Motor

FrontalSafety Off-set

Scientific Research LabsSGI

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介
Industry HPC Development

2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介106

53

SGI ……グリッドコンピューティング
スケーラブル共有メモリHPCサーバ
共有メモリHPCサーバ＆クラスタ
64ビット
Itaniumクラス
タ
共有ファイルストレージシステム

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

2002/2/26

OSC提供

107

SGI関連 情報リンク
 SGITM Server Systems:

http://www.sgi.co.jp/servers/
 OpenGL VizServer:

http://www.sgi.com/software/vizserver/index.html
 CXFS:

http://www.sgi.co.jp/products/storage/software.html
 SGITM Advanced Cluster Environment：

http://www.sgi.com/software/ace/irix.html
 SGITM Onyx Systems:

http://www.sgi.co.jp/onyx3000/
 Visualization Systems：

http://www.sgi.com/visualization/
2002/2/26

ＧＲＩＤコンピューティング−ＳＧＩの取り組みと事例紹介

ＧＲＩＤコンピューティング−ＳＧＩの取り組
みと事例紹介10854