けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム2004～オープンラボによる産官学連携の成果～
グリッドアプリケーションWGテーマ#1

仮想マシン技術によるセキュリティ機能～Grid環境におけるセキュアな実行環境～

NECシステムテクノロジー株式会社
横山恵一

けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

もくじ
1. 研究の背景と目的
2. 研究テーマと項目
3. 目標
4. 体制
5. スケジュール
6. オープンラボ全体研究設備
7. オープンラボ研究設備と利用の意義
8. 研究内容
9. 評価結果
10. 成果と課題
11. 今後の実験～オープンラボの一層の活用～

けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

21.研究の背景と目的
背景

ストレージ（DB）

ネットワーク上に存在する、各種資源を活用して、プログラムを実行したい。
実行プログラム・データを第三者に知られる可能性がある

利用者

高速ネットワーク課題
ストレージ（DB）

目的 実行環境のセキュア化
仮想マシンを用いた実行環境のセキュア化

グリッドシステム他のマシン利用者からの、実行プログラム隠蔽化

 ネットワーク環境のセキュア化
IPv6/Ipsecに準拠したP2P(PearToPear)技
術を活用した通信のセキュア化

けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

3

実行しようとしているプ
ログラム／データをネットワークからの隠蔽化

2.研究テーマと項目
研究テーマ
IPv6/IPsecに準拠したGRID対応通信技術の開発
プロジェクトの概要説明
１）ＧＲＩＤで接続された共同利用のハードウエア上で、機密を保持しながらプロセスを実行する機能を、バーチャルマシン技術により実現
２）共同研究の推進の必要な、多地点に分散保管されたデータの共有や実験設備の遠隔利用を、セキュアな環境で行えるよう、ＩＰｖ６／ＩＰｓｅｃに準拠したＰ２Ｐ技術を開発

けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

4

3.目標
２．１ 技術面
１）機密を保持しながらプロセスを実行するための、バーチャルマシンの運用技術を獲得し、第三者であっても安全にプログラムを走行できるようにする。
２）多地点に分散保管されたデータの共有や実験設備の遠隔利用を、セキュアな環境で行えるよう、ＩＰｖ６／ＩＰｓｅｃに準拠したＰ２Ｐ技術による安全なファイアウォー
ル越えを実現し、グリッド環境化での安全なプログラムやデータの通信を行うようにする。

２．２ ビジネス面
１）機密が確保されることにより、ＧＲＩＤシステムを広範囲なビジネスに活用できる基盤(計算サービス、資源活用など)
２）セキュア環境下でのＧＲＩＤシステムを普及する基盤として、次世代ネットワークの普及に寄与する

２．３ 政策面他
１）研究開発技術の標準化提案による国際貢献
２）ＧＲＩＤ分野における、国際的な競争力の確保
けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

54.体制とスケジュール
ＰＪ体制

リーダ
研究員
〃〃

高田 俊和（NEC）
藤井 省吾（NECシステムテクノロジー）
齋藤 俊宏（〃）横山 恵一（〃）

けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

65．スケジュール
実行ノード
実行ノードにおノードにおける隠蔽化
ける隠蔽化の隠蔽化のためのプロトタためのプロトタ
イプ作成
イプ作成

プロトタイプのプロトタイプの作成・・実証
作成
データのデータの採取

仮想マシン上へのＧｌｏｂｕｓシステムの構築、仮想マシン技術の検証とサーベイ
セキュリティ機構の開発・評価
セキュリティ機構改善
ＩＰｖ６Ｇｌｏｂｕｓ環境構築、Ｐ２Ｐネット構築、Ｐ２Ｐブローカ基本設計
Ｐ２Ｐ対応ブローカ設計・実証ＡＰ開発
Ｐ２Ｐ対応ブローカ拡張
Ｐ２Ｐブローカのための環境のための環境
設定

2003/上期

実ＡＰの広域環境での実証実験
広域グリッド環境でのＰ２Ｐネットワーク接続検証実験

Ｐ２Ｐブローカ設
ブローカ設
計書、計書、プロトタイ
プ環境、環境、実証ＡＰ
実証ＡＰ

2003/下期

広報活動

2004/上期

2004/下期

けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

7

2005/上期

広報活動

2005/下期6.オープンラボ（１Ｌ）研究設備
分散仮想ネットワークシステム
分散仮想ネットワークシステム
 目的
仮想的にネットワーク構成を変更し実験を行う設備
 設置状況
２００４年３月に、1Lの部屋に設置。

外部ネットワーク
外部ネットワーク接続状況
ネットワーク接続状況
 対JGNⅡ
１Gで接続
 接続プロトコル
IPv4およびIPv6
けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

87.オープンラボ研究設備と利用の意義
けいはんな オープンラボ実験環境
オープンラボ実験環境
他拠点

広域グリッドグリッドミドル開発
グリッドミドル開発
・検証システム
検証システムIPv6,IPv4

ＪＧＮⅡ
ＪＧＮⅡ

管理ノード×３台
実行ノードｘ３２台

L3-SW
L3-SW

Grid middle
Grid middle
GlobusGlobusLinuxLinux
仮想マシン
仮想マシン
グリッド管理
管理ノード
ノード＃
グリッド
管理ノード
＃１
AP
仮想マシン
仮想マシン
Linux
実行ノード
ノード＃実行ノード＃1

16node高速コラボレーション

Gigabit
Gigabit
L2-SW
L2-SW

Grid middle
Grid middle
GlobusLinux
グリッド管理
管理ノード
ノード＃
グリッド
管理ノード
＃３

16node・他拠点・ネットワーク

APLinux
実行ノード
ノード＃
実行ノード
＃17

ストレージ(DB)
ストレージとの接続

研究設備利用の研究設備利用の意義：意義：
 設備内での仮想的なネットワーク構成の設定
 計算資源の設定変更やデータ測定の容易さ→他拠点のネットワークポリシーに依存しない→実験設備ならではの自由度
ネットワーク構成の設定
 JGNⅡの活用による他拠点との連携実験→容易なグリッドシステムの評価に高速ネットワーク
けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

98.研究内容
仮想マシン
仮想マシン
マシン技術
技術によるによるセキュア
セキュアななGrid環境実験
技術
によるセキュア
調査検討

 利用仮想マシンの検討と予備調査
 実装方式の検討

実装機能

 実行ノードにジョブ単位での仮想マシンUML(User Mode Linux)を実装
 管理ノードから、ジョブスケジューラ(OpenPBS)により実行ノードの仮想マシンにジョブを投入するシステムを構築
 管理ノードのグリッドミドルウェア(Globus)経由で、ジョブスケジューラを呼び出すGrid環境を構築

実験項目

 仮想マシンによるクラスタシステムの実行性能の測定と分析

ネットワーク環境
環境のセキュア化
ネットワーク環境のセキュア化
現在は調査段階
けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

108.1仮想マシン
仮想マシン利用
マシン利用の利用の目的と目的と実験内容
ユーザプログラムの他プロセスからの隠蔽→セキュリティの検証
実マシン
仮想マシン
仮想マシン2マシン

仮想マシン
仮想マシン1マシン

ユーザBのジョブ

ユーザAのジョブ

他プロセス

OS
けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

118.2仮想マシン
仮想マシンのマシンのセキュリティ・セキュリティ・運用性向上
 １UML上に１アプリケーション→１アプリケーションが１つのLinuxを占有
 スケジューラ（OpenPBS)を利用→スケジューラからUML上に直接ジョブ投入

けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

128.3仮想マシン
仮想マシンによるマシンによる実現方式
による実現方式
管理ノード

globus-job-run

OpenPBS

利用者

1.
2.
3.
4.

UML

UML

UML

OpenPBS
Job

Job
OpenPBSOpenPBS
Job

計算ノード

計算ノード

計算ノード

UML
・・・・・

ホストOS起動時に自動的にUML起動
OpenPBSを使用しUMLへジョブ実行
ジョブ終了時にUMLを終了、初期化
UMLの再起動後、次のジョブ実行を待つ
けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

13

OpenPBSJob
計算ノード

9.評価結果

けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

149.1 UMLの評価(セキュリティなど)
 そのままLinux上で走行するよりは強固なセキュリティ(完全とは言えない) UML自身のセキュリティ問題
 SMP未対応
 使用メモリ量の制約→使用できるのは、475M※メモリ拡大オプション(HIGHMEM)があるが、非常に遅いUMLの一層の改善が必要。
けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

159.2 性能面の評価(1)評価環境
CPUXeon2.8G
OS
Redhat7.3 kernel2.4.25
コンパイラ gcc2.96
MPI
mpich1.2.5.2

けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

169.2 性能面の評価(2)～まとめ～ネットワーク性能は、実マシンより大きく低下
ネットワークのボトルネック
実マシン→Gigabit Etherの性能
UML→CPU性能

UMLは、ネットワークに多くの計算資源を使用している
けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

17

10.成果と課題
 仮想仮想マシン
マシンをを活用活用したしたクラスタ
クラスタ、、グリッドグリッド環境
環境のマシン
したクラスタ環境の構築 実行ノードにジョブ単位での仮想マシンUML(User Mode Linux)を実装
 管理ノードから、ジョブスケジューラ(OpenPBS)により実行ノードの仮想マシンにジョブを投入するシステムを構築
 管理ノードのグリッドミドルウェア(Globus)経由で、ジョブスケジューラを呼び出すGrid環境を構築

 上記環境上記環境でのでの実験実験によりにより、、セキュリティセキュリティの構造をを確認
確認するとでの実験
によりの構造するとともに、、実行性能実行性能をを測定測定・・分析
分析しし今後今後の課題が明確になっともにの課題が明確になった。
 仮想マシンの性能については、他の仮想マシンによる検証も必要→UML固有の問題かどうかの判断材料必要
 UMLによるセキュア化は、現時点ではまだ完全ではない。
→対処にはUMLカーネルの改造が必要⇒データ通信量が少ないプログラムでの活用可能
けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

1811.今後の実験～オープンラボの一層の活用～
 仮想ネットワーク
仮想ネットワーク構築環境
ネットワーク構築環境を構築環境を用いたセキュア
いたセキュアな
セキュアなGrid

グリッドネットワークシステム実験
グリッドネットワークシステム実験

各種リソース検索・通信セキュア化を行うため、オープンラボ設備を用いた仮想的なネットワーク環境構築し、グリッドミドルの研究・開発・実験を実施
さらに、JGNⅡを用いた他拠点との連携実験を実施

 仮想マシン
仮想マシンをマシンを用いた実験
いた実験の実験の継続
UMLの一層のセキュア化、スケーラビリティの向上。
他仮想マシンでの実験(セキュリティ、性能)
他のスケジューラの適用(ミドルウェアとしての成果)
けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム
情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

19

謝辞
オープンラボ利用に際し、関係各位のご配慮に御礼申し上げます。

以上
けいはんな情報通信
けいはんな情報通信オープンラボシンポジウム情報通信オープンラボシンポジウム2004
オープンラボシンポジウム

20