学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

jh150050-IS04

大規模計算結果の共同活用に向けた高精細可視化イメージ遠隔配信システムの実証阿部洋丈（筑波大学）
概要 遠隔地の高性能計算システムで出力された大規模計算の結果を、近隣の大型タイルドディスプレイや、手元のディスプレイで簡便に表示させるためのシステムの実用化に向け、可視化イメージ遠隔配信システムの研究開発を以前から実施してきている。今回、JHPCN による支援を受け、大阪大学・東北大学の二拠点を中心とした実環境に配備して当システムの実用化に向けた実証を行った。また、今年度は、利便性をより向上させるため、SAGE2 対応や AutoVFlow 対応といった、システム内部の機能改善も実施した。

1. 共同研究に関する情報のになっている。しかし、そのような高性能計算(1) 共同研究を実施した拠点名システムの数は限られているため、今後はネット大阪大学、東北大学ワークを介した遠隔利用がより一般的になること(2) 共同研究分野が予想される。我々は、遠隔地で実行された大規o

超大規模数値計算系応用分野

模計算結果の迅速かつ直接的な理解を可能とする

o

超大規模データ処理系応用分野

ための可視化イメージ遠隔配信システム（以降、o

超大容量ネットワーク技術分野

当システム）の実現を目指している。当システム■

超大規模情報システム関連研究分野

は、計算機利用者側に設置された大型表示装置、(3) 参加研究者の役割分担

とりわけ TDW (Tiled Display Wall)と呼ばれる種阿部 洋丈（筑波大学）： 代表者

類の表示装置と、遠隔地の高性能計算システムを

木戸 善之（大阪大学）： 副代表・ソフトウェア整備

広域ネットワーク経由で相互に接続し、遠隔地で江川 隆輔（東北大学）： 東北大拠点の整備・運用行われた大規模計算結果の可視化イメージを直接

小松 一彦（東北大学）： 東北大拠点内の整備・運用的に TDW に表示することを可能とする（図 1）。
研究代表者らは、情報通信研究機構(NICT)との高野 了成（産業技術総合研究所）：共同研究プロジェクトにおいて当システム実現のアプリケーションサーバの環境整備
伊達 進（大阪大学）： 阪大拠点の整備・運用ための要素技術開発（Software Defined Network

安福 健祐（大阪大学）： 阪大拠点の整備・運用(SDN) に基づいたフロー制御技術等）、およびプロ

市川 昊平（奈良先端科学技術大学院大学）：トタイピングを行ってきた。今回申請した共同研
究においては、それらの成果を活用する形で、実阪大拠点の整備・運用際の高性能計算機システムと TDW を用いた実証実

山中 広明（情報通信研究機構）：

験を実施した。

ネットワークの整備・運用
河合 栄治（情報通信研究機構）：

3. 当拠点公募型共同研究として実施した意義

ネットワークの整備・運用

当拠点公募型共同研究の枠組みを利用すること

2. 研究の目的と意義

で、NICT や大阪大学が中心となって従来実施され高性能計算システムを利用した大規模計算は、てきた、前述の共同研究の成果が当初想定してい多くの研究分野において今や無くてはならないもたのとほぼ同じ環境（＝広域の OpenFlow ネット1

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月     

図１．国内実験の実施概要図

図 1 広域環境における高精細可視化イメージ遠隔配信の概念図

数の高性能計算拠点）での実証実験を実施するこ(a) 東北大学-大阪大学での高精細映像ストリーとが可能となった。特に、東北大学拠点である東ミング実験

北大学サイバーサイエンスセンターと大阪大学拠点である大阪大学サイバーメディアセンターの間

当システムの実用化に向けた第一歩として、当には、大地震発生時における津波被害予測のためシステムの基盤に採用されているSAGEに双方のスーパーコンピュータを連携させて計算(Scalable Adaptive Graphics Environment) にを行なうことを可能とするシステムが開発されてよる広域での高精細映像ストリーミング実験を実おり、その開発や運用を経て得られた経験を活か施した。実験には、大阪大学が実施している「組したフィードバックを得られることが大いに期待込み適塾」という社会人向け講義の場を利用し、できる。

SAGE を用いた講師映像の共有を利用して大阪大学と当報告大学で同時に実施するという形で行われ

4. 前年度までに得られた研究成果の概要た。
このとき使用されたのは、SAGE2 と呼ばれる、新（新規課題のため省略）しいバージョンの SAGE である。我々がこれまで実施してきたソフトウェア開発は、2004 年から開5. 今年度の研究成果の詳細発が続いていた古いバージョンの SAGE（以降、便宜的に SAGE1 と呼ぶ）をベースに開発が行われて今年度は、当初の申請内容である遠隔配信の実いた。その後、2013 年に、従来の SAGE1 の設計を証実験に加え、これまでに開発してきたソフトウ大幅に改め、ウェブ技術を積極的に取り込んだェアの改良も合わせて実施している。以下、それSAGE2 の開発が、SAGE の開発元であるシカゴ大学

ぞれについて述べる

イリノイ校の研究グループから発表された。SAGE2
では、映像データの転送に WebSocket を使用する(1) 遠隔配信の実証実験ように変更がされており、SAGE1 における独自プロトコルに比べ汎用性が向上している半面、広域
2学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

図2

SAGE2 を用いた映像配信実験の様子。東北大から送られてきた映像が、大阪大の TDW上に表示され、それを見ながらの講義が円滑に実施されている。

かつ高精細の映像配信に耐えられるのかという性ーバでそれぞれ実行されるアプリケーションを同能面の懸念があった。そのため、まずは SAGE2 が時に表示する。各拠点間の接続には、情報通信研

広域での高精細イメージの転送に耐えうるかを評究機構の JGN-X テストベッドネットワークをは価することが目的であった。

じめとした実験用ネットワークを利用する。JGN-

組込み適塾当日の様子を図 2 に示す。当日は、

X は RISE という 仮想 OpenFlow テストベッド

性能上の問題や安定性上の問題も特に発生せず、サービスを提供しており、その機能を活用するこ円滑に遠隔講義を実施することができた。なお、とで今回の SDN 実験を実施することができる。

当日の実験の様子については 7-(4)に示した論文

JGN-X 以外のネットワーク（たとえば、日米間のにより詳しい情報が記載されている。

海底ケーブルによるリンク）については OpenFlow
サービスが提供されていないが、その部分は L2(b) 国際会議 SC15 における実証実験

VLAN を利用し、OpenFlow からは通常のリンクで前述の東北大学—大阪大学間での実証に加え、日あるように扱う。

米間での実証実験についても実施した。こちらのSC15 の会場の TDW に日本からの映像を表示する

実験の目的は、昨年度までに開発した SAGE1 ベーという実験は、残念ながら完全には成功しなかっスの遠隔配信システムが、太平洋を跨いだ高遅延た。我々の開発している遠隔配信システムには、の環境でも動作可能であることを実証することで複数の表示先 TDW に対し、それぞれのサイズやレあった。

イアウトに合わせて映像のサイズを変換するため実験の計画は以下の通りであった： 国際会議のトランスコーダが実装されており、必要に応じSC15 の開催地である米国テキサス州オースティてネットワーク内の仮想マシン上に動的に配置さン市のオースティンコンベンションセンターにタれる仕組みになっている。その機能が、開発時のイルドディスプレイを設置し（図 3）、大阪大学の環境では動作していたが、SC15 の現地の環境ではアプリケーションサーバ、ならびに産業技術総合正しく動作しなかった。

研究所（茨城県つくば市）のアプリケーションサトランスコーダが正しく動作しなかった原因の3

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

図3

国際会議 SC15 の NICT ブースに設置された TDW

1 つは、実際の複雑なネットワーク環境に起因する問題であると考えられる。ソフトウェアの開発

昨年度までに情報通信研究機構と大阪大学が共段階では、環境セットアップの省力化のため、ソ同研究で開発した遠隔配信システムは、前述したフトウェアベースの仮想スイッチであるSAGE1 に基づいて設計・構築されている。SAGE1 は、OpenVSwitch のみを用いた均質なネットワークをアプリケーションとディスプレイノード間の通信用いていた。それに対し、SC15 では複数のネットには TCP/IP や UDP/IP といった一般的な通信プワークを経由した上での実験であったことに加え、 ロトコルを利用していた。それに対し、SAGE2 でハードウェアスイッチとソフトウェアスイッチがは、ウェブ技術の大胆な取り込みが行われ、ディ混在する環境であった為、その途中経路上で想定スプレイノード側のソフトウェアは外の事が起き、ソフトウェアが正しく動作しなかChrome ウェブブラウザを利用することとなり、アったものと考えられる。SC15 で利用したネットワ

プリケーションと Chrome の通信には WebSocket

ークは時限的に構築されたものであるために、SCが採用された。SAGE1 と SAGE2 には互換性は考終了後において、原因追求は難しいが、このよう慮されておらず、異なるバージョン間で可視化イな事が起こり得るということを十分念頭に置いてメージを送受信することはそのままでは不可能で今後の開発を継続したい。

ある。

Googleなお、トランスコーダの互換性の問題について

当研究課題を開始した当初は、今後も引き続きは、後述するソフトウェア改良に際しては十分な

SAGE1 ベースのシステムの開発を継続してく予定

配慮を行い、現在はハードウェアスイッチの環境であった。それは、前述の共同研究が SAGE2 公開でも動作している。

前の 2012 年に開始されており、SAGE1 ベースのソフトウェアが多く蓄積されていること、また、(2) ソフトウェアの改良

SAGE1 のアーキテクチャはネットワーク側からの制御と親和性が高いという理由によるものであっ(a) SAGE2 対応た。また、それに加え、SAGE2 では WebSocket が性4

学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

図4SAGE 用トランスコーダの概念図。フローのミラーリングと画像のリサイズを行う。
今回、さらに SAGE1 から SAGE2 へのプロトコル変換機能が追加実装された。

能上のボトルネックとなり、同じ環境化であってて送信される。

SAGE1 に比べて SAGE2 のフレームレートが低下することも懸念されていた。

(b) AutoVFlow 対応によるマルチテナント化

しかしながら、今回我々は、これまでに開発されてきたシステムの SAGE2 対応を今年度中に進め

AutoVFlow は、NICT が開発を行っている、自律ることを決めた。それは、第一に、本申請の審査分散型の OpenFlow ネットワーク仮想化のための時に審査員から SAGE2 に対応すべきであるというシステムである。Internet Protocol (IP)の成功付帯コメントが付いたことを真摯に受け止めた結と普及は、利用者に利便性をもたらすと共に、方果である。また、第二に、前述の東北大-大阪大の式の硬直化を引き起こすという負の側面もある。

SAGE2 による映像配信実験を通じて SAGE2 でも遠そのような状況で、IP のような既存の方式にとら隔配信に耐えうるパフォーマンスを達成可能であわれず、いわゆる clean-slate なアプローチによる見通しが経ったことも理由の 1 つである。

る研究開発の基盤として、OpenFlow ネットワーク

前述のように、SAGE1 と SAGE2 では通信方式がの仮想化技術は多いに期待を集めている。

異なるため、完全な統合は難しい。そこで我々は、

AutoVFlow は、従来の OpenFlow 仮想化が持っていSAGE1 用に作成されたアプリケーションからの出た、集中型制御ゆえの問題を解決するために開発

力を SAGE2 のタイルとディスプレイ上に表示できされた新しいシステムである。AutoVFlow では、仮るようにするためのソフトウェア開発を実施した

想化ネットワーク構築の土台となるサブネットワ（図 4）。具体的には、前述の SAGE1 ベースのシスークがそれぞれ自律的な制御を行い、適切なパケテム用のトランスコーダに、SAGE1 と SAGE2 のプット書き換えを行うことで仮想化が実現される。

ロトコル変換をする機能を実装した。SAGE1 用のそれにより、より頑健なネットワーク仮想化が実

アプリケーションは、トランスコーダを SAGE1 の現可能である。

デ ィ ス プ レ イ ノ ー ド と し て 認 識 し 、 TCP/IP や

我々は、今年度、我々の遠隔配信システムをUDP/IP を利用して可視化イメージをそこに送信

AutoVFlow に対応するようにソフトウェアの開発する。そして、トランスコーダで受信された可視を実施した。これまでは、我々の遠隔配信システ化イメージは、内部でデコードされ、必要に応じ

ムは、すべての利用者が単一の OpenFlow ネットワでサイズ変換を実施した上で、さらに SAGE2 のデークを共有していることを前提としていた。そのィスプレイである Chrome へ WebSocket を介しため、特定のリンクを一部のユーザに対してのみ
5学際大規模情報基盤共同利用・共同研究拠点 平成 27 年度共同研究 最終報告書 2016 年 5 月

利用可能にするなど、いわゆるマルチテナント的

7.

研究成果リストな機能を実現するためには、その都度ごとに別の(1) 学術論文OpenFlow ネットワークを設定する必要があった。

•Yoshiyuki Kido, Kohei Ichikawa, Susumu

今回、遠隔配信システムが AutoVFlow に対応した

Date, Yasuhiro Watashiba, Hirotake Abe,

ことにより、利用者毎に異なる仮想 OpenFlow ネッ

Hiroaki

トワークを見せることが可能となり、単一のネッTakemura,トワーク、単一のシステムインスタンスでマルチTiled

テナント機能を実現することが可能となった。

OpenFlow-based

Dynamic

Functionality

Triggered

Yamanaka,
Shinji

Display

Eiji

Kawai,

Shimojo.
WallHaruo

SAGE-based

EnhancedwithRouting
byUserInteraction, Future Generation Computer

6. 今年度の進捗状況と今後の展望

Systems, vol.56, pp.303-314, Elsevier,Mar.2016.[DOI:10.1016/j.future.2015.09

今年度の研究開始当初は、SC15 の会期に合わせ.033]

た日米間実験の後に、図 1 に示してあるような国(2) 国際会議プロシーディングス

内の実験を実施することを予定していた。しかし•

Susumu Date, Hirotake Abe, Dashdavaa

前述の通り、日米間実験においてソフトウェアのKhureltulga,Keichi

Takahashi,

不備が見つかった為、その後に予定していた国内

Yoshiyuki

YasuhiroWatashiba,

実験を予定通り実施し完了させることができなか

Pongsakorn U-Chupala, Kohei Ichikawa,った。この点については大変残念に思っている。

Hiroaki Yamanaka, Eiji Kawai and Shinji

その一方で、当初はあまり予定していなかった、

Shimojo. "An Empirical Study of SDN-Kido,

ソフトウェア面の機能強化という大きな成果が得

acceleratedられた。特に、SAGE2 でのパフォーマンスの懸念がScientific払拭されたことと、SAGE2 への対応が大きく進んInternationalだことは、当システムの利便性の大幅な向上に寄Computing与するものと期待している。また、SAGE2 対応や(ICCCRI

AutoVFlow 対応と同時に、日米間実験の際に問題

2015.[DOI:10.1109/ICCCRI.2015.13]を生じたトランスコーダの制御プログラムの部分(3) 国際会議発表の改善も進んだ。それにより、同じ失敗を重ねる•ことは無いと考えている。

(4) 国内会議発表

当研究課題は、今年度のみで発展的解消を行い、•HPC

InfrastructureResearch",

ConferenceResearchand2015),

for2015

onCloudInnovations
Octoberなし
木戸善之, 瀬野恭彦, 西原秀明, “「組込次年度以降はより広いテーマを扱う別の研究課題

み適塾」の遠隔講座拡大に向けた超臨場感（課題名: Toward a resilient software defined

メディア技術による実証実験”, ソフトウ

infrastructure to support disaster managementェアエンジニアリングシンポジウム 2015,applications. 代表：渡場康弘（奈良先端大））へ

pp.216-217, Tokyo, Japan, 7-9, Sep. 2015.

合流することを予定している。来年度は、その枠(poster)組の中で、今年度やり残した国内実験の完遂する[http://id.nii.ac.jp/1001/00144891/]

ことを目指したい。

(5) その他（特許，プレス発表，著書等）•6

なし（プレス発表を検討中）