JHPCN 広域分散クラウドを⽤いた超⾼解像度時系列画像の多拠点共有実験の報告
川鍋 友宏 1), 村田 健史 1),2), 山本 和憲 1), 深沢 圭一郎 2), 樋口 篤志 3), 豊嶋 紘一 4),3),小野謙二 5)
1) 情報通信研究機構 総合テストベッド研究開発推進センター
2) 京都大学 学術情報メディアセンター
3) 千葉大学 環境リモートセンシング研究センター
4) 東京大学生産技術研究所
5)九州大学 情報基盤研究開発センター
tkawanabe@nict.go.jp

Report on multi-site sharing experiment of ultra-high-resolution time-series
images using JHPCN wide-area distributed cloud
KAWANABE Tomohiro1), MURATA Ken T1),2), YAMAMOTO Kazunori1),
FUKAZAWA Keiichiro2), HIGUCHI Atsushi3), TOYOSHIMA Koichi4),3), ONO Kenji5)1) ICT Testbed Research and Development Promotion Center, National Institute of Information andCommunications Technology (NICT)2) Academic Center for Computing and Media Studies, Kyoto Univ.
3) Center for Environmental Remote Sensing, Chiba Univ.
4) Institute of Industrial Science, the Univ. of Tokyo
5) Research Institute for Information Technology, Kyushu Univ.
概要
学際大規模情報基盤共同利用・共同研究拠点(JHPCN)採択課題の一つである「高速通信技術の融合による大規模データの拠点間転送技術開発と実データを用いたシステム実証実験」において、国内の大学や研究機関を JGN や SINET5 にまたがる L2VPN により全国規模の分散クラウドシステムを構築している。本 L2VPN に接続された複数拠点のタイルドディスプレイを連動させ、気象衛星ひまわりの超高解像度時系列画像を同時表示させる実験を行った。本実験は旧来のタイルドディスプレイのように一箇所に研究者が集まり画面を見ながら議論するような利用方法にとらわれない、ポストコロナ時代に適応した分散協調的な大規模データ分析可視化手法を示すものである。

1

デバイスは、4K〜5K 程度の解像度の製品が一般はじめに的に入手可能かつ実用的な最大解像度であるが、ビッグデータ利活用が一般化したその背景に入力データは爆発的に増え続けているにも関わらは、クラウドコンピューティング技術の民主化がず、ディスプレイ解像度の進化は相対的に遅く、大きな役割を果たしている。巨大な計算資源やス結果として人間に提示される情報はますます要約トレージはもはや特別な物ではなく、さらに近年されることになる。単位面積あたりの画素数は人発達目覚ましい AI 技術により、ビッグデータはク間の認知力の限界に近づいているため、平面ディラウド上で効率的に要約された情報に加工され、スプレイが提示する情報量を増やすには、物理的誰もが手元の端末からアクセスできるようになっな面積を広げるのが現実的な手段となる。しかし、た。しかしながら多くの研究分野においては、巨それを実現するタイルドディスプレイシステムは大なデータを要約せずに観察することで気づきを一般的に大型かつ高価であり、研究施設の可視化得ることが現在でも（そして今後も）重要であるルームなどに複数の人間が集まって情報を閲覧しが、この要求はビッグデータ化が進むにつれ実現ながら議論する使い方を想定された装置であるたが難しくなる相反関係にある。なぜなら、こんにめ、コロナ禍の現代社会に適応しているとは言いち最終的なデータ提示装置としてのディスプレイ難い。

165

筆者らは学際大規模情報基盤共同利用・共同研

伝送・共有・ 保存するため、東北から九州まで究拠点(JHPCN)課題の一つである「高速通信技術の広域拠点を L2 (レイヤ 2)VPN で結ぶ分散クラの融合による大規模データの拠点間転送技術開発

ウドシステムを実装した[4] 。主要拠点間での通信と実データを用いたシステム実証実験」[1]におい性能計測結果を表 1 に示す。また、九州大学、京て、国内の複数の大学または研究機関を JGN や都大学、NICT の各ストレージサーバに気象衛星ひSINET5 の広帯域バックボーンネットワークによまわりの雲画像タイルデータを分散配置し、千葉

り L2VPN で結ぶ全国規模の分散クラウドシステ

大学、信州大学の Web サーバからそれらストレーム(以下、JHPCN 広域分散クラウド)の構築およびジをリモートマウントした、ひまわりリアルタイ性能検証を進めてきた。JHPCN 広域分散クラウド

ム Web 負荷分散システムの試験運用を開始した

内のストレージには、ひまわりリアルタイム（図 1）。2022 年度は分散クラウド上のエコシステ

Web[2]の高解像度タイル画像（全球最大解像度

ムを整備し、各分野のドメイン研究者がビッグデ5,500x5,500 ピクセル）が時系列で保存されており、ータ処理や可視化を行うための環境構築を進めて

L2VPN 内では高速にアクセス可能である。また、いる。

現在 NICT が中心に開発を進める Web ベースのタ

表 1 拠点間の TCP 計測結果（iperf3 による）

イルドディスプレイミドルウェア ChOWDER[3]を適用可能なタイルドディスプレイ装置が、千葉大学、九州大学、NICT に存在し、上述の L2VPNに接続されていることから、これらタイルドディスプレイを ChOWDER により協調動作させ、気象衛星ひまわりの超高解像度画像を３拠点で時系列に同期表示させる実験を行い、ウィズコロナ・ポストコロナ時代に適応した遠隔・協調大規模可視化の手法を検証した。
本稿は、第２節で JHPCN 広域分散クラウドに分散
2021年7月

ついて、第３節で ChOWDER について説明する。

用 始

第４節では実験方式について説明し、第５節でそhttps://himawari.asiaの実験結果を報告する。第６節でまとめと今後の

年分散
NICT無停1000万想定課題について述べる。

2500

源室

Load balancing

JHPCN 広域分散クラウド

Web(JHPCN 広域分散クラウドの目的は、JHPCN 拠点大学の情報基盤センターのコンピュータリソー
ス(高性能スーパーコンピュータ、大規模ストレ画像 200TB

HCP HpFP
機

rsync
画像同期数値
数値

九州大学 信州大学
2021年度新2021年度新

京大学

画像生成用
機

画像生成用機Web(Web((HpFP)

400TB
画像 200TB

数値

千400TB
画像 200TB

大学

jh170034-2.kudpc.kyoto-u.ac.jp https://ncthmwrwbtst.cr.chiba-u.ac.jp https://himawari8.nict.go.jp

ージ、大画面可視化デバイス/ディスプレイ)、お図 1 JHPCN 分散広域クラウド上に構築したひまわ

よび各種 IoT センサーを融合的に活用するビッグりリアルタイム負荷分散システム

データサイエンス基盤となる広域分散クラウド構築である。筆者らは大規模な広域分散計算環境の構築のため、学際大規模情報基盤共同利用・共同

3 ChOWDER
3.1 概要研究拠点プログラムの採択課題をベースに本クラChOWDER(Cooperative Workspace Driver)は、複ウドを構築している。本クラウド構築に関連する数の物理ディスプレイ装置を並べて配置すること

課題は 2015 年度から本年度まで継続的に採択さで、全体をひとつの大きなディスプレイエリアとれており、2019 年度までに L3(レイヤ 3)による拠して利用する、いわゆるタイルドディスプレイを点間ネットワークを構築し、スパコンや大規模ス実現するオープンソースソフトウェアである。

トレージによるデータ処理環境整備を行ってきた。

2016 年に理化学研究所と九州大学が共同で研究開

2021 年度には SINET のブロードバンドネットワ

発を始め、2020 年からは NICT により地理情報シーク性能を最大限に引き出しつつビッグデータをステム（GIS）の閲覧機能などの機能追加を行って166いる。ソースコードは Github で公開している[5]。

ネットワーク接続可能なユーザ PC 上で動作させ（現時点での最新版は 202111 ブランチ）る。制御ソフトウェアでタイル画像の拡大・縮小

システム構成概要を図 2 に示す。ChOWDER はなどの操作を行うと、その操作情報（メタデータ）Web ブラウザを表示ソフトウェアとして利用する。

が ChOWDER サーバを経由してタイルドディスプタイル状に配置したディスプレイ装置のそれぞれレイを構成する各物理ディスプレイ（の Web ブラにおいて Web ブラウザを全画面表示し、各 Webウザ）に通知され、物理ディスプレイの Web ブラ

ブラウザは ChOWDER サーバに接続することで、ウザはそのメタデータに基づき、自身の表示範囲タイルドディスプレイ全体を１つの大きな表示空に必要なタイル画像を、タイル画像サーバに要求間として制御できる。表示するコンテンツは、ユして描画する。つまり、ユーザ PC→ChOWDER サーザの手元の PC 上の Web ブラウザ（ChOWDERーバ→ディスプレイの通信はメタデータのみであコントローラアプリ）を通してアップロードする。

り、必要最低限の通信で高解像度データの可視化

アップロード可能なコンテンツ種別は、画像、を可能にしている。

PDF、テキストファイルである。動画ファイルや、デスクトップ画面共有などは、（アップロードを3.3 仮想ディスプレイ空間による複数拠点連携必要としない）ストリーミングコンテンツとしてChOWDER サーバが管理する仮想ディスプレ表示可能である。なお、ChOWDER システム概要

イ空間、Virtual Display Area(VDA)により、物理構については 2018 年[6]に、超高解像度可視化事例に成（タイル構成や総解像度等）の異なる複数拠点

ついては 2019 年[7]の AXIES 年次総会で報告してのタイルドディスプレイを、ネットワークを介しいる。て連動可能である。ユーザは ChOWDER システムを利用する際にこの VDA 内の任意の場所に物理ディスプレイの位置を割り当てる。物理ディスプ
レイは複数割当可能であり、格子状に割り当てれば所謂タイルドディスプレイとなる。表示するコンテンツも VDA 上の任意の位置に登録可能である。コンテンツはタイルドディスプレイを構成する複数の物理ディスプレイ間をまたがった移動や拡縮が可能である。VDA 上ではコンテンツのみならずディスプレイの拡大・縮小率の変更が可能であるため、図 3 に示すように Site A が 2×2 構成のタイルドディスプレイ、Site B が 1 つのディスプ

図 2 ChOWDER システム構成概要

レイのような、拠点ごとに異なる物理解像度、アスペクト比であっても、VDA 上での位置と大きさ3.2 タイル画像ビューア機能
ChOWDER には Web サーバから配信されるXYZ 方式タイル画像を表示する、タイル画像ビューア機能がある。XYZ 方式とは、サーバ側で予めタイル状に分割した画像データを配信する方法であり、Google Maps や、地理院地図（電子国土 Web）
といった地図配信サイトで広く用いられている画像データ配信方法である。ひまわりリアルタイム
Web も XYZ 方式によりひまわり雲画像を配信しており、ChOWDER タイル画像ビューア機能により、タイルドディスプレイの総解像度に応じた高解像度なひまわり雲画像を表示可能である。
タイルビューア機能の制御ソフトウェアはWeb ブラウザで稼働する JavaScript アプリケーシ
ョンとして実装されており、ChOWDER サーバに167を重ね合わせることにより、両拠点でコンテンツをミラーリング共有することが可能である。
この VDA のコンセプトと実装は、他タイルドディスプレイシステムに見られない ChOWDER 独自のものであり、本稿で報告する実験を着想するに至った理由である。

表 2 各拠点タイルドディスプレイ諸元

図 4 実験装置の接続構成
図 3 Virtual Display Area の概念（下）と適用例（上）5 実験結果実験は 2021 年 11 月 25 日に行われ、3 拠点のタイルドディスプレイを京都大学の ChOWDER サー

4 実験方法JHPCN 広域分散クラウドの L2VPN に接続された、九州大学、千葉大学、NICT の３拠点のタイルバに接続したのちに、九州大学から L2VPN に接続した操作用 PC 上の 2 つのタイル画像ビューア制
御アプリで、ひまわり全球画像と日本域画像を表ドディスプレイを、京都大学のサーバ（仮想マシ示し、全拠点のタイルドディスプレイに同じ画像ン）上で稼働する ChOWDER サーバに接続し、ミがタイルドディスプレイの総解像度に応じた超高ラーリング表示状態とする。各タイルドディスプ解像度画像で表示されることを確認した（図 5）。

レイの諸元を表２に、実験の接続構成概要を図 4に示す。
ひまわり画像を配信する Web サーバは NICT にあり、ローカルストレージのひまわり画像を参照している（図 1）。L2VPN に接続した操作用 PC 上
でタイル画像ビューア制御アプリを２つ動作させ、ひまわり全球画像と、日本域画像の２種類を同時

なお、このとき表示した雲画像データは、日本各地に大きな被害をもたらした 2019 年の台風 19 号が本州に近づきつつある 2019 年 10 月 11 日のものである（図 6）。
続いて、操作用 PC 上のタイル画像ビューア制
御アプリの時刻スライダを操作して表示画像の時刻歴変更を行い、各拠点タイルドディスプレイ上表示させる。２つのひまわり画像は各拠点のタイでの表示変更追随を観察した。全拠点とも操作用

ルドディスプレイにミラーリング表示される。タ

PC の時刻操作に応じて表示画像が更新されるこ

イルドディスプレイ上での表示倍率は、アスペクト比の違う各タイルドディスプレイにおいて概ね画像全体が表示されるように ChOWDER コントローラアプリにより調整する。とを確認したが、NICT のタイルドディスプレイは他拠点に比べ表示更新が著しく（数秒から十数秒）遅れることがあるのが確認された。これは NICTのタイルドディスプレイを構成する物理ディスプ

ひまわり画像は１０分毎の時系列画像であり、レイに接続された計算機の描画性能の低さによるタイル画像ビューア制御アプリの時刻変更機能をものと考えられる。NICT タイルドディスプレイは用いて３拠点に表示された２種類の超高解像度タイル画像の時系列表示の同期実験を行う。なお、３拠点間の音声コミュニケーションと映像記録には zoom を用いた。

計算機に RaspberryPi を用いることでローコストに高解像度を得ることを目的に構築されたものであるのに対し、他 2 拠点の計算機はマルチディスプレイ対応の高性能な GPU ボードが搭載されており、描画性能差が生じることは予め予想される実験であったが、表示速度の問題以外には不具合は発生せず、3 拠点による超高解像度画像の協調表示実験は成功したと言える。

168

できなかったため、次回の実験では客観的指標による評価により、具体的な性能検証を行う予定である。

謝辞
本研究は、学際大規模情報基盤共同利用・共同研究拠点、および、革新的ハイパフォーマンス・コンピューティング・インフラの支援による図 5 複数拠点タイルドディスプレイを連動させたものです(課題番号: jh210009-MDH)。

超高解像度画像共有実験の様子（zoom 録画のスクリーンショット）

参考文献

図 6 操作用 PC 上のタイル画像ビューアソフトウ
ェア ひまわり全球（左）と日本域（右）6 おわりに
本稿では JHPCN 広域分散クラウドのバックボーンとして構築した L2VPN に接続された各拠点のサーバ計算機、タイルドディスプレイを用いた超高解像度画像の多拠点同時表示実験の報告を行った。複数拠点タイルドディスプレイを同時駆動可能な、NICT 開発のソフトウェア ChOWDER を用い、超高解像度かつ時系列なひまわり雲画像を、九州大学、千葉大学、NICT の 3 拠点のタイルドディスプレイにミラーリング表示することに成功した。
異なるタイル構成・解像度のタイルドディスプ
レイ間でのコンテンツ共有表示は、ChOWDER 独自の機能であり、本実験により旧来のタイルドディスプレイのように一箇所に研究者が集まり、画面を見ながら議論するような利用方法にとらわれない、ポストコロナ時代に適応した分散協調的な大規模データ分析可視化手法を提示することができた。
本稿で報告した実験では、準備不足により転送データ量の算出や、表示時間の厳密な計測などが169[1] 学際大規模情報基盤共同利用・共同研究拠点
採択課
題詳細、
https://jhpcn-kyoten.itc.u-tokyo.ac.jp/abstract/jh210009-MDH[2] ひ ま わ り リ ア ル タ イ ム Web 、
https://himawari.asia/[3] Kawanabe, T., Nonaka, J., & Ono, K. (2018,August). ChOWDER: Dynamic contents sharing
through remote tiled display system. In: 11th
International Symposium on Visual Information
Communication and Interaction, VINCI 2018 (pp.
108-109). Association for Computing Machinery.
[4] 村田健史, 深沢圭一郎, 川鍋友宏, 山本和憲,
村上雄樹 (2021). 高速通信技術の融合による大規模データの拠点間転送技術開発と実データを用いたシステム実証実験. In AXIES 年次大会口頭発表プログラム[5] ChOWDER Github リ ポ ジ ト リ ,https://github.com/NICT-STARS/ChOWDER[6] Ono, K., & Kawanabe, T. (2018). タイルドディ
スプレイシステム ChOWDER を利用したオンラインコラボレーション. In AXIES 年次大会口頭発表プログラム[7] Kawanabe, T., Ono, K., & Sakurai, D.(2019). タ
イルドディスプレイシステム ChOWDER の超大規模画像データ表示機能とその応用事例.
In AXIES 年次大会口頭発表プログラム