ISSN 2436-0066

Vol.55 No.3

2022-7኱つᶍ⛉Ꮫィ⟬ࢩࢫࢸ࣒㛵㐃᱌ෆ㸺኱つᶍ⛉Ꮫィ⟬ࢩࢫࢸ࣒㛵㐃ᴗົࡣࠊࢧ࢖ࣂ࣮ࢧ࢖࢚ࣥࢫࢭࣥࢱ࣮ᮏ㤋ෆࡢ᝟ሗ㒊᝟ሗᇶ┙ㄢࡀᢸᙜࡋ࡚࠸ࡲࡍࠋ㸼https://www.ss.cc.tohoku.ac.jp/
*

㝵

ಀ䞉ᐊྡ

฼⏝┦ㄯᐊ

㟁ヰ␒ྕ䠄ෆ⥺䠅e-mail022-795-6153(6153)
cc-sodan@grp.tohoku.ac.jp┦ㄯဨ୙ᅾ᫬

୺䛺䝃䞊䝡䝇ෆᐜィ⟬ᶵ฼⏝඲⯡䛻㛵䛩䜛┦ㄯ䝃䞊䝡䝇᫬㛫
ᖹ ᪥
8:30䡚17:15

኱ุ䝥䝸䞁䝍䚸฼⏝⪅➃ᮎ➼䛾฼⏝

9:00䡚16:00

022-795-3406(3406)
฼⏝⪅ㄯヰᐊ

(3444)⮬㈍ᶵ

8:30䡚21:00

ᒎ ♧ ᐊ* (ศᩓ*ぢᏛᕼᮃ䛾᪉䛿ඹྠ฼⏝ᨭ᥼ಀ䜎䛷䡶䢙䢇䢛䡩䡬䡼༤≀㤋)*䛤㐃⤡䛟䛰䛥䛔䚹

Ṕ௦䛾኱ᆺィ⟬ᶵ➼䛾ᒎ♧

9䠖00䡚16䠖00⥲ົಀ022-795-3407(3407)
cc-som@grp.tohoku.ac.jp⥲ົ䛻㛵䛩䜛䛣䛸

8:30䡚17:15

఍ィಀ

022-795-3405(3405)
cc-kaikei䠜䡃rp.tohoku.ac.jp఍ィ 䛻㛵䛩䜛䛣䛸䚸㈇ ᢸ㔠 䛾ㄳồ䛻㛵䛩䜛䛣䛸

8:30䡚17:15

ඹྠ฼⏝ᨭ᥼ಀ(ཷ ௜)022-795-3406䠄3406䠅
022-795-6251(6251)
cc-uketuke@grp.tohoku.ac.jp฼⏝ᡭ⥆䛝䚸฼⏝┦ㄯ䚸ㅮ⩦఍䚸䝷䜲䝤䝷䝸䚸ぢᏛ䚸䜰䝥䝸䜿䞊䝅䝵䞁䛻㛵䛩䜛䛣䛸

8:30䡚17:15

ඹྠ◊✲ᨭ᥼ಀ

022-795-6252(6252)
rs-sec@cc.tohoku.ac.jpඹྠ◊✲䚸ィ⟬ᶵ䝅䝇䝔䝮䛻㛵䛩䜛䛣䛸

8:30䡚17:15

䝛䝑䝖䝽䞊䜽ಀ022-795-6253(6253)
i-network@grp.tohoku.ac.jp䝛䝑䝖䝽䞊䜽䛻㛵䛩䜛䛣䛸

8:30䡚17:15

ᅄ
㝵

◊✲㛤Ⓨ㒊

022-795-6095(6095)

஬
㝵

➃ᮎᶵᐊ

(3445)

PC ➃ᮎᶵ䠄X ➃ᮎ䠅

8:30䡚17:15*㸦㸧ෆࡣᮾ໭኱Ꮫෆࡢࡳࡢෆ⥺㟁ヰ␒ྕ࡛ࡍࠋ㟷ⴥᒣ࣭ᕝෆᆅ༊௨እ࠿ࡽࡣ㢌࡟ 92 ࢆຍ࠼ࡲࡍࠋ

୍
㝵

୕
㝵

ᮏㄅ䛾ྡ๓䛂SENAC䛃䛾⏤᮶᫛࿴ 33 ᖺ䛻ᮾ໭ᆅ༊䛾᭱ึ䛾㟁Ꮚィ⟬ᶵ䛸䛧䛶䚸ᮾ໭኱Ꮫ㟁Ẽ㏻ಙ◊✲ᡤ䛻䛚䛔䛶᏶ᡂ䛥䜜䛯䝟䝷䝯䝖䝻䞁ᘧィ⟬ᶵ䛾ྡ๓䛷 SENAC-1(SENdai Automatic Computer-1)䛛䜙䛸䛳䛶࿨ྡ䛥䜜䛯䚹SENAC Vol. 55, No. 3（2022. 7）― 1 ―［お知らせ］

ス ー パ ー コ ン ピ ュ ー タ A O BA の ク ラ ウ ド サ ー ビ ス と の 連 携

サイバーサイエンスセンターは、スーパーコンピュータ AOBA と大規模クラウドサービスと連携した新しいサービスを本年 10 月から開始する予定です。
クラウドサービスは、NEC データセンターに設置した理論演算性能 2.3PFLOPS の SX-Aurora
TSUBASA を計算リソースとして提供するものです。国立情報学研究所の SINET6 を経由し、スーパーコンピュータ AOBA を 2 倍以上の性能に増強します。AOBA のサービス内容や利用方法
は従来どおりに、これまで実現不可能だった大規模な演算向けに使い勝手のよい計算サービ
ス環境を提供します。「より大規模な演算がしたい」、「計算リソース待ちの混雑解消」な
ど、利用者のご要望にお応えします。パワフルに生まれ変わる新しいスーパーコンピュータ
AOBA をお待ちください。詳細なサービス内容については、ホームページにて順次お知らせします。

サービス概念図（日本電気㈱プレスリリースより https://jpn.nec.com/press/202204/20220425_01.html）（スーパーコンピューティング研究部，共同研究支援係，共同利用支援係）

A O BA U s er s ’ NE WS 「 AO BA の 杜 （ あ お ば の も り ） 」 V o l . 3の公開に ついてスーパーコンピュータ AOBA をご活用いただいている、電磁波工学に関する研究事例（Vol.3）を紹介しています。ぜひご覧ください。

https://www.cc.tohoku.ac.jp/usersnews/（共同利用支援係）

― 2 ―

SENAC Vol. 55, No. （3 2022. 7）[ 大規模科学計算システム ]サブシステム AOBA-A における TensorFlow の利用方法
サイバーサイエンスセンター スーパーコンピューティング研究部 高橋 慧智

概要 サブシステム AOBA-A に搭載されている Vector Engine (VE) はメモリ帯域幅律速の数

値シミュレーションを主眼に据えていますが，深層学習をはじめとする機械学習のためのソフト
ウェアエコシステムも活発に整備が進んでいます．本稿では，広く用いられている深層学習のためのオープンソースフレームワークである TensorFlow を VE 向けに移植した TensorFlow-VE

を AOBA-A 上で利用する手順を紹介します．TensorFlow-VE を用いることで，CPU のみを用いる場合より，大幅に訓練を高速化することができます．

Python 3.8 のインストール

1

VE 向け TensorFlow (以下 TensorFlow-VE) の公式 GitHub リポジトリ (https://github.

com/sx-aurora-dev/tensorflow) では，ビルド済みのバイナリを含む wheel パッケージが配布されていますが，Python 3.8 向けの wheel しか提供されていません．一方，AOBA にインストールされている Python のバージョンは 3.6 であるため，ホームディレクトリに Python 3.8

をインストールします．

まず，任意のバージョンの Python を容易にインストール可能にするツールである Pyenv(https://github.com/pyenv/pyenv) をインストールします．なお，以下ではフロントエンド
ノードのシェルとして bash を使用しているとします．
$ git clone https :// github.com/pyenv/pyenv.git ~/. pyenv$ echo 'export PYENV_ROOT =" $HOME /. pyenv"' >> ~/. bashrc$ echo 'command -v pyenv >/dev/null || export PATH =" $PYENV_ROOT/bin:$PATH"' \>> ~/. bashrc$ echo 'eval "$(pyenv init -)"' >> ~/. bashrc

次に，Python が依存するライブラリの 1 つである libffi のヘッダファイルが AOBA にはインストールされていないため，ホームディレクトリ以下にインストールします．
$ curl -sL https :// github.com/libffi/libffi/releases/download/v3 .4.2/\
libffi -3.4.2. tar.gz | tar xzvf $ cd libffi -3.4.2$ ./ configure --prefix=$HOME /. local$ make$ make installlibffi の共有ライブラリをインストールした$HOME/.local/lib64 をライブラリ検索パスに追加しておきます．下記を.bashrc に追記します．


export LD_LIBRARY_PATH=$HOME /. local/lib64:$LD_LIBRARY_PATHサブシステム AOBA-A における TensorFlow の利用方法― 3 ―Pyenv を用いて Python 3.8 をインストールします．Python の configure スクリプトが，先ほどインストールした libffi を発見できるように環境変数によりオプションを渡します．


$ PYTHON_CONFIGURE_OPTS ="CFLAGS=-I$HOME /. local/include \PKG_CONFIG_PATH=$HOME /. local/lib/pkgconfig" pyenv install 3.8.13$ pyenv global 3.8.13



最後に，python コマンドを実行した際に起動する Python のバージョンが 3.8 に切り替わっていることを確認します．


2$ python3 -V
Python 3.8.13

TensorFlow-VE のインストール

GitHub リポジトリ (https://github.com/sx-aurora-dev/tensorflow) で提供されている wheel パッケージを用いて TensorFlow-VE をインストールします．ここでは，本稿を執筆時点で最新の 2.5.0 update 1 をインストールします．
$ curl -sL -O https :// github.com/sx -aurora -dev/tensorflow/releases/download /\tf -ve -2.5.0 - u1/tensorflow_ve -2.5.0 -cp38 -cp38 -linux_x86_64.whl$ pip3 install tensorflow_ve -2.5.0 -cp38 -cp38 -linux_x86_64.whl

3 サンプルスクリプトによる動作確認

GitHub リポジトリ (https://github.com/sx-aurora-dev/tf-samples) で公開されている TensorFlow-VE のサンプルテストを用いて動作確認を行います．ここでは，畳み込み

ニューラルネットワークにより手書き数字の画像データセット MNIST を分類するスクリプト(mnist_cnn/mnist_cnn.py) を使用します．
$ git clone https :// github.com/sx -aurora -dev/tf -samples.git



このスクリプトでは，MNIST データセットを初回実行時に自動的にダウンロードしてホーム

ディレクトリにキャッシュするようになっています．しかし，AOBA の計算ノードからはインターネットに疎通しないので，フロントエンドノード上で事前に MNIST データセットをダウンロードし，キャッシュしておきます．


$ python3 -c "import tensorflow as tf; tf.keras.datasets.mnist.load_data ()"

以下の内容のジョブスクリプトを qsub コマンドで投入して訓練を実行します．TensorFlow-

VE にはジョブスケジューラによって割り当てられていない VE を使用してしまう問題があるた

め，VE_NODE_NUMBER 環境変数を 0 に設定します．また，AOBA-A では，OMP_NUM_THREADS
環境変数のデフォルト値は 2 に設定されているため，VE_OMP_NUM_THREADS 環境変数を 8 に設定し，VE の全コアを使用するようにします．

― 4 ―



#PBS
#PBS
#PBS
#PBS

SENAC Vol. 55, No. （3 2022. 7）-q sx-l elapstim_req =00:05:00--venode 1-S /bin/bash

cd $PBS_O_WORKDIR
export VE_NODE_NUMBER =0
export VE_OMP_NUM_THREADS =8python3 mnist_cnn/mnist_cnn.py -d /device:ve:0 --epoch 5 --verbose



ジョブの標準出力ファイルを確認すると，下記のように 1 エポックあたり 4〜5 秒で訓練を実行できていることがわかります．


batch_size =128 num_classes =10 epochs =5
x_train shape: (60000 , 1, 28, 28)
60000 train samples
10000 test samples
Epoch 1/5
469/469 [==============================] - 5.064797s 10ms/step - loss:
0.2160 - accuracy: 0.9346 - val_loss: 0.0528 - val_accuracy: 0.9826(中 略)Epoch 5/5
469/469 [==============================] - 4.515069s 10ms/step - loss:
0.0492 - accuracy: 0.9863 - val_loss: 0.0356 - val_accuracy: 0.9894
Test loss: 0.035571131855249405
Test accuracy: 0.9893999695777893



性能比較の対象として，同一の内容の訓練を下記のジョブスクリプトで AOBA-A の VH

(AMD EPYC 7402P) のみを使用して実行してみます．なお，AMD EPYC 7402P は 24 コアを搭載していますが，AOBA-A ではシステム側で 8 コアを確保しているため，利用者が要求できるコア数の上限は 16 コアとなっています．


#PBS
#PBS
#PBS
#PBS
#PBS

-q sx
-l elapstim_req =00:05:00--venode 2-S /bin/bash--cpunum -lhost =16



cd $PBS_O_WORKDIR
export OMP_NUM_THREADS =16

python3 mnist_cnn/mnist_cnn.py -d /cpu:0 --epoch 5 --verbose --nhwc



VH 上で訓練を実行すると，1 エポックあたり 15〜16 秒かかります．したがって，このモデ

ルとデータセットの場合には，VE を使用することにより VH の約 3 倍高速に訓練を実行することができます．TensorFlow-VE は複数の VE を用いた訓練にも対応しているため，VH に搭載されている 8 基全ての VE を使用すれば，更なる高速化が期待できます．

MATLAB® を利用した成果事例の紹介― 5 ―[ 大規模科学計算システム ]MATLAB® を利用した成果事例の紹介
MathWorks®

情報部情報基盤課 共同利用支援係

MATLAB® は高機能な数値計算機能と多彩な可視化機能を備えた技術計算ソフトウェアです。科学的、工学的分野の様々な数値計算 (特に行列演算)、データ解析、シミュレーション、およびビジュアライゼーションのための統合環境を提供しています。

本センターのスーパーコンピュータ AOBA では、サブシステム AOBA-B およびフロントエンド

サーバで MATLAB® のアプリケーションサービスを行っています。東北大学と MathWorks® 社のサイトライセンスにより、提供される全ての Toolbox が利用可能です。東北大学構成員以外の利用も可能ですが、日本国内の学術目的での利用（非商用利用）に限定されます。

本稿ではサブシステム AOBA-B を活用した本学研究者の成果事例をご紹介いたします。
・東北大学理学研究科 地震・噴火予知研究観測センター
・東北大学工学研究科 航空宇宙工学専攻
・東北大学電気通信研究所

大塚啓介 助教

三浦哲 教授芝隆司 特任教授【センターマニュアル一覧（アプリケーション利用方法、利用申請方法など）】

https://www.ss.cc.tohoku.ac.jp/manual/【センターの MATLAB® 利用についての問合せ（利用相談フォーム）】https://www.ss.cc.tohoku.ac.jp/consultation/【MathWorks® サポート窓口】

https://jp.mathworks.com/support/contact_us.html【コミュニティ Q&A サイト】

https://jp.mathworks.com/matlabcentral/answers/

― 6 ―

SENAC Vol. 55, No. （3 2022. 7）【AOBA×MATLAB】地表観測データを用いた火山直下のマグマ活動モデリング
理学研究科 地震・噴火予知研究観測センター

三浦 哲 教授

地震・噴火予知研究観測センターの三浦教授は，火山噴火発生に至る物理的プロセスの研究に取り組んでいます．これらの研究を行うには，傾斜観測，GNSS 観測，衛星 SAR 画像解析など地表で観測されるデータから，火山活動の根源であるマグマの動きを精度良く捉える必要があります．MATLAB は，リモートセンシングデータの画像処理やモデルパラメータの推定，時系列解析など豊富なツールが揃っていてプログラミングが容易であるため，長年研究で利用してきました．

課題

今回，より信頼性の高いマグマ活動モデルを構築するため，大量の InSAR 画像ピクセル上で多数回の数値シミュレーションを繰り返し行う必要がありました．高速処理を行うためには，複数のプロセッサを持つ並列計算機が有効であることは理解していましたが，並列計算機は非常に高価であり，研究室単位で導入することはできませんでした．

ソリューション

MATLAB の 全 学 利 用 向 け ラ イ セ ン ス (Campus-Wide License) が 導 入 さ れ た こ と に よ り， 全 学 生， 全 教 職 員 が す べ て の

Toolbox（アドオン製品）が使えるようになりました．それに伴い，サイバーサイエンスセンターの最新のスーパーコンピュー
タ AOBA で MATLAB の並列処理環境が構築されたので，気軽に大規模な並列処理が試せるようになりました．

結果

高価なハードウェアを研究室単位で用意することなく，大規模な数値シミュレーションを行うことができました．MATLAB は，コードを作成し直すことなく簡単にスーパーコンピュータにスケーリングできるので，スーパーコンピュータの利用については初心者でしたが，並列処理をスムーズに行うことができました．

MATLAB の利点

多変量データ，時系列分析，空間および方向データの分析，信号処理や画像分処理などの観測データを統合して解析できます．

スーパーコンピュータを初めて利用する研究者でも簡単にプログラムをクラスターにスケーリングできます．

0008
37

0008
37

0008
37

0008
37

アルゼンチン・Domuyo 火山のデータ解析事例（2016 年）：［左列］InSAR 解析により得られた画像（山頂周辺の 10km 四方の範囲）．赤→青の色の変化が地表と SAR 衛星間の 2.8cm の距離変化に対応．
同心円状の干渉縞の中心付近（山頂付近に対応）が最大の距離変化を示す．
［中央］推定された増圧源モデル（深さ約 7km，約 47 億㎥の体積増加）による計算結果．
［右列］観測値と計算値の残差．
上段は北行軌道，下段は南行軌道のデータを用いた結果．

LOS velocity (m/yr)

0008
37

MATLAB® を利用した成果事例の紹介― 7 ―【AOBA×MATLAB】火星飛行機の構造 , 流体 ,制御の統合シミュレーション技術の開発・運用
工学研究科 航空宇宙工学専攻

大塚 啓介 助教

工学研究科航空宇宙工学専攻の大塚氏は，火星飛行機の折りたたみ翼の研究に取り組んでいます．低燃費化や収納スペース節約のために，飛行中に変形する可変翼が期待されており，流体，構造，制御の三者を融合した流体構造連成モデリング・風洞実験に邁進しています．MATLAB は行列計算が得意で，かつ，可視化も簡単に行えるので，構造・流体力学のシミュレーショ
ンのツールとして長く利用してきました．

課題
今回，シミュレーションのために大規模にメモリを使う必要性がありました．また，その環境を研究室メンバー全員が使えるようにしたいと考えました．しかし，コンピュータのメンテナンスや設置場所等を考えると，この環境を準備することができませんでした．今までスーパーコンピュータを使う機会がなかったため，安心かつ手軽に利用できる方法を模索していました．

ソリューション
MATLAB の全学利用向けライセンス (Campus-Wide License) が導入されたことにより，スーパーコンピュータで MATLAB が使えるようになり，手軽に大規模演算が可能な環境が整備されました．学内の計算システムなので，データのやり取りも安全に行え，技術的なサポートも受けることができました．また，全学生・全教職員がインストールの台数制限なく MATLAB を利用できるので，研究室の学生に平等な環境を提供できました．

結果
研究室で大規模計算用のコンピュータを準備することなく大規模なメモリを必要とする計算環境を学生に提供できました．
サイバーサイエンスセンターの技術的なサポートのおかげで，安心してスーパーコンピュータでも MATLAB を利用できました．

MATLAB の利点
行列演算，数値解析，2 次元・3 次元のデータの可視化が得意．
構造，流体，制御の多分野を統合したシミュレーションが可能．

⽮印 ＝ 流体⼒

後流

翼⾯
翼の空力弾性評価

― 8 ―

SENAC Vol. 55, No. （3 2022. 7）【AOBA×MATLAB】工場内無線 IoT の電波を見える化できる広帯域リアルタイム周波数スペ
クトラムモニターの開発
電気通信研究所

芝 隆司 特任教授

電気通信研究所の芝特任教授は，無線機ハードウェア技術をベースにした高信頼無線技術の研究に取り組んでいます．
MATLAB は，ベースバンド信号処理，RF，アンテナを含む無線通信システムの物理層の基本的なシミュレーションが簡単に行えるので研究室で長年に渡り利用してきましたが，今回は広帯域リアルタイム周波数スペクトラムモニターの開発に活用しました．

課題
現在，工場の IoT をさらに推し進める方法として「無線化」が期待されていますが，実現には無線 IoT 機器が利用する複数の周波数帯を対象としたリアルタイム周波数センシング技術が求められています．同氏は，比較的回路構成が簡単で，比較的低サンプリング周波数の ADC (Analog to Digital Converter) でスペクトラム情報が得られる，ダイレクト RF アンダーサンプリ
ング方式に着目し，複数の異なるサンプリング高速信号処理可能なスペクトラム再生方法を提案しました．その性能を実証するために，サンプリング周波数を網羅的シミュレーションで評価したかったのですが，計算時間を短縮したいと考えました．

ソリューション

MATLAB の全学利用向けライセンス (Campus-Wide License) が導入されたことにより，スーパーコンピュータで MATLAB が使えるようになり，手軽に大規模演算が可能な環境が整備されました．今回は 30 台のマシンを使った分散処理を実行すること
で，計算時間を短縮できました．スーパーコンピュータでジョブの投入やファイル転送を初めて行いましたが，サイバーサイ
エンスセンターの技術的なサポートのおかげで問題なく行えました．

結果

研究室のマシンで１週間（168 時間）程度かかった計算時間を 6 時間に短縮することができました．サイバーサイエンスセ

ンターの技術的なサポートのおかげで，安心してスーパーコンピュータでも MATLAB を利用できました．

MATLAB の利点

無線通信システムの物理層の基本的なシミュレーションが行えるので，新しい方式のアイディアを形にし易いツールです．

スーパーコンピュータを初めて利用する研究者でも簡単にプログラムをクラスターにスケーリングできます．

無線 IoT 環境

SENAC Vol. 55, No. 3（2022. 7）― 9 ―［利用相談室便り］

令 和  年 度 の 利用 相談につ いて 

サイバーサイエンスセンターの利用相談についてご案内いたします。今年度も、新型コロナウィ
ルス感染防止のため安全確保を最優先に考え、相談は主に利用相談フォームから受け付けます。面談をご希望の方は、事前に利用相談フォームでご連絡ください。相談内容、時間帯によっては、時間を要する場合もありますが、利用者の問題解決にむけて努めております。
センター利用に関してご質問、ご不明な点があればお気軽に利用相談をご利用ください。

・プログラムを高速化するにはどうしたらいいの？
・プログラムを並列化してもっと速く計算したい！
・スパコンでプログラムを動かしても速さが3&と変わらないんだけど、どうして？
・研究室のコンピュータではメモリが足りない！
・研究室の電気代高騰で困っている。
・コンピュータの管理は面倒。研究に専念したい。
・サービスしているアプリケーションを研究室から利用するにはどうすればいいの？

このような、スーパーコンピュータ利用に関する疑問や問題をお持ちの方、これから利用してみ
たいとお考えの方、一度相談してみてはいかがでしょうか。

利用相談フォーム： KWWSVZZZVVFFWRKRNXDFMSFRQVXOWDWLRQ

サイバーサイエンスセンター本館（右）、2 号館（左）

― 10 ―

SENAC Vol. 55, No. （3 2022. 7）

    
令和  年度利用相談日程と主な担当分野


曜日・時間

テクニカルアシスタント月  時～ 時

佐々木大輔
（情報基盤課共同研究支援係）

火  時～ 時

齋藤 敦子（情報基盤課共同研究支援係）

木  時～ 時

森谷 友映（情報基盤課共同研究支援係）

事前予約

菅野 学
（理学研究科）

事前予約

高橋 慧智（サイバーサイエンスセンター 

事前予約

山下 毅
（情報基盤課共同利用支援係）

主な担当分野・スーパーコンピュータ
・並列コンピュータ
・)RUWUDQ
・大判プリンタ・スーパーコンピュータ
・並列コンピュータ
・大判プリンタ・スーパーコンピュータ
・並列コンピュータ
・)RUWUDQ
・大判プリンタ
・*DXVVLDQ
・スーパーコンピュータ
・並列コンピュータ
・高速化（ベクトル化、並列化）
・)RUWUDQ ・&&・アプリケーション全般
・高速化（ベクトル化、並列化）
・)RUWUDQ
・負担金

事前予約は、利用相談フォームからご連絡ください（前頁参照）。



SENAC Vol. 55, No. 3（2022. 7）― 11 ―

［JHPCN シンポジウム］-+3&1 学際大規模情報基盤共同利用・共同研究拠点
第  回シンポジウム報告滝沢寛之
東北大学サイバーサイエンスセンタースーパーコンピューティング研究部

 月  日から  日にかけて開催された今年度の学際大規模情報基盤共同利用・共同研究拠点-+3&1 シンポジウムは，初の試みとして現地発表とオンライン発表のハイブリッド開催となりました．新型コロナウイルス &29,' 感染拡大防止のため現地参加可能人数は  名に制限されていましたが，それでも，会場では普段お会いすることのない方々とも対面でお会いすることができる有意義な機会となりました．
今回のシンポジウムでは，昨年度採択された  課題の成果報告発表がありました．各発表には
昨年度と同様に  分 発表  分，質疑応答  分 が割り当てられ，並列セッションでプログラムが構成されました  年前までは各発表  分 ．現地発表は $ 会場と % 会場に分かれており，参加者も  会場に分かれて聴講しました．また，昨年度に引き続き招待講演が企画され，ペンシルバ
ニア州立大学の 5XL =KDQJ 博士による自然言語処理に関する講演がありました．さらに，今年度採択された課題  件のポスター発表に加えて，各構成拠点から推薦された萌芽課題  件のポス
ター発表がありました．
学際大規模情報基盤共同利用・共同研究は，東北大学，北海道大学，東京大学，東京工業大学，
名古屋大学，京都大学，大阪大学，九州大学にそれぞれ附置するスーパーコンピュータを持つ  つの共同利用の施設を構成拠点とする「学際大規模情報基盤共同利用・共同研究拠点」が様々な計算科学分野の研究者らと取り組む学際的な共同利用・共同研究です．今年度より，各構成拠点に加え，国立情報学研究所，産業技術総合研究所，筑波大学人工知能科学センターが共同で運営する，データ科学・データ利活用に主軸をおいた計算基盤「PG[」も新たに共同研究のための計算機資源として提供しています．従来の課題分野を大規模計算課題分野と呼び，それに加えて今年度からデータ科学・データ利活用の課題分野が新設されたために，採択課題数もその多様性も一層増しました．
平成  年度から令和  年度において約  件を超える課題が学際大規模情報基盤共同利用・共同研究として採択されており，そのうち当センターとの共同研究課題は  件となっております．
今年度は， 件が当センターとの共同研究課題として採択されております．今年度採択分も含め
これまでの採択課題に関する情報は以下の 85/ で公開されております．是非，高性能計算を用いた 多 岐 に わ た る 共 同 研 究 活 動 を ご 覧 頂 け れ ば と 存 じ ま す -+3&1 85/ KWWSVMKSFQN\RWHQLWFXWRN\RDFMSMDV\PSRWK ．
来年度の学際大規模情報基盤共同利用・共同研究拠点の研究公募は  月頃に公開予定です．ご
興味のあるかたは奮ってご応募ください．また，応募に際しまして当センターの計算機科学を専門とする教員との共同研究の可能性を検討したい，手続き方法が分からない等，本応募に関して不明な点があります場合は，お気軽に当センターまでお問い合わせください．
  【-+3&1 に関する問い合わせ窓口】MRLQWBUHVHDUFK#FFWRKRNXDFMS― 12 ―

SENAC Vol. 55, No. （3 2022. 7）［JHPCN シンポジウム］

令 和 4 年度 J H P C N 採 択 課 題 ポ ス タ ー 紹 介
令和 4 年度学際大規模情報基盤共同利用・共同研究拠における当センターとの共同研究課題のポスター5 件と Web サイト 2 件をご紹介します。
以下 5 件の課題は、次ページ以降のポスターをご覧ください。
・jh220018 「日本全土の洪水氾濫被害と適応策の検討」
研究代表者 峠嘉哉(東北大学)
・jh220025 「センター間連携による柔軟な計算資源提供に関する研究」
研究代表者 滝沢寛之(東北大学)
・jh220027 「非同期入出力機構を用いた大規模乱流直接数値シミュレーションコードの開発」
研究代表者 横川三津夫（神戸大学）
・jh220043「熱中症リスク評価シミュレータの開発と応用」
研究代表者

・jh220050

平田晃正(名古屋工業大学)「Implementation and Application of High-Performance Empirical Dynamic
Modeling」
研究代表者 高橋慧智（東北大学）

以下の 2 課題については URL をご参照ください。
・jh220048 「HPC と高速通信技術の融合による大規模データの拠点間転送技術開発と実データを用いたシステム実証試験」
研究代表者 村田健史(国立研究開発法人情報通信研究機構)
https://jhpcn-kyoten.itc.u-tokyo.ac.jp/abstract/jh220048
・jh220053「プロペラ駆動小型無人機の設計検討技法の確立を目指した空力・推進・構造の実機丸ごと統合シミュレーション」
研究代表者 金崎雅博(東京都立大学)
https://jhpcn-kyoten.itc.u-tokyo.ac.jp/abstract/jh220053

令和 4 年度 JHPCN 採択課題ポスター紹介― 13 ―

14th Symposium

学際大規模情報基盤共同利用・共同研究拠点 公募型共同研究 令和4年
年度採択課題jh220018

峠 嘉哉 （東北大学工学研究科），滝沢 寛之（東北大学サイバーサイエンスセンター）

日本全土の洪水氾濫被害と適応策の検討[回]

近年，⽇本各地で洪⽔被害が多発しており，
気候変動の影響で豪⾬の増加が⾒込まれる

洪⽔リスク上昇地域の最適な対策は何か⇒ 将来への効率的な治⽔投資
複数の適応策の⽐較と地域性考慮が必要

国⼟交通省https://www.mlit.go.jp/policy/shingikai/content/001360743.pdf

⼭形豪⾬ (2020年)

研究⽬的︓⽇本全国でのシナリオ（気候や社会変化，適応策）に応じた膨⼤な組合せ氾濫被害推定の⾼速化・⾼精度化

豪⾬⽇数の将来変化(気象庁)（Yamamotoら，Climatic Change, 165:60）

洪⽔氾濫解析

将来の降⽔量︓全球気候モデル
RCP2.6100mm/day 200mm/day

現在気候時との豪⾬⽇数の差

背景・⽬的

一定浸水深以上の地点の土地利用を規制

RCP4.5

⾼解像度洪⽔氾濫解析

適応策の被害軽減⽐較

RCP8.5mm/day⽇本各域で再現期間100年洪⽔を⽣じさせる⽇降⽔量の気候シ
ナリオRCPの違い (2100年時)1km解像度

250m解像度

100年確率降⾬時の浸⽔深分布並列化の負荷分散

県別被害軽減割合
左︓治⽔施設レベルの向上
右︓たんぼダム

多数の組み合わせ計算
複数計算の効率化・⾼速化

膨⼤な計算量シナリオ3
RCP2.6+SSP1
RCP4.5+SSP2
RCP8.5+SSP5

将来目標3

気候モデル5

現在
2050年頃
2100年頃

国内2
豪州1
仏国1，独国1

リスク計算：再現期間4 30, 50, 100, 200年
適応策5：適応なし，治水施設，土地利用など
各プロセスの実⾏時間の標準偏差を⽬的関数とし，これを最⼩化したベイズ最適化とランダムサーチの⽐較（⽯塚ら，情報処理学会論⽂誌, 59）

900通り×全国600万セル並列化の負荷をベイズ最適化を利⽤し，⾼速化をはかる

学際大規模情報基盤共同利用・共同研究拠点 第14回シンポジウム
2022年 7月7日，8日

HYBRID― 14 ―

SENAC Vol. 55, No. （3 2022. 7）

14th Symposium

学際大規模情報基盤共同利用・共同研究拠点公募型共同研究 令和４年度採択課題

jh 2 2 0 0 2 5

滝沢寛之（東北大学） 佐々木大輔（金沢工業大学） 伊達進(大阪大学)
江川隆輔（東京電機大学） 小川秦一郎（大阪公立大学） 下村陽一（東北大学） 高橋慧智（東北大学） 高橋俊（東海大学）

センター間連携による柔軟な計算資源提供に関する研究

研究目的 JHPCNは8つの機関から構成されるネットワーク型の共同利用・共同研究拠点であり、それぞれの機関が独自の計算資源を独自の運用方針に基づいて提供している。本研究の目的は、JHPCN計算資源の有効活用を実現する資源管理機構とその運用体制を検討し、実現可能性を明らかにすることである。各計算資源の利用率は時々刻々と変化しており、ある機関で計算資源が足りない時に、他の機関では同じ種類の計算資源が遊休状態にある可能性がある。このため、より柔軟に計算資源を融通しあう環境を整備することができれば、JHPCN全体で計算資源のより効率的な活用を期待できる。そのような複数機関の連携による運用を実現するためには、ストレージシステムやバッチジョブスケジューラの連携という技術的検討に加えて、課金体系や利用者管理などの運用方針の観点からも様々な検討が必要となる。本研究では、技術的視点からの検討によって実現可能性を示すともに、複数のセンター間連携による運用の実現に向けた運用上の課題の明確化を行う。

研究計画 東北大学サイバーサイエンスセンターと大阪大学サイバーメディアセンターとの間で相互にジョブを投入する仕組みを構築し、同センター間でのクラウドバースティングを実現する。東北大学サイバーサイエンスセンターで開発中のジョブスケジューリングのシミュレータを用いて、ジョブスケジューラの設定について検討する。近年急速に需要が高まっているデータ駆動型研究のジョブは、巨大なデータを扱うために従来の数値シミュレーションよりも他センターへ転送するためのコストが大きい。このことを踏まえ、ジョブスケジューリングのアルゴリズムや適切なパラメータ設定を議論する。以上の技術的な検討項目に加えて、例えば課金制度や利用者管理、利用者支援業務など、連携して運用する際の両センターの運用方針に関する課題を明確化する。

センター間ジョブ転送の仕組みの構築

本研究では、東北大学サイバーサイエンスセンターと大阪大学サイバーメディアセンターのそれぞれのセンターにおいて専用のバッチキュー(以下、転送キューと呼ぶ)を設け、そこに投入されたジョブは他方のセンターの計算資源を使って実行されるように設定する。そのようなジョブ
転送の仕組みを実現することを目標とし、その実現に必要な基盤ソフトウェアの研究開発を行う。

実運用システムにおけるジョブスケジューリングのシミュレーション

東北大学サイバーサイエンスセンターでは、Slurmシミュレータに独自の拡張を加えて同セン
ターが運用するスーパーコンピュータAOBAのジョブスケジューリングを再現する研究開発を行っている。

大阪大学 サイバーメディアセンター
SQUID/OCTOPUS

Submit

1.8 Pflop/s

2.3 Pflop/s
Submit東北大学
サイバーサイエンスセンター

Submitlogin

実運用システムAOBAでのジョブスケジューリングの忠実な再現を目指して

NEC SX-Aurora TSUBASA PaaS

大阪大学サイバーメディアセンターではオンプレミスの計算資源からパブリッククラウドへのジョブ転送(クラウドバースティング)をすでに運用しており、東北大学サイバーサイエンスセン
ターでもクラウドバースティングの運用を予定している(2022年10月運用開始)。このことから、
パブリッククラウドへの転送とセンター間転送との適切な使い分けも議論する。
実証実験においては、共同研究者の数値流体シミュレーション(極超音速流れの解析、移動物
体（膜翼）の解析、ロケット燃焼室内部3次元流れ)を題材とし、それぞれの研究分野での成果創出を目指すと同時に、転送キューにジョブを投入して実アプリケーションの長時間実行を実施する。その際の使い勝手やオーバヘッドの情報を収集し、その後の研究開発の方針を検討する際に役立てる。

パラメータ調整による効果をシミュレーションによって事後検証 [2]現在ではAOBA内でのジョブスケジューリングを対象とした研究開発を行っているが、パブリッ
ククラウドや他のセンターへのジョブの転送も可能になった場合を想定して、その適切なジョブス
ケジューリングを実現するための検討を行う。
具体的には、ジョブ転送のオーバヘッドをモデル化し、どのジョブを転送キューに移せばシステ
ム全体としての効率を改善することができるかを予測する手法を検討する。サイト間のデータ転送のコストが大きいことを考えれば、利用するデータ容量の大きいジョブの転送を回避する方針が有望だと予想される。そのようなモデル化に基づいて、選択的にジョブを転送することでシステム全体としての効率に与える影響をシミュレーションに基づく調査により明らかにする。

運用面での課題の明確化

本研究課題で実証実験に必要な計算資源の利用負担金は本研究課題で負担することを前提に協力者を募る計画になっているが、実際の運用を念頭に置いた場合には、利用者管理や課金処理において多くの課題がある。本研究課題を通じてそれらの課題を明確化するとともに、その解決に向けた運用方針についても具体的に検討する。

参考文献[1] 小川秦一郎，大内健太郎，佐々木大輔，”直交格子積み上げ法を用いたキャビティ付き固体燃料ロケット内部流れの流体解析手法の構築，” 第54回流体力学講演会／第40回航空数値
シミュレーション技術シンポジウム，1C02，2022．
[2] Tatsuyoshi Ohmura, Yoichi Shimomura, Ryusuke Egawa and Hiroyuki Takizawa,“Toward Building a Digital Twin of Job Scheduling and Power Management on an
HPC System,” 25th Workshop on Job Scheduling Strategies for Parallel Processing(JSSPP 2022), Online, June 2022

キャビティ付き固体燃料ロケット内部流れ [1]

学際大規模情報基盤共同利用・共同研究拠点 第14回
回シ ン ポ ジ ウム
2022年 7月 7日，8日

東 京 コ ン ファ レン ス セ ン ター ・ 品 川

令和 4 年度 JHPCN 採択課題ポスター紹介― 15 ―JHPCN: 学際大規模情報基盤共同利用・共同研究拠点 第14回シンポジウム 2022年度課題
2022年7月7日（木）＠東京コンファレンスセンター・品川

jh220027 非同期入出力機構を用いた大規模乱流直接数値シミュレーションコードの開発
代表︓横川 三津夫（神⼾⼤学）
撫佐昭裕，⼩松⼀彦（東北⼤学），⽯原卓（岡⼭⼤学），曽我隆，⼭⼝健太，⼭根悠輝（⽇本電気）松本泰⽣，畑中裕翔（神⼾⼤学）本課題では，非圧縮性及び圧縮性乱流直接数値シミュレーション（Direct Numerical Simulation，DNS）コードに対し，変数の一時退避場所としてのテンポラリ・ファイルを作成し，使用メモリ容量を削減するコード実装を行い，その計算性能及びファイル入出力性能の評価を行う．特に，ファイル入出力に対しては，SX-Aurora TSUBASA が提供する高速入出力機構や非同期入出力機構を利用し，大規模
DNS実⾏の可能性について評価する．

1. はじめに － 背景とコード実装の考え方

3．実装イメージ

スーパーコンピュータの高速化，大規模化により，大規模乱流
DNSが進展．大規模な乱流DNSデータベースが構築されている．

並列化コードで使用されている変数に対し，1つのプロセス中の変数をさらに分割し，個々のファイルに保持．メモリ量を削減．

計算資源が足らず，さらに規模の大きいDNSが不可能【ファイル利用による実装】
計算すべき物理量（変数）をファイルに保持し，随時，部分的に変数を読み書きしながら時間積分を行う．
（利点）

（欠点）

• 使用メモリ容量が減少• 従来の計算時間に加え，ファイル
入出力時間が増加• ファイルシステムへの負荷が高い

計算とファイル入出力を非同期に実行出来れば，ファイル入出力時間を計算時間に隠蔽されることが期待される．

2. 直接数値シミュレーション（DNS）コードの概要
1) 非圧縮性一様等方乱流DNSコード（Box乱流）
領域 Ω � ��, � � ��, � � ��, � において
𝜕𝜕𝜕𝜕�
� �,
𝜕𝜕𝜕𝜕�

𝜕𝜕𝜕𝜕�
𝜕𝜕𝜕𝜕�
𝜕𝜕𝜕𝜕
1 𝜕𝜕 � 𝑢𝑢�
� 𝜕𝜕�
��
�
� 𝑓𝑓�
𝜕𝜕𝜕𝜕
𝜕𝜕𝜕𝜕�
𝜕𝜕𝜕𝜕� Re 𝜕𝜕 � 𝑥𝑥�

in Ω𝑢𝑢� :流速，𝑝𝑝:圧力，Re:レイノルズ数， 𝑓𝑓� :外力，周期条件 on 𝝏𝝏𝝏 空間離散化： フーリエ・スペクトル法（3次元高速フーリエ変換）

aliasing errorは， 2N/3以上のモードカットとphase shift法で除去
4段4次ルンゲ・クッタ法

 時間積分：2) 等温を仮定した圧縮性乱流DNSコード
立方領域 Ωにおいて𝜕𝜕𝜕𝜕 𝜕𝜕𝜕𝜕𝜕𝜕�
�
� �,
𝜕𝜕𝜕𝜕�
𝜕𝜕𝜕𝜕
𝜕𝜕 � 𝜕𝜕𝑐𝑐 � ,4．予備実験 － チェックポイントファイルへの非同期出力
時間発展熱伝導方程式を離散化したテストコードを作成し，途中経過を
一定時間間隔でチェックポイントを取る場合について，SX-Aurora
TSUBASAの非同期入出力機能による計算時間を計測した．
（計算時間）＞（I/O時間）の時，計算時間にファイルI/O時間が隠蔽されている．非同期入出力機構の正常動作を確認．

5．今後の課題
 非同期入出力機能の性能評価‣ ノード直結のSSDファイルシステム vs. 並列ファイルシステム

 非圧縮性，圧縮性乱流DNSコードへの実装と評価𝜕𝜕𝜕𝜕𝜕𝜕� 𝜕𝜕�𝜕𝜕𝜕𝜕� 𝑢𝑢� � 𝜕𝜕𝛿𝛿�� � 𝜕𝜕𝜕𝜕����
� 𝑓𝑓� ,
𝜕𝜕𝜕𝜕
𝜕𝜕𝜕𝜕�
𝜕𝜕𝜕𝜕�

𝜕𝜕𝜕𝜕� 𝜕𝜕𝜕𝜕� 2 𝜕𝜕𝜕𝜕�
𝜏𝜏�� � 𝜇𝜇��𝛿𝛿𝜕𝜕𝜕𝜕� 𝜕𝜕𝜕𝜕� 3 𝜕𝜕𝜕𝜕� ��

in Ω𝑢𝑢� :流速，𝜌𝜌:密度，𝑝𝑝:圧力，𝑐𝑐:音速，𝜇𝜇:粘性係数，𝑓𝑓� :外力，周期条件 on 𝝏𝝏𝝏 空間離散化

移流項：
8次精度コンパクト差分
粘性項：
8次精度中心差分
 時間積分： 3段3次TVDルンゲ・クッタ法
 高波数領域における数値振動の除去：8次精度ローパスフィルタ

6．参考文献i.

Y. Takenaka et al., Optimizations of DNS Codes for Turbulence on SXAurora TSUBASA, Sustained Simulation Performance 2019 and 2020,
pp. 51-59, Springer, (2021)
ii. Y. Sakurai et al., Effects of the Compressibility of Turbulence on the
Dust Coagulation Process in Protoplanetary Disks, AstoroPhys. J., 911(2), p. 140 (2021)
iii. T. Ishihara et al., Second-order velocity structure functions in direct
numerical simulations of turbulence with Rλ up to 2250, PhysicalReview Fluids, Vol. 5, 104608, pp. 1-15 (2020)
iv. M. Yokokawa et al., I/O Performance of the SX-Aurora TSUBASA, Proc.
of 2020 IEEE International Parallel and Distributed Processing
Symposium Workshop (IPDPSW), pp. 27-35 (2020)

― 16 ―

SENAC Vol. 55, No. （3 2022. 7）

14th Symposium

学際大規模情報基盤共同利用・共同研究拠点公募型共同研究 令和4年
年度採択課題jh 220043

平田 晃正 (名古屋工業大学)

熱中症リスク評価シミュレータの開発と応用
江 川 隆 輔 （ 東京電機大学） 滝 沢 寛 之 (東東 北 大学サイバーサイエンスセンター)
堀 江 祐 圭 ，木幡 咲 英 理 (日日 本気象協会)，， 小 寺 紗 千 子，高田 旭 登 ，木下 晃 太 郎，植田 晴 大 (名名 古 屋工業大学)

解析手法➢ 計算機上にて、様々な環境を模擬した仮想空間に人体モデルを配置，図1に示したフローチャートに従って体温変化や発汗量を計算．
生体熱輸送方程式を用いる．組織間の➢ 温度上昇解析は生
熱伝導や体表面から外気への熱熱伝達に加え，体温上昇
に伴う発
発汗，血
血流量変化による熱輸送などの熱
熱調整機能（ システムバイオロジー），太太陽光吸収による熱発生を考慮し，時間領域有限差分法で逐次計算．

プログラム実行人 体 モ デル の 指 定
体温上昇の計算発 汗 モ デル の 指 定
熱調整機能考慮
解析環境の設定No

設定時間の満了

Yes
解析終了(解析結果の格納)Adult

75 y.o➢熱中症搬送者数をはじめとする統計データと解析結果との連携
熱中症搬送者数予測技術を，気象
これまでに構築した熱の異なる8都道府県に展開，その有効性を示す．解析期間は2013-2019年6-9月とし，入力変数には，一日の平均
気温と，暑
暑熱ばく露解析により算出した総発汗量，最大体温上昇値をそれぞれ用いる．
➢ 白内障発症メカニズム解明のための解析コードの改良と統計的考察
新たな応用展開として、これまで紫外線や外気温との関連性があるとされてきた 核白内障発症のメカニズムについて、その発生要因を考察する。複合物理解析コー
ドを改良、眼球(水晶体)の高精度推定を可能にし、核白内障有病率との相関を調査する．

Body Surface
Temperature [C]

38

32

人体
モデル
人体モデル

65-74yMeasured≥75yComputed w/o sweat

Average Ambient Temperature [C]

図2. 年代別温度分布の再現と熱中症搬送者（屋内・高齢者）の搬送時体温と解析値の比較

150

Number of Patients

今年度の研究計画

電波の入力

図1. 解析のフローチャート

これまでの主な成果➢2015年からの採択課題により高速化・並列化による準リ
アルタイム熱中症リスク評価システムを確立．ロードイ
ンバランスの解消等により，従来の2倍の解像度を持つ
1mmモデルで3時間の暑熱ばく露における体温変化や分で試算可能．
発汗量を5.8分➢名古屋市消防局と連携し、熱中症搬送者データを用いて高齢者の熱中症発症メカニズムについて考察．
➢長期間解析（2018-2020年6-9月）により得られた推定
深部体温と実際に搬送された患者の搬送時体温とを比較、数日間の熱負荷蓄積が起因していることを示唆（
図2参照）．

パラメータの入力

初期温度の計算

Body Core Temperature [C]

➢ 熱中症による死亡者数は増加傾向．死
死亡例も報告．
➢ 本研究グループでは日本の夏場などの環境において，熱中症の主な要因である体体温上昇，発汗量の解析を実施．
➢ 解析結果から熱中症のリスク評価を行い，熱中症予防の普及啓発活動に寄与することが目的．

解析結果・グラフ

繰り返し

研究背景と目的

100

Observed
Average
Temperature Estimated
Amount of
Perspiration
Body Core
Temperature
Rise

50
0

Jun.1
Jul.1
Jul.31 Aug.30 Sep.29
図3. 東京都における熱中症搬送者数予測（2013-2019年平均）➢ 一例として，東京都における熱中症搬送者数の予測結果を示す（図3参照）．各入力変数において，高い予測精度を示しており（決定係数R2≥0.8），特に暑熱ばく露解
析の結果を用いた予測で高い精度が得られた．
学際 大規模情 報基盤共同利用・共同研究拠点 第 1 4 回シンポジ ウム
2022年 7月 7日

ONLINE

令和 4 年度 JHPCN 採択課題ポスター紹介― 17 ―

Project ID: jh220050 (国際課題)

Implementation and Application of High-Performance
Empirical Dynamic Modeling
Keichi Takahashi1, Gerald M. Pao2, Wassapon Watanakeesuntorn3
1 Cyberscience Center, Tohoku University, Japan keichi@tohoku.ac.jp
2 Salk Institute for Biological Studies, USA
3 Nara Institute of Science and Technology, Japan

Background

Target Application

We have been developing a high-performance implementation of
Empirical Dynamic Modeling (EDM), an emerging framework for nonlinear time series analysis, and applying it to large-scale datasets. EDM
enables a variety of analyses such as short-term forecasts, quantification of
non-linearity, and causal inference. These analyses are achieved byreconstructing the latent dynamics behind the data without assuming aparametric model or using prior knowledge (thus the name empirical).

We aim to analyze the neural activity of an entire larval zebrafish brainthat we recored at singe-neuron resolution using light sheet fluorescencemicroscopy. So far, we identified a manifold that predicts turns of the fish atleast 0.5 seconds ahead of time. Whenever the neural activity trajectory
enters one of the loops of the manifold, the fish will turn.

Observations

GCaMP6f (calcium indicator)transgenic larval Zebrafish

Light sheep fluorescencemicroscopy image

Reconstructed Manifold

Shadow Manifold

Time
lags
Activity (i.e., firing rate)of individual neurons

Causal relationshipbetween neurons

Diﬀeomorphism
Topological features
are preserved

Objective
Although EDM is a generic method for modeling non-linear time series
data, it was originally developed in the field of ecology. Existing libraries
for EDM analysis are thus designed to target a small number of shorttime series. While recent studies have applied EDM to datasets including
neural activity, gene expression and meteorology, the lack of a highperformance implementation limits the scale of datasets that can beanalyzed. To handle large-scale datasets, we have been developing ahigh-performance EDM libraries [1, 2]. In this research, we continue thiseﬀort by tackling the following challenges:

Preliminary Performance Results
Using our EDM implementations mpEDM and kEDM, we have conductedpreliminary performance measurements and roofline analysis on AMD EPYC
7742 and NVIDIA V100.
k-NN on AMD EPYC 7742

k-NN on NVIDIA V100

Lookups on AMD EPYC 7742

Lookups on NVIDIA V100

1. Porting our EDM implementation to the SX-Aurora TSUBASA
vector engine: Since EDM is a highly memory-bound algorithm, we
will port EDM to the SX-Aurora TSUBASA vector engine to takeadvantage of its massive memory bandwidth. We plan touse our implementation of EDM named
kEDM (https://github.com/keichi/kEDM) basedon the Kokkos performance portability framework.
2. Enhancing the scalability of EDM by utilizing approximation
algorithms: A time-consuming kernel in EDM is the All k-Nearest
Neighbor (AkNN) Search in the state space. Existing implementations
use a brute-force algorithm, but this is clearly not scalable. We will thus
integrate various approximate k-NN search algorithms (spatial trees,proximity graphs, product quantization, etc.) into EDM and evaluate
which algorithm is best suited.
3. Analyzing neural activity datasets to evaluate the performance ofthe ported implementation: Our main goal is to perform EDM causal
inference between neurons in an animal brain and elucidate how eachindividual neuron interacts with one another.

References

㻾[1] K. Takahashi, W. Watanakeesuntorn, K. Ichikawa, J. Park, R. Takano, J. Haga, G. Sugihara, G. M.
Pao, “kEDM: A Performance-portable Implementation of Empirical Dynamic Modeling using
Kokkos”, PEARC 2021, Jul. 2021.
[2] W. Watanakeesuntorn, K. Takahashi, K. Ichikawa, J. Park, G. Sugihara, R. Takano, J. Haga, G. M.
Pao, “Massively Parallel Causal Inference of Whole Brain Dynamics at Single Neuron Resolution”,
ICPADS 2020, Dec. 2020.

― 18 ―

SENAC Vol. 55, No. （3 2022. 7）[ 講習会 ]

令和  年度サイバーサイエンスセンター講習会のご案内東北大学サイバーサイエンスセンターでは、今後以下の講習会の開催を予定しています（]RRP によるオンライン開催）。多くの皆様のご参加をお持ちしております。申し込み方法等、詳しくは以下をご覧ください。
KWWSVZZZVVFFWRKRNXDFMSOHFWXUHV
1R 講 習 会 名

開催日時

募集
講 師
人数

内 容



*DXVVLDQ 入門 月  日 水   岸本
理学研究科 ・*DXVVLDQ の基本的な使い方



0DWKHPDWLFD 入門 月  日 火   横井
尚絅学院大学 

・0DWKHPDWLFD の基本的な使い方

)RUWUDQ 入門

月日 金 ・)RUWUDQ の入門編



はじめての /LQX[ はじめてのスパコン

 田口
日本原子力研究開発機構 

 月  日 火   大泉
・/LQX[ システムの基本的な
情報部情報基盤課 使い方・エディタの使い方
 月  日 木   佐々木 ・スーパーコンピュータの紹介と
情報部情報基盤課  利用法入門

 6;$XURUD768%$6$ の  月  日 火   江川
性能分析・高速化
サイバーサイ・スーパーコンピュータでの性能解析から最適化まで

エンスセンター  並列プログラミング
入門Ⅰ（2SHQ03）

 月  日 木   小松
サイバーサイエンスセンター  並列プログラミング
入門Ⅱ（03,）

 月  日 月   下村
サイバーサイエンスセンター ・並列プログラミングの概要
・2SHQ03 による並列プログラミング
の基礎
・利用法
・03, による並列プログラミングの
基礎
・利用法

SENAC Vol. 55, No. 3（2022. 7）― 19 ―[ 講習会 ]

令和  年度サイバーサイエンスセンター講習会実施報告 
1R 講 習 会 名


開催日時

はじめての /LQX[ 月  日 水 

受講 講 師者数・/LQX[ システムの基本的な使い方・エディタの使い方
 山下・スーパーコンピュータの紹介と利用法入門
情報部情報基盤課 

はじめてのスパコン 月  日 金 



はじめての並列化

月日 水 



ネットワークとセキュ
リティ入門

 月 日 火 

0DWKHPDWLFD 入門 月  日 火 



月日 金 



月日 火  月  日 金 



はじめての /LQX[ 月  日 火 

 はじめてのスパコン 月  日 木 



 6;$XURUD768%$6$ の
性能分析・高速化 月  日 火 

 並列プログラミング
入門Ⅰ（2SHQ03）

 月  日 水 

 並列プログラミング
入門Ⅱ（03,）

 月  日 金 













0$7/$% 入門

*DXVVLDQ 入門

)RUWUDQ 入門

参加者合計

小野

情報部情報基盤課 





内 容

小松

・並列プログラミングの概要

サイバーサイエンスセンター 

水木
サイバーサイエンスセンター 横井・ネットワークの基本的な仕組み
・ネットワークの危険性と安全対策
・0DWKHPDWLFD の基本的な使い方

尚絅学院大学 陳

・0$7/$% の基本的な使い方

秋田県立大学 

岸本

・*DXVVLDQ の基本的な使い方

理学研究科 田口・)RUWUDQ の入門編

日本原子力研究開発機構 大泉

・/LQX[ システムの基本的な情報部情報基盤課 使い方・エディタの使い方
佐々木 ・スーパーコンピュータの紹介と情報部情報基盤課  利用法入門江川
サイバーサイエンスセンター 小松
サイバーサイエンスセンター 

下村
サイバーサイエンスセンター *令和  年度講習会はすべてオンラインで開催しました。

・スーパーコンピュータでの性能解析から最適化まで・並列プログラミングの概要
・2SHQ03 による並列プログラミン
グの基礎
・利用法
・03, による並列プログラミング
の基礎
・利用法

― 20 ―[報

SENAC Vol. 55, No. （3 2022. 7）

告]後 藤 英 昭 准 教 授 が W i re le s s B ro ad b an d A ll i an c e( WB A ) に て 2 0 21/ 2 02 2
C O NT RI B UT O RS A W AR D を 受 賞

当センターの後藤英昭准教授（ネットワーク研究部）が Wireless Broadband Alliance(WBA)にて 2021/2022 CONTRIBUTORS AWARD を受賞しました。
また、同教員が開発・運用している Cityroam について、ケーススタディ文書が本日公開されました。詳細は以下 URL よりご確認いただけます。
【WBA CONTRIBUTORS AWARDS】
https://wballiance.com/recognition-awards/【WBA CASE STUDIES】
https://wballiance.com/wba-case-studies/【ケーススタディ文書 記事】→PDF はこちら

SENAC Vol. 55, No. 3（2022. 7）― 21 ―― 6(1$& 執筆要項 ―
１．お寄せいただきたい投稿内容
 サイバーサイエンスセンターでは、研究者・技術者・学生等の方々からの原稿を募集しております。
以下の内容で募集しておりますので、皆さまのご投稿をお待ちしております。なお、一般投稿いただ
いた方には、謝礼として負担金の一部を免除いたします。
・一般利用者の方々が関心をもたれる事項に関する論説
・センターの計算機を利用して行った研究論文の概要
・プログラミングの実例と解説 ・センターに対する意見、要望
・利用者相互の情報交換

２．執筆にあたってご注意いただく事項
 原稿は横書きです。
 術語以外は、「常用漢字」を用い、かなは「現代かなづかい」を用いるものとします。
 学術あるいは技術に関する原稿の場合、
 字～ 字程度のアブストラクトをつけてください。
 参考文献は通し番号を付し末尾に一括記載し、本文中の該当箇所に引用番号を記入ください。
 ・雑誌：著者タイトル雑誌名巻号ページ発行年
 ・書籍：著者書名ページ発行所発行年

３．原稿の提出方法
原稿のファイル形式は :RUG を標準としますが、3') での提出も可能です。サイズ は以下を参照してください。ファイルは電子メールで提出してください。
－用紙サイズ・文字サイズ等の目安－  ・サイズ：$ ・余白：上＝PP 下＝PP 左右＝PP 綴じ代＝ ・標準の文字数（ 文字  行） 
 ・表題＝ゴシック体 SW 中央 ・副題＝明朝体 SW 中央
 ・氏名＝明朝体 SW 中央
 ・所属＝明朝体 SW 中央
 ・本文＝明朝体 SW ・章・見出し番号＝ゴシック体 SW～SW  余白サイズ、文字数、文字サイズは目安とお考えください。

４．その他
 一般投稿を頂いた方には謝礼として、負担金の一部を免除いたします。免除額は概ね  ページ
 万円を目安とします。詳細は共同利用支援係までお問い合わせください。
  投稿予定の原稿が  ページを超す場合は共同利用支援係まで前もってご連絡ください。
 初回の校正は、執筆者が行って、誤植の防止をはかるものとします。
 原稿の提出先は次のとおりです。
東北大学サイバーサイエンスセンター内 情報部情報基盤課共同利用支援係
HPDLO FFXNHWXNH#JUSWRKRNXDFMS
7(/  

― 22 ―

SENAC Vol. 55, No. （3 2022. 7）

スタッフ便り  年ほど前に、「* には :L)L も含む」
「これからはセルラーと :L)L の融合だ」といった話を聞いて、世界の通信業界でさえ大勢が半信半疑でいたものです。日本をはじめとするアジア各国の業界や政策はセルラー偏重と言われていて、携帯電話会社から「うちは :L)L はやらない」といった発言もありました。現在でもこの傾向は変わらず、セルラー網だけでよいのではないかと言われたりします。
ところが、いざセルラーの * サービスが始まってみると、ミリ波よりも届きやすい 6XE でさえ建物に入りにくいという状況が見えてきます。なるほど、こういうことかと、それまで自分の中でも煮え切らない感覚が残っていた融合路線が、急に現実味を帯びてきました。幸いにも %H\RQG* のプロジ
ェクトに参画することができたので、セキュア公衆無線 /$1 の方から * を支え、,&7 社会のインフラの構築に寄与できたらと、気力が沸いてきました。多くの事業者や自治体との協働できることを願っています。 後藤英昭  今年の  月に仙台に越してきました。部屋に観葉植物は必ず置こうと決心していたので、ホームセンターで観葉植物を観ていると惹かれた植物がありました。フィカス・バーガンディとドラセナ・
コンシンネという観葉植物です。
（ぜひ調べてみてください。）観葉植物は比較的耐陰性があり、乾燥にも強いのだろうと手を抜いた矢先、葉が床に着いていました。育て方について調べたところ、日光
浴や水やり以外に観葉植物用の活力剤があるということを知り早速与えたところ、 週間ほどで葉が重力に逆らいはじめ、今では上を向いています。（もちろん、水やりの頻度や日光浴の時間も意識しました。少し遅めですが、、、）
これまで育てていた植物は  ㎝程でしたが、 ㎝程の  つの観葉植物を加えました。現在の製造技術は素晴らしいですね、遠くから見たらあたかも本物かのようなフェイクグリーンが販売されていたので、これらを採用し、今では涼しげな部屋となっています。仙台に住んで  ヵ月が経ちました。
次は P 程の植物を置きたいと思っています。味を占めてまたフェイクグリーンを購入してしまいそうですが、本物で。このペースだと１ヵ月に１つ以上の植物が加わる計算なので、これからは植物を増やしすぎて部屋が森にならないように気を付けながら、植物たちに元気に育ってもらえるような管理能力と愛情を持てればいいなと思います。 ..


6(1$& 編集部会
滝沢寛之 水木敬明後藤英昭 高橋慧智
今野義則 早坂和勝大泉健治小野敏 斉藤くみ子    

令和  年  月発行編集・発行 東北大学      サイバーサイエンスセンター      仙台市青葉区荒巻字青葉       郵便番号 
3') 作成  株式会社 東誠社ࢫ࣮ࣃ࣮ࢥࣥࣆ࣮ࣗࢱ AOBA ࢩࢫࢸ୍࣒ぴィ⟬ᶵࢩࢫࢸ࣒

ᶵ✀ࢧࣈࢩࢫࢸ࣒ AOBA-A

SX-Aurora TSUBASAࢧࣈࢩࢫࢸ࣒ AOBA-B

LX 406Rz-2

ࢧ࣮ࣂ࡜࣍ࢫࢺྡ
ࣟࢢ࢖ࣥࢧ࣮ࣂ

login.cc.tohoku.ac.jp

ࢹ࣮ࢱ㌿㏦ࢧ࣮ࣂ

file.cc.tohoku.ac.jpࢧ࣮ࣅࢫ᫬㛫
฼⏝ࢩࢫࢸ࣒ྡ➼฼⏝᫬㛫ᖏࢧࣈࢩࢫࢸ࣒ AOBA-A

㐃

⥆

㐠

㌿

ࢧࣈࢩࢫࢸ࣒ AOBA-B

㐃

⥆

㐠

㌿

ࢧ ࣮ ࣂ

㐃

⥆

㐠

㌿

኱ุࣉࣜࣥࢱ

ᖹ᪥ 9:00㹼16:00

ࢧࣈࢩࢫࢸ࣒ AOBA-A ࡢ฼⏝ᙧែ࡜ไ㝈್
฼⏝ᙧែ

࣮࢟ࣗྡ

↓ᩱ

sxf

VE ᩘͤ
1

1VE

1

1VE

sx
2ࠥ256

ඹ᭷
sxmix

ᐇ⾜ᙧែ

2ࠥ8

༨᭷

᭱኱⤒㐣᫬㛫
᪤ᐃ್/᭱኱್

࣓ࣔࣜࢧ࢖ࢬ

1 ᫬㛫/1 ᫬㛫

8VE ༢఩࡛☜ಖ㸦VH ࢆඹ⏝ࡋ࡞࠸㸧 72 ᫬㛫/720 ᫬㛫

48GB×VE ᩘ

1VE ༢఩࡛☜ಖ㸦VH ࢆඹ⏝ࡍࡿ㸧ಶูタᐃ

ͤ 2VE௨ୖࢆ฼⏝ࡋࡓ୪ิᐇ⾜࡟ࡣMPIࡢ฼⏝ࡀᚲ⏝ࢧࣈࢩࢫࢸ࣒ AOBA-B ࡢ฼⏝ᙧែ࡜ไ㝈್
฼⏝ᙧែ

࣮࢟ࣗྡ

ඹ᭷

lx

ࣀ࣮ࢻᩘͤ
1ࠥ16

᭱኱⤒㐣᫬㛫
᪤ᐃ್/᭱኱್

࣓ࣔࣜࢧ࢖ࢬ

72 ᫬㛫/720 ᫬㛫
256GBࣀ࣮ࢻᩘ

༨᭷

ಶูタᐃ

ͤ 2ࣀ࣮ࢻ௨ୖࢆ฼⏝ࡋࡓ୪ิᐇ⾜࡟ࡣMPIࡢ฼⏝ࡀᚲ⏝

Vol.55 No.3 2022-7［お知らせ］
スーパーコンピュータ AOBA のクラウドサービスとの連携 ……………………………

1

AOBA Users

1

NEWS「AOBA の杜（あおばのもり）」Vol.3 の公開について ………

［大規模科学計算システム］
サブシステム AOBA-A における TensorFlow の利用方法 …………………高橋慧智

2

MATLAB® を利用した成果事例の紹介 ……………………………………………………

5［利用相談室便り］
令和 4 年度の利用相談について ……………………………………………………………

9［JHPCN シンポジウム］
JHPCN 学際大規模情報基盤共同利用・共同研究拠点第 14 回シンポジウム報告……………………………………………………………………………滝沢寛之

11

令和 4 年度 JHPCN 採択課題ポスター紹介 …………………………………………………

12

［講習会］
令和 4 年度サイバーサイエンスセンター講習会のご案内
令和 3 年度サイバーサイエンスセンター講習会報告………………………………

18……………………………………

19

［報 告］
後藤英昭准教授が Wireless Broadband Alliance(WBA) にて
2021/2022 CONTRIBUTORS AWARD を受賞 ……………………………………………
執筆要項

20

…………………………………………………………………………………………

21

スタッフ便り ……………………………………………………………………………………

22