ISSN 2436-0066

Vol.56 No.3

2023-7኱つᶍ⛉Ꮫィ⟬ࢩࢫࢸ࣒㛵㐃᱌ෆ㸺኱つᶍ⛉Ꮫィ⟬ࢩࢫࢸ࣒㛵㐃ᴗົࡣࠊࢧ࢖ࣂ࣮ࢧ࢖࢚ࣥࢫࢭࣥࢱ࣮ᮏ㤋ෆࡢ᝟ሗ㒊᝟ሗᇶ┙ㄢࡀᢸᙜࡋ࡚࠸ࡲࡍࠋ㸼https://www.ss.cc.tohoku.ac.jp/

㝵

ಀ䞉ᐊྡ

฼⏝┦ㄯᐊ

㟁ヰ␒ྕ䠄ෆ⥺䠅*e-mail022-795-6153(6153)┦ㄯဨ୙ᅾ᫬

୺䛺䝃䞊䝡䝇ෆᐜィ⟬ᶵ฼⏝඲⯡䛻㛵䛩䜛┦ㄯ䝃䞊䝡䝇᫬㛫
ᖹ ᪥
8:30䡚17:15

኱ุ䝥䝸䞁䝍䚸฼⏝⪅➃ᮎ➼䛾฼⏝

9:00䡚21:00

022-795-3406(3406)
฼⏝⪅ㄯヰᐊ

(3444)⮬㈍ᶵ

8:30䡚21:00

ᒎ ♧ ᐊ* (ศᩓ*ぢᏛᕼᮃ䛾᪉䛿ඹྠ฼⏝ᨭ᥼ಀ䜎䛷䡶䢙䢇䢛䡩䡬䡼༤≀㤋)*䛤㐃⤡䛟䛰䛥䛔䚹

Ṕ௦䛾኱ᆺィ⟬ᶵ➼䛾ᒎ♧

9䠖00䡚16䠖00⥲ົಀ022-795-3407(3407)
cc-som@grp.tohoku.ac.jp⥲ົ䛻㛵䛩䜛䛣䛸

8:30䡚17:15

఍ィಀ

022-795-3405(3405)
cc-kaikei䠜䡃rp.tohoku.ac.jp఍ィ 䛻㛵䛩䜛䛣䛸䚸㈇ ᢸ㔠 䛾ㄳồ䛻㛵䛩䜛䛣䛸

8:30䡚17:15

ඹྠ฼⏝ᨭ᥼ಀ(ཷ ௜)022-795-3406䠄3406䠅
022-795-6251(6251)
cc-uketuke@grp.tohoku.ac.jp฼⏝ᡭ⥆䛝䚸฼⏝┦ㄯ䚸ㅮ⩦఍䚸䝷䜲䝤䝷䝸䚸ぢᏛ䚸䜰䝥䝸䜿䞊䝅䝵䞁䛻㛵䛩䜛䛣䛸

8:30䡚17:15

ඹྠ◊✲ᨭ᥼ಀ

022-795-6252(6252)
rs-sec@cc.tohoku.ac.jpඹྠ◊✲䚸ィ⟬ᶵ䝅䝇䝔䝮䛻㛵䛩䜛䛣䛸

8:30䡚17:15

䝛䝑䝖䝽䞊䜽ಀ022-795-6253(6253)
i-network@grp.tohoku.ac.jp䝛䝑䝖䝽䞊䜽䛻㛵䛩䜛䛣䛸

8:30䡚17:15

ᅄ
㝵

◊✲㛤Ⓨ㒊

022-795-6095(6095)

஬
㝵

➃ᮎᶵᐊ

(3445)*㸦㸧ෆࡣᮾ໭኱Ꮫෆࡢࡳࡢෆ⥺㟁ヰ␒ྕ࡛ࡍࠋ㟷ⴥᒣ࣭ᕝෆᆅ༊௨እ࠿ࡽࡣ㢌࡟ 92 ࢆຍ࠼ࡲࡍࠋ

୍
㝵

୕
㝵

PC ➃ᮎᶵ䠄X ➃ᮎ䠅ᮏㄅ䛾ྡ๓䛂SENAC䛃䛾⏤᮶᫛࿴ 33 ᖺ䛻ᮾ໭ᆅ༊䛾᭱ึ䛾㟁Ꮚィ⟬ᶵ䛸䛧䛶䚸ᮾ໭኱Ꮫ㟁Ẽ㏻ಙ◊✲ᡤ䛻䛚䛔䛶᏶ᡂ䛥䜜䛯䝟䝷䝯䝖䝻䞁ᘧィ⟬ᶵ䛾ྡ๓䛷 SENAC-1(SENdai Automatic Computer-1)䛛䜙䛸䛳䛶࿨ྡ䛥䜜䛯䚹SENAC Vol. 56, No. （3 2023. 7）― 1 ―[ お知らせ ]大規模科学計算システムの更新について
東北大学サイバーサイエンスセンターは、現在運用しているベクトル型スーパーコンピュータの高い実効性能が日本全国の利用者からの高い支持を得てきました。その需要に応えるために、
2023 年 8 月よりベクトル型スーパーコンピュータを大幅に増強し、サブシステム AOBA-S として運用を開始します。
現在運用中のサブシステム AOBA-A、およびサブシステム AOBA-B は、8 月以降も引き続き運用を継続します。

― 2 ―

SENAC Vol. 56, No. （3 2023. 7）[ 大規模科学計算システム ]ベク トル 型スー パ ー コ ンピュ ー タ
S X - Au r or a TS U BA S A の 最 新 ハ ー ド ウ ェ ア
上山根慎

春日康弘

新井雅裕

長瀬悟

日本電気株式会社

1.

はじめに

東北大学サイバーサイエンスセンターで 2023 年 8 月より新しいスーパーコンピュータ AOBA-S の運用が開始されます。AOBA-S は約 21PFLOPS の総理論演算性能と約 10PB/s の総メモリバンド幅を実現す
る世界最大のベクトル型スーパーコンピュータシステムになります。注目すべき特徴は、演算性能とメモリ
性能のバランスに優れていることであり、実際に使用した時の実効性能や性能の出しやすさの面で優位性が期待できます。
近年、情報社会が急速に発展して世界が大きく変化する中、シミュレーションをはじめとする科学技術
計算需要はますます増大しています。一方、より大規模かつ複雑な問題の解析を行うためには、大量かつ多様なデータを扱える高性能計算とそれを支える電力効率に優れた計算基盤が求められます。この要請に応えるため、NEC では長年のスーパーコンピュータ開発で培った LSI 技術と高密度実装技術等を結集した PCI Express カード型の Vector Engine を多数搭載する SX-Aurora TSUBASA シリーズを 2018 年
から提供してきました。東北大学サイバーサイエンスセンターでは 2020 年 10 月からシリーズ第二世代製
品が AOBA-A として稼働中であり、今回導入するシリーズ第三世代の製品は AOBA-S として稼働します。
AOBA-S は AOBA-A と比較して、2.5 倍の処理性能と 2 倍の電力効率を発揮します。この高性能、省電力化は、コア数の倍増（8 コアから 16 コア）、Level 3 キャッシュの新規採用、最先端プロセスの採用等により実現しています。
本稿では、AOBA-S を構成する SX-Aurora TSUBASA システムのアーキテクチャ、システム概要、ハードウェア構成、テクノロジについて紹介します。

2.

SX-Aurora TSUBASA アーキテクチャ

AOBA-S のアーキテクチャは AOBA-A と同様の SX-Aurora TSUBASA アーキテクチャを継承します。
SX-Aurora TSUBASA は、NEC の 40 年に渡るベクトル型スーパーコンピュータ SX シリーズの流れを汲む製品として 2018 年に第一世代の製品を出荷開始しました。Vector Engine と呼ばれる PCI Express カードにベクトルプロセッサと主記憶を搭載し、これを Vector Host と呼ばれる標準的な x86 サーバに接続することによってシステムが構成されます。
Vector Engine に搭載されるベクトルプロセッサは、従来の SX シリーズのベクトルプロセッサ構成を踏襲しています。通常、サーバに接続される GPU や FPGA のような PCI Express カード型のアクセラレータは、ホスト側で実行されるアプリケーションの一部分を実行し、全体の処理時間の短縮を図ります。一方
Vector Engine は、SX-Aurora TSUBASA アーキテクチャの採用により、コンパイルされたアプリケーション
実行ファイルを丸ごとカード上で実行することが可能となります。
この実行モデルにはいくつかのメリットがあります。第一に、ユーザにとって使い慣れた一般的な LinuxOS 環境から、SX シリーズの高性能なベクトルプロセッサを利用できます。SX シリーズでは従来、専用のOS 環境を提供していましたが、SX-Aurora TSUBASA は標準的な x86 サーバと Linux OS 環境から演算処理だけにベクトルプロセッサを利用することができます。第二に、プログラム全体を Vector Engine カード
上で実行することにより、PCI Express バス上の頻繁なデータ移送を避け、性能ボトルネックを解消することができます。
AOBA-S は現行 SX-Aurora TSUBASA のプログラム資産を継承しており、AOBA-A で利用していたソースプログラムをそのまま流用できます。また原則としてアクセラレータ向けのプログラム修正を行うことな
く、SX-Aurora TSUBASA 向けコンパイラを用いてコンパイルしたプログラムをそのまま実行することができ

ベクトル型スーパーコンピュータ SX-Aurora TSUBASA の最新ハードウェア― 3 ―ます。特殊なプログラミングは必要なく、Fortran、C/C++のプログラムをコンパイルするのみで、プログラムが自動的に最適化され、高速化できます（さらに高い実行性能を得るためには、Vector Engine 向けのコードチューニングを実施することが望ましいです）。図 1 に SX-Aurora TSUBASA アーキテクチャにおける実行モデルを示します。アプリケーション全体を VE 上で実行する OS Offload 実行モデルの他、GPU のよ
うに x86 上のアプリケーション中のソルバー等の一部処理を VE にオフロードする VEO 実行モデルや、逆にベクトル化が困難な一部の処理を x86 にオフロードする VH call 実行モデルがあります。
OS Offload（基本）VEO

VH call
VE
Application

x86
Application
VE
Application

VE
Application

OS

OS

OS
x86
node

x86
Application

VectorEnginex86
node

VectorEnginex86
node

VectorEngine

図 1. SX-Aurora TSUBASA アーキテクチャの実行モデル

3.

システム概要

AOBA-S は、Vector Engine カードを 8 枚搭載した Vector Host（SX-Aurora TSUBASA C401-8）計 504
台で構成され、各 Vector Host は InfiniBand Network によって接続されます。
システムの主要な諸元を表 1 に示します。
表 1. AOBA-S の諸元
Vector Engine

Vector Host

システム

モデル名

Type 30A

コア数

16

理論演算性能（倍精度）

4.91TFlops

メモリ容量

96GB

メモリ帯域

2.45TB/s

インタフェース

PCI Express Gen4 x16

最大消費電力370W

モデル名

AMD EPYC 7763

コア数

64

メモリ容量

256GB

理論演算性能（倍精度）

2.50TFlops

OS

Rocky Linux

搭載 Vector Engine 数

8

ノード間ネットワーク

InfiniBand NDR200 x2

Vector Host 数

504

Vector Engine 数

4,032

― 4 ―

4.

SENAC Vol. 56, No. （3 2023. 7）

総コア数32,256(Vector Host)、64,512(Vector Engine)

総理論演算性能

21.05PFlops

総メモリ容量504TB

総メモリ帯域

9.97PB/s

ハ ー ドウ ェア 構 成

4 . 1 V e c t o r E n g i n e T y pe 3 0 A
Vector Engine Type30A は、NEC が新規に開発した第三世代のベクトルエンジンで SX-Aurora
TSUBASA の心臓部です。フォームファクタは従来同様 PCI Express（PCIe）カードタイプを踏襲し、PCIe
カード上に Vector Engine Type30A のベクトルプロセッサを１つ搭載し、水冷方式により冷却されます。図
2 に Vector Engine Type30A カードの外形写真を、表 2 にカードの実装仕様を示します。

図 2. Vector Engine カード（水冷タイプ）
表 2. Vector Engine カード実装仕様（水冷ホースを除く）
カード長

266.46mm

カード高111.15mm

カード幅

2 スロット

補助電源コネクタ

8-pin EPS 12V

続いて Vector Engine Type30A（VE30A）プロセッサについて説明します。図 3 に VE30A プロセッサの主要な諸元および概略ブロック構成を示しています。VE30A プロセッサは、前機種（VE20B)の 2 倍となる
16 個のコアを搭載し、16 コアへのデータ供給能力を向上させるためにメモリサブシステムを一新しています。主記憶には HBM2e メモリを 6 個搭載し最大で 2.45 テラバイト/秒という非常に高いメモリ帯域を実現した他、コアと主記憶の経路上にあるキャッシュ階層の見直しも図りました。
具体的には、従来から踏襲のレベル 1 キャッシュ、レベル 2 キャッシュ、ラストレベルキャッシュ（LLC）については、レベル 1、レベル 2 キャッシュはそれぞれ容量を倍増、ラストレベルキャッシュについては容量を従来の 16MB から 64MB に大幅増強しています。さらに VE30A では、レベル 3 キャッシュ（L3C）と呼ばれるコアあたり 2MB の大容量を持つコア専用のキャッシュを新設し、コアへのベクトルデータ供給能力を大幅に改善しています。また、このレベル 3 キャッシュは出来る限り多くの有効なベクトルデータを格納で

ベクトル型スーパーコンピュータ SX-Aurora TSUBASA の最新ハードウェア― 5 ―きるよう、ソフトウェア制御機能を有しています。ソフトウェア制御機能とはソフトウェアがキャッシュ上にベク
トルデータを搭載する/しないを命令単位に指定することができる機能で、この機能により空間的・時間的局所性のある再利用可能なベクトルデータのみを選択的にキャッシュに残すことが可能です。本機能を有効に活用することでアプリケーションの性能を高める効果が期待できます。
VE30A プロセッサと外部のインタフェースは PCI Express Gen4 を採用し、従来の VE20B の 2 倍となる
最大 64GB/s の帯域を実現しました。プロセッサに内蔵する DMA エンジンを活用し、コアの処理とは独立して高速にデータ通信をおこなうことが可能です。

図 3. VE30A プロセッサの主要スペックと概略ブロック図

Scalar
Processing
Unit

1 Inst. / cycle

図 4 はコアの概略的なブロック構成を示したものです。コアは、スカラ処理部（Scalar Processing Unit:
SPU）、ベクトル処理部（Vector Processing Unit: VPU）の他、主記憶へのロード/ストアを制御するアドレス
生成部、およびリクエスト/リプライクロスバ部から構成されます。VE30A で新設の L3 キャッシュを経由してコア外部のメモリネットワークへデータ転送の送受信を行います。
Vector
Processing
Unit
64 Vector Registers, 256 words

64 Scalar
Registers

16 Vector Mask Registers

1 Inst. / cycle

32 elements / cycle
32 elements /cycle

Address generation and translation
Address Translation Buffer
32 Requests / cycle

L3C

L3C

L3C

L3C

L3C

RTR

RTR

RTR

RTR

L3C
RTR

L3C

L3C
RTR

RTR

L3C
RTR

RTR

L3C
RTR

L3C

L3C
RTR

L3C

L3C
RTR

RTR

L3C
RTR

RTR

L3C
RTR

Request/Reply crossbar

Memory network

図 4. コア ブロック図― 6 ―

SENAC Vol. 56, No. （3 2023. 7）

図 5 に SPU の概略ブロック構成を示します。SPU は x86 プロセッサ同様の汎用プロセッサの機能を持
ち、全ての命令の解釈を行った上でスカラ命令を処理する他、ベクトル命令やノード間通信命令をそれぞれ VPU や DMA エンジンへ発行します。SPU は 1 クロックサイクルに最大 4 命令のフェッチ/デコード処理が可能で、VPU への専用パスを用いて 1 クロックサイクルあたり１つのベクトル命令を発行することができます。アプリケーションの実効性能を高めるには全体制御をおこなう SPU の性能向上が重要な要素であり、VE30A では L1 キャッシュ（命令・オペランド別）、L2 キャッシュの容量をそれぞれ 64KB、512KB に倍増した他、Unified Scheduler と呼ばれる命令発行制御の強化により最大仕掛命令数を VE20B 比 1.33 倍に増強して並列性を向上させる等、全体的な性能向上を図っています。

64kB L1
I cachePredecode

Fetch

Branchprediction

DecodeUnified scheduler

Prefetch
Controller

Scalar register(64 architectural + 64 renaming)

VectorInteger/FP

Integer/FP

Branch64kB L1
O cacheMemoryVectorcoherence
control

512kB L2
cache

Load miss queue
Vectoraddress

Memory reply

Memory request

Vector instruction

図 5. SPU 概略ブロック図
図 6 に VPU の概略ブロック構成を示します。VPU は 32 本のベクトルパイプライン（Vector PiPeline: VPP）
から構成され、各 VPP は FMA0～2 の 3 セットの FMA 演算器(浮動小数点積和演算器)を有し、最大で 3
つの FMA 演算命令を並列に実行することが可能です。よって、理論ベクトル演算性能は 32VPP×FMA3
セット×2(乗算＋加算)×1.6(GHz)=307.2GFlops という高い性能を発揮することができます。また、FMA 演
算器は単精度データ×2 要素の単精度 Packed 演算を行うことも可能であり、その場合の最大演算性能は2 倍の 614.4GFlops となります。各 VPP は 1 クロックサイクルに 64bit 倍精度データのロードする可能であるため、コア辺りのメモリバンド幅は 8 バイト（64 ビット）×32 パイプライン×1.6GHz = 409.6GB/s（x2=ロード+ストア)となります。
これらの演算器にデータを供給するために、SX-Aurora TSUBASA アーキテクチャ上は 64 本のベクト
ルレジスタを有し、1 本のベクトルレジスタは倍精度データであれば最大 256 要素、単精度 Packed データ
であれば最大 512 要素のベクトルデータを格納することが可能です。また、SX-Aurora TSUBASA アーキ
テクチャ上の 64 本のベクトルレジスタに対し、物理的には 256 本のベクトルレジスタを備えており、ベクト
ルレジスタのリネーミング機構により命令列上の論理ベクトルレジスタ間の依存関係を解消し、ベクトル演
算命令・ベクトルメモリアクセス命令のアウトオブオーダー実行を実現しています。

ベクトル型スーパーコンピュータ SX-Aurora TSUBASA の最新ハードウェア

Instruction from SPU

Inst. buffer
Renaming
Scheduling― 7 ―Load data

32VPPsVector pipeline (VPP)

VR Bank6

VR Bank7

ALU1

Store/Complex

VR Bank5

VR Bank4

VR Bank3

VR Bank2

VR Bank1

VR Bank0

16 Masks

Forwarding
ALU0

FMA2

FMA1

FMA0

Complexoperation

Store data, List address

図 6. VPU 概略ブロック図

4 . 2 S X - A u r or a TS U B A S A C 4 0 1 - 8
AOBA-S の構成要素（ノード）である SX-Aurora TSUBASA C401-8 の外観とブロック図をそれぞれ図 7と図 8 に示します。C401-8 は Vector Host と 8 枚の Vector Engine で構成されます。Vector Host のプロセッサは AMD EPYC 7763 で、Vector Host あたり 1socket、64 コアを備えています。プロセッサの基本動
作クロックは 2.45GHz で、シングルコアであれば最大で 3.5GHz までのブースト動作が可能です。プロセッ
サは 4 つの PCI Express switch と 2 つの InfiniBand NDR200 カードと直接接続されています。4 つの PCI
Express switch はそれぞれ 2 つの Vector Engine カードと接続されています。それらの接続は PCI Express
Gen4 x16 です。SX-Aurora TSUBASA C401-8 は Vector Host あたり 256GB の主記憶と 1.92TB の SSDを備えています。AOBA-S は AOBA-A の SX-Aurora TSUBASA B401-8 に対して Vector Host のプロセッサ性能を増強、SSD 容量を倍増しています。また、Vector Engine の性能向上に合わせて、PCI Express
を Gen4 に、電源容量も増やしています。AOBA-S と AOBA-A の Vector Host の差分を表 3 に示します。

図 7. SX-Aurora TSUBASA C401-8 外観

― 8 ―

SENAC Vol. 56, No. （3 2023. 7）

図 8. SX-Aurora TSUBASA C401-8 ブロック図

表 3. AOBA-S と AOBA-A の Vector Host の差分
AOBA-S

AOBA-A

主記憶

AMD EPYC 7763
64 コア, 2.45GHz
256GB, DDR4/3200

AMD EPYC 7402P
24 コア, 2.8GHz
256GB, DDR4/3200

デバイス

1.92TB SSD

960GB SSD

Vector Engine I/F

PCIe Gen4 x16

PCIe Gen3 x16

InfiniBand NDR200 (200Gbps)

InfiniBand HDR (200Gbps)

2200W PSU x2

2000W PSU x2

プロセッサ

ノード間 I/F
電源

4 . 3 ノー ド間 ネ ッ ト ワ ー ク
AOBA-S のシステムは最新の InfiniBand NDR ネットワークにより構成されています。図 9 に InfiniBand
ネットワーク構成図を示します。InfiniBand NDR スイッチとして NVIDIA QM9700 シリーズを利用します。
QM9700 は、スイッチ 1 台あたり NDR(400Gbps)64 ポートまたは、NDR200(200Gbps) 128 ポートを接続可能であり、従来の HDR スイッチと比べてポート密度が高く、より大規模な InfiniBand ネットワークを構成できます。
AOBA-S は 504 台の Vector Host から構成されており、Vector Host 1 台あたり 2 枚の NDR200 カード
を介してエッジスイッチに接続します。InfiniBand NDR ネットワークを使用することにより、これら Vector
Host 504 台を、シンプルかつ高性能な、2 段 Fat-Tree ネットワークで構成しています。
これにより、ノード間接続ネットワークは、フロントエンドサーバなどの各種サーバやストレージを含めたシステム全体を、フルバイセクションバンド幅、ノンブロッキング構成により接続し、高速なデータ通信を可能とします。

ベクトル型スーパーコンピュータ SX-Aurora TSUBASA の最新ハードウェア― 9 ―

図 9. InfiniBand ネットワーク構成図

5.

SX-Aurora TSUBASA のテクノロジ

Vector Engine VE30A は、従来の VE20B と比べて 2 倍の演算性能、1.6 倍のメモリ帯域と性能の向上を図っています。カードは、従来機種と同様、PCIe アドインカードのフォームファクタを採用し、同じサイズで実現しています。

5 . 1 プ ロ セッサ 技 術
Vector Engine の要となるのがベクトルプロセッサです。その製造プロセスは、従来の 16nm から微細化した 7nm を採用しました。これにより、ゲート数や SRAM ビット数は、それぞれ 5 倍超の実装を実現しました。
HBM は、HBM2 から高速な HBM2e を採用し、プロセッサあたりのメモリバンド幅 2.45TB/s を実現しています。
LSI の実装形態は、シリコンインタポーザを用いた 2.5 次元実装です。ベクトルプロセッサも HBM もサイズが大きくなりましたが、65x65mm の大きさに収めることができました。

図 10. Vector Engine プロセッサ LSI 外観

― 10 ―

SENAC Vol. 56, No. （3 2023. 7）

5 .2 冷却技術
プロセッサの演算性能に対する消費電力比率は従来機種に比べて向上しています。しかし、プロセッ
サとして見た場合は、従来機種に比べて消費電力は上がっています。プロセッササイズも大きくなっていますが、消費電力をプロセッサのサイズで割って算出した単位面積当たりの電力（電力密度）は上がっています。このため、従来よりも冷却性能の高いコールドプレートが必要になります。プロセッサのフロアプラ
ンにジョブ実行時の電力をマッピングすることにより、動作時にプロセッサの温度が最も上がる部分（ホットスポット）を見積り、そのホットスポットが冷却できるよう、コールドプレートの構造見直しと高精度な冷却シミュレーションを繰り返し実施することにより、最適なコールドプレートを設計しました。

5 .3 電源の安定供給
微細化された大電力プロセッサを安定に動作させ、その性能を最大限に引き出すためには、急激な電流変動に対しても電圧変動を抑えた電源が必要不可欠です。電源の安定供給のためには、プリント基板
上にコンデンサを実装する手法が一般的です。コンデンサへの配線にはインダクタンス成分や抵抗成分があるため、プロセッサの電源ピン、グランドピンにできるだけ近づけて配置することが鉄則です。プロセッ
サの大電力化に伴い、要求されるコンデンサの数が多くなってきています。コンデンサの数が多くなると、プロセッサの近傍に配置できなくなり、特性改善のために更にコンデンサの数を増やすといった悪循環に陥ります。
これを解決するために、VE30A では、プリント基板の電源層とグランド層の間に薄型のキャパシタ材料
を挟み込み、プリント基板内にコンデンサを形成しました。これによりプリント基板の給電系の電気特性が従来比 4 倍改善しました。

6.

おわりに

NEC のベクトル型スーパーコンピュータ SX シリーズは、従来から東北大学サイバーサイエンスセンタ
ーで採用されてきました。このたび AOBA-S として稼働する最新の SX-Aurora TSUBASA システムは、航空機や発電タービンなどのものづくり分野で求められる大規模数値流体シミュレーションや津波浸水や河川氾濫の被害予測などの防災減災などの気候変動への適応策に役立つシミュレーションにおいて、多くの方々の研究を後押しする役割を担います。NEC は今後も社会・市場の課題解決に向けて積極的に貢献していきます。

利用申請と利用負担金について― 11 ―[ 大規模科学計算システム ]利用申請と利用負担金について
情報部デジタルサービス支援課 共同利用支援係

はじめに

1

サイバーサイエンスセンター（以下「本センター」）は、研究、教育等に係る情報化を推進するための実践的調査研究、基盤となる設備等の整備及び提供、その他必要な専門的業務を行う学際大規模情報基盤共同利用・共同研究拠点です。
本センターは大規模科学計算システムを設置し、本センターの前身の一つである旧大型計算機センターの機能と知識の蓄積を継承して、最先端の大規模科学技術計算環境および高度利用環境の提供、並びに利用者への技術的支援を行っています。
【サイバーサイエンスセンター大規模科学計算システム】https://www.ss.cc.tohoku.ac.jp/

利用形態

2

本センターの大規模科学計算システムを利用するには以下の利用形態があります。利用形態についてはそれぞれの項目を参照してください。

• 大学・学術利用 → 項目 3.2• 民間企業利用 → 項目 3.3• センターとの共同研究 → 項目 5.1• 学際大規模情報基盤共同利用・共同研究拠点公募型共同研究（JHPCN）→項目 5.2• 革新的ハイパフォーマンス・コンピューティング・インフラ（HPCI）→項目 5.3• その他の利用方法 → 項目 6

3

利用申請

3.1

利用資格について利用できるのは、次のいずれかに該当する方です。大規模科学計算システムの利用は、学術研究及び教育等を目的とするものに限られます。（社会貢献の一環としての民間等外部機関の利用を含みます。）• 大学、短期大学、高等専門学校及び大学共同利用機関の教員及び学生• 文部科学省所轄機関及び文部科学大臣が主務大臣である独立行政法人の研究職員• 学術研究を目的とする研究機関で、東北大学サイバーサイエンスセンター長（以下「センター長」）が認めた機関に所属し、専ら研究に従事する者• 文部科学省及び独立行政法人日本学術振興会所管の科学研究費補助金で研究を行う者• 国及び地方公共団体より委託 (受託) を受けた研究を行う者• 前に掲げる者のほか、特にセンター長が認めた者

― 12 ―

SENAC Vol. 56, No. （3 2023. 7）■ 内規• 東北大学サイバーサイエンスセンター大規模科学計算システムの利用に関する内規
https://www.ss.cc.tohoku.ac.jp/pdf/システムの利用に関する内規.pdf• 東北大学サイバーサイエンスセンター大規模科学計算システム利用負担金内規https://www.ss.cc.tohoku.ac.jp/pdf/利用負担金内規.pdf• 東北大学サイバーサイエンスセンター大規模科学計算システムの民間機関等利用内規
https://www.ss.cc.tohoku.ac.jp/pdf/民間機関等利用内規.pdf

3.2

大学・学術利用

3.2.1

利用の手続

大規模科学計算システムを利用するためには利用者登録が必要です。
■ 利用申請

利用申請書に必要事項を記入の上、共同利用支援係に提出してください。後日、利用者番号（ログイン ID）と初期パスワードを記載した「システム利用承認書」を送付します。
【利用申請書】https://www.ss.cc.tohoku.ac.jp/word/利用申請書.doc■ 変更

申請内容に変更が生じた場合は、利用変更届に必要事項を記入の上、共同利用支援係に提出してください。
【利用変更届】https://www.ss.cc.tohoku.ac.jp/word/利用変更届.doc■ 取消

次年度以降も自動継続され利用できます。利用を取り止める場合は、利用取消届に必要事項を記入の上、共同利用支援係に提出してください。
【利用取消届】https://www.ss.cc.tohoku.ac.jp/word/利用取り消し届.doc
利用変更届、利用取り消し届に関しては申請用紙を使わず、内容をメール本文に記載していただいても構い
ません。

3.2.2

外国人利用者についてのお願い（指導教員、受入教員向け）

外国人利用者の方がスーパーコンピューターシステムの利用申請を行う場合にあっては、下記のリンク先の説明を踏まえ申込を行うようにして下さい。

•「東北大学における安全保障輸出管理（スーパーコンピュータ利用）」
http://www.bureau.tohoku.ac.jp/export/supakonriyou.html
また利用申請には以下の書類の提出が必要です。何れかをダウンロードしてご提出ください。

• 居住性チェックリスト（日本語版）
https://www.ss.cc.tohoku.ac.jp/word/check_list.docx• 居住性チェックリスト（英語版）
https://www.ss.cc.tohoku.ac.jp/word/check_list_eng.docx

利用申請と利用負担金について― 13 ―

民間企業利用3.3

本センターでは社会貢献の一環として、大学で開発された応用ソフトウェアとスーパーコンピュータ利用の民間企業への提供を実施いたします。民間企業利用サービスについての詳細は、センターウェブサイト「民間企業利用」（https://www.ss.cc.tohoku.ac.jp/business/）および以下の「東北大学サイバーサイエンスセン
ター大規模計算システム民間企業利用サービス利用課題募集要項」をご覧ください。

https://www.ss.cc.tohoku.ac.jp/pdf/民間企業利用サービス募集要項.pdf
3.3.1 利用申請
応募、利用、利用終了時には以下の書類の提出が必要となります。

• 民間企業利用サービス課題申込書
https://www.ss.cc.tohoku.ac.jp/word/民間企業利用サービス課題申込書.doc• 民間企業利用誓約書
https://www.ss.cc.tohoku.ac.jp/word/民間企業利用サービス誓約書.doc• 民間企業利用サービス報告書
https://www.ss.cc.tohoku.ac.jp/word/民間企業利用サービス報告書.doc

3.3.2 利用課題区分
募集を行う利用課題区分は以下の 2 つです。
■ 大規模計算利用 ライフサイエンス、もの作り技術、情報通信、環境エネルギー、社会基盤の課題分野をはじめとして、様々な分野における特に優れた課題を募集します。大学で開発された先端的シミュレーション
ソフトウェアとスーパーコンピュータの利用課題を民間企業から募り、企業によるイノベーション創出を支援します。利用成果公開型と非公開型の利用があり、目標設定を行った上で、1 年間を一区切りとして利用期間を決定します。課題終了時に継続利用の申請を行うことが可能です。その場合は有償での利用となり、民間企業用の負担金制度を適用します。
■ トライアルユース

新しいニーズを掘り起こしイノベーション創出につながる利用課題を民間企業から募ります。分野は特定しません。産業界の潜在的高性能計算需要を掘り起こし、大学で開発された先端的シ
ミュレーションソフトウェアとスーパーコンピュータを有償で利用して頂く下地を作ることが目的です。先端研究施設共用促進事業での利用など、これまでに本センターを利用したことがない民間企業を募ります。利用成果は公開を原則とし、最大 1 カ月間を無料で利用することが可能です。

3.3.3

成果公開型／成果非公開型

成果公開型は利用成果を含めた利用サービス報告書を、利用終了から 30 日以内に提出することが必要です。
また 1 年以内に SENAC に成果の記事を投稿することが必要です。成果公開型で利用している企業名と研究
内容およびその成果について、本センターが一般向けに公開することが出来ます。利用負担額は大学・学術利用の 2 倍です。
成果非公開型は利用成果や利用内容についての報告は必要ありませんが、利用サービス報告書の提出が必要です。成果非公開型で利用している企業名について、本センターはセンター内部の会議に報告することが出来― 14 ―

SENAC Vol. 56, No. （3 2023. 7）ます。利用負担額は大学・学術利用の 4 倍です。

3.3.4

応募資格

以下の全ての項目を満たすことが必要です。

• 日本国内で利用がなされること• 東北大学サイバーサイエンスセンター大規模科学計算システムの利用に関する内規に従うこと• 採択課題の目的にのみ利用すること• 平和利用のみに限ること• 人権および利益保護への配慮を行うこと• 文部科学省「生命倫理・安全に対する取組」に適合すること• 経済産業省「安全保障貿易管理について」に適合すること• 課題終了後、利用報告書を速やかに報告すること

3.3.5

利用可能なソフトウェア• TAS-code (Tohoku University Aerodynamic Simulation Code)• 数値タービンシミュレーション• 超臨界流体シミュレータ• Gaussian16

4

利用負担金

4.1

利用負担金について利用負担金には演算負担経費、ファイル負担経費および出力負担経費の 3 つがあります。（別表 1 大学・学
術利用、別表 2 民間企業利用（成果公開型）および別表 3 民間企業利用（成果非公開型））。コンピュータを利用すると演算負担経費が発生します。
共有利用（従量）は利用する VE 数（AOBA-S,AOBA-A の場合）もしくはノード数（AOBA-B の場合）と経過時間によって負担額が決定します。
共有利用（定額）は負担額を先払いし、負担額相当分の課金対象時間までそれぞれのコンピュータの利用が出来ます。コンピュータを利用した時間が、負担額相当分に満たない場合の返金はありません。また、年度途中に負担額を追加することも可能です。
占有利用は VE またはノードを占有して確保しますので、他の利用者のジョブが終了するのを待つ必要がありません。
利用者が負担経費を直接センターに支払うのは、大学・学術利用、民間企業利用およびセンターとの共同研
究です。センターとの共同研究では、演算負担金の割引制度が適用されます。請求書は通常、半期（6 ヶ月）
ごとに、利用者を取りまとめている支払責任者の会計担当者宛に送付します。利用期間と利用負担金の請求時期については項目 4.2 をご参照ください。
■ 大学・学術利用

別表 1 基本利用負担金【大学・学術利用】が適用されます。利用者が学術利用に該当するかは、共同利用支援係にお問合せください。

利用申請と利用負担金について■ 民間企業利用― 15 ―

成果公開型の利用については別表 2 基本利用負担金【民間企業利用（成果公開型）】が、成果非公開型の利用については別表 3 基本利用負担金【民間企業利用（成果非公開型）】が適用されます。

4.2

利用負担金の請求負担金の請求は通常、半年ごとに行います（表 1）。前期の 5,000 円未満の請求は後期に繰り越します。後期の 5,000 円未満の請求は行いません。
システム更新に伴い、請求スケジュールが変わる場合があります。詳しくは大規模科学計算システムニュー
スをご確認下さい。
【大規模科学計算システムニュース】https://www.ss.cc.tohoku.ac.jp/information
経理責任者が学外の方で、特に支払費目名の入った利用負担金請求書を希望する場合や、請求書の適要欄等について不明な点がある場合は、請求書発行前（9、3 月中旬）までに会計係（cc-kaikei[at]grp.tohoku.ac.jp）
へご連絡下さい。
また通常の請求時期以外に請求書の発行が必要な場合は、共同利用支援係（cc-uketuke[at]grp.tohoku.ac.jp）
へご連絡下さい。
表 1: 利用期間と請求書発行
利用期間

請求書発行

前期

4〜9 月

10 月中旬後期

10 月〜3 月

4 月中旬

5

センターとの共同研究・JHPCN・HPCI

5.1

センターとの共同研究

本センターでは、研究者のより良いスーパーコンピューティング環境を構築するために、スーパーコン
ピューティングに関する共同研究の募集を行っています。本共同研究では、［A］若手・女性研究者支援課題、［B］萌芽型課題、［C］一般課題を対象とします。利用者は、スーパーコンピュータ AOBA で処理するプログ
ラムのベクトル化や並列化に関する研究を本センターと共同で行います。
同一研究課題 (内容) による申請は 3 年を限度とします。また、同一研究課題 (内容) で他の拠点に応募している場合には、当該拠点の資源を使用する理由など研究計画の違いを説明してください。

5.1.1

応募者の資格本センター大規模科学計算システムの利用有資格者

5.1.2

応募期間、応募方法

センターニュース記事を参照 https://www.ss.cc.tohoku.ac.jp/information/

― 16 ―

5.1.3

SENAC Vol. 56, No. （3 2023. 7）

共同研究の要件

1. 研究期間は応募期間に記載のとおりとします。
2. プログラムのベクトル化や並列化の研究を、本センターのスタッフと共同で行います。
3. 共同研究を行うためにプログラムコード等を本センターに提供していただきます。
4. 共同研究の研究成果、あるいは研究成果であるプログラムにより得られた結果を論文等で公表する際、共同研究をふまえて本センターの貢献を明記してください（例えば、共著者、謝辞等）。

5. 年度末に共同研究実績報告書（所定の様式）を提出していただきます。この報告書にも本センターの貢献を必ず明記してください。

6. 共同研究終了から 1 年以内に本センター大規模科学計算システム広報誌 SENAC に共同研究の成果を投稿していただきます。この記事には、プログラムのベクトル化や並列化などの具体的な内容と効果、及び、本センターとの共同した取組みを記述していただく必要があります。

7. 研究成果を学会等へ報告した場合は、その別刷等を本センターに提出してください。
8. 課題［A］および課題［B］の採択課題の中から JHPCN 萌芽型共同研究課題が採択されます。JHPCN
萌芽型共同研究課題の採択者には、JHPCN 主催のシンポジウムでの発表等を依頼する場合があります。

9. 原則、翌年度以降の HPCI システム利用課題または JHPCN 利用課題に応募してください。
10. 計算機システムは共有利用のため、利用状況によってはリクエストの実行待ちが発生します。待ち時間等も考慮し、計画的にご利用ください。

5.1.4

助成内容等

1. 課題［A］および課題［B］は、演算負担経費（全額）の 2/3 を本センターが負担します。
2. 課題［C］は、演算負担経費の 20 万円を超えた分の、2/3 を本センターが負担します。
3. 本センターの負担金額の上限は、課題［A］［B］［C］ともに 500 万円とします。
4. 助成対象は共有利用による演算負担経費とし、占有利用は助成対象外とします。

5.2

学際大規模情報基盤共同利用・共同研究拠点公募型共同研究（JHPCN）

本センターは「学際大規模情報基盤共同利用・共同研究拠点」として文部科学大臣の認定を受け、活動を行っております。
「学際大規模情報基盤共同利用・共同研究拠点」は、北海道大学、東北大学、東京大学、東京工業大学、名古屋大学、京都大学、大阪大学、九州大学にそれぞれ附置するスーパーコンピュータを持つ８つの共同利用の施設を構成拠点とし、各センターからなる「ネットワーク型」共同利用・共同研究拠点として、
平成 22 年 4 月より本格的に活動を開始しました。
本ネットワーク型拠点の目的は、超大規模計算機と大容量のストレージおよびネットワークなどの情報基盤を用いて、地球環境、エネルギー、物質材料、ゲノム情報、Web データ、学術情報、センサーネットワークからの時系列データ、映像データ、プログラム解析、その他情報処理一般の分野における、これまでに解決や解明が極めて困難とされてきた、いわゆるグランドチャレンジ的な問題について、学際的な共同利用・共同研究を実施することにより、我が国の学術・研究基盤の更なる高度化と恒常的な発展に資することにあります。本ネットワーク型拠点には上記の分野における多数の先導的研究者が在籍しており、これらの研究者との共同研
究によって、研究テーマの一層の発展が期待できます。

利用申請と利用負担金について― 17 ―

申し込み方法等詳細につきましては JHPCN のウェブサイトをご覧ください。
【JHPCN ウェブサイト】

5.2.1

https://jhpcn-kyoten.itc.u-tokyo.ac.jp/

サイバーサイエンスセンターの取組

本センターでは、ベクトル型とスカラ型二つのスーパーコンピュータを運用することで、多様化の進むユー
ザ・アプリケーションの要求に柔軟に対応できる計算環境を提供しています。
また、教員と技術系職員が連携して、本センターを利用する共同研究を実施する体制を整備し、プログラムの高度化等で計算科学者と計算機科学者が密に連携し、計算機アーキテクチャ、高性能基盤ソフトウェア、高性能計算技術に関する研究を遂行するなど、高性能計算機を用いた科学の進展、イノベーションの創生に向け取り組んでいます。

5.3

革新的ハイパフォーマンス・コンピューティング・インフラ（HPCI）

HPCI とは、「富岳」と全国の主要なスーパーコンピュータをネットワークでつなぎ、多様なニーズに応える革新的な計算機環境を実現するための基盤システムです。本センターは HPCI システムの構成機関として参画しています。

5.3.1

HPCI について（HPCI ウェブサイトより）■ HPCI の概要

HPCI は、「富岳」と全国の大学や研究機関に設置されたスーパーコンピュータやスト

レージを高速ネットワーク（SINET6）で結び、多様なユーザニーズに応える革新的な共用計算環境基盤です。
■ HPCI とは革新的ハイパフォーマンス・コンピューティング・インフラ（HPCI）は、一般社団法人

HPCI コンソーシアムの前身である HPCI 準備段階コンソーシアムの提言を受けて構築された共用計算環境基盤であり、平成 24 年 9 月 28 日から共用を開始しています。HPCI は、国内の大学や研究機関の計算機システ
ムやストレージを高速ネットワークで結ぶことにより、全国の HPC リソースを全国の幅広い HPC ユーザー
層が効率よく利用できる科学技術計算環境を実現するものです。HPCI の運用を通じて多様なユーザーニーズに応えるとともに画期的な研究成果を創出し、科学技術の発展や産業競争力強化に資するとともに、人材育成
やスーパーコンピューティングの裾野の拡大にも貢献します。

5.3.2

課題の申請方法「富岳」および「富岳」以外の HPCI システム共用計算資源の一般利用は、原則として年 1 回公募されます。
ただし、産業界からの利用を促進するため、産業利用のトライアル・ユースと成果を非公開とする有償利用（個別利用）は年間を通じて随時受け付けられます。利用を希望される方は利用研究課題を申請し、審査を経て利用が可能となります。
申し込み方法等詳細につきましては HPCI のウェブサイトをご覧ください。
【HPCI ウェブサイト】

6

https://www.hpci-office.jp/

その他の利用方法
本センターの大規模科学計算システムを利用するその他の利用方法です。申請方法については共同利用支援係（cc-uketuke[at]grp.tohoku.ac.jp）までお問い合わせください。

― 18 ―

6.1

SENAC Vol. 56, No. （3 2023. 7）機関（部局）単位での利用

大規模科学計算システムをご利用いただくにあたり、利用負担金を利用者単位のほか、機関（部局）単位で年間定額をお支払いいただくことで利用できるサービスも提供しています。このサービスは、機関（部局）単位でお申し込みいただくことにより、その構成員であれば、各研究室が個別に利用負担金を支払うことなく、システムを利用できる仕組みです。
これまで計算機を利用する機会がなかった研究者による新たなニーズへの対応や、研究室の計算機では実行できなかった大規模シミュレーションが実行可能であり、また自前で計算機を導入するためのコストや運用コ
ストも削減可能です。
占有利用・共有利用については必要に応じて取り混ぜながら、ご予算に合わせて、年間定額により利用することが可能となっています。

6.2

計算科学・計算機科学人材育成のためのスーパーコンピュータ無償提供制度

計算科学・計算機科学分野での教育貢献・人材育成を目的として、無料で大規模科学計算システムを利用できる制度です。提供の対象は、大学院・学部での講義実習等の教育目的（卒業論文、修士論文、博士論文での利用を除く）に限ります。

6.3

学部学生のためのスーパーコンピュータ無償提供制度

学部学生 (3 年生、4 年生) が、卒業論文等作成のために大規模科学計算システムを無料利用できる制度です。本センター教員が内容を審査の上、採択となった研究課題については、大規模科学計算システムを無料で利用する (利用ノード時間に上限あり) ことができます。

• 研究成果を学術論文誌等において発表する場合は、謝辞等で本センターの貢献を明記してください。
• 年度末に成果報告書を提出して頂きます。
• 申し込みには指導教員の承認が必要となります。
• 高等専門学校生については本科 5 年生および専攻科生を対象といたします。
• 指導教員 1 人につき最大 2 件までの応募となります。

7

利用負担金の確認方法
利用負担金は利用者ポータルで確認が可能です。

【利用者ポータルサイト】https://www.ss.cc.tohoku.ac.jp/portal/
利用者ポータルでは，大規模科学計算システムの利用者番号をお持ちの方が以下を行うことが出来ます。

• 利用可能なプロジェクトコードの確認• プロジェクトコード毎／利用者番号毎の課金明細の確認• プロジェクトコード毎／利用者番号毎のジャーナル CSV ファイルのダウンロード• LDAP パスワードの変更• SSH 公開鍵登録

利用申請と利用負担金について― 19 ―「ログインページ」のリンクより、利用者ポータルサイトにログインします。ログインには、UserID（大規模科学計算システムの利用者番号）と、Password（LDAP パスワード。初期パスワードは利用承認書に記載のもの）が必要です。

8

研究成果の提出
本センターでは、学術研究を支える世界最高水準の大規模科学計算システムの導入と利用環境の整備・拡充を行い、研究の発展に資することを心掛けております。今後もシステムの整備を進めていくには、大規模科学
計算システムが多くの研究分野で必要不可欠であり、かつ研究成果が得られていることを広くアピールしていく必要があります。
このため利用者の皆様には、本センター大規模科学計算システムを利用して得られた研究成果の一覧をご提出くださいますようお願いいたします。

• 研究成果一欄 ：著者名、論文名、掲載誌（巻号頁）、発表年• 提出方法：seika[at]cc.tohoku.ac.jp 宛にお送りください。

• 締切り日：翌年度 4 月中旬まで• 問合せ先：共同利用支援係 cc-uketuke[at]grp.tohoku.ac.jp

また論文等を発表される際には、本センターを利用した旨を明記してくださるようお願いいたします。
■ 記入例「本研究の実験結果の一部は、東北大学サイバーサイエンスセンター大規模科学計算システムを利用して得られた。」■ Example” Part of the experimental results in this research were obtained using supercomputing

resources at Cyberscience Center, Tohoku University.”

9

問い合わせ先利用申請と利用負担金についてのお問い合わせは共同利用支援係（cc-uketuke[at]grp.tohoku.ac.jp）まで

お願いいたします。その他ご不明な点、ご質問等ございましたら、お気軽にセンターまでお問い合わせください。問い合わせは利用相談フォームをご利用下さい。
【利用相談フォーム】https://www.ss.cc.tohoku.ac.jp/consultation/

― 20 ―

SENAC Vol. 56, No. （3 2023. 7）

別表 1 基本利用負担金【大学・学術利用】

区分
演算

負担経費

項目

AOBA-S

利用形態
共有

利用 VE 数 1（実行数、実行時間の制限有）

共有

課金対象時間

（無料）
（従量）
共有

（定額）

AOBA-A

占有
共有

（無料）
共有

（従量）
共有

（定額）

AOBA-B

占有
共有

（従量）
共有

（定額）
ファイル

占有

AOBA-S 固有領域

負担経費

AOBA-A,B 共有領域

負担経費

カラープリント

出力

負担額及び課金対象時間

大判プリンタによる無料＝（利用 VE 数÷ 8 を切り上げた数）×経過時間（秒）
課金対象時間 1 時間につき100 円

負担額 10 万円につき課金対象時間 1,000 時間分使用可能
利用 VE 数 8

利用期間 3 ヶ月につき

利用 VE 数 1（実行数、実行時間の制限有）

216,000 円
無料

課金対象時間＝（利用 VE 数÷ 8 を切り上げた数）×経過時間（秒）
課金対象時間 1 時間につき75 円

負担額 10 万円につき課金対象時間 1,400 時間分使用可能
利用 VE 数 8

利用期間 3 ヶ月につき

162,000 円

課金対象時間＝利用ノード数×経過時間（秒）
課金対象時間 1 時間につき22 円

負担額 10 万円につき課金対象時間 4,600 時間分使用可能
利用ノード数 1

利用期間 3 ヶ月につき

47,000 円

5TB まで無料、追加容量 1TB につき年額

3,000 円

5TB まで無料、追加容量 1TB につき年額
フォト光沢用紙 1 枚につきクロス紙 1 枚につき3,000 円
600 円

1,200 円

備考

1. 負担額が無料となるのは専用のキューで実行されたものとし、制限時間を超えた場合は強制終了する。
2. 演算負担経費の課金対象時間については半期毎 (4 月から 9 月及び 10 月から 3 月) に合計し、1 時間未満を切上げて負担金を請求する。

3. 演算負担経費について定額制を選択した場合は AOBA-A 及び AOBA-B を課金対象時間の範囲内で共用できる。

4. 占有利用期間は年度を超えないものとし、期間中に障害、メンテナンス作業が発生した場合においても、原則利用期間の延長はしない。

5. ファイル負担経費については申請日から当該年度末までの料金とする。運用期間が 1 年に満たない場合は、月割りをもって計算した額とする。占有利用に申込した場合は 10TB まで無料とする。

利用申請と利用負担金について― 21 ―

別表 2

区分
演算

負担経費

項目

AOBA-S

基本利用負担金【民間企業利用（成果公開型）
】

利用形態
共有

利用 VE 数 1（実行数、実行時間の制限有）

共有

課金対象時間

（無料）
（従量）
共有

（定額）

AOBA-A

占有
共有

（無料）
共有

（従量）
共有

（定額）

AOBA-B

占有
共有

（従量）
共有

（定額）
ファイル

占有

AOBA-S 固有領域

負担経費

AOBA-A,B 共有領域

負担経費

カラープリント

出力

負担額及び課金対象時間

大判プリンタによる無料＝（利用 VE 数÷ 8 を切り上げた数）×経過時間（秒）
課金対象時間 1 時間につき200 円

負担額 20 万円につき課金対象時間 1,000 時間分使用可能
利用 VE 数 8

利用期間 3 ヶ月につき

利用 VE 数 1（実行数、実行時間の制限有）

432,000 円
無料

課金対象時間＝（利用 VE 数÷ 8 を切り上げた数）×経過時間（秒）
課金対象時間 1 時間につき150 円

負担額 20 万円につき課金対象時間 1,400 時間分使用可能
利用 VE 数 8

利用期間 3 ヶ月につき324,000 円

課金対象時間＝利用ノード数×経過時間（秒）
課金対象時間 1 時間につき44 円

負担額 20 万円につき課金対象時間 4,600 時間分使用可能
利用ノード数 1

利用期間 3 ヶ月につき94,000 円

5TB まで無料、追加容量 1TB につき年額

6,000 円

5TB まで無料、追加容量 1TB につき年額
フォト光沢用紙 1 枚につきクロス紙 1 枚につき6,000 円
1,200 円
2,400 円

備考

1. 負担額が無料となるのは専用のキューで実行されたものとし、制限時間を超えた場合は強制終了する。
2. 演算負担経費の課金対象時間については半期毎 (4 月から 9 月及び 10 月から 3 月) に合計し、1 時間未満を切上げて負担金を請求する。

3. 演算負担経費について定額制を選択した場合は AOBA-A 及び AOBA-B を課金対象時間の範囲内で共用できる。

4. 占有利用期間は年度を超えないものとし、期間中に障害、メンテナンス作業が発生した場合においても、原則利用期間の延長はしない。

5. ファイル負担経費については申請日から当該年度末までの料金とする。運用期間が 1 年に満たない場合は、月割りをもって計算した額とする。占有利用に申込した場合は 10TB まで無料とする。

― 22 ―

SENAC Vol. 56, No. （3 2023. 7）

別表 3

区分
演算

負担経費

項目

AOBA-S

基本利用負担金【民間企業利用（成果非公開型）】

利用形態
共有

利用 VE 数 1（実行数、実行時間の制限有）

共有

課金対象時間

（無料）
（従量）
共有

（定額）

AOBA-A

占有
共有

（無料）
共有

（従量）
共有

（定額）

AOBA-B

占有
共有

（従量）
共有

（定額）
ファイル

占有

AOBA-S 固有領域

負担経費

AOBA-A,B 共有領域

負担経費

カラープリント

出力

負担額及び課金対象時間

大判プリンタによる無料＝（利用 VE 数÷ 8 を切り上げた数）×経過時間（秒）
課金対象時間 1 時間につき400 円

負担額 40 万円につき課金対象時間 1,000 時間分使用可能
利用 VE 数 8

利用期間 3 ヶ月につき

利用 VE 数 1（実行数、実行時間の制限有）

864,000 円
無料

課金対象時間＝（利用 VE 数÷ 8 を切り上げた数）×経過時間（秒）
課金対象時間 1 時間につき300 円

負担額 40 万円につき課金対象時間 1,400 時間分使用可能
利用 VE 数 8

利用期間 3 ヶ月につき648,000 円

課金対象時間＝利用ノード数×経過時間（秒）
課金対象時間 1 時間につき88 円

負担額 40 万円につき課金対象時間 4,600 時間分使用可能
利用ノード数 1

利用期間 3 ヶ月につき

188,000 円

5TB まで無料、追加容量 1TB につき年額

12,000 円

5TB まで無料、追加容量 1TB につき年額
フォト光沢用紙 1 枚につきクロス紙 1 枚につき12,000 円

2,400 円
4,800 円

備考

1. 負担額が無料となるのは専用のキューで実行されたものとし、制限時間を超えた場合は強制終了する。
2. 演算負担経費の課金対象時間については半期毎 (4 月から 9 月及び 10 月から 3 月) に合計し、1 時間未満を切上げて負担金を請求する。

3. 演算負担経費について定額制を選択した場合は AOBA-A 及び AOBA-B を課金対象時間の範囲内で共用できる。

4. 占有利用期間は年度を超えないものとし、期間中に障害、メンテナンス作業が発生した場合においても、原則利用期間の延長はしない。

5. ファイル負担経費については申請日から当該年度末までの料金とする。運用期間が 1 年に満たない場合は、月割りをもって計算した額とする。占有利用に申込した場合は 10TB まで無料とする。

Density functional theory of N2 fixation on B doped g-C₉N₁₀― 23 ―[ 共同研究成果 ]Density functional theory of N2 fixation on B doped g-C9N10
Yuelin Wang* and Yoshitada Morikawa
Department of Precision Engineering, Graduate School of Engineering, Osaka University, 2-1
Yamada-oka Suita, Osaka 565-0871
Email: wangyl262@cp.prec.eng.osaka-u.ac.jp
N2 fixation to produce NH3 is vital for fertilizers and energy storage. Converting N2 to
NH3 under ambient conditions is challenging due to the stable N≡N bond. The industrial HaberBosch method, though effective, requires extreme conditions and generates CO2 [1-2].
Photocatalysis and electrocatalysis of N2 provide eco-friendly alternatives, improving reaction
rates, selectivity, and energy efficiency while avoiding CO2 emissions. Discovering a suitable
N2RR catalyst is crucial for sustainable development [3]. Metal-free carbon materials havegained significant attention over metal-based catalysts due to their excellent stability, low cost,high surface area, and environmental friendliness [4]. B atom is electron-deficient atom, and it
has Lewis-acid characteristics, which can drive the “σ donation-π backdonation” process whenthe B atom is attacked by Lewis base (such as N2) [5]. Thus, in this project, we havesystematically investigated N2RR on B doped g-C9N10 with three doping configurations, i. e. B
substituted N (BN1), B substituted C (BC1), and B anchored (BA) on g-C9N10 using density
functional theory (DFT) calculations [6].
First, we construct the seven B atom doping structures, namely B substituted C or N andanchored on g-C9N10 (Figure 1(a-h)). The stability of different doping sites is evaluated byformation energy, and BN1 and BA (BC1) are stable at N-poor (rich) conditions. (Figure 1(i)). We
found that for BC1, the N2 molecule is physisorbed at B site due to the large boron-nitrogen
distance (3.298 Å), while N2 adsorbed on BN1 only has an end-on configuration with anadsorption energy of −1.53 eV and N2 adsorbed on BA has two different end-on and side-on
configurations with Eads‘s of −1.48 eV and −0.91 eV, respectively. we found that N2 is preferably

― 24 ―

SENAC Vol. 56, No. （3 2023. 7）

adsorbed in the end-on configuration than the side-on one by a large energy difference of 0.57
eV and the transition from end-on to side-on N2 requires a barrier of 1.00 eV by CI-NEB [7-8]..

Figure 1. The possible site of B doped g-C9N10 (a). The optimal structure of BC1 doped g-C9N10 (b), BC2 doped gC9N10 (c), BC3 doped g-C9N10 (d), BN1 doped g-C9N10 (e), BN2 doped g-C9N10 (f), BN3 doped g-C9N10 (g) and BA
doped g-C9N10 (h). (i) The formation energy of seven B doped g-C9N10 structures as a function of N chemical
potential. ΔμN = 1/2(μN2 − EN2) where EN2 is the total energy of a gas-phase N2 molecule at 0 K. The bottom axes
show the corresponding N2 chemical potentials at the absolute temperature T and partial pressure P (with P° = 1atm), µN2 = H°(T) − H°(0) − TS°(T) + kBTln(P/P°), where the enthalpy H° and the entropy S° are obtained fromref. 9.

Then, we investigated the five possible N2RR pathways [10-12] starting by end-on N2
adsorption, including alternating, distal, mixed Ⅰ, mixed Ⅱ and mixed Ⅲ pathways. The free energy
calculations show that BN1 and BA doped g-C9N10 proceeds via mix I mechanism (Figure 2) startingfrom the stable end-on N2 with low limiting potentials of −0.62 V and −0.44 V, respectively. Importantly,
H blocks active site in the case of BA doped g-C9N10 due to stronger Eads of H* (-1.95 eV), resulting inDensity functional theory of N2 fixation on B doped g-C₉N₁₀― 25 ―

lower N2RR selectivity, while BN1 doped g-C9N10 can effectively prevent the H poisoning due to theweaker H adsorption relative to N2 adsorption (-0.25 eV vs. -0.9 eV), thus improving the N2RR activity
and selectivity.
Finally, we also perform the band structure and adsorption spectrum to investigate thephotocatalytic activity. The band structures and absorption spectra indicate that introducing B
atom can decrease the band gap and enhance the light absorption ability in the visible range.
In summary, in this project, partly DFT works were performed by Simulation Tool for
the Atom Technology (STATE) program using AOBA-B system of the supercomputer intohoku university to study atomistic insights into the N2RR on B-doped g-C9N10. The
supercomputer offers very effective and time-saving to run the work. We think that our work
would motivate experimental work to prove and explore the more carbon nitride materials for
N2RR. Detailed results are published in reference [6].

― 26 ―

SENAC Vol. 56, No. （3 2023. 7）

Figure 2. (a) Schematic depiction of distal, alternating, enzymatic and Mixed mechanisms for N2RR. (b) Free
energy diagrams for optimal N2 reduction pathway on BN1 doped g-C9N10 through mixed Ⅰ mechanisms with the
optimized structure of each intermediate. (c) Free energy diagrams for optimal N2 reduction pathway on BA doped
g-C9N10 through enzymatic mechanism with the optimized structure of each intermediate.

Density functional theory of N2 fixation on B doped g-C₉N₁₀― 27 ―

References[1] J. N. Galloway, A. R. Townsend, J. W. Erisman, M. Bekunda, Z. Cai, J. R. Freney, L. A.
Martinelli, S. P. Seitzinger, M. A. Sutton, Science, 2008, 320, 889.
[2] V. Rosca, M. Duca, M. T. de Groot, M. T. Koper, Chem. Rev., 2009, 109, 2209-2244.
[3] R. Schlögl, Angew. Chem. Int. Ed., 2003, 42, 2004-2008.
[4] C. Hu, Y. Lin, J. W. Connell, H. Cheng, Y. Gogotsi, M. Titirici, L. Dai, Adv. Mater., 2019,31, 1806128.
[5] M. A. Légaré, G. Bélanger-Chabot, R. D. Dewhurst, E. Welz, I. Krummenacher, B. Engels, H.
Braunschweig, Science, 2018, 359, 896-900.
[6] Y. Wang, T. N. Pham, L. Yan, Y. Morikawa, J. Mater. Chem. C, 2022,10, 11791-11800.
[7] G. Henkelman, H. Jonsson, J. Chem. Phys., 2000, 113, 9978-9985.
[8] G. Henkelman, B. P. Uberuaga, H. Jónsson, J. Chem. Phys., 2000, 113, 9901-9904.
[9] M. W. Chase Jr, C. A. Davies, J. R. Downey Jr, D. J. Frurip, R. A. McDonaldand, A. N. Syverud,
NIST-JANAF Thermochemical Tables, 1998, pp. 1-1951.
[10] W. Guo, K. Zhang, Z. Liang, R. Zou, Q. Xu, Chem, Soc. Rev., 2019, 48, 5658-5716.
[11] X. F. Li, Q. K. Li, J. Cheng, L. Liu, Q. Yan, Y. Wu, X. H. Zhang, Z. Y. Wang, Q. Qiu and Y. Luo,J. Am. Chem. Soc., 2016, 138, 8706-8709.
[12] C. Wang, Y. Zhao, C. Y. Zhu, M. Zhang, Y. Geng, Y. G. Li, Z. M. Su, J. Mater. Chem. A, 2020, 8,23599-23606.

― 28 ―

SENAC Vol. 56, No. （3 2023. 7）[ 共同研究成果 ]Self-consistent van der Waals density functional study of NO-H2O
c o ad so r pt i on o n C u (1 11 )Thanh Ngoc Pham,* and Yoshitada Morikawa
Department of Precision Engineering, Graduate School of Engineering, Osaka University, 2-1 Yamadaoka Suita, Osaka 565-0871
Email: thanh@cp.prec.eng.osaka-u.ac.jp
In this project, we have studied the reaction mechanisms in NOx purification catalysts using firstprinciple calculations. We have studied (i) atomistic insights into the co-adsorption behavior of NO with
H2O on Cu(111) [1] and (ii) metal-support interaction of supported Pd catalysts revealed by machinelearning enhanced global optimization [2]. In this report, we discuss the importance of intermolecularinteraction in co-adsorption of NO and H2O by means of self-consistent van der Waals density functional.
NOx purification catalysts are essential in three-way catalyst converters to reduce automotive exhaustNOx gas to non-toxic N2 gas [1]. Recently, Cu catalyst has been received much attention to replace scareand expensive platinum group metal (Pt, Pd, and Rh) catalysts due to its excellent performances in NO
reduction. Elucidating reaction mechanism of NO reduction on Cu catalyst is important to improve thecatalytic activity and selectivity of this catalyst.
As the model for the Cu catalyst, NO adsorption and reaction on well-defined Cu surfaces have beenstudied. The interaction between NO and Cu surfaces are well studied but the interaction of NO with othercommon gases in TWC likes H2O, NH3, and H2 remains ambiguously, which hinders our design of selective
NO reduction systems [3]. In particular, elucidating the interaction between adsorbed nitric oxide (NO) andwater (H2O) on metal surfaces is of paramount importance to uncover mechanistic details of theircompetitive coadsorption behavior and to guide the design of new NOx purification catalysts under wet
condition.
Recently, Koshida et. al observed that the H2O exposure to (NO)3-preadsorbed Cu(111) results in theformation of mixed NO-H2O complexes by scanning tunneling microscopy techniques [3]. We herein focus
on elucidating the NO-H2O interaction strength and compared that to NO-NO and H2O-H2O binding
strengths to prove that the mixed NO-H2O complexes is formed rather than separated NO and H2O clusters
on Cu(111). To this end, we constructed several mixed NO-H2O complexes and compared their binding
strengths to binding strengths of NO trimer and water hexamer. The adsorption energy of mixed nNOmH2O complex is defined as
𝐸𝐸𝐸𝐸ads = 𝐸𝐸𝐸𝐸 (𝑛𝑛𝑛𝑛NO − 𝑚𝑚𝑚𝑚H2 O) − [𝐸𝐸𝐸𝐸 (Cu) + 𝑛𝑛𝑛𝑛𝐸𝐸𝐸𝐸 (NO) + 𝑚𝑚𝑚𝑚𝐸𝐸𝐸𝐸(H2 O)],(1)
where 𝐸𝐸𝐸𝐸 (𝑛𝑛𝑛𝑛NO − 𝑚𝑚𝑚𝑚H2 O), 𝐸𝐸𝐸𝐸 (Cu), 𝐸𝐸𝐸𝐸 (NO), and 𝐸𝐸𝐸𝐸(H2 O) are total density functional theory (DFT) energies
of adsorbed nNO-mH2O, clean Cu(111), isolated NO, and H2O, respectively.
The DFT calculations were carried out by using the simulation tool for atom technology (STATE)
package [4]. We employed ultrasoft pseudopotentials to describe the electron-ion interactions with Cu 3d
4s, N 2s 2p, O 2s 2p, and H 1s valance states. Valance states were expanded by using plane wave basis-set
with cutoff energies of 36 and 400 Ry for wave functions and augmented charge density, respectively. We
used self-consistent van der Waals density functional (vdW-DF) method and the optB86b-vdW functional
is adopted [5]. This approach is proved to provide an reasonable accuracy for adsorption and reaction of
NO on three low-indexed Cu surfaces, namely Cu(100), Cu(110), and Cu(111) as indicated in our previous
works [6,7].
First, we study the adsorption of small NO and H2O clusters on Cu(111). We obtain the most stable sites
for NO monomer and H2O monomer are fcc-hollow and atop site with 𝐸𝐸𝐸𝐸ads of –1.325 and –0.261 eV,
respectively. We find that NO tend to form NO trimer ((NO)3) on Cu(111) and (NO)3 is more stable thanseparated three NO monomer by –0.123 eV. The adsorbed H2O also tends to aggregate to form small
clusters on Cu(111). The binding strength of water hexamer ((H2O)6) is –1.369 eV w.r.t. separated six H2O
monomer. Atomic structures of (NO)3 and (H2O)6 are shown in Figure 1.

Self-consistent van der Waals density functional study of NO-H₂O coadsorption on Cu(111) ― 29 ―Figure 1. Atomic structures of NO trimer (NO)3, water hexamer (H2O)6, and mixed 4NO-3H2O
complex. Color: Cu, orange; N, blue; O, red, and H, white.
Then, we investigate several mixed nNO-mH2O complexes (n = 1–4 and m = 1–3) and the largest mixed
complex, i.e. 4NO-3H2O is shown in Figure 1. The calculated 𝐸𝐸𝐸𝐸ads of 4NO-3H2O is −7.424 eV, being morestable than separated 4/3(NO)3 + 1/2(H2O)6 state (−6.933 eV) by −0.491 eV. We find that adsorbed NO
tends to received two hydrogen bonds from two water molecules and those adsorbates aggregate to form
large mixed nNO-mH2O clusters on Cu(111). Our results imply that the mixed nNO-mH2O complex is morestable than NO trimer and H2O hexamer. Intermolecular interactions in nNO-mH2O surpass the NO-NO
and H2O - H2O interactions, leading to the formation of mixed nNO-mH2O complex adsorbed on Cu(111).
Our finding is consistent with experimental STM observation [3] and well explains their results.
Intermolecular interactions in nNO-mH2O composes of NO-H2O and NO - NO interactions. The former ishydrogen bond where negatively-charged NO driven by back donation process from Cu(111) interacts
attractively with H2O via H-bond. The latter is the covalent interactions where 2π* orbitals hybridized atnear Fermi level.
In summary, we employed Supercomputer AOBA installed at the Cyberscience Center, Tohoku
University to study atomistic insights into the co-adsorption behavior of NO with H2O on Cu(111). Detailed
results are published in reference [1].
[1] T. N. Pham, Y. Hamamoto, K. Inagaki, I. Hamada, and Y. Morikawa, Phys Rev Mater. 6, 075801 (2022).
[2] T. N. Pham, B. A. C. Tan ,Y. Hamamoto, K. Inagaki, I. Hamada, and Y. Morikawa, submitted for
publication.
[3] H. Koshida, S. Hatta, H. Okuyama, A. Shiotari, Y. Sugimoto, and T. Aruga, J. Phys. Chem. C 122, 8894
(2018).
[4] Y. Morikawa, Phys. Rev. B 51, 14802 (1995).
[5] Y. Hamamoto, I. Hamada, K. Inagaki, and Y. Morikawa, Phys. Rev. B 93, 245440 (2016).
[6] K. Kuroishi, M. R. Al Fauzan, T. N. Pham, Y. Wang, Y. Hamamoto, K. Inagaki, A. Shiotari, H.
Okuyama, S. Hatta, T. Aruga et al. Phys. Chem. Chem. Phys. 23, 16880 (2021).
[7] T. N. Pham, Y. Hamamoto, K. Inagaki, D. N. Son, I. Hamada, and Y. Morikawa, J. Phys. Chem. C 124,
2968 (2020).

― 30 ―

SENAC Vol. 56, No. （3 2023. 7）[ 利用相談室便り ]令和5 年度の利用 相談につ いて

サイバーサイエンスセンターの利用相談についてご案内いたします。相談は主に利用相談フォー
ムから受け付けます。面談をご希望の方は、事前に利用相談フォームでご連絡ください。相談内容、
時間帯によっては、時間を要する場合もありますが、利用者の問題解決にむけて努めております。
センター利用に関してご質問、ご不明な点があればお気軽に利用相談をご利用ください。

・プログラムを高速化するにはどうしたらいいの？
・プログラムを並列化してもっと速く計算したい！
・スパコンでプログラムを動かしても速さがPCと変わらないんだけど、どうして？
・研究室のコンピュータではメモリが足りない！
・研究室の電気代高騰で困っている。
・コンピュータの管理は面倒。研究に専念したい。
・サービスしているアプリケーションを研究室から利用するにはどうすればいいの？

このような、スーパーコンピュータ利用に関する疑問や問題をお持ちの方、これから利用してみ
たいとお考えの方、一度相談してみてはいかがでしょうか。

利用相談フォーム：https://www.ss.cc.tohoku.ac.jp/consultation/

サイバーサイエンスセンター本館（右）、2 号館（左）令和 5 年度利用相談について― 31 ―

令 和 5 年 度 テクニカルアシスタントと主な担当分野
テクニカルアシスタント
菅野 学（理学研究科）髙橋 慧智（サイバーサイエンスセンター）

主な担当分野・Gaussian・AOBA-A, AOBA-B
・高速化（ベクトル化、並列化）
・Fortran ・C/C++
・アプリケーション全般

山下 毅

・高速化（ベクトル化、並列化）（情報部デジタルサービス支援課）

・Fortran
・利用負担金齋藤 敦子

・AOBA-A, AOBA-B（情報部デジタルサービス支援課）

・大判プリンタ

森谷 友映（情報部デジタルサービス支援課）

・AOBA-A, AOBA-B
・Fortran
・大判プリンタ― 32 ―

SENAC Vol. 56, No. （3 2023. 7）[JHPCN シンポジウム ]J H PC N 学 際 大 規 模 情 報 基 盤 共 同 利 用 ・ 共 同 研 究 拠 点
第 15 回シンポジウム報告高橋 慧智
東北大学サイバーサイエンスセンター スーパーコンピューティング研究部
2023 年 7 月 6 日から 7 日にかけて東京コンファレンスセンター・品川において開催された第 15 回
学際大規模情報基盤共同利用・共同研究拠点 (JHPCN) シンポジウムは，昨年に引き続き現地発表とオンライン発表のハイブリッド開催となりました．昨年は COVID-19 感染拡大防止のため現地参加人数が制限されていましたが，今年度は制限が撤廃され，現地・オンラインを合わせた参加登録者数
は昨年度比 10%増の約 360 名となりました．
今回のシンポジウムでは，昨年度採択された 63 課題の成果報告発表がありました．各発表には
昨年度と同様に 15 分発表，質疑応答 5 分が割り当てられ，2 並列の並列セッションでプログラムが構成されました．また，国立情報学研究所所長・京都大学教授の黒橋禎夫博士による大規模言語モデルに関する基調講演，ならびに，日本 IBM 東京基礎研究所の武田征士博士による AI 基盤モデルとその材料科学への応用に関する講演がありました．さらに，今年度採択された課題 35 件のポスター
発表に加えて，各構成拠点から推薦された萌芽課題 9 件のポスター発表がありました．今年度の新たな試みとして，各拠点の提供資源，サービス，講習会，共同研究等の実績を紹介する 8 件のポス
ター発表もありました．
学際大規模情報基盤共同利用・共同研究は，東北大学，北海道大学，東京大学，東京工業大学，
名古屋大学，京都大学，大阪大学，九州大学にそれぞれ附置するスーパーコンピュータを持つ 8 つの共同利用の施設を構成拠点とする「学際大規模情報基盤共同利用・共同研究拠点」が，様々な計算科学分野の研究者らと取り組む学際的な共同利用・共同研究です．2022 年度より，各構成拠点に加え，国立情報学研究所，産業技術総合研究所，筑波大学人工知能科学センターが共同で運営する，
データ科学・データ利活用に主軸をおいた計算基盤「mdx」も新たに共同研究のための計算機 資源として提供しています．従来の課題分野を大規模計算課題分野と呼び，それに加えて 2022 年度から
データ科学・データ利活用の課題分野が新設されたために，採択課題数もその多様性も一層増しました．
2010 年度から 2023 年度において約 600 件を超える課題が学際大規模情報基盤共同利用・共同研
究として採択されており，そのうち当センターとの共同研究課題は 94 件となっております．今年度
は，5 件が当センターとの共同研究課題として採択されております．今年度採択分も含め，これまでの採択課題に関する情報は以下の URL で公開されております．ぜひ，高性能計算を用いた多岐にわ
たる共同研究活動をご覧いただければと存じます (JHPCN URL: https://jhpcn-kyoten.itc.utokyo.ac.jp/ja/sympo/15th)．
来年度の学際大規模情報基盤共同利用・共同研究拠点の研究公募は 11 月頃に公開予定です．ご
興味のあるかたは奮ってご応募ください．また，応募に際しまして当センターの計算機科学を専門とする教員との共同研究の可能性を検討したい，手続き方法が分からない等，本応募に関して不明な点があります場合は，お気軽に当センターまでお問い合わせください．
【JHPCN に関する問い合わせ窓口】join_research@cc.tohoku.ac.jp

SENAC Vol. 56, No. 3（2023. 7）― 33 ―[JHPCN シンポジウム ]令和 5 年度 JHPCN 採択課題ポスター紹介
令和 5 年度学際大規模情報基盤共同利用・共同研究拠における当センター利用課題のポスター
7 件をご紹介します。
・jh230006 「プラズマ学際科学のためのリアル粒子シミュレーションの研究開発と応用」
研究代表者

大谷寛明(核融合科学研究所)

・jh230010 「QR 分解に関する高性能計算技術の研究」
研究代表者 深谷猛（北海道大学）

・jh230024 「日本全国のため池の治水利用の評価」
研究代表者

風間聡(東北大学)・jh230032 「Investigation of intramolecular magnetic interaction in rare-earth-based
molecular magnets」
研究代表者

・jh230050「回転デトネーションエンジンにおける燃焼器サイズ効果に関する数値解析」
研究代表者

・jh230056

Anas Santria (大阪大学)

松尾亜紀子(慶應義塾大学）「近代的メニーコアシステムにおける性能モデリング手法」
研究代表者

・jh230058

星野哲也(名古屋大学)「メニーコア CPU，GPU の最適なリソース割り当てに関する研究」
研究代表者

河合直聡(名古屋大学)

― 34 ―

SENAC Vol. 56, No. （3 2023. 7）

15th Symposium

学際大規模情報基盤共同利用・共同研究拠点公募型共同研究 2023年
年度採択課題j h 2 3 00 06

大谷寛明( 核融合科学研究所)

プラズマ学際科学のためのリアル粒子シミュレーションの研究開発と応用

参加者：宇佐見俊介1（副代表）、長谷川裕記1,2、森高外征雄1,2、沼波政倫1,2、樋田美栄子1,2、三浦英昭1、石黒静児1,2、堀内利得1,2、小谷 翼3 、大野暢亮4、川原慎太郎5、臼井英之6，三宅洋平6，田 光江7，小川智也8, 深沢圭一郎3，片桐孝洋9, 滝沢寛之10
1核融合研、2総研大、 3京大、 4兵庫県立大、5JAMSTEC、 6神戸大、 7情報通信研、8北里大、9名大、東北大10

１．研 究 目 的
プラズマ：宇宙の典型的な物質状態（地球惑星科学、宇宙科学、核融合科学、材料プロセス工学など様々な分野で研究対象）→多様な現象
各分野でのプラズマパラメータは異なる→プラズマパラメータを特徴的なスケールで規格化→共通の現象として議論 学際的な研究（例：プラズマ実験と太陽風―地球磁気圏―電離層でのプラズマ現象のアナロジー）
プラズマ科学：膨大な数の荷電粒子の集団から構成される巨視的な系であるプラズマにおいて生起される多様な複雑現象が研究対象
粒子シミュレーション（１９６０年代初期に最初に考案されたシミュレーションモデルの一つ）。荷電粒子と電磁場のダイナミクスを自己無撞着に解く。
利点：粒子運動という微視的ダイナミクスの追跡＋粒子‐波相互作用や粒子運動論的効果の正確な追跡
難点：メモリ量や計算速度の制限→実験装置サイズのような巨視的な系全体の計算が非常に困難（イオン・電子のスケール差：時間で103、空間で102程度）
最適化の困難→粒子に働く力の計算や電荷密度・電流密度の計算でメモリへのランダムアクセス発生。
並列化の困難→均等な領域分割による並列化で偏った粒子密度分布が発生すると、並列負荷分散に偏りが発生
素過程の物理モデル（粒子間衝突や荷電交換、イオン再結合）は粒子間相互作用なので、粒子数𝑁𝑁𝑁𝑁に対して計算コストが𝑁𝑁𝑁𝑁 2
プラズマ実験や太陽・地球磁気圏プラズマを模擬する境界条件や実験装置のジオメトリーや境界条件の設定

実験や観測に即したシミュレーションモデルを構築・導入して、シミュレーションを実行する「リアル粒子シミュレーション」コードのための研究・開発
２．研 究 課 題
〇イオン・電子質量比を実際の値でシミュレーション〇素過程の物理現象を含むシミュレーション〇実験や観測など、現実に即した境界条件やジオメトリを含むシミュレーション→コードの最適化や高速化、並列化に対応したアルゴリズムの研究・開発、素過程モデルの最適化・高速化・並列化〇開発したコードの研究対象：プラズマ物理における微視的ダイナミクスの研究
高速粒子が励起する波動現象、ヘリカル系核融合炉に向けたジャイロ運動論研究、周辺プラズマにおけるプラズマ輸送現象、磁気再結合現象

３．今年度の研究計画
up3bd コードへの素過程実装：
Coulomb衝突（Nanbu法）と原子分子過程 （Null Collision法）を用いる
1次元PIC‐MCCコード（PAMCADE）の名大不老Type‐I（FX1000）への移植→同手法の up3bd コードへの実装を検討
up3bd コードの各システムへの移植：
up3bd コードの東北大AOBA‐B、並びに、京大Camphor3への移植
PASMOコ
コードの素過程実装
Coulomb衝突（Takizuka法）の導入
核融合炉周辺領域の弱電離プラズマの模擬
核融合炉周辺領域の弱電離プラズマを模擬する上で重要となる電離・再結合過程のモデル化、およびシミュレーションコードへの実装
高速粒子が励起する波動現象

低域混成波ならびにその高調波の非線形励起機構
磁場強度、プラズマ密度、高速イオンの速さなどが異なるシミュレー
ションを実行して、低域混成波の高調波が生成される条件を調べる。
低域混成波の非線形発展に重要な影響を及ぼす高速イオンの速度分布の崩壊・再構築に関して、その物理機構とパラメータ依存性を解析する。

低域混成波の非線形発展における高速イオン質量に対する依存性
高速イオンの種類は、核融合プラズマでは水素同位体とヘリウム、
宇宙プラズマでは水素、ヘリウム、酸素など様々なものがある。線形理論によると高速イオンの質量が大きくなると低域混成波は励起されにくくなるが、非線形発展については十分に調べられていない。電磁粒子シミュレーションを用いて研究する。
ジ ャイロ 運 動 論 研 究

プラズマ輸送現象の研究
素過程と輸送現象• 粒子衝突、中性粒子との素過程（非接触プラズマ過程）が、径方向プラズマ輸送現象に与える影響を解析する。
• 密度勾配が駆動する不安定性によるフィラメント形成
過程、イオン加熱過程などの研究を進める。
• 核融合周辺プラズマは絶えずコアからエネルギーが供給され、その足元には中性粒子が多く含まれる非接触領域が存在するという点で、太陽風－地球磁気圏－電離層結合系と類似しており、そのアナロジーの議論に
より実験室プラズマとスペースプラズマとの学際的展開をめざす。
磁気再結合現象アナロジー

球状トカマクのプラズマ合体実験の粒子シミュレーション• PASMOコードをもとに合体の断面（下図の黄色い枠で囲んだ図）を模擬するシミュレーションを実施する。
• 球状トカマクが合体する様子を再現する粒子シミュレー
ションを実施し、実験の結果と比較する。
• イオン速度分布などを詳しく解析して、加熱機構を探求する。リングの一部分のような形状の分布関数が見えており、PASMOによる磁気再結合の成果を適用できる可能性が高い。

静電場構造と熱負荷
非構造格子生成手法やポアソン方程式の反復解法を活用し、ヘリカ
ル核融合炉特有の周辺磁場構造における静電場構造と、それが核融合炉への熱負荷に対して与える影響を調べる。

球状トカマク合体実験

現在のシミュレー
ション領域

これまでPASMOで行っていたシミュレーション領域と、現コードの領域の関係

学際大規模情報基盤共同利用・共同研究拠点 第15回シンポジウム
2023年 7月6日、 7日

東京コンファレンスセンター・品川

SENAC Vol. 56, No. 3（2023. 7）― 35 ―

ᶈᶆᵐᵑᵎᵎᵏᵎᴾ（新規課題）

ᵯᵰ分解に関する高性能計算技術の研究
深谷 猛（代表・北大），鈴木 智博（副代表・山梨大），大島 聡史（九州大），
伊田 明弘（JAMSTEC），岩下 武史（北大），門倉 陣之介（北大・学生）

概要
主要な行列分解の一つであるQR分解に対して、その性能向上に資する高性能計算技術の研究開発を行う。現在、
QR分解に対して異なる特徴を有する様々な数値計算アルゴリズムが存在する。一方、計算が行われる環境も、マルチコアCPU、GPU、分散並列システムなどと多様化している。更に、計算対象となる行列も、縦長行列から正方行列まで多様な形状があり、加えて、Block Low Rank行列のQR分解のような新しい問題設定も登場している。この状況に対して、本課題では、QR分解に関連した研究実績を持つ研究者を集めて、各々が持つ知見や技術を土台とした上で、それらを柔軟に組み合わせることで、様々な状況におけるQR分解の高性能化の可能性を追求することを目指す。

◆ 実施項目ᵏ：ᵡᶆᶍᶊᶃᶑᶉᶗᴾᵯᵰに基づく列ピボット付きᵯᵰ分解アルゴリズムの開発• Cholesky QR型のアルゴリズムはHPCに適した特徴を持ち、縦長行列のQR分解において高性能であることが知られている。
• 列ピボット付きQR分解は行列のランクに関する情報を扱うこと（Rank Revealing QR分解）が可能で、行列のランク近似などの応用を持つ。
• 本課題では、Cholesky QR型の列ピボット付きQR分解アルゴリズムの開発を行う。
• 開発したアルゴリズムの性能を既存アルゴリズム（LAPACKのルーチンなど）と比較し、その有効性を検証する。

Cholesky QRアルゴリズムの概要◆ 実施項目ᵐ：非縦長行列のᵯᵰ分解に対するᵡᶆᶍᶊᶃᶑᶉᶗᴾᵯᵰアルゴリズムの活用• Cholesky QR型のアルゴリズムは縦長行列に対して高性能である一方で、正方行列に近い（非縦長の）行列に対しては性能に限界があることを確認済み。
• 本課題では、Block Gram-Schmidt（BGS）アルゴリズムとCholesky QR型アルゴ
リズムを併用し、非縦長行列のQR分解に対する高性能計算を目指す。
• マルチコアCPU環境における提案手法の有効性を検証。
• 分散並列システムに対して、データ分散の方法を含めて、提案手法の拡張を検討予定。
Block Gram-Schmidt（BCGS）アルゴリズムの概要◆ 実施項目ᵑ：最新のマルチコアᵡᵮᵳ環境におけるタイルᵯᵰアルゴリズムの性能評価• タイル型の行列分解アルゴリズムは、超並列環境に適した並列アルゴリズムであり、QR分解をはじめとする行列分解における有効性が知られている。
• 本課題では、まず、JHPCNで利用可能である様々な最新のマルチコアCPU環境において、タイル型QR分解アルゴリズムの性能を詳しく調査・分析する。
• タイルサイズ等のパラメータと性能の関係を詳しく分析し、タイル型QR分解アルゴ
リズムの有効性の検証と性能向上に向けた課題の調査を行う。
タイルQRアルゴリズムの概要◆ 実施項目ᵒ：ᵥᵮᵳ環境におけるᵠᶊᶍᶁᶉᴾᵪᶍᶕᴾᵰᵿᶌᶉ行列のᵯᵰ分解の性能評価• Block Low Rank（BLR）行列をはじめとする、行列の低ランク近似を活用した行
列近似とそれに対する行列分解の研究が活発に行われている。
• BLR行列：ブロック化された行列の一部ブロックが低ランク表現されたもの。
• 本課題では、まず、別プロジェクトで開発が進んでいる、Block Low Rank行列に対するQR分解のGPU向け実装に関して、性能評価・分析を行う。
• 既存ライブラリをベースとしている実装に対して、その性能のボトルネック箇所を
Block Low Rank行列の概要
明 ら か に し 、 ア ル ゴ リ ズ ム や 実 装 方 法 の 改 良 に つ い て 検 討 す る 。 赤：密行列（主に対角）、黄：低ランク行列（主に非対角の大部分）（密行列向け手法が適用可能だが、低ランク行列を考慮した改良の余地あり。）

ᵨᵦᵮᵡᵬ：学際大規模情報基盤共同利用・共同研究拠点ᴾ第ᵏᵓ回ᴾシンポジウム （ᵐᵎᵐᵑ年ᵕ月ᵔ日ᵋᵕ日，東京ᵄオンライン）

― 36 ―

SENAC Vol. 56, No. （3 2023. 7）

15th Symposium

学際大規模情報基盤共同利用・共同研究拠点公募型共同研究 令和5年
年度採択課題jh 2 3 0 0 2 4

風間 聡 （東北大学工学研究科），柳原駿太（同），池本敦哉（同）
滝 沢 寛 之 （ 東 北 大 学 サ イ バ ー サ イエ ン ス セ ン タ ー ）日 本 全 国 の ため池 の 治 水 利 用 の 評 価[回]

一定浸水深以上の地点の土地利用を規制

気候変動の豪雨に対する流域全体での洪水対策「流域治水」が取り組まれている

日本古来から資産「ため池」の治水活用⇒ 将来への洪水適応策
有効性の評価と地域性の考察が必要

国土交通省https://www.mlit.go.jp/policy/shingikai/content/001360743.pdf

山形豪雨 (2020年)

研究目的：日本全国に20万基あるため池の洪水適応策の有効性の考察のための膨大な計算負荷の軽減化
洪水氾濫解析

100mm/day 200mm/day

現在気候時との豪雨日数の差

背景・目的

豪雨日数の将来変化(気象庁)（Yamamotoら，Climatic Change, 165:60） jh220018のの成果

将来の降水量：全球気候モデル

高解像度洪水氾濫解析

洪水対策の被害軽減比較

RCP2.6
Water depth(m)Water depth(m)

RCP8.5

日本各域で再現期間100年洪水を生じさせる日降水量の気候シ
ナリオRCPの違い (2050年時)1km解像度

250m解像度

100年確率降雨時の浸水深分布

ため池の要素モデル付加

県別被害軽減割合
左：治水施設レベルの向上
右：たんぼダム

多数の組み合わせ計算
全国600万セルの計算

10万を超えるため池
要素モデルの実行

初期貯水率：0, 25, 50, 75% 4通り+ため池なし
並列化の負荷をベイズ最適化を利用し，高速化

ため池に一律の初期貯水率(0・25・50・75%)を設定
ため池存在セルにため池モデルを付加
限界貯留高を超えると浸水が発生（Ikemoto, et al., Water Resources
Management, 2023）

県別+初期貯水率別 期待被害額軽減率
初期貯水率0%の場合，香川県(17%)，滋賀県(10%)，奈良県(9%)，
兵庫県(9%)， 岡山県(8%)の軽減率が高い．
学際大規模情報基盤共同利用・共同研究拠点 第15回シ ン ポ ジ ウム
2023年 7月6日，7日

Hybrid CONFERENCE

SENAC Vol. 56, No. 3（2023. 7）

jh230032― 37 ―$E,QLWLR6WXG\RI$Q,QWUDPROHFXODU0DJQHWLF
,QWHUDFWLRQLQ5DUH(DUWK%DVHG0ROHFXODU0DJQHWV$QDV6DQWULD DQG1DRWR,VKLNDZD*UDGXDWH6FKRRORI6FLHQFH2VDND8QLYHUVLW\

5HVHDUFK&HQWHUIRU&KHPLVWU\1DWLRQDO5HVHDUFKDQG,QQRYDWLRQ$JHQF\)HUURPDJQHWLF $QWLIHUURPDJQHWLF
W\SH
W\SH

,QWURGXFWLRQ
7KH H[SORUDWLRQ RI HOHFWURQLF LQWHUDFWLRQV LQ PROHFXODU FRPSRXQGV KDV OHG WR
LQWULJXLQJ GLVFRYHULHV LQ WKH ILHOG RI ODQWKDQLGH FRPSOH[HV $PRQJ WKHVH FRPSRXQGVELVSKWKDORF\DQLQDWR ODQWKDQLGH ,,, FRPSOH[HV 3F/Q KDYH H[KLELWHG D QRYHO W\SH
RI LQWHUDFWLRQ 3UHYLRXV VWXGLHV KDYH UHYHDOHG WKDW DQ LQWHUDFWLRQ DULVHV EHWZHHQ WKHWRWDO DQJXODU PRPHQWXP - RI WKH ODQWKDQLGH LRQ DQG WKH RUELWDO DQJXODU PRPHQWXP/ RI WKH F\FOLF  V\VWHP RI WKH OLJDQG 7KLV LQWHUDFWLRQ FDOOHG WKH “--//interaction”, FDQ RFFXU LQ HLWKHU D IHUURPDJQHWLFW\SH RU DQ DQWLIHUURPDJQHWLFW\SH
PDQQHU DV LOOXVWUDWHG LQ )LJXUH  1RWDEO\ WKLV LQWHUDFWLRQ KDV WKH DELOLW\ WR DOWHU WKH
HQHUJ\ RUGHULQJ RI WKH VXEOHYHO VWUXFWXUH LQ WKH JURXQG VWDWH WKURXJK WKHSKRWRJHQHUDWLRQ RI / &RQVHTXHQWO\ WKLV SUHVHQW D UHPDUNDEOH RSSRUWXQLW\ WRPDQLSXODWH WKH TXDQWXP VWDWH RI PROHFXODU PDJQHWV YLD WKH H[FLWDWLRQGHH[FLWDWLRQ
SURFHVV)LJXUH6FKHPDWLF--// LQWHUDFWLRQ LQ3F/Q

5HVHDUFK3XUSRVH

7KLVUHVHDUFKDLPVWRVWXG\WKHLQWUDPROHFXODUPDJQHWLFLQWHUDFWLRQLQWKHH[FLWHGVWDWHRIUDUHHDUWKEDVHGPROHFXODUPDJQHWVDQGSURSRVHDQHZ
VWUDWHJ\WRFRQWUROWKHTXDQWXPVWDWHVRIPROHFXODUPDJQHWV0HWKRGV7KLV UHVHDUFK XWLOL]HV WKUHH SULPDU\ VRIWZDUH SDFNDJHV
*$866,$1 2SHQ02/&$6 DQG 25&$ *$866,$1 LV
HPSOR\HG IRU GHQVLW\ IXQFWLRQDO WKHRU\ ZLWK VFDODUUHODWLYLVWLF HIIHFWV 2SHQ02/&$6 DQG 25&$ DUH XVHG IRUUHODWLYLVWLF DE LQLWLR ZDYH IXQFWLRQ FDOFXODWLRQV ZLWK WKH
VHFRQGRUGHU 'RXJODV.UROO+HVV VFDODU UHODWLYLVWLF+DPLOWRQLDQ DQG $125&& EDVLV VHWV 6WDWHDYHUDJHG&RPSOHWH5HVWULFWHG $FWLYH 6SDFH 6HOI &RQVLVWHQW )LHOG&$66&)5$66&) ZDYH IXQFWLRQV DUH FRQVWUXFWHG IRUWKH I π, π* RUELWDOV DV VKRZQ LQ )LJXUH  7KH 5HVWULFWHG$FWLYH
6SDFH
6WDWH,QWHUDFWLRQ
5$66,
DQG
6,1*/(B$1,62 PRGXOHV DUH HPSOR\HG WR FRPSXWH WKH
RVFLOODWRU VWUHQJWK DQG VSLQRUELW FRXSOLQJ VWDWHV 7KH
PDJQLWXGH RI WKH -// LQWHUDFWLRQ LV GHWHUPLQHG IURP WKHODWWHU PRGXOH E\ UHIHUULQJ WR RXU SUHYLRXV UHSRUW %\HPSOR\LQJ WKLV VWUDWHJ\ WKH UHODWLRQVKLS EHWZHHQ - DQG /LV H[SHFWHG WR EH UHYHDOHG
5$6  RUELWDOV
5$6 IRUELWDOV
5$6  RUELWDOV
D 

5HVHDUFK3URJUHVV
D *HRPHWU\6WUXFWXUH2SWLPL]DWLRQ

𝟒𝟒𝟒𝟒𝒛𝒛𝟑𝟑𝟒𝟒𝟒𝟒𝒙𝒙𝒙𝒙𝟐𝟐

&DOF

([S

7E1 DYHUDJH

2.45 Å

2.44 Å,QWHUSODQDU GLVWDQFH G1

2.86 Å

2.83 Å

6NHZDQJOH ω



2SHQLQJDQJOH 



E *URXQG0XOWLSOHW 6WDWHRI3F7E

3URJUDP2SHQ02/&$6 9
%DVLVVHW$125&&97=3 7E$125&&9'= &FORVH1FORVH$125&&0% &GLVWDQW1GLVWDQW+𝟒𝟒𝟒𝟒𝒚𝒚𝒚𝒚𝟐𝟐

𝟒𝟒𝟒𝟒𝒛𝒛(𝒙𝒙𝟐𝟐 −𝒚𝒚𝟐𝟐 )𝟒𝟒𝟒𝟒𝒙𝒙𝒙𝒙𝒙𝒙

𝟒𝟒𝟒𝟒𝒙𝒙(𝒙𝒙𝟐𝟐 −𝟑𝟑𝟑𝟑𝟐𝟐 ) RUELWDOVIRUELWDOVF 7KHIRUELWDOV

3URJUDP*DXVVLDQ/HYHO%/<3%DVLVVHW6WXWWJDUW56& 7E
*  &+1

5$6

 RUELWDOV

𝟒𝟒𝟒𝟒𝒚𝒚(𝟑𝟑𝟑𝟑𝟐𝟐 −𝒚𝒚𝟐𝟐 )E )LJXUH6FKHPDWLF5$66&)

&RQFOXVLRQV$WWKLVVWDJHWKHJURXQGPXOWLSOHVWDWHVRIWKHWHUELXPFRPSOH[KDYHEHHQGHWHUPLQHGXVLQJWKH&$66&)FDOFXODWLRQVIROORZHG
E\5$66,DQG6LQJOH$QLVR PRGXOHV([SDQGLQJDFWLYHVSDFHLQFDOFXODWLRQVFDQLQIOXHQFHWKHHQHUJ\JDSEHWZHHQWZRVWDWHVLQ
WKHJURXQGVWDWH1HYHUWKHOHVVWKHWZRORZHVWVXEVWDWHV IRUWKH
FRPSOH[UHPDLQVWKHVDPHZLWKWKHORZHVW-] VWDWHLV

5HIHUHQFHV$FNQRZOHGJHPHQW

This work is supported by the “Joint Usage/Research Center for Interdisciplinary Large
scale Information Infrastructures (JHPCN)”. All calculations have been done using the
VXSHUFRPSXWHUV\VWHP648,'DWWKH&\EHUPHGLD &HQWHU2VDND8QLYHUVLW\DQG$2%$
%DWWKH&\EHUVFLHQFH &HQWHU7RKRNX8QLYHUVLW\..L]DNL+2]DZD7.RED\DVKL50DWVXRND<6DNDJXFKL$)X\XKLUR7)XNXGD1,VKLNDZD&KHP&RPP 
7)XNXGD+2]DZD<6DNDJXFKL..L]DNL7.RED\DVKL$)X\XKLUR1,VKLNDZD&KHP(XU-

$6DQWULD1,VKLNDZD,QRUJ&KHP
)%UDQ]ROL3&DUUHWWD0)LOLELDQ*=RSSHOODUR0-*UDI-5*DODQ0DVFDURV2)XKU6%ULQN05XEHQ-$P&KHP6RF
–

― 38 ―

SENAC Vol. 56, No. （3 2023. 7）

jh230050.+{T<&%f



c•

jn 202346DA

jnB^ $ 











15th JHPCN Symposium, 2023/7/6

 [1] Goto et al. Journal of Spacecraft and Rockets, 2023^_ `c[ a b *(%I<C?M JU'*( 78%d:Ed EOTKL"=^_`c[abYb\b (RDE) *( W^_`c[abI= 60N*(+QA 2 -;) ,Pd4#P3. I5[2] Goto et al. Journal of propulsion and power. 2022.
$6 <@
 5 RDE $A 0&B " -# 5 $AC*200 mm8)
 $6 32 "  ?7: ' *(PZX] !I^_`c[abPB0O9JU
1!

Space Flight Demonstration of RDE[1]







%

ZX]P/NU31FPA

Cylindrical RDE by Goto et al.[2]2*(P&VHTR@5P$>

(in-house code)|Q1 (oRDE)HLk7
 3V#v;EulerLk7
 b=Lk7 (`e/¾0)
 9.l¶ -(H2, O2, H, O, OH, H2O, HO2, H2O2, N2)

40

20

Slip wall .  : Ë ÇÌ
Hong et al.(2011)[3] µ¹¼t:ËÇÌ(9.l20s:¾w>)



7

ZO
#: 1.0 MPa
\: 298 Ku?: 2H2-O2-3.76N2 [W
'dO
K`]»(
ZN *C
ZN 0# ¡ 

Outflow

20
6R,OA20-10  : 1051005698 pts.
31-63 m
A20-6  : 1451005698 pts.
19-63 m
A20-2  : 1871005698 pts.
6-63 m

20
2

9




injectors(24 2))

Unit : mm

Side view

20
10

5

I@X
AUSM-DV (MUSCLXµ¹»3Vr6)Nm@X Point ImplicitX (.:)
 3 stages 3rd order TVD Runge-Kutta (ZS@5OGUDWCase A20-10[3] Hong et al. Combustion and flame. 2011.

Case A20-6
Bottom viewCase A20-2c­¯}pUP+.Á¿ÈÎÁ¿ÀÍÃÄÍÅÎ
ÁÉÂÃÆÊ ¤£¢£ 


1.2

1.6

324,

Side view

Case A20-10

Case A20-6

Case A20-6

Case A20-2








0.8

0

10

Pressure [MPa]
0.4

0.8

1.2

0.5
0.4

Case A20-10



 8

6

Case A20-2

200

7.E+04
6.E+04
5.E+04
4.E+04

170

0.E+00165

 [mm]

30

40




 
 
 

180

1.E+0420

185

2.E+04

10



190

0.1
0



195

0.2

Bottom view

Case A20-6

8.E+04

3.E+04+2019

40

0.3


Inlet




30

A20-2
A20-6
A20-10  

0.6

Case A20-2

1.6

20

0.7

0

20 mm

·°ª»³­¯J¸zFY¾ ¦Y©1±G
o¶h9©2¬«´¼³E;x·!

175

0.6


Outlet 

A20-2
A20-10

0.8

 

A20-6

 
1

 * [-]A20-10 [mm]10.00

 [mm3]235.62 [g/s]95.641.11


 [N]

166.771.50

177.793.09

A20-6

6.00

285.8899.070.68

173.611.85

178.632.28

A20-2

2.00

311.0298.200.42

177.492.08

184.252.59

Case
0.0

 

.=,9

specific impulse [s]0.8

0.4

Case A20-10

;

Time Averaged
Heat Release Rate [J/mms]

0.0

Pressure [MPa]Spatio-temporal Averaged
Pressure [MPa]

32>

1.2



 [s](/oh9¶)³E;x¶ µ±¥²Ï5¶#3µig­¬ºµS~¾y¦¹»|6¨±q;¾w>­¯|Q¾y¥a_"(© Z½µ§¼8¾Mº¨µ®¼SENAC Vol. 56, No. 3（2023. 7）― 39 ―

― 40 ―

SENAC Vol. 56, No. （3 2023. 7）



  !"#$%&' ()*+,-#$%. /0*de fghijh
123%45 67*,89 )*:,;< =>*,?@ AB*+,C DE**+%FGH8I JKLMNOP*%QR8I JKLMNOP*%S=!"TUVW X2YZJK[\]^*:%_`8I JKLM!"TUNOP*%QR8I aIb!"cfelþk tlmÿemipj {ËĀ}ĺĻĠÞġ!"ģñ òó ,ăĄòó ąĆćĈÞâ,ĉĊċČčµ¼Ďď×â¾ Đ¶ăĄòó ,ñ òó đÏ±²¨, ,ąĆĒēĔÕ:ā
, ĕĖ Đ
ñ òó
ā
ăĄòó


ā
 ¬~ô~õÏÐyk örÄ©ªėĘ¼ĎďuĂÒãörÄ÷ø2íå+āuĂÒ+
º»¬~¨¹
×¹ßø2+ + º ¼«¬~
¶´µ
¥,
º©ª
fm ievþml kt pklmq
ãęĚýěĜýĄĊíå ËÊvhwglĝėĘ~Ğùú¨ûüç¢ýç¦Å ÒğY
ÇÈÉ+

ÇÈÉ

!"Ćļ
Äjihvgp klm ÅgisgiÆ {Ä Å}ĠÞġfÊËm|xmlĢµÞ,!"ģĤĥ Đ
Ä j i h vg p k l m Å g i s g i Æ {Ä Å } rxmi  O ¡,¢N£X¤¥¦§¨,
¢N©ª«¬­®¯°±²
³´µ¨,¢N©ª¬~¶  ·¸¹º»¼½¾¢N'¿À,ÁÂÃ¢N¥¶ 

ĖĽĠÞġ!"ľÄ ÅĦLŁĕłĠÞġŃhwwgpm ËÊvhwlgĝµ¨hzþlgsÆmÊ Ò{Å Ò}ĠÞġdgqwmlghéÅÄń Ê+sjqqmj{d}ÙğYĕŅ¨Ġ,ÚÛëĉŀņ¾ Đuvkeiw kt pkvxewhwgkiÇÈÉÅ ÒğYĿŀãådğYĿŀã

å

klm+
klm

lkpmqq+

klm
klm:
klm

lkpmqq

klmo

riqgsm kt iksm~

 

yk whqz {smmx q|mmx}

klmn

yk whqz {smmx q|mmx}klm

 fÊËm|x ml³´µÀÓ,~]ÔÕÀ Ö×,ÏÐØÙ¼ÚÛÜ Ý'½¥
  OÏÐ¼8 Þß´µ¥àá¨Ù,ÔâãÔäåæPçãèg|m réêrëìíå,îïð
yhq xhlh{ |hqq Ä}Ñ Å Ò

ÇÈÉ+
ÇÈÉ:

fÊËm|xml ÌÍÎ¥  ºÏÐÄ Å,fÊËm|xml×¹, ¡Ħħ ĨĩĪ ī,ħ ¨Ħ,¢N
ĬĭĮįİ
¶8ıĲĳĴ'¿ÀĵĶķ×¨ĸĹī,ögve|hwms uiimh|giÆ´µ¹įİÇÈÉÅ ÒğYĿŀãådğYĿŀã}fÊËm|xml!"¨¹LŁĕł,ğYĦŇň¨Ġ,fÊËm|xmlŉŊµ¨,riÊqgweŋŌōßèg|m rËm|xml®ýğY¨Ŀŀ,ÚÛ
ëĉŀãdgqwmlghéÅÄń Ê+ÇÈÉ: uÿehlgeq{du}åŎŏ¨¾
Đ

duğY¨ĿŀÁŐőŒœőõŔŕīÂŖľ!"ĕŅ,!"ģĤĥ Đ Ä ÅĠÞġfÊËm|xmŗŘĠÞġ,ÁÕĢµÜ ă® Čř çüĥ e|wg riqwhipm Śĉ¨,śĔ¤Ù¥øê¨ŜÄ Åµħ ©ªėĘģ×¨¢NĭĮŝûŁŞŔľÄ ÅőŒœőĦþgwþepzmwÙƀT¨Ä ÅşŠ,  OğYĠĹĐfÊËm|xmlËm|xml®ý´µšŢţ8Ä Å,fÊËm|xmlŗŘŤť ãÄ ÅX¤
ÈÉ+%aŨ ũ . /0 ŪÔäūµØ¤ĕŬŭ¢ăŮŒOůŰļįİŪÑ ű+nnŲË !"ų ÈÉ%uā rshÑ fārŴhqgwhÑ fÑ gteim his ŵā fhhzhqg Ūhlh||m| gmlhlpgph| vhwlgpmq Ŵgw hshxwgŶm plkqq hxxlkĝgvhwgkiŦő Pŝû, ÔäŧÈå
ki qjvvmwlgp ve|wgxlkpmqqgiÆ p|eqwmlqāŪ ŷkelih| kt gitklvhwgki xlkpmqqgiÆ ā: {+:}Ÿ o:ÊoāÈÉ%ā ŹhŴhgÑ uā rshÑ fÑ ËhihŴh his Źā yhzhgvh ŪÄjihvgp klm ÅgisgiÆ tkl Ńkhs Åh|hipgiÆ kt uxx|gphwgkiq
{rŚĉ}ŜÄ Åµįİhlh||m|gĀms Ŵgw réxmiŪ riwmlihwgih| kitmlmipm ki kvxewhwgih| öpgmipm{r ö}Ñ żŽ . /0 ;< => ŪÔäūµ¨xmi fhqzÞ riÊqgwežſĕĖŪÑögve|hwms uiimh|giÆ´µ¨ħ ©ªėĘ¬~ ÈÉ:%źŻ
ű+ŲË !"ų,

SENAC Vol. 56, No. 3（2023. 7）― 41 ―[解 説]

後藤英昭 1) ,ローカル 5G 実験基地局の開局について
面 遥平 2) ,岡崎浩治 2) ,吉田一仁 2) ,廣瀬丈矩 2)

1) 東北大学サイバーサイエンスセンター クラウドサービス基盤研究室
2) 株式会社Ｌｏｃａｌ２４

サイバーサイエンスセンター・クラウドサービス基盤研究室 (CSI 研究室, 仙台市青葉区) では，2023 年 4 月 3 日，ローカル 5G 実験基地局を開局しました．この実験基地局は，情報通信研究機構(NICT) Beyond 5G 研究開発促進事業委託研究課題 (国際共同研究型プログラム) 「次世代公衆無線

LAN ローミングを用いたオープンかつセキュアな Beyond 5G モバイルデータオフローディング」(2021 年度～2023 年度, 京都大学, 株式会社Ｌｏｃａｌ２４, 東北大学, 国立情報学研究所) の研究活動の一環として構築したものです [1]．基地局の導入に際しては，共同分担者の株式会社Ｌｏｃａｌ

２４が主体となり，2023 年 3 月 22 日付で東北総合通信局より無線局免許状を取得し，CSI 研究室

内に設置の上で運用を行っています．

このローカル 5G 実験基地局には，台湾 Compal 社製の Oak (技術評価用モデル, CU/DU/RU 一体型) を用いています (図 1,2)．実験用の端末には，同社製の 5G USB ドングルの Tributo 5G を用い，Sub6 の 5G SA で接続しています．5G コアには free5GC [2] を用いており，これをインストー

ルした Ubuntu Linux の仮想マシンを，PC サーバ上で動作させる構成としています．また，このPC サーバの上流回線として，SINET の L2VPN 回線に 10Gbps で接続しており，PC サーバと基地局の間も 10Gbps で接続しています．

東北地区ではまだローカル 5G の実装例が少ないことから，当基地局が開局してから間もない 5 月

23 日に，東北総合通信局から見学に来られ，情報交換を行う機会がありました．また，ローカル 5Gに関心のある組織より，若干数の見学も受け入れています．

委託研究では，5G (セルラー) と無線 LAN の認証連携を実現し，シームレスな環境を実現することが目的の一つとなっています．この基地局の性能はあまり高くありませんが，研究課題としては，

SIM 認証やローミングなどの機能を実現することが主眼となっています．現時点で free5GC には

SIM 認証に必要な RADIUS のインタフェースがないため，今後，他の 5G コア実装も含めて，試行
および開発を進めていく予定です．

参考文献[1] 次世代公衆無線 LAN ローミングを用いたオープンかつセキュアな Beyond 5G モバイルデータ
オフローディング, https://b5gwr.cityroam.jp/[2] free5GC, https://free5gc.org/

― 42 ―

SENAC Vol. 56, No. （3 2023. 7）

図 1 5G 基地局 Compal Oak

図2

実験フィールドSENAC Vol. 56, No. 3（2023. 7）― 43 ―［スーパーコンピュータ AOBA のお知らせより］
東北大学サイバーサイエンスセンター大規模科学計算システムウェブサイトに掲載されたお知らせの一部を転載しています。

https://www.ss.cc.tohoku.ac.jp/information/

大判カラープリンタシステム利用マニュアルの更新について
以下の利用マニュアルの内容を更新しました。プリンタの利用に予約が不要になりました。

大判カラープリンタシステム利用マニュアル（共同利用支援係）

― 44 ―

SENAC Vol. 56, No. （3 2023. 7）― SENAC 執筆要項 ―１．お寄せいただきたい投稿内容
サイバーサイエンスセンターでは、研究者・技術者・学生等の方々からの原稿を募集しております。
以下の内容で募集しておりますので、皆さまのご投稿をお待ちしております。なお、一般投稿いただ
いた方には、謝礼として負担金の一部を免除いたします。
・一般利用者の方々が関心をもたれる事項に関する論説・センターの計算機を利用して行った研究論文の概要
・プログラミングの実例と解説・センターに対する意見、要望
・利用者相互の情報交換

２．執筆にあたってご注意いただく事項(1)原稿は横書きです。
(2)術語以外は、「常用漢字」を用い、かなは「現代かなづかい」を用いるものとします。
(3)学術あるいは技術に関する原稿の場合、200 字～400 字程度のアブストラクトをつけてください。
(4)参考文献は通し番号を付し末尾に一括記載し、本文中の該当箇所に引用番号を記入ください。
・雑誌：著者,タイトル,雑誌名,巻,号,ページ,発行年
・書籍：著者,書名,ページ,発行所,発行年
３．原稿の提出方法
原稿のファイル形式は Word を標準としますが、PDF での提出も可能です。サイズ*は以下を参照してください。ファイルは電子メールで提出してください。
－用紙サイズ・文字サイズ等の目安－
・サイズ：A4
・余白：上＝30mm 下＝25mm 左右＝25mm 綴じ代＝0
・標準の文字数（45 文字 47 行）
・表題＝ゴシック体 14pt 中央 ・副題＝明朝体 12pt 中央
・氏名＝明朝体 10.5pt 中央
・所属＝明朝体 10.5pt 中央
・本文＝明朝体 10.5pt
・章・見出し番号＝ゴシック体 11pt～12pt*余白サイズ、文字数、文字サイズは目安とお考えください。
４．その他(1)一般投稿を頂いた方には謝礼として、負担金の一部を免除いたします。免除額は概ね 1 ページ
1 万円を目安とします。詳細は共同利用支援係までお問い合わせください。
(2)投稿予定の原稿が 15 ページを超す場合は共同利用支援係まで前もってご連絡ください。
(3)初回の校正は、執筆者が行って、誤植の防止をはかるものとします。
(4)原稿の提出先は次のとおりです。
東北大学サイバーサイエンスセンター内 情報部デジタルサービス支援課共同利用支援係
e-mail cc-uketuke@grp.tohoku.ac.jp
TEL022-795-3406

SENAC Vol. 56, No. 3（2023. 7）― 45 ―

スタッフ便り 1

サイバーサイエンスセンター・情報部デジタルサービス支援課スタッフ
異動のお知らせ（2022.10～2023.5）
2022.10.1[採用]中村隆喜 教授（日立製作所主任研究員から）2023.3.31［退職］
宇和野周一 情報部情報基盤課長（早期退職）
2023.4.1[転入]
菊地茂樹 情報部次長（兼）デジタルサービス支援課長（情報部デジタル変革推進課長から）

南裕子 総務係主任（仙台高等専門学校総務課人事・労務係主任から）

［採用］
佐藤

美晴 会計係事務補佐員

［転出］
高橋

雄一 総務係主任（工学部・工学研究科人間・環境系総務担当主任へ）

2023.5.1［採用］
高橋和歌子 総務係事務補佐員

― 46 ―

SENAC Vol. 56, No. （3 2023. 7）

スタッフ便り 2
5 月 8 日から新型コロナウイルス感染症の分類が 5 類に変更され、2020 年初めごろから猛威を振るってきたコロナ禍にもようやく一区切りがつきました。変更前には事実上の義務だったマスク着用等も義務ではなくなって、街角の風景も徐々にコロナ前の姿に戻ってきたように思います。ただ、当初と比べれば重症化する危険性が格段に減ったとはいえ、感染すれば依然としてそれなりの症状はあります。5 類になったといっても、新型コロナウイルスが安全になったわけではないようです。今年は史上最高に暑い夏で、ただでさえ体調を崩しやすいのに、コロナ感染者数では次のピークが来ているようだという報道もありますね。体調管理や感染予防に気を付けつつ、数年ぶりの「普通の夏」を楽しみましょう。
個人的にも、出張が徐々に増えてきて、コロナ前と変わらない日常がやっと戻ってきたと実感する
今日このごろです。外食の頻度も元に戻り、それに伴って体重も V 字回復中です。健康診断でいろい
ろな数字が気になるお年頃なので、しっかり体重管理をしないといけないと分かってはいるのですが、目の前においしい食べ物があるとついつい欲張って食べ過ぎてしまいます。これから夏本番、さらには徐々に食欲の秋、己との戦いはまだ始まったばかりです。(H.T)

【青葉山赴任、自然とおふくろ弁当に恋して】
4 月 1 日、私は新たな任地である青葉山へと足を運びました。中心街の喧騒から離れ、自然豊かなこの地に赴任することは、私にとって新鮮な喜びをもたらしました。
青葉山は、四季折々の風情を楽しむことができる場所です。春は新緑が目を楽しませ、夏は涼風が心地よく、秋は紅葉が山を彩り、冬は雪景色が静寂を包み込みます。その美しさに毎日心奪われるだろうと夢想しております。
しかし、青葉山での生活が私を変えたのは、それだけではありません。それは、某氏がこよなく愛し、強くおススメされたおふくろ弁当の存在です。
毎日の昼食には、某氏の推しのおふくろ弁当が欠かせません。その手作りの味は、まるで母の愛情を感じるかのよう。彩りを欠いた山積みの唐揚げと、ひしひしとおし固められ容器からはみ出した炊き立ての超大盛ごはん。ピリ辛で濃厚な味わいのチューブ製明太子トッピング。日本海式竜巻固めの要領で手渡ししてくれる店員さん。その一つ一つが、私の心と体を満たしてくれます。
そして、その結果が体重の爆上げにつながったのです。青葉山へ着任してから、私の体重は倍増しました。しかし、それは決して後悔しているわけではありません。むしろ、この体重増
加は、青葉山での生活とおふくろ弁当への愛情の証と言えるでしょう。青葉山での生活は、自然とおふくろ弁当に恋する日々です。これからも、この地での生活を心から楽しみ、おふくろ弁当を堪能していきたいと思います。
また青葉山は、私にとって新たな挑戦と成長の場となっています。国際卓越研究大学を目指す本学の目
玉の 1 つとなっている NanoTerasu の稼働に向けて、スパコンと直結しての事業展開など、業務が拡大していく中で、自分たちの役割を再認識し、邁進していきたいと思います。(S.K)

SENAC 編集部会
滝沢寛之 水木敬明 後藤英昭
今野義則 早坂和勝 大泉健治
斉藤くみ子

編集・発行

PDF 作成オープンキャンパス(2023.7.26-27)

高橋慧智
小野 敏

令和 5 年 7 月発行
東北大学
サイバーサイエンスセンター
仙台市青葉区荒巻字青葉 6-3
郵便番号 980-8578
株式会社 東誠社

ࢫ࣮ࣃ࣮ࢥࣥࣆ࣮ࣗࢱ AOBA ࢩࢫࢸ୍࣒ぴィ⟬ᶵࢩࢫࢸ࣒

ᶵ㸦 2023.8.1㹼㸧

✀ࢧࣈࢩࢫࢸ࣒ AOBA-S

SX-Aurora TSUBASA Type 30Aࢧࣈࢩࢫࢸ࣒ AOBA-A

SX-Aurora TSUBASA Type 20Bࢧࣈࢩࢫࢸ࣒ AOBA-B

LX 406Rz-2

ࢧ࣮ࣂ࡜࣍ࢫࢺྡ
ࣇࣟࣥࢺ࢚ࣥࢻࢧ࣮ࣂ㸦AOBA-S ⏝㸧sfront.cc.tohoku.ac.jp

ࢹ࣮ࢱ㌿㏦ࢧ࣮ࣂ㸦AOBA-S ⏝㸧sfile.cc.tohoku.ac.jpࣟࢢ࢖ࣥࢧ࣮ࣂ㸦AOBA-A,B ⏝㸧login.cc.tohoku.ac.jp

ࢹ࣮ࢱ㌿㏦ࢧ࣮ࣂ㸦AOBA-A,B ⏝㸧

file.cc.tohoku.ac.jpࢧ࣮ࣅࢫ᫬㛫
฼⏝ࢩࢫࢸ࣒ྡ➼฼⏝᫬㛫ᖏࢧࣈࢩࢫࢸ࣒ AOBA-S

㐃

⥆

㐠

㌿

ࢧࣈࢩࢫࢸ࣒ AOBA-A

㐃

⥆

㐠

㌿

ࢧࣈࢩࢫࢸ࣒ AOBA-B

㐃

⥆

㐠

㌿

ྛ✀ࢧ ࣮ ࣂ

㐃

⥆

㐠

㌿

኱ุࣉࣜࣥࢱ

ᖹ᪥ 9:00㹼21:00

ࢡࣛ࢘ࢻࢧ࣮ࣅࢫ AOBA-S ࡢ฼⏝ᙧែ࡜ไ㝈್
฼⏝ᙧែ

࣮࢟ࣗྡ

VE ᩘͤ

ᐇ⾜ᙧែ

᭱኱⤒㐣᫬㛫
᪤ᐃ್/᭱኱್

࣓ࣔࣜࢧ࢖ࢬ

↓ᩱ

sxsf

1

1VE

1 ᫬㛫/1 ᫬㛫

96GB

1
ඹ᭷

sxs

1VE

1ࠥ2048

8VE ༢఩࡛☜ಖ༨᭷

72 ᫬㛫/720 ᫬㛫

96GB×VE ᩘಶูタᐃͤ 2VE௨ୖࢆ฼⏝ࡋࡓ୪ิᐇ⾜࡟ࡣMPIࡢ฼⏝ࡀᚲ⏝ࢧࣈࢩࢫࢸ࣒ AOBA-A ࡢ฼⏝ᙧែ࡜ไ㝈್
฼⏝ᙧែ

࣮࢟ࣗྡ

VE ᩘͤ

ᐇ⾜ᙧែ

᭱኱⤒㐣᫬㛫
᪤ᐃ್/᭱኱್

࣓ࣔࣜࢧ࢖ࢬ

↓ᩱ

sxf

1

1VE

1 ᫬㛫/1 ᫬㛫

48GB

ඹ᭷

sx

1

1VE

2ࠥ256

8VE ༢఩࡛☜ಖ72 ᫬㛫/720 ᫬㛫

48GB×VE ᩘ

ಶูタᐃ

༨᭷

ͤ 2VE௨ୖࢆ฼⏝ࡋࡓ୪ิᐇ⾜࡟ࡣMPIࡢ฼⏝ࡀᚲ⏝ࢧࣈࢩࢫࢸ࣒ AOBA-B ࡢ฼⏝ᙧែ࡜ไ㝈್
฼⏝ᙧែ

࣮࢟ࣗྡ

ࣀ࣮ࢻᩘͤ

᭱኱⤒㐣᫬㛫
᪤ᐃ್/᭱኱್

ඹ᭷

lx

1ࠥ16

72 ᫬㛫/720 ᫬㛫

༨᭷

ಶูタᐃ

ͤ 2ࣀ࣮ࢻ௨ୖࢆ฼⏝ࡋࡓ୪ิᐇ⾜࡟ࡣMPIࡢ฼⏝ࡀᚲ⏝࣓ࣔࣜࢧ࢖ࢬ
256GBࣀ࣮ࢻᩘ

Vol.56 No.3 2023-7[大規模科学計算システム]
ベクトル型スーパーコンピュータSX-Aurora TSUBASA の最新ハードウェア……………………………………………………………… 上山根 慎
春日 康弘
新井 雅裕
長瀬
悟

2

利用申請と利用負担金について …………………………………………………… 11[共同研究成果]
Density functional theory of N₂ ﬁxation on B doped g-C₉N₁₀…………………………………………………… Yuelin Wang
23
Yoshitada Morikawa
Self-consistent van der Waals density functional study of28
NO-H₂O coadsorption on Cu(111) ………………………… Thanh Ngoc PhamYoshitada Morikawa[利用相談室便り]
令和5年度利用相談について ………………………………………………………… 30[JHPCNシンポジウム]
JHPCN学際大規模情報基盤共同利用・共同研究拠点第15回シンポジウム報告……………………………………………………………… 高橋 慧智 32
令和5年度JHPCN採択課題ポスター紹介 ………………………………………… 33[解説]
ローカル5G 実験基地局の開局について …………………………… 後藤 英昭
面
遥平
岡崎 浩治
吉田 一仁
廣瀬 丈矩

41

[スーパーコンピュータAOBAのお知らせより]
大判カラープリンタシステム利用マニュアルの更新について ………………… 43
執筆要項 ……………………………………………………………………………… 44
スタッフ便り ………………………………………………………………………… 45

SENAC 2023-7[お知らせ]
大規模科学計算システムの更新について …………………………………………… 1