኱つᶍ⛉Ꮫィ⟬ࢩࢫࢸ࣒㛵㐃᱌ෆ㸺኱つᶍ⛉Ꮫィ⟬ࢩࢫࢸ࣒㛵㐃ᴗົࡣࠊࢧ࢖ࣂ࣮ࢧ࢖࢚ࣥࢫࢭࣥࢱ࣮ᮏ㤋ෆࡢ᝟ሗ㒊᝟ሗᇶ┙ㄢࡀᢸᙜࡋ࡚࠸ࡲࡍࠋ㸼KWWSZZZVVFFWRKRNXDFMS㝵㟁ヰ␒ྕ䠄ෆ⥺䠅 
HPDLOಀ䞉ᐊྡ฼⏝┦ㄯᐊ

୺䛺䝃䞊䝡䝇ෆᐜ䝃䞊䝡䝇᫬ 㛫ᖹ᪥ィ⟬ᶵ฼⏝඲⯡䛻㛵䛩䜛┦ㄯ୍㝵  䡚
኱ุ䝥䝸䞁䝍䚸฼⏝⪅➃ᮎ➼䛾 䡚฼⏝ 

ྛ䝉䞁䝍䞊ᗈሗ䛾㜀ぴ䡚

Ṕ௦䛾኱ᆺィ⟬ᶵ➼䛾ᒎ♧䠖䡚䠖  
VRGDQ#FFWRKRNXDFMS┦ㄯဨ୙ᅾ᫬

฼⏝⪅ㄯヰᐊᒎ♧ᐊ ศᩓ䡶䢙䢇䢛䡩䡬䡼༤≀㤋 ྍど໬ᶵჾᐊ

 ୕ḟඖྍど໬䝅䝇䝔䝮䛾฼⏝䡚

⥲ົಀ  
VRP#FFWRKRNXDFMS⥲ົ䛻㛵䛩䜛䛣䛸䡚

఍ィಀ  
NDLNHL#FFWRKRNXDFMS఍ィ䛻㛵䛩䜛䛣䛸䚸㈇ᢸ㔠䛾ㄳồ䛻㛵䛩䜛䛣䛸䡚୕ ඹྠ◊✲ᨭ᥼ಀ   
UVVHF#FFWRKRNXDFMS㝵䠄䠅ඹྠ฼⏝ᨭ᥼ಀ
  ཷ㻌 ௜ XNHWXNH#FFWRKRNXDFMSඹྠ◊✲䚸ィ⟬ᶵ䝅䝇䝔䝮䛻㛵䛩䜛䛣䛸

䡚

฼⏝ᡭ⥆䛝䚸฼⏝┦ㄯ䚸ㅮ⩦఍䚸䝷䜲䝤䝷䝸䚸䜰䝥䝸䜿䞊䝅䝵䞁䛻㛵䛩䜛䛣䛸䡚

  
QHWVHF#FFWRKRNXDFMS䝛䝑䝖䝽䞊䜽䛻㛵䛩䜛䛣䛸䡚

ᅄ◊✲㛤Ⓨ㒊
㝵  ஬㝵 ➃ᮎᶵᐊ

 

3& ➃ᮎᶵ䠄; ➃ᮎ䠅䝛䝑䝖䝽䞊䜽ಀ㸦 㸧ෆࡣᮾ໭኱Ꮫෆࡢࡳࡢෆ⥺㟁ヰ␒ྕ࡛ࡍࠋ㟷ⴥᒣ࣭ᕝෆᆅ༊௨እ࠿ࡽࡣ㢌࡟  ࢆຍ࠼ࡲࡍࠋ
ᮏㄅ䛾ྡ๓䛂㻿㻱㻺㻭㻯䛃䛾⏤᮶㻌᫛࿴  ᖺ䛻ᮾ໭ᆅ༊䛾᭱ึ䛾㟁Ꮚィ⟬ᶵ䛸䛧䛶䚸ᮾ໭኱Ꮫ㟁Ẽ㏻ಙ◊✲ᡤ䛻䛚䛔䛶᏶ᡂ䛥䜜䛯䝟䝷䝯䝖䝻䞁ᘧィ⟬ᶵ䛾ྡ๓䛷 6(1$& 6(1GDL$XWRPDWLF&RPSXWHU 䛛䜙䛸䛳䛶࿨ྡ䛥䜜䛯䚹㻌

— 1 —

SENAC Vol. 49, No. 1（2016. 1）

[巻頭言]
［巻頭言］

先端スーパーコンピュータが利用できる幸せ
HPCI コンソーシアム理事長

藤井 孝蔵

2016 年の巻頭言をというお話しをいただきました．HPCI コンソーシアム理事長という立場もこれがサイバーサイエンスセンターの巻頭言であるということも忘れて，計算科学分野の一研究者として思うことを書かせて頂くことにします．
まず HPCI の現状です．今年はいろんな意味で HPCI が変化を迎える年になります．アプリ
面では，京コンピュータを利用した 5 つの戦略プログラムが 3 月で終了し，すでに動きはじめている 9 つの重点課題プログラムが 4 月から本格化します．終了にともなって戦略プログラムの成果が評価を受けますし，京コンピュータ利用も 9 年を経過することで，その運用や支援業
務が中間評価を受けると聞いています．つまり，京を中心とした HPCI の最初の 3 年ほどの成果が問われる年になります．ハードウェア面では，現在，文科省の委員会等で議論が進んでいるポスト京コンピュータは基本設計フェーズを終了し，まもなく文科省の委員会から評価報告書が出る予定です．順調であれば，試作・詳細設計フェーズへと移行します．ポスト京コンピ
ュータの本格運用開始は 2020 年が予定されていますので，それまでの 5 年間は HPCI の第二期として，京を凌駕する性能のマシンが大学の情報基盤センターに登場すると予想されています．詳細は HPCI コンソーシアムホームページ 5 月 27 日づけのお知らせ「9 大学センター群の今後の整備計画〜要約版」をご覧ください．すなわち，ピラミッド型の HPCI がこの時期は八ヶ岳型に移行することになり，大学情報基盤センターなど第二階層を構成する機関の計算機資源の利用とそのサポートの考え方がとても重要になってきます．国内屈指のベクトル機を有す
る東北大のサイバーサイエンスセンターにも，当然重要な一翼を担っていただくことになります．なお，これについては，現在理化学研究所に設置された WG と連携して意見交換会を開催するなど，春の提言とりまとめに向けて HPCI コンソーシアムが議論を進めています．
一計算科学研究者の立場でこれらの変化を見ると，気になる点があります．例えば，9 つの重点課題に携わる研究者の多くが 5 つの戦略分野の関係者である点です．多くの公的研究費において直近の成果が求められる状況が続いていますし，大きな予算を必要とするスパコンの場
合は，なおさら社会に見える成果が求められます．確実に見える成果を期待する結果，先端ス
パコンの利用経験が豊富な研究者からの提案が選ばれるのも仕方ないといえます．しかし，すぐに形になるような成果を革新に結びつけるのは難しいものです．これまでの努力で利用者が広がりつつあるとはいえ，もっと爆発的な広がりがその利用に生まれることを期待したいとこ
ろです．10 年ほど前に，ある航空関係の国際会議の基調講演で，Evolutionary Effort とRevolutionary Effort という話をしたことがあります．今求められるのは後者なのですが，なかなかよいアイデアは出てきません．「リスクを覚悟するものだけが成功する」という言葉にあるよ
うに，そのような研究は高いリスクを伴うでしょう．みなさんも考えてみていただけると幸いです．

— 2 —

SENAC Vol. 49, No. 1（2016. 1）

私自身は，10 年ほど前からスパコン開発に携わる方々に「今の利用者の声を聞くな．使ったことのないが優れたアイデアを持った人の声に耳を傾けろ」と言ってきました．弾道計算のために使われたコンピュータが社会生活に溶け込んでいるように，たくさんの時間をかけて大規模計算をするのではなく，例えばリアルタイムに答えを出すような，社会問題に関する利用がたくさんあるはずで，それを探すことがスパコン市場を一気に拡げる」と言い続けてきました．
一言で言えば，「スパコンの社会インフラ化」です．利用者でもある私の意見はエピメデスのパラドックスですが，それは問わないことにしてください．
よい提案があるかは不明ですが，短期的な明確な成果に結びつかないリスクを覚悟した文科省の萌芽研究課題から何等かの革新が生まれる可能性を信じています．
少し昔話をしましょう．私が汎用スパコンと出会ったのは 1981 年，NASA Ames 研究所でのCRAY−1S でした．ベクトル化されたプログラムがほぼ出来ていたにも関わらず，「慣れ」の問題から研究者はみな CDC7600 を利用しており，ほとんど独占状態でマシンを使えたことを覚えています．日本に戻り，すぐに某ベンダーの出荷前のマシンを利用する機会を得ました．社
員がみな帰宅する 18 時頃に工場に行き，朝まで 1GFLOPS，256MB メモリーという当時最高
速、最大のスパコンを廻して，テープで吸い上げたデータを当時の勤め先である航空宇宙技術研究所（航技研，現 JAXA 航空本部）に戻って処理しました．私のところに研修生として来ていた東大大学院生がこの作業に参加していました．彼は，今東北大流体科学研究所の所長の職にあります．ご存じの方も多い大林茂教授です．後日談ですが，このプログラムを利用して遷音速民間航空機の実用翼のシミュレーションを行い，通産省（現在の経産省）が進める YXX プ
ロジェクト（ボーイング 7J7 プロジェクト）をサポートしました．その結果がたくさんの雑誌の表紙や当時白黒だった朝日新聞の夕刊にぽつんとカラーで掲載されたのを嬉しく記憶しています．
当時，航技研にはスカラー機しかなく，メモリーは 32MB，性能は 8MFLOPS でした．大林さんと私が開発したスパコン向けの圧縮性流体計算プログラムは，使い始めでいきなりスカラー機の 25 倍の性能を発揮しました．計算がどんどん進むので，間違ったのではないかと思ったほどです．航技研の同僚吉田正廣さんが少し手を入れてくれた結果，次には 55 倍の性能が出ました．スパコン利用の醍醐味はこういった感動です．今，そういった感動を若い人にも感じてもらえたらもっともっと利用が広がるのではないかと思います．
優れた成果は優れた研究環境から生まれるものです．優れた研究環境とは設備だけでなく人を含みます．優れた成果を出せたかはともかく，幸いなことに私は双方に恵まれてきました．
1989 年に宇宙研（現 JAXA 宇宙科学研究所）に戻った後も，スパコンへのアクセスと同時に優れた大学院学生やポスドクに恵まれてきました．職員であっても大学院生であっても，高い研究動機を持った人と仕事ができたこと，優れた設備（ここでは世界トップクラスのスパコン）を利用できる機会に恵まれたことにはとても感謝です．スパコンが利用できる立場にあることを当たり前とおごることなく，強い動機をもって貴重な資源を有効利用することで，東北大学
サイバーサイエンスセンターからこれまでにない高い成果が生まれることを期待して，筆を置くことにします．

— 3 —

SENAC Vol. 49, No. 1（2016. 1）［共同研究成果］

拍動流下における動脈瘤を有する血管壁挙動の数値解析法とその臨床応用
西川優、横堀壽光、工藤和貴、大見敏仁、門間良平、
友野雄基、菅野崇史(東北大学大学院工学研究科)

1. 緒言
拍動流によって誘起される血管壁の動的挙動の解明には流体解析と流体圧力により誘起される血管壁の変形挙動の構造解析を行うことが必要である．
流体解析には，2 次元あるいは軸対称流れにおいては渦度―流れ関数法，3 次元流れに対しては MAC 法がある．前者は，連続の式を厳密に満足するが圧力を求める解析への適用が困難である．[1] 一方，MAC 法は連続の式が近似的にしか満足されていないことが指摘されている．[1]ところで，著者の一人は以前より超音波ドップラー効果を利用して，拍動下での血管粘弾性発現度と拍動の不規則度を定量化して動脈硬化と動脈瘤を非侵襲で診断する手法を提案してきた．[2-5]特に，動脈瘤の存在予測診断法の確立には，血管壁の不規則拍動挙動の測定実験結果を
数値流体力学（CFD）により検証することが重要である．そこで，著者らは，渦度―流れ関
数法と圧力のポアソン方程式を連成して解く方法により，動脈瘤を有する血管壁の拍動挙動を数値解析により明らかにしてきた．[6-8]
本稿では，これらの解析手法について，さらに著者のグループで検討・発展させてきた手法とそれにより得られた結果について，2 節で使用する動脈瘤モデルと解析の流れ，3節で基礎式と差分方法，4 節で具体的な解析，5 節で結言の順に述べる．

2. 動脈瘤モデル
本研究で用いた解析モデルを Fig.1 に示す．動脈瘤形状は(1) 式に示す Gauss の正規分布曲線を用いて表した．[11]R0 は初期管半径，b,c はそれぞれ動脈瘤高さ，幅を決定するパラメータである．

� � �(z) � �� � ��� exp(−

�� �

�� �

)

(1)

また，流体は均質な非圧縮性 Newton 流体，流れは軸対称流とし，流れ方向および半径方向の二次元で解析を行う．
次に，解析領域を壁面形状関数で無次元化することにより，(R, Z)座標系から(η, Z)座標系(長方形領域)への変換による写像を施す． (1) 式で表される動脈瘤壁面形状関数における独立変数を無次元化すると， (2) 式で表される[11]．

— 4 —

SENAC Vol. 49, No. 1（2016. 1）

�(�) � � � �����(���� )(2)(2) 式による(R, Z)座標系から(η, Z)座標系への変換は式(3)で与える．

��������� � �
�(�)

(3)

これを図 2 に示す.

Fig.1 解析モデル

1
v

u
0
Fig.2

(η, Z)座標

2.1 解析のながれ
本解析のフローチャートを図 3 に示す．
はじめにΨ，Ω の初期値を設定しΨについて SOR 法で解く．それを用いてΩについて陽解法で解く．このΩを用いてまたΨを求め以下それを繰り返す．
次に圧力 P については Navier-Stokes の方程式から圧力のポアソン方程式を求める．

P の増分と現在の血管径 rn 及び有限変形の式[9]から計算される剛性を用いて rn＋１を求める．
また安定的に計算を行うため，一定ステップ数定常流を流し，十分落ち着いた時点で拍動流に切り替える．

— 5 —

拍動流下における動脈瘤を有する血管壁挙動の数値解析法とその臨床応用

Fig.3 フローチャート

3. 基礎式
二次元円筒座標系における連続の式と Navier-Stokes 方程式を (4) ,(5) 式に示す．

∂�� 1 �(�� � ) = 0
+
� ��
∂z

(4)

1 ��
� � �� 1 ��� � � ��
���
���
���
�
�
�
+
�
+
�
=
−
+
�
�
+
+
�
� �� �
� ��
� ��
��
�z
�� �
�� �

�

�
1 ��
� � � � 1 �� � � � � � � �
�� �
�� �
���
+ ��
=−
+�� � ++− ��
� � + ��
� ��
� ��
��
�z
��
�� �
�
� ��

u+ :

軸方向速度

[m/s]

v+ :

半径方向速度

[m/s]

+

t :

時間

[s]

p:

圧力

[Pa=N/m2]ρ:

密度[kg/m3]ν:

動粘性係数[m2/s](5a)(5b)

— 6 —

SENAC Vol. 49, No. 1（2016. 1）

添え字の+は有次元量であることを表す．ここで (4) 式より式(6)を満たす Ψ が存在する．

�� = −� ��

�� = −

� ��

� ��

(6)

� ��

また，軸対称流において渦度ベクトル ω は (7) 式で定義される．

�=�� � ���
−
��
��

(7)

次に一様管部の半径を R0，平均流速を U0 で表し無次元数 R, Z, Ψ, Ω,u,v,t,P を導入する．
�=

�

��

，� =

�

��

，Ψ =

�

��� ��

�

�

，Ω =

u=

��� ���

��
��

，v =

��
��

，t =

�� �
�
� ，P =
���� ���
��

ここで U0 は(8)式のレイノルズ数の定義から，Re を定めることにより決定した．

�� =

�� ��
�

(8)

以上の無次元変数および無次元流れ関数 Ψ，無次元渦度 Ω を導入することにより(4)，(5)式から以下の Poisson 方程式および渦度輸送方程式を導出される．
(Poisson 方程式)

�� =(渦度輸送方程式)
��
��

+�

��
��

+�

��
��

���
��

� −

�

− Ω=
�

� ��

� ��
�

��

�

+

(9)

���
�� �

���
���

+

�� �
�� �

+

�

�

� ��

(10)

�� �

また，境界条件は以下のように定める．

管入口

:

管出口

:

管中心軸 :

壁面上

:

��
�� �
���

��

��

��

= 0,

= 0,

�� �
���

��
��

= 0,

�� �
���

=0

= 0, P = 100������

= 0, v = 0, Ψ = 0, Ω = 0,

u = 0, v = 0, Ω =定常流：Ψ = −1,� �� � ��,� ��� ��

��

��

=0

振動流：Ψ = −1 × (2 − cost),

=0

(11a)
(11b)
(11c)

(11d)

— 7 —

拍動流下における動脈瘤を有する血管壁挙動の数値解析法とその臨床応用

壁面上の流れ関数に関する境界条件は定常時は-1 の一定値とし，拍動時には全域で cos 関数
に従って変動し振動を再現している．
なお，一階微分，二階微分は (12)-(15) 式で表される.

1 �∂=∂R �(�) ��

(12)

1
∂�
∂�
=
∂R� (�(�))� ∂��(13)� ��(�) ∂∂∂=−+�(�) �� ∂� ∂�
∂Z

(14)

�

�

��
��(�) ∂�2η
��(�)� � � �(�) ∂
∂�
=
�
�
+
�
�
�
−
�
�
��
�(�) �� � ∂�∂Z � ��(�)�� ��∂����(�)�� ��(�) ∂�∂�−2+
�(�) �� ∂�� �� ∂� �

(15)

これらを基礎方程式(9)(10)に適用すると，無次元基礎方程式は以下のように表される．
(Poisson 方程式)

(渦度輸送方程式)
��
��

=

�

��

���

�� �
��

��

�� �
���

� + ��

+ ��

�� �
��

� +��

��
��

+ ��

�� �

�� ��

�� �

�� ��

+ ��

��
��

+ ��

�� �
�� �

(16)

= �� Ω

+ ��� Ω� − ���

��
��

− ���

��
��

− ��� Ω(17)

各係数を式(18)に示す．
�

1
��(�)
�� =
�1 + �� �� ����(�(�))
�11
��(�)� � �(�)
�� =
�−
+
2�
�
�
−
��(�)
�
��
�� �
(�(�))�
�
�� = −

2� ��(�)�(�) ��

(18a)
(18b)
(18c)

�� = 1(18d)

�� = 1(18g)

�� = ��(�)�� = ��

�� = ��

(18e)
(18f)
(18h)

— 8 —

SENAC Vol. 49, No. 1（2016. 1）

�

1
1
��(�)
� � �(�)
�� =
�
+
2�
�
�
−
��(�)
�
��
�� �
(�(�))� �
��� = − �

��� =

��� =

(18i)

1 �
�
��(�)

(18j)

2
��
�
�(�(�)) ����� = −

(18k)

2
��
�
�(�(�)) ��

(18l)

2
� ��(�) �� ���−��
�(�(�)) �(�) �� �� ��(18m)(16)，(17)式を差分化して解き，Ψ と Ω を計算することによって Navier-Stokes 方程式の解を求める．
得られる Ψ から，軸方向速度 u と半径方向速度 v は式(19)のように求めることができる．

�=−

�

��

�(�(�))� ��

， �=

�

��(�)

�−�

� ��(�) ��

�(�) ��

��

+

��
��

�

(19)

流れ関数-渦度法では圧力を求める事ができないため，ここまでの計算より得られるΨ，u,v を用いて圧力のポアソン方程式を解き P を計算する．
(5a)式を Z で偏微分し，(5b)式に r+をかけ r+で偏微分し 1/r+をかける．それらを足しあわせる．ここで連続の式の項 D を式(20)のように定義する．

� ���� =∂�� � � �� �
+ �+ �
∂z
�
��

(20)

連続の式を満たせば 0 となるはずであるが，差分化の際の離散化誤差が集積し大きな値となる場合があるため式(21)の形で D 項を式に残す．[1]

��
1 ��
∂� D
1 �
��
��
∂� D
�� = − � � + �� � + � � � � + � �
+
+
�
��
�
��
��
∂� � � � � �� � ∂� � �������� �� ��� ���− �( � )� + 2 � � + ( � )� + � �
��
�� ��
��
��

(21)

— 9 —

拍動流下における動脈瘤を有する血管壁挙動の数値解析法とその臨床応用

3.1 差分化Poisson 方程式に二次精度中心差分，渦度輸送方程式に時間微分に一次精度上流差分，空間微分に二次精度中心差分を用いて離散化する．
(Poisson 方程式)
��

�����
�

�

�
Ψ������� − (��)� Ψ����� −

�

�

��

�
�
� �
2 �(��)� + (��)� � Ψ��� + (��)� +

��

�����

�����
��

���

Ψ������� = �� Ω�����Ψ������� + �(��)� −� Ψ����� −

��

�����

��

���

� Ψ����� −��Ψ������� + (��)� Ψ����� +(22)(渦度輸送方程式)�Ω������ − Ω���

Δt

=

1
��
�
�Ω�
− 2Ω���� + Ω������ �
�� (Δ�)� �����
+

��
�Ω�
− 2Ω���� + Ω������ �(Δ�)� �����

+

��
��� �
�Ω������ − Ω������ � + ��� Ω���� � −�Ω− Ω������ �
2Δ�
2Δ� �����

+

−

��
�Ω�
− Ω�������� − Ω�������� + Ω�������� �
�Δ�Δ� �������

(23)

���
�Ω�
− Ω������ � − ��� Ω����
2Δ� �����

(22) 式に対して SOR 法を適用し流れ関数Ψを導出する．そこで得られたΨの値を用いて(23)式により Euler 陽解法を用いて渦度 Ω を求める．なお (21) 式を SOR 法にて計算する際の収束条件は以下のように定め，加速緩和係数 β は 1.5 とした．
(���)

�

� ���

(�)

�����

(�)

����

(���)

����

� � 1���
(�)(m: 計算ステップ数)(���)�= ���� + � ��
���

(�)

− ���� �

� : Gauss-Sidel 法による解，β:加速緩和係数)(�
流体解析と同様に圧力式についても写像と差分化を式(24)に示すように行う．

— 10 —

���� =

SENAC Vol. 49, No. 1（2016. 1）

0.5S(Z)� ℎ�

1 + S(Z)� + ��

��(�)
��

��

��
� ������ + ������
��
�
�(�)
ℎ�

������ − ������
2� � ��� −� �� �
�
�(�)
�(�)
2ℎ

+�
−

2� � �������� − �������� − �������� + ��������
�
�(�)
4ℎ�

+

1 ������ + ������
�(�)�
ℎ�

+

������ + ������
1 ������ − ������
+�
��(�)�ℎ2ℎ+ �� �−

(24)

��
�
�� ��
� ��
�+
+ � �−
��+��(�) �� ��Δt�(�) ��

2� � ��������� 2� � � � � �
�
�� �
�
�
+
�
−
�
−
�
−�
�(�)�
�(�)
�
�(�)� ���
����
��
+

���
1 ��
1 ���
+
+
�
�� � ��(�)� �� �(�)� ���

1
2� � �� ��
2 �� ���� ���+ �� �
−�+
�(�)� ���(�)� �� �� �(�) �� ��
+ �−

�
��
�� �� ���+ � + ���
�(�) �� ��� �(�)�

ここで

�� =

である．

��(�)
��

� �� =� � �(�)�� �

圧力についても SOR 法を用い，収束条件は下の式とした．
(���)

�

� ���

(�)

�����

(�)

����

(���)

����

� � 10��(�)(m: 計算ステップ数)(���)= ���� + �������(�)− ���� �(��: Gauss-Sidel 法による解，β:加速緩和係数)

— 11 —

拍動流下における動脈瘤を有する血管壁挙動の数値解析法とその臨床応用

3.2 圧力による血管の変形
血管壁が管内圧力に応じて変形する効果を考える．内圧 p における血管内径は薄肉円管モデルにおける Laplace の式[11]を用いて， 漸化式とし(25) 式で表される．
������ = ���
���
��
��

(25)

その様子を図 4 に示す．ここで各パラメータは以下のように定義した．
E:

管壁の剛性

[Pa=N/m2]

h:

管壁の厚さ

[m]

p

Pn -Pn-1[Pa]

rn 今計算ステップの管半径rn 1 前計算ステップの管半径

[m]
[m]

Fig.4 各ステップの圧力と半径の関係
ここで管内圧力の変動により得られた血管形状で次ステップの流れ場の計算を行い，そこから再び圧力の計算および血管形状の計算を行う．このように数値流体力学による流れ場の計算と材料力学による血管壁形状の計算の連成解析を行うことで血管内での現象を再現している．管内圧力に変動が生じることに伴い， (25) 式より r に変動が生じるが，このr に対して逐次式(3)で表される(R, Z)座標系から(η, Z)座標系(長方形領域)への変換による写像を施すことにより，拍動流条件下における血管の脈動を一様流条件下と同一の手法で解析することが可能となる．
ここで， (25) 式に示す管壁の剛性は，Fung による理論式(26)より[9]

σ=

�∗

�
�∗ � ��∗��� � � )������� � �∗ ))

(26)

�

σ:

血管壁に作用する応力

λ:

ひずみ

[g/mm2]から式(27)を計算することにより算出した．

E=

��
��

=

�∗

�
�∗ � ��∗���� � � � �� � � �� ������� � �∗ ))
�

�

(27)

ここで a，σ*，λ*は定数であり，体重 15～25kg のイヌの胸部大動脈を用いた引張強度試験による実験結果から[10]，以下の値を用いた．
a:

1.9

*

σ :

25.83

λ* :

1.6

[g/mm2]

— 12 —

SENAC Vol. 49, No. 1（2016. 1）

4. 解析
著者の一人による過去の研究により，動脈瘤を持つ人の血管壁速度波形には，図 5(b)のよ
うに頂点にピークが 2 回表れる二相性と呼ばれる特徴が表れることが知られている[4]．測定により二相性の有無を判定することで動脈瘤を診断する手法を提案しており[4]，CFD によりその検証が行われている．[6-8]そこで本解析では二相性が動脈瘤由来であるかを原理的に確かめるため，上記の解析手法を用いて計算した血管壁速度波形に臨床と同様の二相性が表れるのかを検証した．また二相性の特徴を表す，図 6 のように波形の時間発展を一つの図で表すことのできる血管壁
拍動波形の軌跡解析が行われている．1 ループが 1 拍動であり，軌道は長周期的なずれを生じる．健常者は計測定例では周期的なループを描き，それに対して動脈瘤を有する場合は，
図 7 に示すように 2 相性に対応する小さな circuit loop が右上部に発生する[4]．
本論文の CFD 解析により動脈瘤を有する血管壁の振動挙動に臨床波形測定例と同様の二相性波形が発現するか検証する．

(a) 健常者(b)動脈瘤患者
Fig.5 血管壁速度波形例[4](a) 血管壁速度測定結果(b)アトラクターによる拍動軌跡
Fig.6 波形軌道解析例[6,12]

X(t+Δt)

X(t+Δt)拍動流下における動脈瘤を有する血管壁挙動の数値解析法とその臨床応用

X(t)(a) 健常者の波計測定例— 13 —

CircuitX(t)(b)動脈瘤を有する波形測定例

Fig.7 解析結果のアトラクター解析[4]4.1 CFD による解析結果
本解析では(1)式の動脈瘤形状を決定する係数 b=1.5，c=1 として解析を行った．速度波形
測定場所は図 8 に示すモデル上流部(a)と，中央部(b)である．図 9 に解析により得られた血管壁速度波形を示す．上流部(a)，中央部(b)共に動脈瘤を有する血管に臨床測定例と同様の二相性波形を再現することができた．また波形軌道解析結果を図 10 に示す．右端に circuit
loop が発現している．
以上のことから拍動による血管壁挙動の周期変化において，測定による二相性波形は動脈瘤の存在により発現することが示された．また二相性は動脈瘤部から離れた上流部でも
発現した．

(a)

(b)

Fig.8 壁面速度測定位置

— 14 —

SENAC Vol. 49, No. 1（2016. 1）

0.0000004

Wall Steps

Wall Speed

0.00000020-2E-07-4E-07-6E-07-8E-07224500288250Time Steps

0.000006
0.000004
0.000002
0-0.000002-0.000004-0.000006-0.000008-0.00001-0.000012
224500(a)288250Time Steps(b)

Fig.9 血管壁速度波形

Fig.10 解析結果

5. 結言
本解析により非侵襲測定で得られた図 4,図 6 の二相性波形と Circuit loop は動脈瘤の存在に寄るものであることが CFD により検証された．今後実構造に近い血管壁への解析に本プ
ログラムを発展させることにより，さらに詳細に動脈瘤の存在による血管壁挙動の乱れを再現することができると考えられる．
謝辞
本解析手法の開発にあたり，東北大学サイバーサイエンスセンターの SX-ACE を使用させて頂いたことを感謝する．
参考文献[1] 河村哲也 流体解析１，1996,朝倉書店[2] A.T.Yokobori,Jr., T.Ohkuma, S.Sasak, H.Yoshinari, T.Yokobori, H.Ohuchi and
S.Mori,

Bio-Medical Materials and Engineering, 4, (1994), pp.87−96.

[3] A.T.Yokobori,Jr., M. Ichiki, H.Ohuchi, T.Kobayashi, T.Satoh and Y.Kinoshita,
Bio-Medical Materials and Engineering, 14,3 (2006), pp.241−249.
[4] A.T. Yokobori,Jr., M. Owa, M. Ichiki, T. Satoh, Y. Ohtomo, Y. Satoh, S. Ohogoshi, Y.

— 15 —

拍動流下における動脈瘤を有する血管壁挙動の数値解析法とその臨床応用

Kinoshita and S. Karino, Journal of Atherosclerosis and Thrombosis, 13,4,(2006),pp163-174.

[5] A.T.Yokobori,Jr.,

T.Ohmi,R.Monma,

Y.Tomono,K.Inoue,

M.Owa,

M.Ichiki,

N.Mochiduki and H.Yamashita, Bio-Medical Materials and Engineering, 23, (2013),
pp.75−91.
[6] A.T.Yokobori.Jr., T.Ohmi, Y.Tomono, R.Monma, Y.Nishikawa, T.Kanno M.Ichiki The
analysis of pulsatile behavior of blood vessel wall with aneurysm based on hybrid
analysis of computer fluid dynamics (CFD) and solid mechanics, Proc of annual
meeting of Atherosclerosis and Thrombosis, (2013)[7] A.T.Yokobori.Jr., T.Kanno, Y.Nishikawa, T.Ohmi, The analyses of mechanicalbehaviors of blood vessel wall with aneurysm at the progressive stage based on
simulate experiment and computer fluid dynamics(CFD), Proc of annual meeting ofAtherosclerosis and Thrombosis, (2014)[8] A.T.Yokobori.Jr., Y.Nishikawa, K.Kudo, T.Ohmi, Long Periodic Fluctuation of Blood
Vessel Wall Caused by the Viscoelasticity Under Pulsatile pressure Flow, Proc ofannual meeting ofAtherosclerosis and Thrombosis, (2015)[9] Y.C.Fung, Appl. Mech. Rev., 1968,21(1),pp1-20.
[10] 横堀壽光，大熊恒郎，前山俊秀，横堀武夫，大内博，奈良茂樹，佐々木久雄，葛西森夫，生体材料，1986,4,pp27-32.
[11] 岡小天，レオロジー入門，工業調査会，1970.
[12] D. Ruelle, and F. Takens, Communications in Mathematical Physics, 1971, 20,
pp167-192.

— 16 —

SENAC Vol. 49, No. 1（2016. 1）

— 17 —

SENAC Vol. 49, No. 1（2016. 1）［共同研究成果］

一様磁場下の熱プラズマジェットに輸送されるナノ粒子群の集団的形成過程の数値シミュレーション
茂田 正哉
大阪大学 接合科学研究所

アルゴン熱プラズマジェットを用いた鉄ナノ粒子群の創製プロセスの数値シミュレーションを行う．その際，簡潔でありながらナノ粒子群の集団的な形成および移流・拡散輸送過程を記述できるモデルを導入し，動的なプラズマの温度場だけでなく，成長途中にあるナノ粒子群の数密度と平均粒径の空間分布を明らかにする．さらに一様磁場が本プロセスに及ぼす影響も示す．

1.

緒言

直径がナノメートルスケールの超微粒子（ナノ粒子）はバルクの材料とは大きく異なる物質機能を示すことが知られており，磁気記録材料や環境浄化用触媒など様々な工業製品へ応用が期待されている[1]．近年，ナノ粒子の大量創製を可能にするツールとして，高いエンタルピーと化学的活性を有し，さらに外部電磁場によって制御可能[2]な流体である熱プラズマに注目が集まっており，精力的に研究が進められている[3]．しかし 10,000 K を超える発光体である熱プラズマの流動場について実験によって得られる情報には限りがあるため，プロセスの効率的な制御のために必要な知見は今尚少ない．また流動場だけでなく，ナノ粒子の形成過程はマイクロ秒～ミリ秒の現象であるため，その集団的形成のメカニズムや輸送現象を直接計測することも困難である．そのため，熱プラズマプロセッシングは依然として現場の技術者や研究者の経験に依っているところが多く，また莫大な時間とコストを要しているのが現状である．
そこで本研究では，熱プラズマ流によるナノ粒子の創製プロセスを対象として，アルゴン熱プ
ラズマジェットおよび形成過程にある鉄ナノ粒子群の移流・拡散輸送の数値シミュレーションを行う．その際に，簡潔でありながら均一核生成・不均一凝縮・粒子間凝集によるナノ粒子群の集団的な形成過程を記述できるモデル[4]の移流・拡散方程式への拡張を行う．
また熱プラズマジェットの軸と同じ方向に印加した一様磁場がプラズマおよびナノ粒子群の空間分布に与える影響を明らかにする．

2.

仮定および支配方程式

2.1

熱プラズマ流熱プラズマ流の通常の生成条件では，
圧力は大気圧と同程度で，プラズマを含む流体全域にわたって局所熱平衡が成り立ち，また光学的に薄いと仮定できる．このとき支配方程式は以下のよ
うな質量・運動量・エネルギーに関する保存式となる．

Fig. 1 Computational domain

— 18 —

SENAC Vol. 49, No. 1（2016. 1）

    u   0
t



(1)

 
u
2

tr
  u  u  p     u   u     u I    E  B
t
3

 

(2)

 
 p
h
  u  h    h   u  p  q rad  q con  Φ
C
 t
t
 p


(3)



ここで，は密度，t は時間，u は速度ベクトル，p は圧力，は粘性係数，I は単位行列，は導電率，E は電場ベクトル，B は磁束密度ベクトル，h はエンタルピー，は熱伝導率，Cp は定圧比熱，qrad は放射損失，qcon はナノ粒子の凝縮熱，は粘性散逸である．また tr は転置を意味する．

2.2

ナノ粒子群の集団的形成

熱プラズマプロセスにおけるナノ粒子形成過程の概要は次の通りである．
① 熱プラズマの高温場において原料が蒸発する② その原料蒸気は温度低下に伴い過飽和状態となる③ 多数の臨界核が生成する（均一核生成）④ その臨界核に原料蒸気が凝縮することでナノ粒子が成長する（不均一凝縮）⑤ 同時にナノ粒子同士も衝突・合体してより大きなナノ粒子となる（粒子間凝集）
ナノ粒子は，時間スケールの異なる均一核生成や不均一凝縮を経るのみならず，２～３桁に及ぶ
直径差を持つ多数の粒子同士が衝突し凝集しながら集団として成長していく．これまで分子動力学に基づいた数値計算も行われてはいるものの，現在のコンピュータ性能の限界から，数十個の核の生成過程を数ナノ秒間分ほど追跡することしかできていないため[5]，ナノ粒子群全体の成長を取り扱うことは実質的に不可能である．そこでエアロゾル学に基づく理論的および数値的なア
プローチが有効とされている．
本稿では，簡潔なモデルによりナノ粒子の集団的形成過程を表現するために，ナノ粒子は局所的には同じ粒径を持つ球体であるとする．また帯電の効果は無視し，粒子温度は周囲の流体の温度と等しいとする．このとき支配方程式は以下のように記述できる．


np
n 
 n   np / 6 1/ 6   u   p      D p  p   J  2 2  0 n11f    K th ln T 
p






t       




(4)


 f 
 f  f 
f   u        D p     Jg c   0 ( n v  n s ) n 1p/ 3 f 2 / 3     K th  ln T t     




(5)








n 
 n 
  nv    u   v      Dv  v   Jg c   0 (nv  n s )n 1p/ 3 f 2 / 3
t     
(6)

ここで，n は数密度，D は拡散係数，J は均一核生成率[6]，Kth は熱泳動係数[7]，T は温度，g は１つのナノ粒子に含まれるモノマー数の平均である．添え字 p，v，c および s はそれぞれ粒子，
蒸気，臨界状態および飽和状態を表している．また f は次のように定義される変数である．

一様磁場下の熱プラズマジェットに輸送されるナノ粒子群の集団的形成過程の数値シミュレーション— 19 —

f = np g(7)

また 0 は衝突頻度に関するパラメーターであり，体積 v および質量 m を用いて以下のように表
される．
1/ 6

 3vv 
 4 

0  

6k BTvvmv(8)

kB はボルツマン定数である．式(4)および式(5)の右辺第 4 項は熱泳動を表している．式(4)～(6)の右辺に含まれる粒子成長に関わる項の詳しい導出については文献[4]を参照されたい．

3.

計算手法

本研究では，10,000 K を超える高温のプラズマと常温の非電離気体が相互作用しながら同時に存在する熱流動場を取り扱わなければならない．両者の間には粘性係数・熱伝導率・定圧比熱・導電率といった物性値だけでなく密度にも大きな差がある[8]．その一方で，流れ場におけるマッ
ハ数は 10-3～10-2 のオーダーにあり，工学的に有意な時間スケールでの流体運動を捉えるためには熱プラズマ流を「大きな密度変化を伴う非圧縮性流れ」として取り扱うべきである．すなわち，
熱プラズマと周囲の低温気体との間に生じる速度，温度，密度，ナノ粒子濃度の急激な空間勾配を捉えながら，さらに時間ステップ幅を大きく取っても数値計算を安定的に進められるような計算手法が必要となる．そこで対流項を Hybrid K-K スキーム[9]により，時間微分項を３次精度
Adams-Moulton 法により差分化し，PISO 法[10]と組み合わせることによって，上述の数値計算を実現することとする．なお，拡散項，圧力勾配項，熱泳動項には２次精度中心差分を用いる．

4.

計算条件

図１に計算領域を示す．流量 1.5 sl/min のアルゴンガスに 0.5 kW の電力が投入されることで半
径 1.5 mm の噴出孔から約 12,000 K のプラズマジェットが噴出する．また幅 1.0 mm の同心円状の冷却ガス供給スリットからは 300 K のアルゴンが 15.0 sl/min で供給される．さらにバルクガスも300 K のアルゴンであるとする．ナノ粒子の原料である鉄は既にプラズマ生成部で蒸気になっているものとしてプラズマジェットと共に 0.1 g/min で供給される．また計算領域全体にジェットと同方向に 1.0 T の一様磁場を与える．
これらの条件の下，２次元軸対称の計算領域を設けた．座標系の原点をプラズマジェット噴出孔の中心に取り，ジェットの軸方向および半径方向にそれぞれ z 軸および r 軸を取った．両軸方向にそれぞれ 0.05 mm の幅を持つスタガード格子を用いて，時間ステップ幅を 0.05 ms として計算を進めた．噴出孔におけるプラズマジェットの温度および速度には文献[11]の半径方向分布を適用した．このとき本条件の下で算出される噴出孔におけるプラズマジェットの最大速度は約385 m/s である．

5.

計算結果

図２に磁場を印加しない場合の代表的な時刻におけるプラズマの温度分布およびナノ粒子群の数密度分布と平均粒径分布の瞬間像を示す．高温のプラズマジェットの外縁で発生する大きな渦運動により周囲の低温気体を巻き込む様子が計算されている．また大きな渦運動はプラズマの周囲に二次的な渦運動を誘起し，下流域においてより複雑な流体混合が起きている．鉄ナノ粒子の形成はおよそ 2,000 K 以下で顕著となるため，このような流体混合はナノ粒子の形成および輸送に大きな影響を及ぼす．プラズマジェットと共に輸送される鉄蒸気は温度低下に伴い過飽和状態

— 20 —

Fig. 2 Instantaneous fields without magnetic field

SENAC Vol. 49, No. 1（2016. 1）

Fig. 3 Instantaneous fields with magnetic fieldとなりナノ粒子へと相変化するため，プラズマと低温ガスの界面近傍において特にナノ粒子の数密度が高く，かつそれらの粒径は小さい．また巻き上がった領域も温度低下するため同様に多くの小さなナノ粒子が生成している．図２(b)と図２(c)を対比すると，大きな粒径を示している領域のナノ粒子の数密度が低い傾向にあることがわかる．これはブラウン運動に起因する粒子間衝突によってナノ粒子同士が凝集し，その数を減らしながら成長するためである．
図３に磁場を印加した場合のプラズマの温度分布およびナノ粒子群の数密度分布と平均粒径分
布の瞬間像を示す．磁場の印加によりプラズマの巻き上がりが抑制され，その結果として図２(a)と比較してプラズマの高温領域が下流方向へ伸長する様子が計算できている．これは文献[2]の実験結果と同様の傾向を示している．周囲の低温気体との混合による温度低下が抑制されたことによって，ナノ粒子の生成はプラズマの外縁でのみ顕著となる．またプラズマの流動場を介した間接的な結果ではあるが，下流域でのナノ粒子群の空間的な広がりも抑えられることが示された．

6.

まとめ

アルゴン熱プラズマジェットを用いた鉄ナノ粒子群の創製プロセスの数値シミュレーションを行った．その際，簡潔でありながらナノ粒子群の集団的な形成および移流・拡散輸送過程を記述できるモデルを導入することで，動的なプラズマの温度だけでなく，成長途中にあるナノ粒子群の数密度と平均粒径の空間分布を明らかにすることができた．さらに一様な印加磁場が本プロセスに及ぼす影響も示すことができた．

謝辞
本研究にあたり、東北大学サイバーサイエンスセンターの関係各位より有益なご指導とご協力をいただいた。

一様磁場下の熱プラズマジェットに輸送されるナノ粒子群の集団的形成過程の数値シミュレーション— 21 —

参考文献[1] 細川, 能城, "ナノパーティクルテクノロジー," 日刊工業新聞社, (2003).
[2] Sato, T., Shigeta, M., Kato, D., Nishiyama, H., “Mixing and magnetic effects on a nonequilibriumargon plasma jet,” Int. J. Thermal Sci., 40 (2001), pp. 273-278.
[3] Shigeta, M. and Murphy, A.B., “Thermal plasmas for nanofabrication,” J. Phys. D: Appl. Phys., 44(2011), pp. 174025-(16 pages).
[4] Nemchinsky, V.A. and Shigeta, M., “Simple equations to describe aerosol growth,” Modelling Simul.
Mater. Sci. Eng., 20 (2012), pp. 045017-(11 pages).
[5] Lümmen, N. and Kraska, T., “Homogeneous nucleation and growth in iron-platinum vapour
investigated by molecular dynamics simulation,” Euro. Phys. J. D, 41 (2007), pp. 247-260.
[6] Girshick, S.L., Chiu, C.P. and McMurry, P.H., “Time-dependent aerosol models and homogeneous
nucleation rates,” Aerosol Sci. Tech., 13 (1990), 465-477.
[7] Talbot, L., Cheng, R.K., Schefer, R.W. and Willis, D.R., “Thermophoresis of particles in a heatedboundary layer,” J. Fluid Mech., 101 (1980), pp. 737-758.
[8] Boulos, M.I., Fauchais, P. and Pfender, E., “Thermal plasmas,” Springer, (1994).
[9] Komurasaki, S., “A Hydrothermal Convective Flow at Extremely High Temperature,” 7th Int. Conf.
Comp. Fluid Dynamics, (2012), ICCFD7-3001.
[10] Oliveira, P.J. and Issa, R.I., “An improved PISO algorithm for the computation of buoyancy-driven
flows,” Numer. Heat Transfer B 40 (2001), pp. 473-493.
[11] Kanzawa, A. and Kimura, I., “Measurements of viscosity and thermal conductivity of partially ionizedargon plasmas,” AIAA Journal, 5 (1967), pp. 1315-1319.

— 22 —

SENAC Vol. 49, No. 1（2016. 1）［大学 ICT 推進協議会 2015 年度年次大会論文集より転載］

スーパーコンピュータ SX-ACE の運用について小野敏 1), 齋藤大泉敦子 1), 森谷

健治 1) , 岡部

友映 1) , 佐々木公起 2) , 江川

1) 東北大学

情報部

2) 東北大学サイバーサイエンスセンター

大輔 1) , 山下隆輔 2) , 小林

毅 1) ,

広明 2)

情報基盤課
スーパーコンピューティング研究部

ono@cc.tohoku.ac.jp
概要：東北大学サイバーサイエンスセンターは、全国共同利用機関として学内外の研究者に対して大規模科学計算システムを提供している。本稿では、2015 年 2 月より運用している新ベクトル型スーパーコンピュータ SX-ACE の運用状況等や、本システムを用いた共同研究成果について報告する。

1

はじめに
東北大学サイバーサイエンスセンター（以下、

2

大規模科学計算システムの概要
本センター大規模科学計算システムの構成を

本センターと略す）では、常に最高・最新鋭の

図 1 に示す。本センターの大規模科学計算シス

大型計算機を導入し、大規模科学技術計算の要

テムはベクトル型スーパーコンピュータ

求に応えてきた。本センターの大規模科学計算

SX-ACE、スカラ型並列コンピュータ LX 406Re-2、システムは二種類の計算機を運用し、主に研究ストレージシステム、および三次元可視化シス室のワークステーションでは行えないような大テムから構成される。

規模シミュレーションに用いられている。このベクトル型スーパーコンピュータ SX-ACE は

うちベクトル演算に適したものは、ベクトル型

2,560 のノードから構成される。1 つのノードはスーパーコンピュータ SX-ACE[1]で、それ以外

276GFLOPS のベクトルプロセッサ 1 基と 64GB ののものはスカラ型並列コンピュータ LX 406Re-2

主記憶容量を有している。各ノードは、ノードで実行されている。これまで本センターでは大間接続装置(IXS)で高速に相互接続されており、規模・長時間シミュレーションの実行を運用の

1 ジョブで最大 1,024 ノードを占有する並列処中心としており、2015 年 2 月より運用している理が可能である。なお OS は UNIX System V に準新スーパーコンピュータシステム SX-ACE の運拠した SUPER-UX である。スカラ型並列コンピ用においても同様の方針で運用環境を構築した。

ュータ LX 406Re-2 は 68 のノードから構成されまた大規模・長時間シミュレーションの実行にる。1 つのノードは 460GFLOPS の Intel Xeon プ

は、利用者アプリケーションの高度化・高速化、

ロセッサ 2 基と 128GB の主記憶容量を有してい

MPI による並列化が必須であり、高速化支援活る。なお OS は Linux である。ストレージシステ動が重要であると考えている。

ムは lustre で構成される 1 次ストレージ 1PB

本稿では、新スーパーコンピュータシステムと ScaTeFS(NEC Scalable Technology FileSX-ACE を含む大規模科学計算システムの概要、

System)で構成される 2 次ストレージ 3PB の合計

付帯設備、運用環境、運用状況および高速化支

4PB の容量を有している。1 次ストレージは並列

援活動について紹介する。

コンピュータとの高速な I/O を、2 次ストレー
ジは利用者のホーム領域として並列コンピュー
タおよびスーパーコンピュータとの高速な I/O— 23 —

スーパーコンピュータ SX-ACE の運用について

図 1 大規模科学計算システム構成図を実現している。

ルを冷やし冷水を作り出している。夏場等の暑本センターの大規模科学計算システムは、ベ

い期間は、外気や散布水だけでは冷やしきれな

クトル型スーパーコンピュータを主力計算機といため、チラーを併用し電気を使って冷水を作しつつ二種類の計算機から構成され、また三次

り出している。

元可視化システム、ストレージシステムとも連SX-ACE ではさらに冷却の効率を高めるため携することで、利用者の幅広いニーズに応える
計算環境を学内外の研究者へ提供している。

3

付帯設備について
SX-ACE を設置している本センター2 号館の内部構成を図 2 に示す。2 号館は SX-ACE の導入時に必要とされる電源設備、空調機等を含めた計算機の設置スペース、水冷方式に対応した冷却システムを既存の計算機室に確保することが困難であったため、2014 年 11 月に竣工した 2 階
建の計算機棟である。スーパーコンピュータ
SX-ACE は 2 号館の 1 階に設置しており、2015
年 9 月からは 2 号館の 2 階へ並列コンピュータ

図 2 2 号館内部構成

LX 406Re-2、ストレージシステムを移設した。
計算機を集約することで、冷却設備の一元的な運用が可能となり、省エネルギー運用を実現している。
SX-ACE は水冷・空冷の両冷却方式で運用されている。水冷設備の冷却水と空調に必要な冷水は密閉型フリークーリング方式の冷却塔(クーリングタワー)で生成される。2 号館屋上に設置した冷却塔一体型チリングユニットを図 3 に示す。冷却の仕組みは、冷却塔が外気取り入れ送
風ファンまたは散布水により、冷媒の通るコイ

図 3 冷却塔一体型チリングユニット

— 24 —

SENAC Vol. 49, No. 1（2016. 1）

コンパイルすることにより実行可能である。
BLAS、LAPACK、ScaLAPACK を利用しているプロ
グラムについては、MathKeisan ライブラリを利用することで、プログラムを変更することなく実行可能である。
表1

SX-ACE で利用可能なプログラミング言語と科学技術計算用ライブラリ

プログラミング言語・
図4

SX-ACE のコールドアイルキャッピング

ライブラリ
Fortran 90/95の設備としてアイルキャッピングを導入している。その様子を図 4 に示す。SX-ACE および付帯

ISO/IEC 1539-1:1997
自動並列、OpenMP

Fortran 2003

装置が収納されるラックは、冷気の吸入側である前面側を向かい合わせてレイアウトされてい規格・機能

ISO/IEC 1539-1:2004
自動並列、OpenMPC,C++ISO/IEC 9899-1999

る。フリーアクセスフロアの底面から供給されISO/IEC 14882:2003

る冷気をラック前面から効率的に吸入するため

自動並列、OpenMPに、向かい合うラックの側面と上面をビニール

MPI/SX

MPI-3.0

カーテンにより仕切るコールドアイルキャッピ

ASL

数値計算ライブラリ

ASLSTAT

統計計算ライブラリ

MathKeisan

数学ライブラリ集

ングを採用している。また、計算機ラック背面からの排気は天井面の吸入口から天井裏を介し、空調機へ戻す方式である。

4(BLAS、LAPACK、
ScaLAPACK を含む)

運用環境

4.1 プログラミング言語とライブラリ
SX-ACE で利用可能なプログラミング言語および科学技術計算用ライブラリを表 1 に示す。
SX-ACE ではこれまで提供していたコンパイラに加え、新たに Fortran 2003 に対応したコンパイラも提供している[2]。並列処理については、
MPI による並列処理を前提としているが、ノード内については自動並列処理、OpenMP による並列処理が利用可能であり、MPI と組み合わせた
ハイブリット並列、またはフラット MPI による並列処理によりシミュレーションの大規模並列実行が可能となっている。
科学技術計算用ライブラリは、SX-ACE 用に最適化された ASL、ASLSTAT が利用可能であり、SX-9 を利用していたプログラムについては、再4.2 ジョブ管理および利用形態
ジョブスケジューリング機能は NQSⅡを導入
し並列コンピュータとスーパーコンピュータの一元管理が可能となっており、利便性の高いジョブ投入環境となっている。また、SX-ACE へのバッチジョブ投入、コンパイルなどの作業は
SX-ACE ではなくフロントエンドサーバである
並列コンピュータにて行う[3]。
SX-ACE の利用形態は占有利用と共有利用を用意している。占有利用は一定数のノードを利用者、あるいは研究グループが期間を定めて占有し利用する方式である。契約されたノード数
内での並列処理が可能であり、ジョブの実行待ちについては、研究グループ内のジョブにのみ影響され、他の利用者のジョブによる実行待ちスーパーコンピュータ SX-ACE の運用について— 25 —

は発生しない。共有利用は他ユーザと利用する

間とジョブ件数の推移を図 5 に示す。4 月、5ノードを共有する利用方式であり、利用する時月と比較して 6 月から 8 月にかけてはジョブ件

期や利用ノード数によってジョブの実行待ちが数が大きく増加しているが、7 月、8 月について発生するが、最大で 1,024 ノードでの大規模並のノード時間は 4 月と同程度にとどまっている。

列実行が可能である。

6 月から 8 月にかけてジョブ件数が大きく増加

また共有利用には通常利用、無料利用、デバしているのは、システム更新後の新システムにッグ利用の 3 つの利用形態があり、利用形態は向けた最適化のための短時間ジョブが、多数投ジョブ投入時のオプションによって指定するこ入されたためと考えられる。9 月に投入件数、とができる。これまでの運用方針と同様に、大ノード時間が大きく減っているが、これは停規模・長時間ジョブをサポートするため、実行

電・計算機保守作業、並列コンピュータシステ

時間制限の最大値は 1 ヶ月としている。各利用

ムの移設作業により約 3 週間計算機サービスを形態の詳細を表 2 に示す。

休止していた影響によるものである。また例年

通常利用はジョブ投入用コマンド qsub のオ

4 月から 9 月の期間については、利用者の入れプションとして、-q で sx を –b でノード数を指替わりなどもあり、下半期に比べ利用時間が少定することで利用可能であり、利用ノード数になくなる傾向があり、今後の利用に期待したい。

よって実行時間制限の規定値が異なっている。
デバッグ利用は、-q で debug を –b でノード数を指定することによって利用可能であり、利用ノード数によって実行時間制限が異なっている。
SX-ACE では研究室の PC、ワークステーション
等で実行されているプログラムの SX-ACE への移行を支援する目的で、最大 1 ノード、1 時間の実行時間制限付きでジョブの実行を無料利用できる利用形態を用意している。これは-q で sx
を-b で f を指定することによって利用可能であ

図 5 ノード時間とジョブ件数の推移

る。
SX-ACE の今年度 4 月から 9 月までの利用ノー
表 2 共有利用での利用形態
利用形態

利用ノード数

実行時間制限通常

1～256

規定値:2 週間
最大値:1 ヶ月257～1,024

規定値:1 ヶ月
最大値:1 ヶ月

デバッグ

無料

1～16

2 時間

17～32

24 時間

1

1 時間

ド数に対する経過時間の分布を図 6 に示す。利
用ノード数が 32 ノード以下のジョブ件数が一番多くなっており約 80%程度を占めている。これはデバッグ利用や無料利用についての利用ノード数は 32 ノード以下であり、短時間で実行が終了するものが多いためこのような状況であると考えられる。実行時間制限の最大値である 1
ヶ月間実行するジョブは存在しなかったが、規定値である 2 週間に達するジョブについては 10件程度存在した。また、利用ノード数にかかわらず、ジョブの実行が 48 時間以内で終了するジ

5

運用状況
SX-ACE の今年度 4 月から 9 月までのノード時

ョブが大部分を占めていた。4 月から 8 月は並— 26 —

SENAC Vol. 49, No. 1（2016. 1）

列数の上限が 512 ノードであったが、すでに 512

ム利用研究課題を通じて、計算科学分野の利用ノードを利用したジョブを実行している利用者

者と共同研究を行い、様々な分野におけるアプもいた。9 月以降は 1,024 ノードでの並列実行

リケーションの最適化・高度化、並列化に取組も可能となっており、より大規模なジョブが実

み高速化支援活動を行ってきた。

行できる環境を整えている。

図 7 に 1999 年から取り組んでいる共同研究の推移を示す。この図からわかるように、サイバ
ーサイエンスセンター共同研究は恒常的に年10 件程度実施されていることに加え近年、
JHPCN、HPCI を介した共同研究数が増加していることが確認できる。これは、サイバーサイエ
ンスセンター共同研究を通してユーザアプリケーションが高度化、大規模化し JHPCN、HPCI 採
択課題へとステップアップしているためだと考えられ、継続的な高速化支援活動が一定の成果をあげていることがわかる。また表 3 にこれまで本センターが行ってきた高速化支援の成果を示す。1997 年から 2014 年にかけて 200 件の共同研究に基づくプログラムの最適化に取り組んでおり、単体性能、並列性能ともに大幅な向上を実現している。
本センターで導入したスーパーコンピュータ

図 6 ノード数に対する経過時間分布図

SX-ACE での大規模ジョブの実行には MPI ライブ
ラリによる並列化が必須である。これまでコン

6

高速化支援活動

パイラによる自動並列処理、OpenMP による並列

本センターでは 1999 年よりユーザアプリケ

処理のみ利用していた利用者の MPI 化支援も積ーションの高精度化、大規模化の支援を目的と極的に行ってきた。この他各種利用者講習会のした共同研究制度を実施している。また社会貢開催、大阪大学との高速化に関するハンズオン

献の一環として、サイバーサイエンスセンター

セミナーの共同開催、高速化推進研究活動報告

共同研究制度の他に、産学連携共同研究に基づ書の発行、メール、電話での利用・高速化相談

く民間企業利用も実施しており、学術分野のみに加え、窓口での対面による利用・高速化相談

ならず産業のイノベーション創出にも貢献してなどを行ってきた。この取り組みを今後も継続いる。さらには全国の情報基盤センター等と連し、新たに大規模科学計算システムを利用する

携して行う JHPCN(学際大規模情報基盤共同利

利用者、高速化・MPI 化が必要な利用者に支援

用・共同研究拠点)、HPCI(革新的ハイパフォーを行い、研究を進める上での強力なツールとし

マンス・コンピューティング・インフラ)システて役立てて頂きたいと考えている。

— 27 —

スーパーコンピュータ SX-ACE の運用について

40

1

30

1
9

20
2

10
8

0

6

7

5

9

8

12

12

11

5

4

8

9

3
4
11

2
6

6

11

14

4

1

19

11

13

8

6

9

7

9

9

1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015
センター独自共同研究

HPCI

拠点共同研究(JHPCN)

民間企業利用

図 7 共同研究数の推移
表 3 高速化支援活動実績
年度

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

件数

2

9

8

9

10

7

18

20

8

29

10

単体性能向上比

1.9

46.7

4.5

2.5

1.6

2.2

6.7

2.9

1.5

3.1

33.0

並列性能向上比

11.1

18.4

31.7

8.6

4.9

2.8

18.6

4.5

4.1

8.0

1.9

年度

2008

2009

2010

2011

2012

2013

2014

件数

15

8

8

13

6

11

9

単体性能向上比

9.3

47.0

47.2

16.2

19.7

16.7

10.3

並列性能向上比

5.1

3.6

48.5

17.2

15.3

12.9

8.0

7

おわりに

Vol.48、No.1、pp.5-14、2015.

本稿では、2015 年 2 月より運用を開始した新[2] 日本電気株式会社、工藤 淑裕、横谷 雄司、

スーパーコンピュータシステム SX-ACE を含む

SX-ACE でのプログラミング(ベクトル編)、東大規模科学計算システムの概要、付帯設備、運北大学サイバーサイエンスセンター大規模用環境、運用状況および高速化支援活動につい

科 学 計 算 シ ス テ ム 広 報 Vol.48 、 No.1 、て紹介した。SX-ACE での大規模シミュレーショ

pp.15-32、2015.

ンの実行には MPI による並列化が必須であり、[3] 東北大学情報部情報基盤課共同利用支援係、今後も利用者アプリケーションの高速化・高度共同研究支援係、東北大学サイバーサイエン化、並列化による高速化支援活動は必要である。

スセンタースーパーコンピューティング研究

それとともに、高速化に対する認識を利用者に部、スーパーコンピュータ SX-ACE の利用法、高めてもらうよう努力していきたいと考えてい東北大学サイバーサイエンスセンター大規模る。

科学計算システム広報 Vol.48、No.2、pp.1-61、
2015.

8

参考文献

[1] 日本電気株式会社、萩原 孝、浜口 博幸、
山信田

恒、スーパーコンピュータ SX-ACEのハードウェア、東北大学サイバーサイエン
スセンター大規模科学計算システム広報

— 28 —

SENAC Vol. 49, No. 1（2016. 1）［大学 ICT 推進協議会 2015 年度年次大会論文集より転載］

暑熱環境下体温上昇解析コードのスーパーコンピュータ SX-ACE での高速化と並列化
佐々木 大輔 1), 山下 毅 1) ,西尾 渉 2), 浅野 陽平 2) ,平田 晃正 2)
江川 隆輔 3) , 小林 広明 3)1) 東北大学 情報部 情報基盤課
2) 名古屋工業大学
3) 東北大学 サイバーサイエンスセンター スーパーコンピューティング研究部
d-sasaki@cc.tohoku.ac.jp
概要：東北大学サイバーサイエンスセンターでは，大規模科学計算システムを最大限活用するために計算科学者と本センターの計算機科学者が連携しながら，プログラムの高速化
技法の研究・開発に取り組んでいる．本稿では，名古屋工業大学の研究グループが開発してきた暑熱環境下体温上昇解析コードのベクトル型スーパーコンピュータ SX-ACE での高速化について紹介する．現在ワークステーションで数時間程度かかっている解析時間を数十秒程度に短縮できれば，様々な環境を模した解析を即時的に処理でき，熱中症の注意喚
起等への展開が期待できる．

図1

スーパーコンピュータ SX-ACE

1 はじめに

報基盤共同利用・共同研究拠点(JHPCN) や革新的

東北大学サイバーサイエンスセンター(以下，本

ハイパフォーマンス・コンピューティング・イン

センター) は，全国共同利用機関として大規模科

フラ(HPCI) を構成し，多様なニーズに応える計算

学計算システムの運用と，本システムを最大限に環境の提供も行っている．以上のように本センタ

活用可能なコードの高速化技法や新しいシミュレ

ーでは，利用者である計算科学者と本センターのーション技術の研究・開発に取り組んでいる．本

計算機科学の専門家が密に連携しながら，科学・センターでは 1997 年からさまざまな分野におけ工学の恒常的な進歩を支える共同研究，利用者コる実アプリケーションの高速化の支援を計算科学ードの高速化支援活動を推進している．

分野の利用者との共同研究を通じて行っている

本稿では，名古屋工業大学の研究グループが開[1]．また，センター独自の共同研究に加え，全国発している暑熱環境下体温上昇解析コード[2]のの情報基盤センター等と連携して，学際大規模情

高速化について紹介する．

— 29 —

暑熱環境下体温上昇解析コードのスーパーコンピュータ
SX-ACE での高速化と並列化

2 スーパーコンピュータ SX-ACE

では，年齢・性別の違いによるウェブ等による告本センターに導入されているスーパーコンピュ

知に留まっており，これらを人体の個体差とそのータ SX-ACE を図 1 に示す．SX-ACE の CPU はこれ変化を考慮した熱中症リスクの評価は行われていまでのベクトルプロセッサと同様に，高ベクトルない．従って，体の個体差とその変化を考慮した演算性能と高メモリバンド幅を継承している．ま

高い精度を有する熱中症リスクを評価できれば，た，SX シリーズ初のマルチコア化により，4 コア

一般的な啓発活動のみならず，熱中症のリスク管で構成され最大ベクトル演算性能は 256GFLOPS で理という新しい領域を開拓できると考えられる．

ある．
各コアには容量が 1,024KB に拡張された ADB

名古屋工業大学の研究グループでは，部位ごと（Assignable Data Buffer）が搭載され，ADB との血液温度差を考慮できる混成熱解析手法を開発，

コア間のメモリバンド幅は 256GB/sec を有する．

精巧な数値人体モデルに適用し，測定値との比較

データが ADB 経由でアクセスされる場合は， メモ

により，その有効性を確認してきた．解析には，リバンド幅は 4Bytes/FLOP となり，メモリ負荷の

図 2(a)の国立研究開発法人情報通信研究機構

高いアプリケーションでも高い実行効率で実行可(NICT)の成人男性[3]に相当する日本人の解剖学能となっている．また，単一コアで演算を実行す的数値人体モデル[4]を使用している．これらのモる場合も 256GB/sec のメモリバンド幅が利用でき，

デルは皮膚，筋肉，脂肪，骨，骨髄液，心臓，水

4Byte/FLOP での実行が可能となっている．SX-ACE

晶体，血管など 51 種類の組織から構成されておは高ベクトル演算性能，高データ供給性能により，り， 2mm の分解能を有している．図 2(b)のよう高い実行性能を得ることができる．

に血液温度を考慮するため，モデルの各部位ごと

本センターの SX-ACE は 2,560 ノードで構成されに分割して計算している．

ている．各ノード間は最大 4GB/sec×2（双方向）で接続された 2 段ファットツリーネットワークで構成され，システム全体の性能は 706.6TFLOPS となっている．利用者には，最大 1,024 ノードの大規模な実行環境を提供している．

3 暑熱環境下体温上昇コードの概要
近年の地球温暖化に加え，2011 年の東日本大震災以降の節電要求と相まって，2011 年以降，
熱中症による搬送者数は増加傾向にあり，2014
年にその数は全国で約 58,000 人に達したと言われている．熱中症に関する啓発活動は，温熱生理（特に，スポーツ医学）あるいは救急医療に基づく考察がほとんどであり対処療法的である．また，(a)

啓発活動も展開される中，従来の「気温・湿度」に加え，「暑さ指数」なども導入されているが，その認知度は高いとは言えない．
また，熱中症のリスクは性別・年齢のみならず，
身長・体重等の人体の個体差と置かれた環境に大きく依存することが知られている．しかし，現状

図2

(b)

数値人体モデルの外観(a)と部位分割(b)の定義図

— 30 —

SENAC Vol. 49, No. 1（2016. 1）

環境下体温上昇コードの初期性能解析結果を表1に示す．解析には，SX-ACEの簡易性能解析ツール
FTRACEを用いた．
初期性能解析の結果，温度上昇の計算ルーチン（サブルーチンA）とファイルの入出力処理ルーチ
ン（サブルーチンB）の実行時間が全体の約98%を占めていたため，この2つのサブルーチンを高速化することを検討した．また，コア性能の向上を目的とした高速化と，将来の大規模並列実行を見据
えた，コードの並列化にも取り組んだ．

表1
PROC.NAME

図3

解析のフローチャート

サブルーチンＡ
サブルーチンＢ
サブルーチンC
サブルーチンD
サブルーチンE
サブルーチンF
サブルーチンG
サブルーチンH
total

初期性能

FREQUENCY EXCLUSIVEMFLOPS V.OP AVER.
TIME[sec](%)
RATIO V.LEN
300 3371.986( 89.9)
193.7
14.8 216.5
1 325.450( 8.7)
1.4
0.36 224.3
300
25.284( 0.7)7250 99.33
222
11
14.385( 0.4)
154.6 41.36 219.9
300
13.450( 0.4)
14626 99.26 223.6
10.885( 0.0)
180.1 94.87 217.6
10.325( 0.0)
3271.3 98.99 229.1
1
0.184( 0.0)
099.1 218.6
915 3751.949(100.0)
276.4 45.62 221.5

暑熱環境下体温上昇解析コードのフローを図 3

以下では本コードに適用した高速化について述に示す．本コードは実行すると，暑熱環境下におべる．シングルコアでの高速化では，効率的に高ける熱定常状態の初期温度分布，人体モデル，発速化作業を行うため，反復回数を 300 回とし実行

汗モデル，外気温などのデータを読み込む．読み

時間を短縮した．並列化後は実際に研究で使用さ込みが完了すると，発汗率や血流量の変化，体温れている反復回数 5,400 回とした．

調整機能を考慮して，人体の温度変化を計算す

4.2 シングルコアでの高速化

る．
暑熱環境下体温上昇コードの解析例を図 4 に示す．図は，3 時間暑熱ばく露（37℃）を行った際の体表面温度を表している．

4.2.1 ファイル入出力の高速化
サブルーチン B と入力データを解析すると，入力データがテキスト形式になっていることと，三次元の人体モデルデータを読み込む際，2mm に分割されているデータを，ループが実行される度に読み込むようになっていたため，これが処理を遅くする原因となっていることが判明した．ファイルの入出力を行う際，一般的にバイナリ形式で読み込みを行う方がテキスト形式で読み込みを行う
よりも高速となる．そのため，入力データをテキ

図4

暑熱ばく露における表面温度上昇の解析結果

スト形式からバイナリ形式に変換するコードを開発し，本コードの入力データをバイナリ化した．

4 暑熱環境下体温上昇コードの高速化

バイナリ化することでファイルのサイズも半分程

4.1 SX-ACE での初期性能解析

度まで小さくなった．また，データを一括して読名古屋工業大学の研究グループが開発した暑熱

み込むようにファイルの読み込み処理を変更した．

— 31 —

暑熱環境下体温上昇解析コードのスーパーコンピュータ
SX-ACE での高速化と並列化

高速化前と後の実行時間を表 2 に示す．ファイ
ル入出力の実行時間がテキスト形式では約 325 秒
かかっていたが，入力データをバイナリ形式にし，なおかつデータを一括して読み込むようにすることにより１秒以下にすることができた．

表2

サブルーチン B の高速化の効果

PROC.NAME FREQUENCY EXCLUSIVEMFLOPS V.OP AVER.
TIME[sec](%)
RATIO V.LEN
before1 325.450( 8.7)
1.4
0.36 224.3
after
1
0.138( 0.0)
844.6 99.35 217.9

4.2.2 ベクトル化による高速化
次にサブルーチン A の高速化について検討した．
表 1 から，サブルーチン A はベクトル化率が約 14%と非常に低い値となっている．SX-ACE のベクトルプロセッサは，複数のデータを一括して演算を行
うベクトル演算が可能であり，配列のそれぞれの

図5

オリジナルコード

図6

高速化後コード

要素に同一の演算を行う計算に適している．ベク
トルプロセッサの性能を引き出すためには，スカラ処理での実行時間とベクトル処理が可能な実行時間の比であるベクトル化率を高めることが重要である．ベクトル化率が 90%を超えると急速に性能が向上するため，ベクトル化率を 100%に限りなく近づけることが重要となる．
対象のサブルーチンを解析すると 3 重ループ構造となっており，図 5 の前半では，後半の計算で必要な変数の値を決めるための処理が行われている．この変数がスカラ型となっているためベクトル化阻害の要因の 1 つとなっていた．また，図 5の後半では，別のサブルーチンを呼びだす処理があり，これもベクトル化阻害の要因となっていた．
以上のベクトル化阻害要因を取り除くため，図6 に示す通り，スカラ型の変数を配列変数に変更
し，サブルーチン呼び出しをインライン展開した．
高速化前と後の性能を表 3 に示す．サブルーチ
ン A はベクトル化率が約 99%になり，約 22 倍の性能向上を得ることができた．

表3
PROC.NAME
beforeafter

サブルーチンＡの高速化の効果

EXCLUSIVE
MFLOPS V.OP
AVER.
VECTOR
TIME[sec](%)
RATIO
V.LEN
TIME
3371.986( 89.9)
193.7
14.8
216.5
12.55
147.017( 73.1)
6448.599.16
196.4
138.76

— 32 —

SENAC Vol. 49, No. 1（2016. 1）

4.2.3 シングルコアでの高速化後の性能

Flat MPI では MPI 並列による分割を図 8 のルー

高速化を行ったコードをシングルコアで実行しプ 1 で行った．Hybrid MPI では，ループ 1 を MPIた際の性能を図7に示す．棒グラフはコードの実行

並列で分割し，分割後のループ 1 をさらに自動並

時間，折れ線グラフはベクトル化率を表している．

列した．また，利用するコア数を同一にすること

サブルーチンAとサブルーチンBに前項までに示しで両並列化の効果を比較することとした．

た最適化を施す事で，コード全体のベクトル化率

並列化後の実行時間を図 9 に示す． 32 コアまが45%から99％に向上し，約18倍の性能向上を実現

での利用の場合は Flat MPI（194.9sec）が高速としている．

なっている． 40 コアを超えたあたりで，Flat MPIと Hybrid MPI の差は徐々に縮まり，160 コアの場
合は Hybrid MPI（59.5sec）の方が高速となった．
この原因は，Flat MPI はプロセス数の増加に伴い
プロセス間のデータ通信のオーバヘッドが増加しためと考えられる．

図7

シングルコアでの高速化の効果

4.3 コードの並列化
本コードはベクトル化等を行うことでシングル
コアでの性能を高めてきた．更なる性能の向上のためには，ネットワークに接続される複数のノー

図9

コア数と実行時間のグラフ

ドを利用し，多数のコアで計算をする並列化を検討する必要がある．並列化にはノード内のコアレ
ベルで MPI（Message Passing Interface）並列を行う Flat MPI，ノード内はタスク並列，ノード間は MPI 並列の Hybrid MPI がある．ノード内並列にはコンパイラによる自動並列を利用した．
本節では先に述べたベクトル化を行ったコードの 3 重ループについて Flat MPI，Hybrid MPI による並列化を行い，性能の比較を行った．今回の入図 10

コア数と性能向上の比

力データは，
図 8 のループ 1 の反復回数は 160 回，
ループ 2 の反復回数は 320 回となっている．

4.4 並列化後の全体の性能
並列化前後の性能向上比を並列数毎にまとめた
図 10 に示す．図の点線はコア数を n 倍にしたときに性能向上比が n 倍になる理想値を表している．
Hybrid MPI で 40 ノード 160 コア利用した場合，並列化前の反復回数 5,400 回のシングルコア実行（3,552sec）に比較し，約 60 倍の性能向上が得ら

図8

並列化対象のループ

— 33 —

暑熱環境下体温上昇解析コードのスーパーコンピュータ
SX-ACE での高速化と並列化れたが，理想値の約 40%程度となった．
今回実装した Hybrid MPI では図 8 のループ 1 を可能となった．今後，熱中症リスクのリアルタイ
ム評価・予測への応用が期待される．

分割し 1 プロセス 4 タスク並列で実行しているため，SX-ACE を最大 40 ノードまでしか利用できな

6 参考文献い．そこで，将来の大規模化を見据え図 8 のルー[1] 東北大学サイバーサイエンスセンター, 高速化推進

プ 2 を自動並列し，160 プロセス，4 タスク並列の研究活動報告，第 6 号，p8-12，(2015).

計 640 コアを利用することも検討した．640 コア[2] 西尾 渉，浅野 陽平，佐々木 大輔，山下 毅，平田で実行した場合，実行時間は約 38 秒となりもっと

晃正，江川 隆輔，ベクトルスーパーコンピュータ SX-

も高速となったが、性能向上比は理想値の約 14%-ACE による暑熱環境下体温上昇の高速解析，信学技法，程度となった．この原因として，今回の MPI 並列

Vol.115, No.213, p43-48, 2015．

による人体モデルの分割方法は，胴体付近は処理[3] T. Nagaoka, S. Watanabe, K. Sakurai, E. Kunieda,

量が大きく，腕などは比較的処理量が小さいため，

M. Taki and Y. Yamanaka, S. Momose, Y. Isobe, :プロセス間の処理量のインバランスが発生してい“Development

ると考えられる．更なる並列化とインバランスの

whole-body voxel models of Japanese adults male and解消による高速化は今後の課題である．

female of average high and weight, and applicationofrealistic

high-resolutionof models to radio-frequency electromagnetic-field

5 まとめ
本稿では暑熱ばく露における人体の表面温度上

dosimetry”, Phys. Med. Biol., vol.49, pp.1-15,(2004).

昇の解析に，本センターが今までに取り組んでき[4] T. Nagaoka, E. Kunieda, and S. Watanabe :

た高速化支援で得られた高速化技法を適用し高速“Proportion-corrected scaled voxel models for化を行った事例について紹介した．本センターのJapanese children and their application to the

提供しているスーパーコンピュータ SX-ACE の性

numerical dosimetry of specific absorption rate for

能を最大限に引き出すためには，ベクトル化率を

frequencies from 30 MHz to 3 GHz”, Phys. Med. Biol.,

100%に限りなく近づくよう高める必要である．まvol.53, no.23, pp.6695-6712, (2008).

た，SX-ACE は従前のベクトル型スーパーコンピュータより，さらにノードを多数接続することで性能の向上を図る構成となっている．従って，今後の高速化支援においては，シングルコアでの高速化に加え，複数のノードのコアを利用する並列化を行うことで性能を引き出していくことが重要となる．
研究の最前線で開発が行われている暑熱環境下
体温上昇の解析コードの性能解析情報に基づき高速化を行い，160 コア利用で約 60 倍の性能向上が得られた．各プロセス間の処理量のインバランスの改善により，更なる並列化効率の向上が今後の課題となっている．
本コードは，高速化により数時間程度を要する
シミュレーションを数十秒程度で計算することが— 34 —

SENAC Vol. 49, No. 1（2016. 1）［大学 ICT 推進協議会 2015 年度年次大会論文集より転載］

キャンパス無線 eduroam の国内外の最新動向
後藤英昭 1 ,1

中村素典 2 ,曽根秀昭 1

東北大学サイバーサイエンスセンター
2

国立情報学研究所

hgot@cc.tohoku.ac.jp
概要：

学術系の無線 LAN ローミング基盤である eduroam は，世界 75 か国，国内 125

機関 (2015 年 10 月現在, 前年比+47%) に成長し，大学キャンパス以外にも市街地や病院など，様々な施設でサービスが展開されるようになってきている．本報告では，eduroamの国内の整備状況について解説するとともに，国内外の最新動向を紹介する．

はじめに

国際的な学術無線 LAN ローミング基盤である
eduroam (エデュローム) は，世界の大学や研究所等において，キャンパス無線 LAN の相互利用を実現する．日本は 2006 年に eduroam に加盟したが，9 年目となる 2015 年現在で国内 125 機関が参加するに至り [1]，学術認証フェデレーション (学認)[2]と並んで，重要な電子認証基盤に成長した．世界ではこの一年で 5 か国が参加し，総数で 75 となった．
eduroam は既にキャンパス無線 LAN の世界的なスタンダードになっているが，国内外ともに成長が続いている．
本報告では，eduroam の国内の整備状況について解説するとともに，国内外の最新動向を紹介する．

2

125

eduroam JP

100# of institutions

1

75
50
25
0
'09.12 '10.12 '11.12 '12.12 '13.12 '14.12 '15.10

図 1: eduroam JP 参加機関数の推移

eduroam JP の動向

eduroam JP の参加機関数は 2015 年 10 月時点
で 125 となり，昨年同時期の 86 から大幅な伸びとなった．国内には約 1,200 の高等教育機関があることから，普及率ではやっと 10%を超えたところであるが，欧州の多くの国々と比較すると大きな数である．図 1 に機関数の推移を，図 2 に参加機関のマップ (ピンは本部の位置) を示す．概ね全国に展開されているが，広域に空いている地域もあるので，特に学会会場としてよく利用される機関への導入を期
待したい．
機関数の加速度的な伸びは，eduroam や学認の知名度の高まりをはじめとして，各機関の電子認証システムやキャンパス無線 LAN システムが更新時期になったことや，教育・研究の現場における携帯端末利用の増加などが背景にあると考えられる．
一方で，教員から eduroam 導入の希望が多くあるにも関わらず，運用面，予算面，あるいは両方において，学内での承認が難しいという話も聞かれる．
eduroam 導入の障壁として，以下のようなものが考えられる．

図 2: eduroam JP 参加機関マップ(1) キャンパス無線 LAN の導入(2) 電子認証システムの更新や拡張(3) ゲスト用ネットワークの確保(1) について，既にキャンパス無線 LAN を運用している機関では，それほど障壁は高くないと考えられる．しかしながら，学内情報インフラを訪問者に利用させることに対するセキュリティ上の不安の声が聞かれる．外国では，訪問者の端末も学内 LANに直接収容するようなネットワーク構成で運用されている所もあるが，国内では eduroam 導入当初か

— 35 —

キャンパス無線 eduroam の国内外の最新動向

ら「ゲスト用ネットワーク」の必要性を訴えており，
その結果，ゲスト用ネットワークの利用が一般的になっている．無線 LAN の通信を VLAN などで学
内 LAN から隔離することによって，学内サーバ等への不正アクセスを阻止することができ，セキュリ
ティ上の問題は解決できる．
(2) については，更新時期に併せて学認や eduroamに対応した電子認証システムを導入するのが望ましい．一方，国内機関ではシステム構築業者によって構築されたシステムが運用されている例が多いが，eduroam に必要となる RADIUS IdP(ID Provider)
を既存システムに接続するのは，技術上も契約上も難しいことがある．この問題に対処するため，eduroam
JP では既報のとおり， 世界に先駆けて，集中型
eduroam アカウントサービスを充実させている [3]．
機関の電子認証システムが既に学認 (Shibboleth) に対応している場合は，RADIUS のインタフェース
を持たなくても，「仮名アカウント発行システム」を利用して eduroam が利用できる．Shibboleth にも
RADIUS にも対応していない場合であっても，「代
理認証システム」を利用して，構成員への eduroam
アカウントの発行が可能である．実際に，これらのアカウントサービスをメインの IdP として利用したり，電子認証システム更新までのつなぎとして利用している機関は少なくない．執筆時点での利用機関数は，仮名アカウント発行システムが 88，代
理認証システムが 35 である．代理認証システムはeduroam 参加前の試用も可能である．
(3) について，SINET 接続機関に対して，IPv4
および IPv6 に対応した eduroam アクセスネット
ワークが無償で提供されている．これ以外の機関
では，既存のアドレスブロックの一部をゲスト用に切り出したり，プロバイダから回線を別途調達する必要がある．導入から運用・管理もすべておまかせの、いわゆる「マネージド Wi-Fi」のソリューショ
ンも，一部企業から提供されている．
eduroam 導入を検討していた幾つかの大学から，学内で承認が得られなかった理由として，• 「訪問者に無線 LAN を利用させるのはセキュ
リティ上の問題があり受入れられない」• 「うちは訪問者のためのインフラに予算を割く余裕はない」などが聞かれた．前者については，先に述べたように，ネットワークの適切な分離によって解決可能である．後者について，「eduroam は訪問者用のシステム」と誤解されている可能性がある．これは，「訪問者が利用できる」という点を強調していた eduroam
JP の広報にも若干問題があったと考えられる．より正確に示すならば，「eduroam は，自機関の構成員でも訪問者でも利用可能な，世界標準のセキュアなキャンパス無線 LAN システム」となるだろう．
言い換えれば，学内利用者向けの無線 LAN サービ
スを別途用意する必要はなく，eduroam ひとつで十分である．
ただし，キャンパス無線 LAN を eduroam に一本化するには，認証 VLAN の導入が必要である．認証 VLAN では，利用者認証の結果に基づいてネッ
トワークを自動的に切り替えることで，自機関の利用者の端末は学内 LAN に直接収容し，訪問者の端末はゲスト用ネットワークに収容することが可能である．これにより，利用者が自機関のキャンパス
内で eduroam を利用する際は，学内の各種サービ
スはもちろん，契約している電子ジャーナルへのア
クセスも，学内端末同様に可能である．例えば，東北大学の「TAINS 無線 LAN システム」では，外部利用者用サブネットと内部利用者用サブネットを用意し，認証 VLAN によって切り替えることで，eduroam の利便性を向上させている [4]．

3

世界の eduroam の動向

執筆時点で世界の参加国 (地域) 数は 75 であり，前年同時期より+5 である．今後，アジアをはじめとして，中東地域・アフリカ地域への展開が期待されている．アジア地域では，過去に接続されたが長く動きの見られなかった中国やフィリピン
で，再始動の動きが出てきた．APAN (Asia-Paciﬁc
Advanced Network) Community の中に，IAM-TF(Identity and Access Management Task Force) が発足し，eduroam を含む認証連携 (Identity Federation) 全般について，情報交換や，新規参加国のサポートなどを行うコミュニティができた．また，Trans-Eurasia Information Network (TEIN) の支援を受けて，オーストラリアの AARNet が中心となって XeAP (Extending eduroam in the Asia Paciﬁc, ジープと読む) プロジェクトが発足した．当プロジェクトでは，アジア太平洋地域から 5 か国を選んで，eduroam 参加と，それぞれ国内 3 機関の接続を支援する．日本からはアドバイザの立場で協力している．
GÉANT Association (旧 TERENA) の GeGC
(Global eduroam Governance Committee) や TFMNM (Task Force - Mobility and Network Middleware) において，eduroam 認証ネットワークの世界的なモニタリング (動作状況監視) システムの構築や，会議用ゲストアカウントの発行・運用方法などに関する議論が活発化している．日本では 2014
年から「会議向け期間限定 eduroam アカウントの試行」を行っているが，そこで行われた議論や得られた知見などを情報提供しながら，世界の議論に貢— 36 —

献している．
キャンパス外の eduroam サービスとしては，昨年度紹介したミュンヘンや北欧の例に加えて，さらに多くの市街地で実施例が見られた．イギリスのヨークでは，3 月に市の中心部でサービスが開始された [5]．筆者らが 6 月に訪れたポルトガルのポ
ルトでは，飲食店の立ち並ぶウォーターフロントでeduroam を利用することができた．このようなサービスは，地元の大学が地元の ISP や自治体 Wi-Fiと協力することで実現されている．
イギリスやオーストラリアなどの国々では，病院への eduroam 導入が進んでいる．イギリスでは，大学関係の病院はもちろんのこと，独立した病院であっても，大学関係者との交流の多い所では eduroamが導入される例が見られる．

4

むすびeduroam の国内外の最新動向を紹介した．国内の参加機関数は前年比で+47%と大幅な伸びを記録し，今後も各機関の電子認証システムおよびキャンパス
無線 LAN の更新に合わせて，普及が期待される．
欧州やオーストラリアでは，市街地や病院，博物館などに eduroam サービスが広がってきているが，これらは地元の大学の貢献が少なくない．市街地や会議施設におけるサービス提供は，国際会議などの誘致にも寄与するものと考えられる．
国内では，関東地域の公衆無線 LAN への eduroam
重畳で世界に先行したが，今後の幅広い展開を求めて，様々な可能性の検討を継続していく．

参考文献[1] eduroam JP: http://www.eduroam.jp/[2] 西村 健, 中村素典, 山地一禎, 大谷 誠, 岡部寿男,
曽根原 登, “日本における学術認証フェデレー
ション 学認 の展開,” 大学 ICT 推進協議会
2011 年度年次大会 論文集, 2011.
[3] 後藤英昭, 新妻 共, 中村素典, 曽根秀昭, “キャンパス無線 eduroam の最新動向と国内機関向
け新サービス,” 大学 ICT 推進協議会 2014 年度
年次大会 論文集 F3B-2, 2014.
[4] 後藤英昭, 水木敬明, 曽根秀昭, 七尾晶士, 澤田勝
己, 北澤秀倫, 森 倫子, “東北大学におけるキャ
ンパス無線 LAN サービスについて,” 東北大学
情報シナジー機構 TAINS ニュース 2011.5.31,
No.39, pp.10–14, 2011.5.31.
[5] “(edu)roam even further: University andCouncil roll out free wiﬁ network,” University
of York, 2015 news.

SENAC Vol. 49, No. 1（2016. 1）

http://www.york.ac.uk/news-and-events/
news/2015/community/free-wifi/

— 37 —

SENAC Vol. 49, No. 1（2016. 1）［大学 ICT 推進協議会 2015 年度年次大会論文集より転載］

東北大学全学ファイアウォールの運用に関する報告野田 大輔 1), 森 倫子 1), 水木 敬明 2) , 曽根 秀昭 2)1) 東北大学 情報部情報基盤課
2) 東北大学 サイバーサイエンスセンター
noda@cc.tohoku.ac.jp
概要：東北大学では、学内ネットワーク TAINS のセキュリティ向上を目的として、2014
年 7 月より TAINS と学外ネットワークとの対外接続点に全学ファイウォールを導入した。本稿では、全学ファイアウォールが TAINS のセキュリティにおいて担う役割と運用状況について報告する。

1

はじめに

3

東北大学(以下、本学という。)では、学内ネッ

3.1 概要全学ファイアウォールは TAINS と学外ネットワークの対外接続点に設置されている透過型のファイアウォールであり、TAINS と学外ネットワーク
間の通信を管理している（図１参照）。
全学ファイアウォールは学外ネットワークから TAINS へ向けた通信はデフォルトで不許可としており、学外ネットワークへサービスを提供する
場合は部局を通して情報シナジー機構へ通信許可を申請し登録する必要がある。これによりグロー
バルアドレスの集中管理を実現しセキュリティ対策のなされていない情報機器が意図せず学外ネッ
トワークへ公開されることを防止している。
一方で、TAINS から学外ネットワークへ向けた
通信はその応答を含めて全て許可している。従って、利用者端末からのウェブ閲覧等、学外ネット
ワークへの通信は全学ファイアウォールの影響を受けず一般利用者が全学ファイアウォールを意識する必要はない。ただし 2015 年 6 月より著作権侵害コンテンツの発信を防止する目的で、TAINS から学外ネットワークの通信であっても一部の P2P
アプリケーションの通信を遮断している。

トワーク TAINS（Tohoku Academic/All-around/
Advance/ Information Network System）のセキュ
リティ向上を目的として、2014 年 7 月より全学ファイアウォールを導入した。この全学ファイアウ
ォールは TAINS と学外ネットワークとの対外接続点に設置され、学外ネットワークから TAINS へ向けた通信のうち、部局からの事前の申請に基づいた必要なものだけを許可し、不必要な情報が学外
ネットワークへ公開されることを防止している。

2

全学ファイアウォールの導入背景
2013 年 12 月、本学のネットワークセキュリテ

ィのさらなる強化を検討する目的で「全学ネット
ワークのセキュリティ強化検討プロジェクト・チ
ーム」（以下、「セキュリティ強化 PT」という。）
が設置された。セキュリティ強化 PT での検討において、本学が部局にグローバルアドレスを割り当て、管理を移譲する分散管理となっていることにより、十分なセキュリティ対策なしに情報機器が学外ネットワークに公開されるケースの可能性が指摘された。そこで TAINS と学外ネットワークの接続点に透過型のファイアウォールを導入してグローバルアドレスの利用を申請登録制とする集中管理を行う必要性が確認され、全学ファイアウ
ォールを導入することが決定された。

全学ファイアウォールについて

— 38 —

図 1:全学ファイアウォール概要図
3.2 ポート設定
全学ファイアウォールのポート設定は以下の通りである。
1. 全不許可 全ての通信を遮断する
2. ウェブサーバのみ(80,443/tcp)許可
 ウェブサービス用ポート(80,443/tcp)のみ許可する
3. 全許可 全ての通信を許可する
デフォルトのポート設定は「1.全不許可」となっており、学外ネットワークから開始される TAINSへの通信は全て遮断される。学外ネットワークからの通信を許可するポート設定は、HTTP 通信と
HTTPS 通信のみを許可する「2.ウェブサーバのみ(80,443/tcp)許可」と制限のない「3.全許可」を用意している。学外ネットワークへサービスを提供する場合は、サービスを提供するグローバルア
ドレス毎に、提供サービスに合わせてこれらいず
れかのポート設定を選択して情報シナジー機構へ申請し登録する必要がある。
ポート設定については導入初期に予想される多数の申請と申請対応にあたる人的リソースを考慮しシンプルな設定から開始することとした。今まで通り制限なく使用できる「3.全許可」に加え、情報発信のため多数の利用が予想されるウェブサ
ーバを保護するため、ウェブサーバ用のポート(80,443/tcp)のみを許可するポート設定を提供することとした。
ポート設定のメニューについては今後拡張を検討していく予定である。

SENAC Vol. 49, No. 1（2016. 1）

3.3 遮断アプリケーション
本学では 2011 年 4 月より民間事業者による「インターネット上の著作権を侵害している疑いのある P2P 通信の検知・通知サービス」を利用し、著作権侵害に関するインシデントの未然防止に努めてきた[1]。しかしながら、前記サービスは学外ネットワークへ発信されている P2P 通信を検知するものであり、著作権侵害にあたるコンテンツが学外ネットワークへ発信されること自体を防止する
ものではなかった。
これに対し全学ファイアウォールはアプリケーション識別機能を有し、著作権侵害コンテンツの発信に利用される可能性のあるアプリケーショ
ンの通信を選択的に遮断可能であり、そのように遮断することで、著作権に関するインシデントの未然防止が期待されていた。
そして 2015 年 6 月より、全学ファイアウォー
ルによる BitTorrent 等の著作権侵害コンテンツの発信のおそれがある P2P アプリケーションの遮断を開始した。
なお遮断アプリケーションについては TAINS のウェブページ上で学内公開しており、研究等に必要であれば申請により使用することが可能となっている。

4

全学ファイアウォールの運用

4.1 事前申請について全学ファイアウォールの導入にあたっては、導入前に約 1 ヵ月間の期間を設け、部局からの事前申請を受け付けた。事前申請では申請漏れを極力少なくするため、部局毎に当該部局が保有しているグローバルアドレス一覧を記載した専用の事前申請書を作成して使用した。事前申請書を各部局に送付し記載された全てのグローバルアドレスに対し全学ファイアウォールの導入時に希望するポート設定を記入した上で情報シナジー機構へ申請いただいた。
4.2 申請について全学ファイアウォールの登録申請は、TAINS で提供している他のサービスと同様に部局の技術担
当者を介してメールで申請書を情報シナジー機構
へ送付する形式としている。申請書にはグローバ
ルアドレス、ポート設定、利用目的等を記載する。
申請書の受理後 1 両日中に全学ファイアウォール

— 39 —

東北大学全学ファイアウォールの運用に関する報告のポート設定を実施している。

ーバルアドレスの集中管理を達成し、著作権侵害

全学ファイウォールの運用開始から現在までに関するインシデントの未然防止の役割を担うにの申請件数の推移を図 2 に示す。全学ファイアウ

いたった。今後もポート設定の拡充等さらなるセ

ォールの運用開始直後は月 10 件以上の申請があキュリティ対策の強化が期待される。

ったが、これらは事前申請の漏れや見落としの修一方で全学ファイアウォールの運用に投入で正のためと思われる。運用開始から 1 年経過した

きる人的リソースには限りがあるため、強化する

現在では申請件数は落ち着いてきており月 3,4 件

機能の選択と効率的な運用方法を検討していく必程度となっている。

要がある。

参考文献
[1] 東北大学情報シナジー機構、著作権侵害の疑いのある P2P 公衆送信の検知の運用、東北大学情報シナジー機構 TAINS ニュース 、
No.39、pp.4、2011,

図 2:全学ファイアウォール申請件数推移

4.3 運用費用について
全学ファイアウォールの導入費用及び初年度の運用費用は、セキュリティ対策の緊急性から総長裁量経費により措置された。2 年目以降の運用費用についてはセキュリティ強化 PT の報告に従い、保有するグローバルアドレスの数及び全学的基盤
経費の負担額に応じて各部局で按分することとなっている。
具体的にはグローバルアドレス 1 つあたりの負担金額を定め、保有するグローバルアドレ数に応じて各部局の負担金を算出する。これを保有グローバルアドレス比例分とし、年間運用費用のうち3 分の 2 程度を賄う。不足額を全学的基盤経費比
例分として全学的基盤経費の負担額に応じて各部局に按分する。各部局は保有グローバルアドレス
比例分と全学的基盤経費比例分の合計金額を全学
ファイアウォールの年間の負担金として負担いだ
くこととしている。負担金は当該年度 1 月 1 日の保有グローバルアドレス数と当該年度の全学的基盤経費の負担額に基づいて算出し、当該年度の 3
月 31 日支払としている。

5

おわりに
本稿では、本学の全学ファイアウォールの概要とこれまでの運用について述べた。
全学ファイウォールは当初の目的であるグロ

— 40 —

SENAC Vol. 49, No. 1（2016. 1）[報 告] 計算科学・計算機科学人材育成のためのスーパーコンピュータ無償提供利用報告

基礎ゼミ報告－ 計算科学・計算機科学の楽しさに触れる －江川 隆輔
東北大学サイバーサイエンスセンター スーパーコンピューティング研究部

2015 年 9 月 14 日から 18 日の 5 日間，東北大学サイバーサイエンスセンター・スーパーコンピューティング研究部では，全学教育「基礎ゼミ」の一環として，「ハイパフォーマンスコンピュー
ティング入門〜君もスパコンプログラマ：世界トップクラスのスパコンを使いこなす〜」を開催しました．本講義は、学部 1 年生を対象にしており，楽しみながら，計算科学，計算機科学の基礎を学んでもらうことを目的にしております．今年度は，工学部（電気系・機械系），農学部の学
生計 11 名が参加しました．
講義では，まず，計算機・並列計算機の仕組みを，学生が自らクラスタ型の並列計算機環境の構築を行うことで学びます．次に，構築した並列計算環境を用いて並列プログラミングの基礎を学び，最後にスーパーコンピュータを用いてプログラムの実行速度を競うコンテストを行いました．5 日間と短い期間ではありましたが，参加した学生らはスパコンの圧倒的な計算力に驚きながらも，「単純に並列数を増やしただけでは計算時間が短縮しないことにおもしろさを感じた」と
アンケートに答えるなど，高性能アプリケーション，システム開発分野における本質的な課題に触れる良い機会になったようです．
本講義に開催にあたっては,サイバーサイエンスセンターが平成 20 年から行っている計算科学・計算機科学分野における人材育成を目的としたスーパーコンピュータ利用負担金免除プログラムを活用いたしました．このような場を提供してくださった関係各位に厚く感謝いたします．

参加した学生さんが構築した並列計算機

スーパーコンピュータ SX-ACE

— 41 —

SENAC Vol. 49, No. 1（2016. 1）

［報
[報 告］
告]

SC15 報告東北大学サイバーサイエンスセンター

小松一彦

2015 年 11 月 15 日〜20 日，スーパーコンピュータに関する最大の国際会議 SC15 (International
Conference for High Performance Computing, Networking, Storage and Analysis)が米国テキ
サス州のオースティンコンベンションセンターにおいて開催されました。SC15 は，78 件の論文発表をはじめとする研究成果・技術論文を発表する本会議(Conference)と、352 もの企業・大学・研究所等がスーパーコンピュータに関連する製品や研究成果を発表する展示会(Exhibition)から構成されています。総参加人数も非常に多く 1 万 2000 人を越え、会場の中だけでなく会場周辺のホテルでも多数のワークショップや技術交流が行われています。
サイバーサイエンスセンターでは、流体科学研究所、金属材料研究所、東北メディカル・メガ
バンク機構と合同で、展示会へ参加いたしました。展示ブースでは、新たに竣工したサイバーサ
イエンスセンター2号館や新スーパーコンピューティングシステムSX-ACEの紹介をはじめ、SX-ACEを利用したシミュレーションの高速化やスーパーコンピュータを容易に使うためのシステムソフ
トウェアなど、最新の研究成果の展示や発表を行いました。16～19日の4日間の展示会期間中の訪問者は300名以上にものぼり、活発な議論・情報交換を行うことができました。
また、スパコン研究部の研究成果として、本会議のポスター発表やCREST「ポストペタスケール
高性能計算に資するシステムソフトウェア技術の創出」 ブースでの展示も行いました。本会議ポスター発表では、実際のアプリケーションの振る舞いに近いベンチマークであるHPCGにおいて
SX-ACEが世界最高の実効効率を達成したことや、SX-ACEを用いたリアルタイム津波浸水・被害予測シミュレーションシステムの開発について発表し、多くの研究者と有用な議論を交わすことができました。
次回の SC16 は 11 月 13 日～18 日に米国ユタ州ソルトレイクシティで行われる予定です。ソルトレイクシティでの開催は 2012 年 SC12 以来、4 年ぶりになります。

SC15 会場入り口

東北大学展示メンバー集合写真

展示ブースでの発表の様子

— 42 —

SENAC Vol. 49, No. 1（2016. 1）

［報 告］
[報 告]

小松助教らの研究グループが、レガシーコードの移植に関する国際
ワークショップ LHAM2015 において Best Workshop Paper Award を受賞しましたサイバーサイエンスセンターの小松助教、江川准教授、滝沢准教授、小林教授の研究グループ
が、レガシーコードの移植に関する国際ワークショップ（International Workshop on Legacy HPC
Application Migration (LHAM) 2015）において、Best Workshop Paper Award を受賞しました。
（対象論文）
Migration of an Atmospheric Simulation Code to an OpenACC Platform Using the Xevolver
Framework（著者）
Kazuhiko Komatsu、 Ryusuke Egawa、 Shoichi Hirasawa、 Hiroyuki Takizawa、
Ken’ichi Itakura and Hiroaki Kobayashi（受賞論文の概要）
HPC システムの多様化に伴い、既存のアプリケーションの性能可搬性が重要になりつつある。
本論文では、コード変換フレームを採用することで、既存のアプリケーションの保守性を維持しながら、アプリケーションの性能可搬性を維持する手法について提案している。他の HPC システ
ムに必要なコード変換を、既存のアプリケーションから切り離し、コード変換フレームワークに任せることで、保守性と高い性能可搬性を両立している。

Different system can use different rule— 43 —

SENAC Vol. 49, No. 1（2016. 1）[Web 版大規模科学計算システムニュースより]
大規模科学計算システムニュースに掲載された記事の一部を転載しています。

http://www.ss.cc.tohoku.ac.jp/tayori/

利用負担金額の表示コマンドについて (No.207)

本センター大規模科学計算システムでは、利用者の利用額とプロジェクトごとに集計した負担額、請求情報を表示するためのコマンドとして ukakin, pkakin があります。また、利用者のジャーナル
情報とプロジェクトごとに集計したジャーナル情報を CSV 形式で出力するコマンド ulist, plist があります。これらのコマンドは、並列コンピュータ(front.cc.tohoku.ac.jp)にログインして使用し
ます。
コマンド名

機

能

ukakin

利用者ごとの利用額を各システム、月ごとに表示

pkakin

プロジェクトごとに集計した負担額、請求情報を表示

ulist

利用者ごとのジャーナルを CSV 形式で出力

plist

プロジェクトごとに集計したジャーナルを CSV 形式で出力

いずれも、前日までご利用いただいた金額を表示します。コマンド使用例は大規模科学計算システ
ムウェブページをご覧ください。
負担金の確認http://www.ss.cc.tohoku.ac.jp/utilize/academic.html#負担金の確認(共同利用支援係)

— 44 —

SENAC Vol. 49, No. 1（2016. 1）

地下鉄青葉山駅周辺案内

2015 年 12 月 6 日仙台市地下鉄東西線が開業しました。サイバーサイエンスセンターは、青葉
山駅北 1 出口より徒歩 3 分の距離にあります。

サイバーサイエンスセンター

地下鉄青葉山駅

北1

サイバーサイエンスセンターでは、スーパーコンピュータや分散コンピュータ博物館の公開も行っております。見学を希望される方は、共同利用支援係までご連絡ください。
共同利用支援係（022-795-3406,uketuke@cc.tohoku.ac.jp）

— 45 —

SENAC Vol. 49, No. 1（2016. 1）― SENAC 執筆要項 ―１．お寄せいただきたい投稿内容
次のような内容の投稿のうち、当センターで適当と判定したものを掲載します。その際に原稿の修正をお願いすることもありますのであらかじめご了承ください。
・一般利用者の方々が関心をもたれる事項に関する論説・センターの計算機を利用して行った研究論文の概要
・プログラミングの実例と解説・センターに対する意見、要望
・利用者相互の情報交換
２．執筆にあたってご注意いただく事項(1)原稿は横書きです。
(2)術語以外は、「常用漢字」を用い、かなは「現代かなづかい」を用いるものとします。
(3)学術あるいは技術に関する原稿の場合、200 字～400 字程度のアブストラクトをつけてください。
(4)参考文献は通し番号を付し末尾に一括記載し、本文中の該当箇所に引用番号を記入ください。
・雑誌：著者,タイトル,雑誌名,巻,号,ページ,発行年
・書籍：著者,書名,ページ,発行所,発行年
３．原稿の提出方法
原稿のファイル形式は Word を標準としますが、PDF での提出も可能です。サイズ*は以下を参照してください。ファイルは電子メールで提出してください。
－Word の場合－
・用紙サイズ：A4
・余白：上＝30mm 下＝25mm 左右＝25mm 綴じ代＝0
・標準の文字数（45 文字 47 行）＜文字サイズ等の目安＞
・表題＝ゴシック体 14pt 中央 ・副題＝明朝体 12pt 中央
・氏名＝明朝体 10.5pt 中央
・所属＝明朝体 10.5pt 中央
・本文＝明朝体 10.5pt
・章・見出し番号＝ゴシック体 11pt～12pt*余白サイズ、文字数、文字サイズは目安とお考えください。
４．その他(1)執筆者には、希望により本誌*（10 部以内の希望部数）と本誌 PDF 版を進呈します。
*2014 年末で、別刷の進呈は終了しました。
(2)投稿予定の原稿が 15 ページを超す場合は共同利用支援係まで前もってご連絡ください。
(3)初回の校正は、執筆者が行って、誤植の防止をはかるものとします。
(4)原稿の提出先は次のとおりです。
東北大学サイバーサイエンスセンター内 情報部情報基盤課共同利用支援係
e-mail uketuke@cc.tohoku.ac.jp
TEL022-795-3406

— 46 —

SENAC Vol. 49, No. 1（2016. 1）

スタッフ便り新年、明けましておめでとうございます。昨年は、新たに竣工したサイバーサイエンスセンター
2 号館において新スーパーコンピュータシステム SX-ACE の運用が開始され、新システムを活用した
リアルタイム津波浸水・被害予測シミュレーションシステムが開発されるなど、 研究基盤だけでなく社会基盤としても当センターの資源が活用されております。本年も、日本の科学技術・産業・社会を支える重要な基盤として、皆様を支援できるよう取り組んでまいります。どうぞよろしくお願いいたします。
先月上旬に仙台市営地下鉄 東西線が開通し、「青葉山」駅から徒歩 3 分と、サイバーサイエンスセンターへのアクセスが容易になりました。科学技術計算を支える新スーパーコンピュータや可視化システム、東北の大学ネットワークを支えるネットワーク機器、 歴史的資料を展示しているコンピュータ博物館など、サイバーサイエンスセンターの見学が随時できますので、皆様のお越しをお待ちしております。
（K.K）

新年あけましておめでとうございます。
7 月の異動から、早いもので半年がたちました。地下鉄東西線も遂に開業し、多くの方が利用していると思います。私が大学に勤務したての頃、「運輸交通専門委員会」を担当する部署にいました。委員
会では青葉山キャンパスへの、道路だけではない新アクセス方法を検討されておりました。モノレー
ル構想もあったと記憶しております。10 年後、再びその部署に異動した時には「地下鉄」という結論になっており、委員会は仙台市の関係者とルートの協議を重ねていました。それが今、ようやく実現
した、という想いです。
地下鉄開業で八木山も変りました。動物公園駅周辺は道路が広くなり、バスプールもできました。
八木山小学校付近と国道 286 号線を結ぶ新しい道路も開通しました。高校生だった頃、八木山に住む
友人宅をバイクで訪れる時、「ここだけ、なんでこんなに道路が広いんだ。」と思っていましたが、このようになる計画だったんですね。八木山から、今は高架となった JR 長町駅まで、広い道路１本でつながりました。当時から 30 数年たった今、車で通勤利用しています。
さて、センターからは、日々変っていく新キャンパスの建築工事ラッシュが一望できるため、貴重な体験をさせていただいております。環境科学研究科の建物が完成し、農学研究科の建物が少しずつ様相を表してきました。農学研究科が新キャンパスに移転完了すると益々の賑わいになるでしょう。
平成 18 年 7 月、私は新キャンパス用地取得の事務に携わっており、当時の吉本総長と村井知事が青葉記念会館で県有地売買契約調印後、がっちりと握手した光景は鮮明に覚えております。文科省への移転計画説明資料や、収支決算バランスシート作成、仙台市への環境アセスメント申請等々を思い出します。あれからもう 10 年になるんですね。
年頭にあたり、ちょっと過去を振り返ってみました。
（T.K）

SENAC 編集部会
整備中の新青葉山キャンパス

小林広明 曽根秀昭 水木敬明 後藤英昭
江川隆輔 佐藤恵美子 高杉佳奈 大泉健治
小野 敏 斉藤くみ子
平成 28 年 1 月発行
編集・発行 東北大学
サイバーサイエンスセンター
仙台市青葉区荒巻字青葉 6-3
郵便番号 980-8578
印 刷
東北大学生活協同組合
プリントコープ

地下鉄東西線

青葉山駅北 1 出入口

索
SENAC Vol.48 (No.1～No.4)
項 目
巻頭言「普通の人々のためのスーパーコンピュータセン
ター」を目指して
小林広明
共同研究成果
東北地震に伴う固有地震活動の揺らぎから推定された摩擦特性と余効すべり伝播過程
有吉慶介他
東北地方の農業における温暖化適応策と気象情報
の高度利用
岩崎俊樹他
X 線自由電子レーザーパルスによるフラーレン超
多価カチオン C60q+の爆発解離の動力学シミュレ
ーション
山崎馨他
界面反応の第一原理シミュレーション
柳澤将他
結晶性分子ジャイロスコープの構造と回転動力学の密度汎関数強束縛法によるシミュレーション
菅野学 他
グリーンランド氷床モデルを用いた地震波伝播シ
ミュレーション
豊国源知他
ＣＦＤ による血管壁拍動挙動における Vasomotion
の再現解析
工藤和貴他
大規模マルチビームリフレクトアレーの設計法とベクトル型スーパーコンピュータによる高速化の研究
今野佳祐他
アンテナの放射効率低下メカニズムに関する一検討
有馬卓司他
研究成果
ベクトルスーパーコンピュータ SX-ACE による暑
熱環境下体温上昇の高速解析
西尾渉他
大規模科学計算システム
スーパーコンピュータシステム SX-ACE のハード
ウェア
SX-ACE でのプログラミング（ベクトル化編）
SX-ACE でのプログラミング（並列化編）
アプリケーションサービスの紹介
SX-ベクトルコンピュータにおける高速化 ACE における HPCG ベンチマークの性能評価
ベクトルコンピュータにおける高速化
大学 ICT 推進協議会 2014 年度 年次大会論文集より転載
スーパーコンピュータシステム SX-ACE の紹介
山下毅他
新並列コンピュータシステムと活用事例の紹介
齋藤敦子他
リアルタイム津波浸水・被害予測シミュレーショ
ンシステム開発の取り組み
大泉健治他
キャンパス無線 eduroam の最新動向と国内機関向
け新サービス
後藤英昭他
東北学術研究インターネットコミュニティの運用に関する報告森倫子他
お知らせ
スーパーコンピュータシステムの更新に伴う今後のスケジュールについて
SSH アクセス認証鍵生成サーバの利用方法

引2015.1～2015.10

No.

1

p.

1

1

33

2

108

3

1

3

7

4

1

4

10

4

24

4

35

4

43

4

48

2
2
2
2

1
29
62
85

3
3

14
20

1

39

1

47

1

54

1

58

1

62

1
2

3
105

項 目

No.

p.

1

66

2
2

136
148

2

149

3

54

3

55

4

48

4

56

4

57

利用相談室便り
平成 27 年度の利用相談について
新テクニカルアシスタントの紹介

3
3

52
53

展示室便り
⑭スーパーコンピュータ SX-9

3

57

1

67

1
2
2
2

67
68
150
151

2
2
2
3

151
152
153
60

4

59

4

60

4

60

4

61

4

62

報告
SC14 報告
小松一彦－式典報告－東北大学サイバーサイエンスセ
ンター新棟竣工および新スーパーコンピュー
タシステム導入披露式典を開催しました
第 13 回シナジー研究会報告
海洋研究開発機構地震津波・防災研究プロジ
ェクトの有吉技術研究員が平成 26 年度地震学会論文賞を受賞しました
第 116 回サイエンスカフェ「スーパーコンピ
ュータの驚異的な力」開催報告
小松助教が情報処理学会東北支部「第 10 回東北支部野口研究奨励賞」を受賞しました
JHPCN 学際大規模情報基盤共同利用・共同研究
拠点第 7 回シンポジウム報告
東北大学サイバーサイエンスセンターオープンキ
ャンパス報告＜プレリリース報告＞ 準リアルタイムで熱中症リスクを評価する技術の開発 ～個人に応じた熱中症対策を提案する、新たな情報～「Web 版大規模科学計算システムニュース」より利用負担金（1 月～3 月分）の請求について(No.181)
利用負担金額の表示コマンドについて(No.181)
研究成果リスト提出のお願い (No.181)
平成 27 年度講習会計画について（No.192）
平成 27 年度共同研究について（No.193）
計算科学・計算機科学人材育成のためのスーパーコンピュータ無償提供制度について（No.193）
民間企業利用サービスについて （No.193）
平成 27 年度利用負担金について (No.194)
利用負担金の表示コマンドについて（No.197）
SX-ACE 1,024 ノード実行の提供開始について(No.203)
非線形構造解析汎用プログラム MSC.Marc/
Mentat のバージョンアップについて（No.203）
数式処理プログラム Mathematica のバージョンアップについて（No.203）
科学技術計算言語 MATLAB のバージョンアップ
について（No.203）
反応経路自動探索プログラム GRRM14 のサービ
ス開始について（No.203）ࢩࢫࢸ୍࣒ぴィ⟬ᶵࢩࢫࢸ࣒ᶵ ✀ࢫ࣮ࣃ࣮ࢥࣥࣆ࣮ࣗࢱ

6;$&(୪ิࢥࣥࣆ࣮ࣗࢱ

/;5H

ࢧ࣮ࣂ࡜࣍ࢫࢺྡ
ࣇࣟࣥࢺ࢚ࣥࢻࢧ࣮ࣂIURQWFFWRKRNXDFMS

66+ ࢔ࢡࢭࢫㄆド㘽⏕ᡂࢧ࣮ࣂ

NH\FFWRKRNXDFMSࢧ࣮ࣅࢫ᫬㛫฼⏝ࢩࢫࢸ࣒ྡ➼฼⏝᫬㛫ᖏ

ࢫ࣮ࣃ࣮ࢥࣥࣆ࣮ࣗࢱ

㐃

⥆

㐠

㌿

୪ิࢥࣥࣆ࣮ࣗࢱ

㐃

⥆

㐠

㌿

ࢧ ࣮ ࣂ

㐃

⥆

㐠

㌿

ྍど໬ᶵჾᐊ

ᖹ᪥ 㹼

㤋ෆ฼⏝ᖹ᪥ 㹼

ࢫ࣮ࣃ࣮ࢥࣥࣆ࣮ࣗࢱ㸦6;$&(㸧ࡢ฼⏝ᙧែ࡜ไ㝈್฼⏝ᙧែ฼⏝ࣀ࣮ࢻᩘ ᐇ⾜᫬㛫ไ㝈ͤ㸦⤒㐣᫬㛫㸧
ࠥ

つᐃ್㸸 㐌㛫᭱኱್㸸 ࣨ᭶ࠥ

つᐃ್㸸 ࣨ᭶᭱኱್㸸 ࣨ᭶ ᫬㛫

ࠥ ᫬㛫

ࠥ ᫬㛫

㏻ᖖ

↓ᩱ
ࢹࣂࢵࢢ

࣓ࣔࣜࢧ࢖ࢬไ㝈 T ࢜ࣉࢩࣙࣥ E ࢜ࣉࢩࣙࣥ

*%ࣀ࣮ࢻᩘ

฼⏝ࣀ࣮ࢻᩘ

V[*%
*%ࣀ࣮ࢻᩘI
GHEXJ

฼⏝ࣀ࣮ࢻᩘ

ͤࣀ࣮ࢻ௨ୖࢆ฼⏝ࡋࡓ୪ิᐇ⾜࡟ࡣ03,ࡢ฼⏝ࡀᚲ⏝୪ิࢥࣥࣆ࣮ࣗࢱ㸦/;5H㸧ࡢ฼⏝ᙧែ࡜ไ㝈್฼⏝ᙧែ฼⏝ࣀ࣮ࢻᩘͤᐇ⾜᫬㛫ไ㝈㸦⤒㐣᫬㛫㸧࣓ࣔࣜࢧ࢖ࢬไ㝈

㏻ᖖ

ࠥ

つᐃ್㸸 ࣨ᭶᭱኱್㸸 ࣨ᭶*%ࣀ࣮ࢻᩘ

T ࢜ࣉࢩࣙࣥ E ࢜ࣉࢩࣙࣥ
฼⏝ࣀ࣮ࢻᩘ
O[࢔ࣉࣜࢣ࣮ࢩࣙࣥ

࡞ࡋ

*%఍ヰᆺ㸦 ࢥ࢔ࡲ࡛㸧 ᫬㛫㸦&38 ᫬㛫ྜィ㸧

*%

ͤࣀ࣮ࢻ௨ୖࢆ฼⏝ࡋࡓ୪ิᐇ⾜࡟ࡣ03,ࡢ฼⏝ࡀᚲ⏝D