኱つᶍ⛉Ꮫィ⟬ࢩࢫࢸ࣒㛵㐃᱌ෆ㸺኱つᶍ⛉Ꮫィ⟬ࢩࢫࢸ࣒㛵㐃ᴗົࡣࠊࢧ࢖ࣂ࣮ࢧ࢖࢚ࣥࢫࢭࣥࢱ࣮ᮏ㤋ෆࡢ᝟ሗ㒊᝟ሗᇶ┙ㄢࡀᢸᙜࡋ࡚࠸ࡲࡍࠋ㸼KWWSZZZVVFFWRKRNXDFMS㝵㟁ヰ␒ྕ䠄ෆ⥺䠅 
HPDLOಀ䞉ᐊྡ฼⏝┦ㄯᐊ

୺䛺䝃䞊䝡䝇ෆᐜ䝃䞊䝡䝇᫬ 㛫ᖹ᪥ィ⟬ᶵ฼⏝඲⯡䛻㛵䛩䜛┦ㄯ୍㝵  䡚
኱ุ䝥䝸䞁䝍䚸฼⏝⪅➃ᮎ➼䛾 䡚฼⏝ 

ྛ䝉䞁䝍䞊ᗈሗ䛾㜀ぴ䡚

Ṕ௦䛾኱ᆺィ⟬ᶵ➼䛾ᒎ♧䠖䡚䠖  
VRGDQ#FFWRKRNXDFMS┦ㄯဨ୙ᅾ᫬

฼⏝⪅ㄯヰᐊᒎ♧ᐊ ศᩓ䡶䢙䢇䢛䡩䡬䡼༤≀㤋 ྍど໬ᶵჾᐊ

 ୕ḟඖྍど໬䝅䝇䝔䝮䛾฼⏝䡚

⥲ົಀ  
VRP#FFWRKRNXDFMS⥲ົ䛻㛵䛩䜛䛣䛸䡚

఍ィಀ  
NDLNHL#FFWRKRNXDFMS఍ィ䛻㛵䛩䜛䛣䛸䚸㈇ᢸ㔠䛾ㄳồ䛻㛵䛩䜛䛣䛸䡚୕ ඹྠ◊✲ᨭ᥼ಀ   
UVVHF#FFWRKRNXDFMS㝵䠄䠅ඹྠ฼⏝ᨭ᥼ಀ
  ཷ㻌 ௜ XNHWXNH#FFWRKRNXDFMSඹྠ◊✲䚸ィ⟬ᶵ䝅䝇䝔䝮䛻㛵䛩䜛䛣䛸

䡚

฼⏝ᡭ⥆䛝䚸฼⏝┦ㄯ䚸ㅮ⩦఍䚸䝷䜲䝤䝷䝸䚸䜰䝥䝸䜿䞊䝅䝵䞁䛻㛵䛩䜛䛣䛸䡚

  
QHWVHF#FFWRKRNXDFMS䝛䝑䝖䝽䞊䜽䛻㛵䛩䜛䛣䛸䡚

ᅄ◊✲㛤Ⓨ㒊
㝵  ஬㝵 ➃ᮎᶵᐊ

 

3& ➃ᮎᶵ䠄; ➃ᮎ䠅䝛䝑䝖䝽䞊䜽ಀ㸦 㸧ෆࡣᮾ໭኱Ꮫෆࡢࡳࡢෆ⥺㟁ヰ␒ྕ࡛ࡍࠋ㟷ⴥᒣ࣭ᕝෆᆅ༊௨እ࠿ࡽࡣ㢌࡟  ࢆຍ࠼ࡲࡍࠋ
ᮏㄅ䛾ྡ๓䛂㻿㻱㻺㻭㻯䛃䛾⏤᮶㻌᫛࿴  ᖺ䛻ᮾ໭ᆅ༊䛾᭱ึ䛾㟁Ꮚィ⟬ᶵ䛸䛧䛶䚸ᮾ໭኱Ꮫ㟁Ẽ㏻ಙ◊✲ᡤ䛻䛚䛔䛶᏶ᡂ䛥䜜䛯䝟䝷䝯䝖䝻䞁ᘧィ⟬ᶵ䛾ྡ๓䛷 6(1$& 6(1GDL$XWRPDWLF&RPSXWHU 䛛䜙䛸䛳䛶࿨ྡ䛥䜜䛯䚹㻌

— 1 —

SENAC Vol. 49, No. 3（2016. 7）［共同研究成果］

Building-Cube Method に基づく解適合格子細分化と動的負荷分散
三坂孝志 1，佐々木大輔 2，大林茂 31東北大学 学際科学フロンティア研究所
23

金沢工業大学 工学部

東北大学 流体科学研究所

分散メモリ型計算機において解適合格子細分化と動的負荷分散を行うためのフレームワークをBuilding-Cube Method（BCM）に基づき構築した．解適合格子細分化を行うと特定の MPI ランクに計算負荷が集中する場合があるが，動的負荷分散と組み合わせることでこれを解消する．負荷分散は各 MPI ラ
ンクにおける計算時間と一対一通信の時間をキューブ再分配の指標をすることで実現した．ラプラス方程式を用いて，この BCM フレームワークの解適合格子細分化や動的負荷分散に関する検証を行った．その後，上記の BCM フレームワークを 3 次元非圧縮性ナビエ・ストークス方程式に適用した．流れ場の解
適合格子細分化では，無次元壁座標（‫ ݕ‬ା ）を細分化指標とした解析を行い，その有効性を確認した．

1. はじめに数値流体力学（Computational Fluid Dynamics, CFD）計算の大規模化が進み，計算効率や複雑形状に対する格子生成の容易さから直交格子法が再び注目を集めている．Building-Cube Method（BCM）は，
キューブと呼ばれる立方体のマルチブロック構造直交格子を利用した CFD ソルバーのフレームワークである[1]．計算領域はサイズの異なるキューブで分割されるが，隣り合うキューブのサイズ比は，1:2，1:1，
2:1 のいずれかである．各キューブは同一の格子点数を含んでいるため，格子解像度はキューブサイズ
によって決定される．格子生成においては，解析対象の形状に合わせた格子細分化が行われる．このBCM フレームワークを用いた各種 CFD ソルバーの開発は，中橋らのグループによって進められてきた[1-5]．GUI を含む格子生成ソフトウェアの整備は石田らによって行われた[2]．京コンピュータを含む大規模計算環境への展開も大西らによって進められている[3]．大規模計算結果データの効率的な処理を目的として，データ圧縮技術も開発されてきた[4]．BCM で曲面形状まわり流れの解析を行う方法に関して
も，グリッドレス法とのカップリング[5]などいくつかの取り組みがあるが，主に埋め込み境界法（Immersed
Boundary Method, IBM）を用いた方法が研究されてきた．
BCM を提案した中橋らの論文でも触れられているように，BCM のフレームワークは大規模計算に有効であり，実際に京コンピュータを用いた解析も行われてきている．BCM の残る課題として，高レイノルズ数
流れにおける IBM の高精度化や動的なキューブデータの制御による動的負荷分散が挙げられる．後者に関連して，解適合格子細分化の実装も必要である．動的な格子細分化は，初期条件からの流れ計算が収束するまでの時間を短縮する効果もある．
本研究では，分散メモリ型計算機において解適合格子細分化と動的負荷分散を行うためのフレームワ
ークを BCM に基づき構築する．解適合格子細分化を行うと特定の MPI ランクに計算負荷が集中する場
合があるが，動的負荷分散と組み合わせることでこれを解消する方針とした．ラプラス方程式を用いてこの BCM フレームワークの解適合格子細分化や動的負荷分散に関する検証を行い，その後，3 次元非圧
縮ナビエ・ストークス方程式に適用した．流れ場の解適合格子細分化では，無次元壁座標（‫ ݕ‬ା ）を格子細分化指標とした解析を行った．

— 2 —

SENAC Vol. 49, No. 3（2016. 7）

2. 数値計算手法
BCM は格子生成，高次精度スキームの組み込み，および，後処理の簡素化のために等間隔の直交格子を用いている．さらに，計算アルゴリズムを複雑化させることなく，格子を複雑形状および局所流れ場に適合させるために，ブロック構造格子を採用している．ブロック構造格子はデータ構造としても利点がある．計算領域はキューブと呼ばれる立方体ブロックに分割されるが，格子解像度がキューブサイズで決まり，また，キューブを用いた並列処理が効率的に行われるように，各キューブは同じ数の格子点を含んでいる．BCM の基本となるデータ構造に関しては過去の文献を参照されたい[1]．本研究では BCM フレー
ムワークを用い，MPI ランク間でキューブ情報を動的に移動する方法を導入した．基本となるのは空間充填曲線（Space Filling Curve, SFC）による 3 次元キューブ位置情報の一次元並べ替えである．空間充填曲線は多くの分野で用いられており，直交格子 CFD においても多く利用されている[6]．本研究では同様の手法を BCM のキューブに適用する．図 1 に 2 次元の空間充填曲線と 1 次元マッピングの例を示す．
図 1 のように空間上の座標値（ここでは各キューブの中心座標）が与えられれば，一意に一次元順列を生成することができる．この空間充填曲線は，一次元順列における隣接と元の空間での隣接がある程度両立するので，領域分割にも用いられる．図 1 に示すように，一次元順列に沿ってキューブを分割することによって，元の空間における領域分割が可能となる．本研究では，この分割を用いて各ＭＰＩランクにキューブを分配する．

図 1 空間充填曲線と一次元マッピングの例．
この空間充填曲線を用いると，動的な負荷分散は各ＭＰＩランクで経過時間を計測し，そのばらつきに応じて一次元順列上で分割点を移動することで実装することができる．分割点が決まったら，ＭＰＩランク
間の必要なデータ交換を行えばよい．図 2 に 3 並列の場合のキューブ情報移動の例を示す．あるステップ数の計算を行った後の各 MPI ランクにおける演算時間と一対一通信時間の和を�� ��� = �� � � �)とする．
ここで�は総 MPI ランク数であり，今の場合は� = 3 である．式(1)のように�� を定義する．
�� =

����
.
�
∑�������� )(1)

ここで�� は各 MPI ランクの経過時間の逆数を，その和で正規化したものである．この�� を用いて，空間充填
曲線上の領域分割位置を以下のように定義する．
��� = ���������

∑���� ��∑���� ��

(2)

Building-Cube Method に基づく解適合格子細分化と動的負荷分散— 3 —ここで�����,��� は総キューブ数である．図 2 には，負荷分散前に MPI ランク 2 の経過時間�� が，MPI ラン
ク 1 および 3 よりも大きい状況を示している．このとき，各 MPI ランクのキューブ数は一定である．負荷分
散後には式(2)で計算した位置に分割点が移動し，このとき，MPI ランク 2 のキューブ数が少なくなり，各MPI ランクの経過時間が近い値となる．上記のような処理を，例えば，数百タイムステップごとに繰り返す
ことで，各 MPI ランクの経過時間が均等になる．

図 2 空間充填曲線を用いた動的負荷分散の例．

3. ラプラス方程式を用いた動的負荷分散および解適合格子細分化の検討
前節で説明した動的負荷分散や格子細分化に関する検討を行うために，ここでは 3 次元ラプラス方程式を BCM フレームワークにより解く．単位辺長さを持つ立方体領域を考え，上面で�� = 1，その他の境
界で�� = 0の境界条件を課すと，解析的に式(3)に示す級数解を求めることができる．
������ ��� �16��� ��� ��� ���,�� (�, �, �) = � ��� �������
�
�,���

(3)

ここで，��� = �(��)� � (��)� である．式(3)は無限項の和をとるべきものであるが，実際に解を得るに当たり 50 までの和とした．図 3 に計算領域と中心断面における級数解の分布を示す．一方で，数値解はBCM フレームワークを用い，キューブ内では 2 次精度中心差分で離散化した式を SOR 法により反復的に解く．級数解は数値解との比較のために用いる．

図 3 計算領域と中心断面における級数解の分布．

— 4 —

SENAC Vol. 49, No. 3（2016. 7）

図 4 に各 MPI ランクにおける動的負荷分散前後の経過時間を示す．ここで経過時間は各ランクにおけるラプラス方程式の反復計算と MPI_Get による一対一通信にかかった時間を積算している．意図的に計算負荷を不均一にするために，各ランクで SOR 法の反復回数を nmax=int(50.0*rand()+1.0)とした．SGI ICE X を用い，スレッド数を 12 に固定して MPI/OpenMP ハイブリッド並列により計算を行った．図4(左)に 512 キューブ，32 MPI プロセスの結果を示す．動的負荷分散の前では，各ランクの経過時間が大きく変動していることがわかる．このとき各ランクのキューブ数は一定である．動的負荷分散後には，経過時間の変動が小さくなっており，また，各ランクのキューブ数が大きく変動していることがわかる．図 4(右)に 4,096 キューブ，64 MPI プロセスの結果を示す．図 4(左)と同様の結果を示しているが，動的負荷分散
後の経過時間のばらつきが小さくなっていることがわかる．これは各ランクが受け持っているキューブ数が多い方が，負荷分散を行う余地が大きいことを示している．
90

180

80

160

70

140

20

120
15

100
80

10

60

5
0
0

4

8

12

16

MPI rank

20

24

28

1200

Wall-clock time w/o Load-balancing
Wall-clock time with Load-balancing# of cubes w/o Load-balancing# of cubes with Load-balancing

1000
800

60
50

600

40

400

30

40

20

20

10

0

0

32

Number of cubes

Wall-clock time [sec]

25

200

Wall-clock time [sec]Wall-clock time w/o Load-balancing
Wall-clock time with Load-balancing# of cubes w/o Load-balancing# of cubes with Load-balancing

Number of cubes

30

200
0
1

8

15

22

29

36

MPI rank

43

50

57

64

図 4 各 MPI ランクにおける動的負荷分散前後の経過時間，(左) 512 キューブ，32 MPI プロセス，(右) 4,096 キューブ，64 MPI プロセス．
図 5 に MPI 総ランク数を変えたときの経過時間の変化を示す．ここでは，ラプラス方程式の計算時間，
MPI_Get および Reduction 通信にかかった時間を積算して経過時間としている．図 5 には NEC
LX406Re-2 および SGI ICE X を用いて評価した結果を示している．共に MPI/OpenMP ハイブリッド並列を行い，スレッド数は 12 に固定している．ここでも各ランクに多くのキューブが割り当てられている場合に，動的負荷分散の効果が大きくなることがわかる．一方で，NEC LX406Re-2 では，動的負荷分散の効果があまり見られなかった．

Wall-clock time [sec]5000

ICE, 4096 cubes, w/o LB
ICE, 512 cubes, w/o LB
LX, 4096 cubes, w/o LB
LX, 512 cubes, w/o LB

ICE, 4096 cubes, with LB
ICE, 512 cubes, with LB
LX, 4096 cubes, with LB
LX, 512 cubes, with LB

500

50

5
1

図5

10

MPI rank

100

総 MPI ランク数を変化させたときの経過時間の変化（動的負荷分散有無）．

— 5 —

Building-Cube Method に基づく解適合格子細分化と動的負荷分散

表 1 利用した計算機の諸元
1 ノード（CPU，メモリ）ノード数

NEC LX406Re-2

Intel Xeon E5-2695v2 (12 core)×2，128GB

68 ノードSGI UV2000

Intel Xeon E5-4650v2（10 core）×128，8TB
Intel Xeon E5-4650v2（10 core）×128，4TB
Intel Xeon E5-4650v2（10 core）×64，2TB

1式
2式
4式

SGI ICE X

Intel Xeon E5-2697v2 (12 core) ×2，128GBIntel Xeon E5-2697v2 (12 core) ×2，256GB
Intel Xeon E5-2680v3 (12 core) ×2，128GB

176 ノード
128 ノード
136 ノード

利用した計算機の諸元を表 1 に示す．前述のように，NEC LX406Re-2 と SGI ICE X は図 5 に示すラプラス方程式ソルバーのスケーリング調査に計算に利用した．一方で，SGI UV2000 は後述の流体シミュレーションにおいて利用した．SGI UV2000 は大規模共有メモリ計算機であるため，表 1 のような表記とした．
図 6 に計算領域中心断面における数値解߶௡ ，数値解と級数解の差߶௡ െ ߶௦ ，数値解߶௡ の微分値を各キューブで積分した値の分布，そして，各キューブの MPI ランクを示す．図中の黒実線はキューブ境界を示している．境界条件により，数値解と級数解の誤差は上角部分で大きくなっており，解適合格子細分化においては，
この付近のキューブが分割されることになる．図 7 に適合格子細分化による誤差の変化とキューブの分布を示す．全キューブを一様に細分化した場合の誤差も示している．ここでは数値解の微分値とそのキューブ
内積分値を格子細分化の指標としている．数値解の微分値を細分化指標とした場合には，角部のみ格子細分化が繰り返され，結果として領域全体の誤差はそれほど減少しない．一方で，数値解の微分のキューブ内積分値を格子細分化指標とした場合には，計算領域の広い範囲が細分化され，より誤差が減少していることがわかる．全キューブを一様に細分化した結果と比較すると，キューブ内積分値を用いた解適合格子細分化により少ないキューブ数でより小さな誤差を実現している．

図 6 計算領域中心断面における数値解߶௡ ，数値解と級数解の差߶௡ െ ߶௦ ，数値解߶௡ の微分値を各キューブで積分した値の分布，そして，各キューブの MPI ランク．

— 6 —

SENAC Vol. 49, No. 3（2016. 7）

図 7 異なる指標を用いた解適合格子細分化による誤差の変化とキューブの分布．

4. 非圧縮性流体シミュレーションへの適用例
流れ解析には式(4)に示す 3 次元非圧縮性ナビエ・ストークス方程式と式(5)の連続の式を用いる．
��� ��� ��
1 ���
�
+
=−
+
�(� + �� )���� ��������� ��� ���
���
= 0.
���

(4)

(5)

ここで，�� と�� はそれぞれ 3 次元速度成分（�� � = 1, 2, or 3）と，基準圧力からの変動分� = �� + �� である．
��� = ���� ���� + ��� ���� ���はひずみ速度テンソルである．式(4)および(5)では速度成分�� に関してア
インシュタインの縮約記法を用いている．密度は一定値（�� = 1.2 kg/m3）とし，式(4)に現れる渦粘性係
数はコヒーレント構造サブグリッドスケールモデルより得られる[7]．
空間充填曲線や，それを用いた動的負荷分散は，計算中に流れ場に応じて局所的に格子解像度を変化させる解適合格子細分化との相性が良い．解適合格子細分化には流れ場から得られる格子細分化のための指標が必要であるが，本研究では式(6)で定義される無次元壁座標（y+）を用いた格子細分化を行った．式(6)で�� は壁面せん断応力である．境界層内の速度分布を y+を用いた鉛直座標を用いてプロットすることで，異なるレイノルズ数の流れから得られる速度分布を同一の曲線上に乗せることができる．
すなわち，� � を格子細分化の指標とすることで，レイノルズ数にかかわらず境界層分布を解像するために必要な格子点数を確保することができる．
�� =��� �� �� � = ��� ���

(6)解適合格子細分化および動的負荷分散の適用例として，球周りの非圧縮性流体解析を行った．図 8に球中心を通る断面における物体近傍の� � 分布を示す．図中の実線はキューブ境界を示している．ここでは� � = 5 を閾値とし，キューブ内の� � の最大値が 5 を超える場合に，そのキューブを細分化（分割）する．図 8（左）に示すように，初期キューブで� � > 5 となっている赤い領域は，格子細分化が行われ，その結果をして，図 8（中，右）に示すように� � の値が小さくなっていることが確認できる．

Building-Cube Method に基づく解適合格子細分化と動的負荷分散

図 8 無次元壁座標（� � ）に基づく解適合格子細分化の様子．

— 7 —

図 9 に格子細分化中の主流方向流速およびキューブの分布を示す．図 9（左）はレイノルズ数Re =10 における格子細分化前の流れ場である．� � に基づく格子細分化を行うことによって，図 9（中）に示す
ように球前部のキューブが細分化されている．この状態からレイノルズ数を 2 倍にすることによって，物体付近の� � が大きくなり，図 9（右）のように，格子細分化がさらに行われる．図 10 に解適合格子細分化中の物体表面と圧力係数分布を示す．物体表面の境界条件として IBM を用いているため，図 10 に示す階段状の表面が直接流れ場に影響するわけではないが，格子細分化によりその領域の解析誤差を小さくすることができる．
図 11 に解適合格子細分化中の経過時間の変化を示す．SGI UV2000 を用いて，MPI/OpenMP ハイブ
リッド並列により計算を行った．OpenMP のスレッド数は 8 に固定した．図 11（左）から解適合格子細分化
後に動的負荷分散によってキューブが分配されている様子がわかる．これにより，格子細分化も各 MPI ラ
ンクで経過時間の差がそれほど大きくなっていない．図 11（右）に解適合格子細分化中の Reduction 通信
を含む経過時間を示す．図中の AMR は解適合格子細分化，LB は負荷分散を示している．キューブ分
割によりキューブ数が増加して経過時間も増えるが，負荷分散により経過時間が減少していることがわかる．
4

図 9 解適合格子細分化中の主流方向流速およびキューブの分布．

図 10 解適合格子細分化中の物体表面と圧力係数分布．

— 8 —

SENAC Vol. 49, No. 3（2016. 7）

4.0E+04500

3.5E+04400

1.5E+04
Initial wall-clock time
Initial # of cubes

1.0E+04

AMR wall-clock time
AMR # of cubes

5.0E+03

300
200
100

0.0E+000
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

MPI rank

Wall-clock time [sec]2.0E+04

600

Number of cubes

Wall-clock time [sec]2.5E+04

LB
AMR

3.0E+04
2.5E+04
2.0E+04
1.5E+04

LB
AMR

1.0E+04
5.0E+03
0.0E+00
1000

3000

5000

Number of cubes

7000

9000

図 11 解適合格子細分化中の経過時間とキューブ数の変化．

5. おわりに本研究では，分散メモリ型計算機において解適合格子細分化と動的負荷分散を行うためのフレームワ
ークを Building-Cube Method（BCM）に基づき構築した．解適合格子細分化を行うと特定の MPI ランクに計算負荷が集中する場合があるが，動的負荷分散と組み合わせることでこれを解消した．ラプラス方程式
を用いて，この BCM フレームワークの解適合格子細分化や動的負荷分散に関する検証を行い，その後，
3 次元非圧縮ナビエ・ストークス方程式に適用した．流れ場の解適合格子細分化では，無次元壁座標（‫ ݕ‬ା ）を格子細分化指標とした解析を行い，その有効性を確認した．

謝辞
本研究の結果は東北大学サイバーサイエンスセンターの並列コンピュータ LX402Re-2，東北大学流体科学研究所の SGI UV2000，そして，統計数理研究所の SGI ICE X を利用することにより得られた．関係各位に感謝の意を表します．

参考文献[1] Nakahashi, K., “High-Density Mesh Flow Computations with Pre-/Post-Data Compressions,” AIAAPaper 2005-4876, 2005.
[2] Ishida, T., Takahashi S., and Nakahashi K., “Efficient and Robust Cartesian Mesh Generation for
Building-Cube Method,” Journal of Computational Science and Technology, Vol. 2, No. 4, pp.
435-446, 2008.
[3] Onishi, K., Tsubokura, K., Obayashi S., and Nakahashi K., "Vehicle Aerodynamics Simulation for the
Next Generation on the K Computer: Part 2 Use of Dirty CAD Data with Modified Cartesian Grid
Approach," SAE International Journal of Passenger Cars- Mechanical Systems, Vol. 7, pp. 528-537,
2014.
[4] Sakai, R., Sasaki, D., Obayashi, S., and Nakahashi, K., “Wavelet-based Data Compression for Flow
Simulation on Block-Structured Cartesian Mesh,” International Journal for Numerical Methods in
Fluids, Vol. 73, No. 5, pp. 462-476, 2013.
[5] Su, X., Yamamoto S., Nakahashi K., “Analysis of a Meshless Solver for High Reynolds Number Flow,”
International Journal for Numerical Methods in Fluids, Vol. 72, No. 5, pp. 505-527, 2012.
[6] Aftosmis, M. J., Berger, M. J., and Murman, S. M., “Applications of Space-Filling Curves to Cartesian
Methods in CFD,” AIAA Paper 2004-1232, 2004.
[7] Kobayashi, H., “The Subgrid-Scale Models based on Coherent Structures for Rotating Homogeneous
Turbulence and Turbulent Channel Flow,” Physics of Fluids, Vol. 17, pp. 045104, 2005.

— 9 —

SENAC Vol. 49, No. 3（2016. 7）［大規模科学計算システム］

三次元可視化システムと可視化事例の紹介
共同研究支援係

共同利用支援係1. はじめに東北大学サイバーサイエンスセンター（以下、本センター）では、大規模科学計算システムを利用して得られたシミュレーション結果を可視化する環境として「三次元可視化システム」を提供しています。このシステムでは、GPU を搭載した 4 台の計算サーバと可視化ソフトウェアによる可視化処理や、大画面ディスプレイを使った高精細な三次元立体視を行うことができます。
また、利用者支援活動の一環として、本センターの技術職員による可視化支援の取り組みも行っています。本稿では、三次元可視化システムの概要とこれまでに本センターで支援を行った可視化事例を紹介します。

2. 三次元可視化システムの概要
三次元可視化システムは、三次元立体視対応 50 インチ LED モニタを 12 面配置した大画面ディスプレイと、演算結果の可視化処理およびディスプレイへの描画を行う可視化サーバ 4 ノードで構成されています。大画面ディスプレイは最大 7,680×3,240 画素の高精細表示が可能です。
可視化サーバは、各ノードにインテル Xeon プロセッサ E5-2670 を 2 基、メモリを 64GB、グラフィックボード NVIDIA Quadro K5000 を搭載しています。可視化サーバから本センターの大規模科学計算システムのファイルサーバに直接アクセスできるようになっており、本センターの計算機で得られたデータを別環境にコピーすることなく三次元可視化システムで利用することができます。なお、研究室等で計算したデータを持ち込んで利用することも可能です。可視化ソフ
トウェアは CYBERNET の AVS/Express MPE を採用しており、大画面ディスプレイに可視化コンテンツを三次元表示することができます。表示された可視化コンテンツは、液晶シャッターメ
ガネを通すことで立体的に見えます。再生しながら自由自在に回転・拡大・移動することができ、様々な視点から可視化コンテンツを見ることができます。
三次元可視化システムは、本センター1F の可視化機器室に設置しています（図 1）。可視化機
器室の壁面と大画面ディスプレイはほぼ同等の大きさのため、より没入感のある三次元立体視を体験することができます。大画面ディスプレイは 12 面全てを使用した全画面立体視の他に、3×3 画面、2×2 画面など様々な表示パターンが可能で、プレゼンテーションや Polycom によるテレビ会議等でも利用することができます（図 2）。
三次元可視化システムの利用方法は、本センターのホームページ[1]をご参照ください。

図 1 三次元可視化システム（可視化機器室）

— 10 —

SENAC Vol. 49, No. 3（2016. 7）

図 2 ディスプレイ表示パターンの例

図 3 三次元可視化システム利用の様子

3. AVS/Express による可視化コンテンツ作成
可視化コンテンツの作成には、可視化ソフトウェア AVS/Express を使用します。AVS/Express
は GUI 画面上で、モジュールと呼ばれる四角い箱の形をした様々な可視化機能をつなぎあわせて可視化ネットワークを作ることで、可視化コンテンツを作成していきます（図 4）。利用可能なモジュールはおよそ 1,000 個もあり、それらを任意に組み合わせることで多様な可視化処理を行うことができます。なお、スクリプトで可視化処理を自動化し実行することも可能です。
入力データは、テキスト形式／バイナリ形式のどちらにも対応しています。データ読込速度はバイナリ形式の方が速いので、大規模データの場合はバイナリ形式でデータを用意することをお勧めします。また、大規模なデータは、読込だけでなく、可視化処理（加工／描画／出力）にも非常に時間がかかります。そこで、可視化処理では一般的にデータの間引きを行います。
AVS/Express にはデータを間引くためのモジュールも備わっていますので、あらかじめ間引いた
入力データを用意しなくとも、AVS/Express 上で可視化した画像を見ながらデータの間引き度合いを調整することが可能です。入力データが構造格子型・離散データ・UCD 型の場合は、デー
タのフォーマット情報を記述したヘッダファイル（AVS 共通書式）を介してデータを読み込みます。よって、可視化用にフォーマットを整えた入力データを別に用意するのではなく、シミュレ
ーション結果をそのまま入力データとして読み込むことができます。
（ただしデータのフォーマッ
トによっては整形が必要な場合もあります。）そのほか、plot3D や STL など多数のフォーマット
に対応しています。

三次元可視化システムと可視化事例の紹介— 11 —

出来上がった可視化コンテンツは、画像や動画として保存して持ち出すことができます。汎用的な画像・動画の形式での保存も可能ですが、AVS/Express 独自の 3D アニメーションファイル「GFA 形式」での保存をお勧めします。GFA 形式のファイルは、AVS/Express をインストール
していないパソコンでも、CYBERNET のフリービューワ「3D AVS Player」[2] を用いて再生することができます。AVS/Express 上で再生するのと同様に、三次元動画として再生しながら自在に視点変更することができ、プレゼンテーション等でも利用することができます。
AVS/Express は、本センターの可視化機器室で利用することができます。詳しい使い方は、本センターの講習会資料[3]や AVS/Express の各種マニュアルをご参照ください。AVS/Express の各種マニュアルは可視化機器室にあります。

図 4 可視化ネットワークの例

4. 可視化事例紹介
本センターで作成および作成支援を行った可視化の事例を紹介します。これらの可視化コンテ
ンツは、本センターの見学コースのひとつとして、センター来訪者にも公開しています。スーパ
ーコンピュータや並列コンピュータの計算結果を分かりやすい形で伝えられるため、本センター
や利用者の広報活動としても役立っています。

4.1

フラーレンの爆発解離シミュレーション

東北大学大学院理学研究科 河野研究室 山崎馨氏が研究された、X 線照射によりフラーレンが爆発解離する様子のシミュレーション[4] を三次元動画として可視化しました（図 5）。出来上がった可視化コンテンツのファイルサイズは 94MB（GFA 形式）、201 フレームからなります。粒子の色は、電荷の違いにより色づけしています。作成した可視化コンテンツを、本研究者の河野先生、山崎氏に三次元立体視で体感してもらったところ、奥行き情報の視覚的な認知が可能となり、二次元画像よりも時間経過による構造の変化を詳細に観測できるので、より深く理解することができる、構造の妥当性の直観的な検証が可能になると期待される、との感想が得られ、三次元立体視による有意性を感じてもらうことができました。

— 12 —

SENAC Vol. 49, No. 3（2016. 7）

図 5 フラーレンの爆発解離シミュレーション

4.2

DNA 二重らせんの切断シミュレーション

東北大学大学院理学研究科 河野研究室 菱沼直樹氏が研究された、放射線による DNA らせん
構造の切断シミュレーション[5] を、本センターの技術職員の支援のもと、河野研究室で三次元動画として作成されました（図 6）。この可視化コンテンツは、2015 年オープンキャンパスで「飛び出すデジタル 3D 映像を体感しよう！DNA 鎖切断動画公開」と題して公開されました。紙面ではなかなかわかりにくい DNA のらせん構造を三次元可視化システムにより立体的に体感することができ、見学に訪れた方々も非常に興味深く見ていました。

図 6

DNA 二重らせんの切断シミュレーション三次元可視化システムと可視化事例の紹介

4.3— 13 —

プラズマ熱流動場のシミュレーション

大阪大学接合科学研究所 茂田正哉先生が研究された、プラズマ熱流動場のシミュレーション[6] を三次元動画として可視化しました（図 7）プラズマトーチ、RF 誘導コイル、トーチ内の温度変化、流れ場を可視化しています。出来上がった可視化コンテンツのファイルサイズは 536MB（GFA 形式）、400 フレームからなります。入力データは 267 万点の格子点を持つ大規模なデー
タであったため、可視化するにあたり、バイナリ形式に変換およびデータの間引きを行いました。
トーチ内の全体の色およびトーチ中心断面の色は、プラズマの温度変化を示しています。流れ場
は擬似的に流れに粒子を乗せて可視化しています。粒子の色は流速で色付けをしています。三次
元立体視により、トーチ内部でらせん形状を描いて複雑に動く流れ場の様子を直感的に確認することができます。

図 7 プラズマ熱流動場のシミュレーション

— 14 —

4.4

SENAC Vol. 49, No. 3（2016. 7）

航空機エンジン騒音の音圧伝搬シミュレーション

金沢工業大学 佐々木大輔先生、東北大学大学院工学研究科 福島裕馬氏が研究された、航空機
エンジン騒音の音圧伝搬シミュレーション[7] を三次元動画として可視化しました（図 8）。ある
時刻の音圧分布を様々な断面で三次元静止画にしたものをまとめて動画にしており、出来上がっ
た可視化コンテンツのファイルサイズは 107MB（GFA 形式）、25 フレームになります。赤い部
分が最も音圧の高い部分を示しており、エンジン回りやエンジンに近い機体部分で圧力の高い分布になっていることが可視化した画像から見て取れます。

図 8 航空機エンジン騒音の音圧伝搬シミュレーション

4.5

津波浸水被害の再現シミュレーション

東北大学災害科学国際研究所 越村俊一先生が研究された、東日本大震災での宮城県女川町の津波浸水被害の再現シミュレーション[8] を三次元動画として可視化しました（図 9）。500m×320m の区域を 33cm メッシュで分割して計算された大規模なデータのため、データの間引きを行い可視化しています。出来上がった可視化コンテンツのファイルサイズは 776MB（GFA 形式）、
1401 フレームからなります。津波の色は波高により色づけをしています。町の地形や構造物は震災前の地形デ―タと航空写真から再現しています。津波がどのように押し寄せ、町を覆っていったのかが、可視化した動画から確認することができます。

5. おわりに本センターの三次元可視化システムおよび可視化支援の例を紹介しました。本センター内で大規模科学計算からその結果の可視化までの一連の処理を行うことができます。ぜひ研究の強力なツールとして三次元可視化システムを活用していただければ幸いです。

三次元可視化システムと可視化事例の紹介— 15 —

図 9 津波浸水被害の再現シミュレーション

謝辞
本稿を執筆するにあたり、可視化データを提供いただいた、東北大学大学院理学研究科 河野研究室 河野裕彦先生、山崎馨氏、菱沼直樹氏、大阪大学接合科学研究所 茂田正哉先生、金沢工業大学 佐々木大輔先生、東北大学大学院工学研究科 福島裕馬氏、東北大学災害科学国際研究所 越村俊一先生をはじめ、多くの方々にご協力ご支援をいただきました。心より感謝申し上げます。
参考文献[1] 三次元可視化システムの利用方法 http://www.ss.cc.tohoku.ac.jp/service/vsr.html[2] フリービューワ「3D AVS Player」

http://www.cybernet.co.jp/avs/download/player.html[3] 講習会資料「可視化システムの利用法」 http://www.ss.cc.tohoku.ac.jp/guide/archives.html[4] 山崎馨, 上田潔, 河野裕彦,「X 線自由電子レーザーパルスによるフラーレン超多価カチオン C60q+の爆発解離の動力学シミュレーション」, SENAC Vol.48 No.3 (2015-7) , pp.1-6 , 2015[5] 及川啓太, 菱沼直樹, 菅野学, 木野康志, 秋山公男, 河野裕彦, 短鎖モデル DNA の鎖切断過程：
化学反応動力学による解析, 日本化学会第 96 春季年会(2016), 2016 年 3 月 24 日, 同志社大学 京
田辺キャンパス, 京都, 2016[6] 茂田正哉, 「DC-RF ハイブリッド熱プラズマ流の非定常 3 次元数値シミュレーション」, SENAC
Vol.46 No.3 (2013-7) , pp.13-17, 2013[7] 福島裕馬, 大林茂, 佐々木大輔, 中橋和博, 「Building-Cube Method を用いたエンジンナセルイ
ンレットからの騒音伝播解析」, SENAC Vol.47 No.1 (2014-1) , pp.35-45 , 2014[8] S. Koshimura et al., 「The impact of the 2011 Tohoku earthquake tsunami disaster andimplications to the reconstruction」, Soils and Foundations 54 (2014) , pp.560–572 , 2014

— 16 —

SENAC Vol. 49, No. 3（2016. 7）［お知らせ］

サイバーサイエンスセンター講習会のご案内

サイバーサイエンスセンターでは、スーパーコンピュータ利用入門編、プログラムの高速化、並列化、各種アプリケーション、ネットワーク入門の講習会を企画しております。すでに利用登録をされている方はもとより、サイバーサイエンスセンターのシステムに興味をお持ちの方等、どなたでも受講可能です。今後開催予定の講習会日程は以下になります。みなさまの参加をお待ちしております。

第8回
日

ネットワークとセキュリティ入門

程

8/2(火)

講師：水木（サイバーサイエンスセンター）

13:30～15:00

15:00～16:00

ネットワークの仕組み

セキュリティ対策

内 容：ネットワークを利用する際、危険から自分の身を守るためには、まずネットワークの仕組を理解することが大事です。本講習会では、東北大学のネットワーク TAINS の概要、IP アドレス・ドメイン
名、Web や電子メールの仕組みなど、ごく基本的なネットワーク技術について解説します。また、Windowsを対象として、セキュリティ上の対策を説明します。
受講対象：初心者(本講習会の内容は、ごく基本的なものです。例えば、IP アドレスについてご存知ない方や、電子メールがどのように配送されるのかご存知ない方などが対象となります。昨年の講習会資料
がウェブで確認できます。そちらも参考にして参加をご検討ください。） 教員、学生、事務職員（事務補佐員等含む）どなたでも参加可能です。
申込締切 7/31(日)

第9回

Gaussian 入 門

講 師：岸 本（ 理 学 研 究 科 ）日 程

13:00～15:00

15:20～17:00

8/30(火)Gaussian の基本的な使い方

休憩・見学

実

習

内容：Gaussian は、非経験的分子軌道計算プログラムとして広く使用され、高い評価を受けているもののひとつです。広範囲にわたる非経験的モデルおよび半経験的モデルをサポートしています。今回は、入門編として基本的な使い方を紹介いたします。
申込締切 8/26(金)第 10 回MARC 入門

講 師 : 内 藤（ 工 学 研 究 科 ）日 程

13:00～15:00

15:20～17:00

8/31(水)MARC 演習（フレームの変形解析など）

休憩・見学

Marc 演習(鋼板の面内引張り問題など)

内容：MARC は、汎用有限要素法プログラムとして広く世界中で使用され、最も評価を受けているプログラ
ムのひとつです。今回は入門編として基本的な使い方から紹介いたします。講習会の大部分は実際に手を動かす演習とします。円孔を有する鋼板の面内引張り問題や、H 形鋼の局部座屈解析など、力学問題(Mechanics)の例題を通じて、MARC の基本的な操作方法を学んでいただきます。
申込締切 8/29(月)第 11 回Mathematica 入門

日 程

13:00～14:30
・端末の使い方・はじめに・コアとなる言語

9/6(火)

講 師 :横 井 (情 報 科 学 研 究 科 )14:50～16:50
休憩・見学

・数学とアルゴリズム
・可視化とグラフィックス

内容：Mathematica は、Stephen Wolfram によって作られた、プログラミング言語を備えた数式処理シス
テムです。 Mathematica の機能は、数値計算、記号計算、グラフィックスという 3 つに大別でき、この 3つが一体となって使いやすいインターフェイスを提供しています。今回は、入門編として基本的な使い方を紹介いたします。
申込締切 9/2(金)— 17 —

サイバーサイエンスセンター講習会のご案内

第 12 回日 程
9/26(月)UNIX 入門

講 師：山 下 ( 情 報 部 情 報 基 盤 課 )13:00～14:30
・大規模科学計算システムの概要
・UNIX とは・基本的な UNIX コマンドと演習

14:30～16:00
・X Window System について・エディタ（VI）の簡単な使い方
・シェルスプリクトの作成 ・実行

内容：これからセンターを利用する方、UNIX 初心者の方を対象に UNIX 入門編の講習を行います。
（詳細は次頁参照）
申込締切 9/21(水)第 13 回

大規模科学計算システムの利用法

講 師 :大 泉 (情 報 部 情 報 基 盤 課 )日 程

13:00～14:00

14:00～14:15

14:15～15:30

9/27(火)大規模科学計算システムの
特徴と概要

見学

基本的な利用法

内容：大規模科学計算システムの紹介と基本的な利用法の講習を行います。（詳細は次頁参照）
申込締切 9/23(金)第 14 回Open MP プログラミング入門

講 師：小 松 ( サ イ バ ー サ イ エ ン ス セ ン タ ー )日 程

13:00～14:00

14:00～17:00

9/28(水)OpenMP の概要

・OpenMP による並列化
・実習

内容：OpenMP 指示文を利用した並列プログラミングについて、その基礎を実習形式で講習します。
申込締切 9/26(月)第 15 回日 程
9/29(木)MPI プログラミング入門
10:00～12:00
・並列処理の概念
・MPI の概要
・主な手続き講 師 :小 松 (サ イ バ ー サ イ エ ン ス セ ン タ ー )13:00～17:00
昼休み

並列化の手法

内容：MPI の主な手続きの使用方法や、MPI を使った並列化プログラムを実例をあげながら解説します。
また、性能解析およびチューニング技法の解説、簡単なプログラミング実習も行う予定です。
申込締切 9/27(火)第 16 回SX-ACE における高速化技法の基礎＋（ハンズオンセミナー）
講 師 :江 川 (サ イ バ ー サ イ エ ン ス セ ン タ ー )日 程
9/30(金)

10:00～12:00
高速化技法の基礎 1

昼休み

13:00～14:00

14:00～17:00

高速化技法の基礎 2

ハンズオンセミナー*

内容：SX-ACE での高速化技法の基礎を実習形式で講習します。
* ハンズオンセミナー
講習終了後、事前に提出いただいたプログラムについて、センター教職員、NEC の技術者からのアドバ
イスを得ながら、プログラムの高速化・並列化を行います。ハンズオンセミナーに参加を希望される方は 9/16 まで持ち込みプログラムの事前提出が必要です。詳しくは、申込後こちらから個別にご連絡いたします。なお、ハンズオンセミナーのみの参加はできません。
申込締切 9/28(水)— 18 —

SENAC Vol. 49, No. 3（2016. 7）

これから行われる講習会の中から、以下 2 つの講習会についてさらに詳しく紹介いたします。

第 12 回講習会「UNIX 入門」

この講習会は、UNIX 初心者を対象に初歩から丁寧に講習いたします。講習は、各自端末を使用し、受講者専用の ID でログインして操作をしながら、基本的なコマンド、ファイルの操作、エディタ（VI）など、UNIX の基本を学びます。講習の後半には VI を使用して簡単なシェルスプリクトの作成と実行も行ってみます。まったくの初心者でも、UNIX の基本を半日で学ぶことができます。

第 13 回講習会「大規模科学計算システムの利用法」

この講習会は、当センターのスーパーコンピュータと並列コンピュータを初めて使う方を対象に講習いたします。初心者にもわかりやすく、それぞれのシステムの概要と特徴を説明します。また受講者には端末を実際に操作していただき、例題を使って基本操作を行い、スーパーコンピュータの利用の入口を体験していただきます。大規模科学計算システムの特徴と概要の説明後、通常一般公開していない、スーパーコンピュータ、並列コンピュータの見学会を行います。3 時間の講習で、サイバーサイエンスセンターのシステムの概要を知り、基本的な利用法を学ぶことができます。

他の講習会も、当日の受講者のレベルになるべく合わせて講習を進めております。多くのみなさ
まの参加をお待ちしております。

《講習会共通事項》
会場：サイバーサイエンスセンター（地下鉄東西線青葉山駅北 1 出口より徒歩 3 分）本館
当日受付：講習会会場入口（受付は開始 5 分前までにお願いします）
申込方法：「サイバーサイエンスセンター」ウェブサイト ＞＞「講習会」よりお申込みください。

http://www.ss.cc.tohoku.ac.jp/guide/＜問合せ先＞
サイバーサイエンスセンター共同利用支援係

Tel:795-3406

e-mail:uketuke@cc.tohoku.ac.jp

— 19 —

サイバーサイエンスセンター講習会のご案内

講習会の様子1

スーパーコンピュータ SX-ACE

講習会の様子 2

並列コンピュータ LX 406Re-2

— 20 —

SENAC Vol. 49, No. 3（2016. 7）[利用相談室便り]［利用相談室便り］

平成28年度の利用相談について

今年度も 5 月よりサイバーサイエンスセンター本館利用相談室で利用相談を行っています。日程
等詳細は次頁をご覧ください。相談内容によってはメーカ等に問い合わせる場合や、時間を要する場合もありますが、利用者の問題解決にむけて努めております。直接面談のほかに、メールや電話での相談も受けておりますのでお気軽にご相談ください。

・プログラムを高速化するにはどうしたらいいの？
・プログラムを並列化してもっと速く計算したい！
・スパコンでプログラムを動かしても速さがPCと変わらないんだけど、どうして？
・研究室のコンピュータではメモリが足りない！
・研究室の電気代高騰で困っている。
・コンピュータの管理は面倒。研究に専念したい。
・サービスしているアプリケーションを研究室から利用するにはどうすればいいの？
このような、スーパーコンピュータ利用に関する疑問や問題をお持ちの方、これから利用してみ
たいとお考えの方、一度相談してみてはいかがでしょうか。また、サイバーサイエンスセンター本館相談室には、各種マニュアル、書籍も揃えています。相談室での閲覧、貸し出し（一部の書籍､マニュアルを除く）も可能ですのでご活用ください。

東北大学サイバーサイエンスセンター本館1階 利用相談室
所在地：
Tel
:

仙台市青葉区荒巻字青葉 6-3 （地下鉄東西線青葉山駅 北 1 出口より徒歩 3 分）
022-795-6153 学内内線 92-6153
不在の場合は 022-795-3406(3 階共同利用支援係)
e-mail : sodan05@cc.tohoku.ac.jp
e-mail の場合、曜日、時間帯によっては返信に少しお時間をいただくことがあります。あらかじめご了承ください。

サイバーサイエンスセンター
本館（右）、2 号館（正面）
利用相談室

— 21 —

平成 28 年度の利用相談について

平成 28 年度利用相談日程と主な担当分野
ﾃｸﾆｶﾙｱｼｽﾀﾝﾄ（ 所 属 ）

曜日・時間

月

２－４時

火

２－４時

水

２－４時

主な担当分野・スーパーコンピュータ
・並列コンピュータ
佐々木大輔（情報基盤課共同研究支援係）
・Fortran
・大判プリンタ
・可視化システム・スーパーコンピュータ
齋藤 敦子（情報基盤課共同研究支援係）
・並列コンピュータ
・大判プリンタ
海野

木

２－４時

森谷

金

２－４時

小松

事前予約

山下

悟

（理学研究科化学専攻）

・アプリケーション（Gaussian）

・スーパーコンピュータ
・並列コンピュータ
友映（情報基盤課共同研究支援係）
・Fortran
・大判プリンタ・スーパーコンピュータ
・並列コンピュータ
一彦（サイバーサイエンスセンター）・高速化（ベクトル化、並列化）
・Fortran ・C/C++
・アプリケーション全般
・高速化（ベクトル化、並列化）
毅 （情報基盤課共同利用支援係）
・Fortran
・負担金*上記以外の時間帯に面談・電話での相談を希望の方は、3 階窓口（共同利用支援係）まで
相談内容をお申し出ください。センター内担当者に取り次ぎます。

テクニカルアシスタントの自己紹介佐々木

大輔（ささきだいすけ）

東北大学情報部情報基盤課共同研究支援係

技術一般職員

担当は毎週月曜日 14～16 時となっております。主にスーパーコンピュータの運用と関連するサービスに関する仕事に従事しています。
センターでは 2015 年 2 月から新しいベクトル型のスーパーコンピュータが導入されております。
それまでに運用していたスーパーコンピュータもベクトル型でしたが、現在運用中のスーパーコン
ピュータは利用可能なノード数が大幅に増加し CPU も 4 つのコアを持つようになりました。今後スーパーコンピュータの性能を引き出すためには、並列化を行うことが必要となってきました。セン
ターでは基本的な UNIX に関することから、スーパーコンピュータの利用法やチューニング技法に至るまでの多くの講習会を行っておりますので、ご活用いただき、性能を最大限に発揮できるようしていただければ幸いです。講習会を受講できなかった方に対しては、随時利用相談室で対応させ— 22 —

SENAC Vol. 49, No. 3（2016. 7）ていただきます。知識不足なところも多々あるかと思いますが、ご相談内容にお答えできるよう努
めていきます。今後とも、よろしくお願いいたします。

齋藤 敦子（さいとう あつこ）
東北大学情報部情報基盤課共同研究支援係

技術一般職員

センター技術職員の齋藤敦子です。今年度も火曜日（14～16 時）の利用相談員を担当することになりました。主な担当は、可視化システム、スーパーコンピュータ、並列コンピュータの利用についてです。
本センターでは、シミュレーション結果を可視化する環境として「三次元可視化システム」を提供しています。AVS/Express での可視化コンテンツ作成や、7,680×3,240 画素の大画面ディスプレ
イでの迫力ある三次元立体視を行うことができます。三次元可視化システムは、利用相談室隣の可視化機器室に設置しています。見学も可能ですので、ご興味のある方、利用検討中の方など、ぜひお声掛けください。また、具体的な利用にあたり、AVS/Express による可視化コンテンツ作成の技
術的な相談も受け付けています。少しでもみなさまのお手伝いができれば幸いです。どうぞお気軽にご相談ください。

海野 悟（うみの東北大学大学院さとる）
理学研究科化学専攻

博士後期課程 1 年

本年度より、サイバーサイエンスセンターの利用相談員として、Gaussian について担当させていただくことになりました、海野悟と申します。担当は水曜日（14～16 時）です。
Gaussian は量子化学計算のソフトウェアのデファクトスタンダードとなっており、計算化学のみならず実験分野でも広く利用されています。しかし、その利用は必ずしも簡単ことばかりではな
く、多くの計算オプションから適切な計算手法を選択する必要や計算結果の解釈など、困難なことも多くあると思います。このような問題に対して、計算方法の選択から出力結果の解析まで、相談員としてサポートしていきたいと思います。1 年間よろしくお願いいたします。

森谷 友映（もりや ともあき）
東北大学情報部情報基盤課共同研究支援係

技術一般職員

平成 24 年度から東北大学の技術職員として採用され、今年度は木曜日(14～16 時)の利用相談員を担当させて頂くことになりました、森谷と申します。現在の主な業務として、スーパコンピュータ(SX-ACE)、並列コンピュータ(LX406Re-2)の環境整備、ストレージの管理、プログラムのチュー
ニング仕事に従事しています。特に、スーパーコンピュータに関する分野は技術の進歩が早いので、その変化に対応できる基礎知識・能力の向上に取り組み、質の高いサービスを提供できるよう心がけています。
サイバーサイエンスセンターでは、A0 サイズまでの光沢紙・ソフトクロス紙対応の大判カラー
プリンタの利用、各言語のプログラミング本、各種マニュアル、講習会で行われた資料の閲覧も可

— 23 —

テクニカルアシスタントの自己紹介

能です。また、科学的、工学的分野に特化した様々なアプリケーションソフトの提供もしており、利用相談などを通じて、是非有効活用して、研究に役立てて頂けると幸いです。利用相談員として、
まだまだ未熟な部分もあり、ご迷惑もお掛けするかと思いますが、少しでも利用者のお力になれればと思っています。よろしくお願いいたします。

小松 一彦 (こまつかずひこ)

東北大学サイバーサイエンスセンター スーパーコンピューティング研究部 助教
今年度もサイバーサイエンスセンター利用者相談室で利用相談員を担当させていただくことになりました。金曜日 14～16 時の担当で、担当分野はスーパーコンピュータ(SX-ACE)、並列コンピ
ュータ(LX 406Re-2)の利用方法全般、およびアプリケーションの高速化全般になります。
計算機アーキテクチャ・大規模並列計算を専門として研究に従事しており、様々な大規模計算環
境におけるアプリケーションの最適化を通じて、次世代大規模計算機の要素技術を研究しております。利用相談では、特に，大規模計算機の計算機アーキテクチャやネットワークシステム構成などを考慮したアプリケーションの最適化・高速化に関して、微力ながらみなさまのお力になれればと思います。どうぞよろしくお願いいたします。

山下 毅（やましたたけし）

東北大学 情報部情報基盤課共同利用支援係

技術専門職員

担当分野は高速化（ベクトル化、並列化）、およびアプリケーションの利用に関することです。相談時間については事前にご相談ください。
最近では研究室のワークステーションクラスのマシンでも、マルチコア CPU と大規模メモリを使用して数値計算を行えるようになってきました。8 コア×4CPU、最大メモリ 512GB という製品もあるようです。
当センターでサービスを行っているベクトル型スーパーコンピュータ SX-ACE は、MPI ライ
ブラリを使用すれば最大 1,024 ノード（4,096 コア）での並列実行と 60TB（61,440GB）という広大なメモリ容量を使用することが出来ます。しかしながら、ベクトルマシンである SX-ACEの性能を最大限に引き出すためには、プログラムコードのチューニングが必須となります。研究室のマシンで動かしているプログラムコードをそのまま SX-ACE でコンパイル＆実行しても、その性能が発揮されることはまれです。研究室のマシンで開発されたコードを SX-ACE で実行
し、「スパコンって言っても、案外遅いなぁ。」という経験がある方は、ぜひコードの高速化についてご相談ください。

— 24 —[報

SENAC Vol. 49, No. 3（2016. 7）

告]

［報 告］

第 25 回東北 CAE 懇話会を開催しました
東北大学サイバーサイエンスセンター

小林広明

東北大学サイバーサイエンスセンターは、5 月 13 日(金)に東北 CAE 懇話会と共催で「第 25 回
東北 CAE 懇話会」を開催しました。東北 CAE 懇話会は、「コンピュータとネットワークを利用し､技術創生および製品創生に関する技術、知識、経験および製品に関する事業を行うことにより、生産活動に従事する社会人に対する社会教育の推進を図るとともに、IT 時代における知的生産活動の推進を図る」ことを目的として活動をしている CAE 懇話会の東北支部組織で、株式会社アイ
カムス・ラボの片野圭二様を会長に、東北 6 県での CAE 技術の普及を目指して、主に CAE を積極的に導入している企業からのご講演を中心とした懇話会を年 2 回程度開催しております。
第 25 回東北 CAE 懇話会は宮城県の幹事が中心となって企画され、「スーパーコンピュータに期待するところ」と題して行われました。本センターには基調講演の枠が与えられ「東北大学大規模科学計算システムとその利用支援について」として講演をおこないました。本講演では、サイバーサイエンスセンターのスーパーコンピュータ設備の紹介と、その産業利用支援の取り組みや産業利用事例紹介が行われました。東北 6 県の企業からの参加者からは、提供アプリケーション
やその利用形態、セキュリティ、利用料金等、幅広い質問があり、東北地域の企業においても大学のコンピュータ設備の利用に興味があることがうかがえました。
また、東京大学橋本学先生からは、「ユーザと共に成長する並列有限要素法ソフト「FrontISTR」と題する講演が行われました。「FrontISTR」は東京大学奥田・橋本研究室で開発され、Windows
や Linux の PC クラスタはもとより京などの超並列スパコンにも対応可能なオープンソースの構造
解析ソルバーです。本講演と連携して、サイバーサイエンスセンターのコンピュータを利用した
FrontISTR の実習も行われました。今後、サイバーサイエンスセンターとしてもオープンソース
ソフトウェアの導入とその普及活動に力を入れていきたいと思います。
その他、CAE の企業での活用事例として、アルプス電気（株）伊藤様からは車載装備品の開発における CAE 応用事例、三ツ星ベルト（株）徳田様からは産業用ゴムベルト開発におけるオープ
ンソース CAE ソフトウェアの活用事例の紹介がそれぞれありました。また、京都大学小山田耕二
先生からは、CAE がクラウド化していく中で、どのようにクラウドで迅速なデータ分析・可視化を支援していくかについて最新の技術動向の紹介がありました。最後に、講演者・参加者全員で、大学のスーパーコンピュータ利用に関しての意見・要望、製品開発における CAE が抱える課題等についての議論を行い、多くの活発な意見交換がなされました。
サイバーサイエンスセンターは、今後とも地域の企業の産業振興に少しでも貢献できるように、
東北 CAE 懇話会を支援し、スーパーコンピュータの民間利用の促進に貢献していきたいと考えています。

— 25 —

SENAC Vol. 49, No. 3（2016. 7）[報

告]スーパーコンピュータの民間利用に関する
Q&A セッション

交 流

会

第 23 回 NEC ユーザグループミーティング参加報告
東北大学サイバーサイエンスセンター江川隆輔

5 月 23 日〜24 日に大阪大学にて NEC ユーザグループミーティングが (NUG2016)が大阪大学サイバーメディアセンターで開催されました。本会議では、欧州、米国、日本における当該分野の研究者が集い、高性能計算システム開発からアプリケーションまで多岐にわたる成果発表、討論がなされました。特に、米国テネシー大学 Jack Dongarra 教授をはじめ、東京工業大学松岡聡教授、ドイツシュトゥットガルト大学 Michael Resch 教授、東北大学サイバーサイエンスセンターの小林広明教授など、当該分野における第一線の研究者による 4 件の基調講演では、これまでのスーパーコンピュータの変遷を辿りながら、各国の高性能計算システム運用・開発状況やエクサ
フロップシステムの実現に向けた課題を示され、将来の高性能計算の在り方に関する活発な議論がなされました。

会

場

の 様 子

— 26 —

SENAC Vol. 49, No. 3（2016. 7）[Web 版大規模科学計算システムニュースより]
大規模科学計算システムニュースに掲載された記事の一部を転載しています。

http://www.ss.cc.tohoku.ac.jp/tayori/

コンパイラのバージョンアップについて（No.220）

2016 年 4 月 20 日に C++/SX コンパイラをバージョンアップしました。詳細につきましては、リリースメモをご覧ください。
コンパイラ名

旧バージョン

新バージョン

リリースメモC++/SX

Rev. 101

Rev. 102

C++SX-Rev102 リリースメモ**

http://www.ss.cc.tohoku.ac.jp/PDF/20160420/c++sx-rev102.pdf

なお、コンパイルコマンドに変更はありません。オプションの説明は、sxman コマンドや PDF
版マニュアルで参照できます。
参照方法は、以下をご覧ください。
http://www.ss.cc.tohoku.ac.jp/super/online_manual.html（共同研究支援係，共同利用支援係）

被災地域研究者への大規模科学計算システムの無償提供について(No.223)

先般の熊本地震（熊本と大分を震源とする地震）により被災された皆様ならびにそのご家族の皆様に心よりお見舞い申し上げます。
東北大学サイバーサイエンスセンターでは、このたびの地震により研究活動に影響のあった研究者・学生に対し、被災地域への研究活動支援として、大規模科学計算システムの無償提供を実施いたします。
１．対象
熊本地震により研究活動に支障が生じた方で、スーパーコンピュータによるシミュレーショ
ンを必要とする研究者・学生。
２．応募者の資格
本センター大規模科学計算システムの利用有資格者。

Web 版大規模科学計算システムニュースより— 27 —

３．要件(1)研究支援期間は平成 28 年 6 月 17 日から平成 29 年 3 月 31 日までの間とします。
(2)研究成果、あるいは研究成果であるプログラムにより得られた結果を論文等で公表する際、本事業での支援により行われた旨の記述をお願いします。(例えば、共著者、謝辞等)。また、学会等へ報告した場合は、その別刷等の提出をお願いします。
(3)年度末に報告書(所定の様式)の提出をお願いします。また研究成果は本センター大規模科
学計算システム広報誌 SENAC への寄稿もお願いします。
４．助成内容等採択された課題の研究代表者に対し、負担金の全額を本センターが負担します(上限あり)。
５．応募締切随時募集する予定です。
６．審査方法等申請された課題は、センター内において審査した後、採択の可否について連絡いたします。
７．応募方法
応募される方は、本センターのウェブサイト各種申請用紙（http://www.ss.cc.tohoku.ac.jp/utilize/form.html）の研究支援課題申請書を利用してメールでお申し込みください。
送り先

E-mail : uketuke@cc.tohoku.ac.jp

８．問い合わせ先
共同利用支援係 TEL:(022)795-6251
E-mail : uketuke@cc.tohoku.ac.jp（スーパーコンピューティング研究部，共同利用支援係，共同研究支援係）

— 28 —

SENAC Vol. 49, No. 3（2016. 7）

利用負担金額の表示コマンドについて（No.224）

本センター大規模科学計算システムでは、利用者の利用額とプロジェクトごとに集計した負担額、請求情報を表示するためのコマンドとして ukakin, pkakin があります。また、利用者のジャーナル情報とプロジェクトごとに集計したジャーナル情報を CSV 形式で出力するコマンド
ulist, plist があります。これらのコマンドは、並列コンピュータ(front.cc.tohoku.ac.jp)にログインして使用します。
コマンド名

機

能

ukakin

利用者ごとの利用額を各システム、月ごとに表示

pkakin

プロジェクトごとに集計した負担額、請求情報を表示

ulist

利用者ごとのジャーナルを CSV 形式で出力

plist

プロジェクトごとに集計したジャーナルを CSV 形式で出力

いずれも、前日までご利用いただいた金額を表示します。コマンド使用例は大規模科学計算シ
ステムウェブページをご覧ください。
負担金の確認http://www.ss.cc.tohoku.ac.jp/utilize/academic.html#負担金の確認(共同利用支援係)

— 29 —

SENAC Vol. 49, No. 3（2016. 7）― SENAC 執筆要項 ―１．お寄せいただきたい投稿内容
次のような内容の投稿のうち、当センターで適当と判定したものを掲載します。その際に原稿の修正をお願いすることもありますのであらかじめご了承ください。
・一般利用者の方々が関心をもたれる事項に関する論説・センターの計算機を利用して行った研究論文の概要
・プログラミングの実例と解説・センターに対する意見、要望
・利用者相互の情報交換
２．執筆にあたってご注意いただく事項(1)原稿は横書きです。
(2)術語以外は、「常用漢字」を用い、かなは「現代かなづかい」を用いるものとします。
(3)学術あるいは技術に関する原稿の場合、200 字～400 字程度のアブストラクトをつけてください。
(4)参考文献は通し番号を付し末尾に一括記載し、本文中の該当箇所に引用番号を記入ください。
・雑誌：著者,タイトル,雑誌名,巻,号,ページ,発行年
・書籍：著者,書名,ページ,発行所,発行年
３．原稿の提出方法
原稿のファイル形式は Word を標準としますが、PDF での提出も可能です。サイズ*は以下を参照してください。ファイルは電子メールで提出してください。
－Word の場合－
・用紙サイズ：A4
・余白：上＝30mm 下＝25mm 左右＝25mm 綴じ代＝0
・標準の文字数（45 文字 47 行）＜文字サイズ等の目安＞
・表題＝ゴシック体 14pt 中央 ・副題＝明朝体 12pt 中央
・氏名＝明朝体 10.5pt 中央
・所属＝明朝体 10.5pt 中央
・本文＝明朝体 10.5pt
・章・見出し番号＝ゴシック体 11pt～12pt*余白サイズ、文字数、文字サイズは目安とお考えください。
４．その他(1)執筆者には、希望により本誌*（10 部以内の希望部数）と本誌 PDF 版を進呈します。
*2014 年末で、別刷の進呈は終了しました。
(2)投稿予定の原稿が 15 ページを超す場合は共同利用支援係まで前もってご連絡ください。
(3)初回の校正は、執筆者が行って、誤植の防止をはかるものとします。
(4)原稿の提出先は次のとおりです。
東北大学サイバーサイエンスセンター内 情報部情報基盤課共同利用支援係
e-mail uketuke@cc.tohoku.ac.jp
TEL022-795-3406

— 30 —

SENAC Vol. 49, No. 3（2016. 7）

スタッフ便り
今年も講習会の季節がやってまいりました。サイバーサイエンスセンターは、毎年、システムの利用法やアプリケーションの入門などをテーマとした講習会を 5～6 月頃および 8～9 月頃に開いています。私も例年 8 月に「ネットワークとセキュリティ入門」の講習会を担当しています。
大学での通常の授業とは異なり、受講生は様々な属性の方々（学生から職員・教員まで）であり、受講生全員に満足していただける講習会とするためにはどうしたら良いか悩みつつ、それなりのプレッシャーがありますが、同時に、とてもやり甲斐のある楽しい場でもあります。質問コーナーで思いがけない貴重なフィードバックを貰うことも多々あり、今年も楽しみです。この講習会が終ると夏休みも近いなーという気分になります。（T.M）

4 月に異動して来てから早 3 ヶ月が過ぎました。月日の経つのは本当に早いものです。実は、今から 17 年前の平成 11 年 4 月、まだ組織が「大型計算機センター」だった頃に、係員として在籍しておりました。その 2 年後の平成 13 年 4 月に「情報シナジーセンター」へ改組し、平成 14
年 3 月までの丸 3 年、センターには大変お世話になりました。この度、またご縁があって「サイバーサイエンスセンター」に赴任することとなり、大変嬉しく思っております。たまに懐かしさがこみ上げてきて、タイムスリップしたような少し甘酸っぱいような気持ちになりますが、本センターの 2 号館や青葉山新キャンパス、地下鉄東西線の駅等、当時は無かった新しい建物を目にしたり、本館 3 階事務室まで階段を上ったときの動悸息切れ・足腰の痛みが、私に月日の流れを教え現実に戻してくれます。
「出戻り」ですが、新たな気持ちでセンターに関する知識や情報を習得し、皆様のお役に立てるよう精一杯努めたいと思いますので、今後ともどうぞよろしくお願いします。（T.Y）

SENAC 編集部会
小林広明 水木敬明 後藤英昭
江川隆輔 佐藤恵美子 吉田貴子
大泉健治 小野 敏 斉藤くみ子
平成 28 年 7 月発行
編集・発行 東北大学
サイバーサイエンスセンター
仙台市青葉区荒巻字青葉 6-3
郵便番号 980-8578
印 刷
東北大学生活協同組合
プリントコープ
開発中の青葉山キャンパスࢩࢫࢸ୍࣒ぴィ⟬ᶵࢩࢫࢸ࣒ᶵ ✀ࢫ࣮ࣃ࣮ࢥࣥࣆ࣮ࣗࢱ

6;$&(୪ิࢥࣥࣆ࣮ࣗࢱ

/;5H

ࢧ࣮ࣂ࡜࣍ࢫࢺྡ
ࣇࣟࣥࢺ࢚ࣥࢻࢧ࣮ࣂIURQWFFWRKRNXDFMS

66+ ࢔ࢡࢭࢫㄆド㘽⏕ᡂࢧ࣮ࣂ

NH\FFWRKRNXDFMSࢧ࣮ࣅࢫ᫬㛫฼⏝ࢩࢫࢸ࣒ྡ➼฼⏝᫬㛫ᖏ

ࢫ࣮ࣃ࣮ࢥࣥࣆ࣮ࣗࢱ

㐃

⥆

㐠

㌿

୪ิࢥࣥࣆ࣮ࣗࢱ

㐃

⥆

㐠

㌿

ࢧ ࣮ ࣂ

㐃

⥆

㐠

㌿

ྍど໬ᶵჾᐊ

ᖹ᪥ 㹼

㤋ෆ฼⏝ᖹ᪥ 㹼

ࢫ࣮ࣃ࣮ࢥࣥࣆ࣮ࣗࢱ㸦6;$&(㸧ࡢ฼⏝ᙧែ࡜ไ㝈್฼⏝ᙧែ฼⏝ࣀ࣮ࢻᩘ ᐇ⾜᫬㛫ไ㝈ͤ㸦⤒㐣᫬㛫㸧
ࠥ

つᐃ್㸸 㐌㛫᭱኱್㸸 ࣨ᭶ࠥ

つᐃ್㸸 ࣨ᭶᭱኱್㸸 ࣨ᭶ ᫬㛫

ࠥ ᫬㛫

ࠥ ᫬㛫

㏻ᖖ

↓ᩱ
ࢹࣂࢵࢢ

࣓ࣔࣜࢧ࢖ࢬไ㝈 T ࢜ࣉࢩࣙࣥ E ࢜ࣉࢩࣙࣥ

*%ࣀ࣮ࢻᩘ

฼⏝ࣀ࣮ࢻᩘ

V[*%
*%ࣀ࣮ࢻᩘI
GHEXJ

฼⏝ࣀ࣮ࢻᩘ

ͤࣀ࣮ࢻ௨ୖࢆ฼⏝ࡋࡓ୪ิᐇ⾜࡟ࡣ03,ࡢ฼⏝ࡀᚲ⏝୪ิࢥࣥࣆ࣮ࣗࢱ㸦/;5H㸧ࡢ฼⏝ᙧែ࡜ไ㝈್฼⏝ᙧែ฼⏝ࣀ࣮ࢻᩘͤᐇ⾜᫬㛫ไ㝈㸦⤒㐣᫬㛫㸧࣓ࣔࣜࢧ࢖ࢬไ㝈

㏻ᖖ

ࠥ

つᐃ್㸸 ࣨ᭶᭱኱್㸸 ࣨ᭶*%ࣀ࣮ࢻᩘ

T ࢜ࣉࢩࣙࣥ E ࢜ࣉࢩࣙࣥ
฼⏝ࣀ࣮ࢻᩘ
O[࢔ࣉࣜࢣ࣮ࢩࣙࣥ

࡞ࡋ

*%఍ヰᆺ㸦 ࢥ࢔ࡲ࡛㸧 ᫬㛫㸦&38 ᫬㛫ྜィ㸧

*%

ͤࣀ࣮ࢻ௨ୖࢆ฼⏝ࡋࡓ୪ิᐇ⾜࡟ࡣ03,ࡢ฼⏝ࡀᚲ⏝D