኱つᶍ⛉Ꮫィ⟬ࢩࢫࢸ࣒㛵㐃᱌ෆ㸺኱つᶍ⛉Ꮫィ⟬ࢩࢫࢸ࣒㛵㐃ᴗົࡣࠊࢧ࢖ࣂ࣮ࢧ࢖࢚ࣥࢫࢭࣥࢱ࣮ᮏ㤋ෆࡢ᝟ሗ㒊᝟ሗᇶ┙ㄢࡀᢸᙜࡋ࡚࠸ࡲࡍࠋ㸼KWWSZZZVVFFWRKRNXDFMS㝵㟁ヰ␒ྕ䠄ෆ⥺䠅 
HPDLOಀ䞉ᐊྡ฼⏝┦ㄯᐊ

୺䛺䝃䞊䝡䝇ෆᐜ䝃䞊䝡䝇᫬ 㛫ᖹ᪥ィ⟬ᶵ฼⏝඲⯡䛻㛵䛩䜛┦ㄯ୍㝵  䡚
኱ุ䝥䝸䞁䝍䚸฼⏝⪅➃ᮎ➼䛾 䡚฼⏝ 

ྛ䝉䞁䝍䞊ᗈሗ䛾㜀ぴ䡚

Ṕ௦䛾኱ᆺィ⟬ᶵ➼䛾ᒎ♧䠖䡚䠖  
VRGDQ#FFWRKRNXDFMS┦ㄯဨ୙ᅾ᫬

฼⏝⪅ㄯヰᐊᒎ♧ᐊ ศᩓ䡶䢙䢇䢛䡩䡬䡼༤≀㤋 ྍど໬ᶵჾᐊ

 ୕ḟඖྍど໬䝅䝇䝔䝮䛾฼⏝䡚

⥲ົಀ  
VRP#FFWRKRNXDFMS⥲ົ䛻㛵䛩䜛䛣䛸䡚

఍ィಀ  
NDLNHL#FFWRKRNXDFMS఍ィ䛻㛵䛩䜛䛣䛸䚸㈇ᢸ㔠䛾ㄳồ䛻㛵䛩䜛䛣䛸䡚୕ ඹྠ◊✲ᨭ᥼ಀ   
UVVHF#FFWRKRNXDFMS㝵䠄䠅ඹྠ฼⏝ᨭ᥼ಀ
  ཷ㻌 ௜ XNHWXNH#FFWRKRNXDFMSඹྠ◊✲䚸ィ⟬ᶵ䝅䝇䝔䝮䛻㛵䛩䜛䛣䛸

䡚

฼⏝ᡭ⥆䛝䚸฼⏝┦ㄯ䚸ㅮ⩦఍䚸䝷䜲䝤䝷䝸䚸䜰䝥䝸䜿䞊䝅䝵䞁䛻㛵䛩䜛䛣䛸䡚

  
QHWVHF#FFWRKRNXDFMS䝛䝑䝖䝽䞊䜽䛻㛵䛩䜛䛣䛸䡚

ᅄ◊✲㛤Ⓨ㒊
㝵  ஬㝵 ➃ᮎᶵᐊ

 

3& ➃ᮎᶵ䠄; ➃ᮎ䠅䝛䝑䝖䝽䞊䜽ಀ㸦 㸧ෆࡣᮾ໭኱Ꮫෆࡢࡳࡢෆ⥺㟁ヰ␒ྕ࡛ࡍࠋ㟷ⴥᒣ࣭ᕝෆᆅ༊௨እ࠿ࡽࡣ㢌࡟  ࢆຍ࠼ࡲࡍࠋ
ᮏㄅ䛾ྡ๓䛂㻿㻱㻺㻭㻯䛃䛾⏤᮶㻌᫛࿴  ᖺ䛻ᮾ໭ᆅ༊䛾᭱ึ䛾㟁Ꮚィ⟬ᶵ䛸䛧䛶䚸ᮾ໭኱Ꮫ㟁Ẽ㏻ಙ◊✲ᡤ䛻䛚䛔䛶᏶ᡂ䛥䜜䛯䝟䝷䝯䝖䝻䞁ᘧィ⟬ᶵ䛾ྡ๓䛷 6(1$& 6(1GDL$XWRPDWLF&RPSXWHU 䛛䜙䛸䛳䛶࿨ྡ䛥䜜䛯䚹㻌

— 1 —

SENAC Vol. 50, No. 1（2017. 1）

[巻頭言]
［巻頭言］

気象予測とコンピュータ
東北大学理学研究科

教授

岩崎

俊樹

今日では、コンピュータを用いた数値シミュレーションが様々な分野で利用されるようになりましたが、数値気象予測は、その草分けと言えるでしょう。ここで、コンピュータの利用という視点でその歩みを簡単に振返ります。
第 2 次世界大戦後、フォン・ノイマンは、弾道計算のために開発された ENIAC を用いて気象予測実験を行うことを提案しました。1950 年には気象学者のジュール・チャーニーらと協力し簡略化された順圧準地衡風系の渦度方程式の数値積分に成功しました。気象庁は、1959 年に、日本の官公庁として初めて電子計算機 IBM704 を導入し、数千キロメートル四方を計算領域とする短期の数値予報業務を開始しています。もっとも、当時の予報精度は、予報官が作成した予想天気図に遠く及ばず、ほとんど見向きもされなかったと言われています。数値モデルの改善や解像度の向上により、1970 年代に徐々に利用されるようになりました。
数値気象予測には観測データに基づく初期条件が必要です。観測データ量は予測すべき変数に比べて圧倒的に少なく、かつ地域的に著しく偏在しています。このため観測システムの整備が数値気象予測の大きな課題です。1970 年代、計算領域を全球に広げ、予測時期間を短期予報から週間予報に延長することが世界的な目標となりました。そのためには全球観測を実施する必要があります。他方、大気のカオス的な性質(エドワード・ロレンツ、1963)のために誤差が成長するので、週間予報は不可能で全球観測は大いなる無駄だという意見もありました。議論の果てに、週間予報の有効性を調べるため、10 年の準備期間の後、1979 年に、衛星、船舶、ラジオゾンデなどによる壮大な 1 年間の全球大気の観測システム実験（FGGE; First GARP (Global AtmosphericResearch Program) Global Experiment）が実施されました。その結果、初期条件の精密化を図れば、予測可能期間は 1 週間より延長できることが実証され、世界各国の気象局は、中期予報（週間予報）を目指し、全球観測システムを整備し、全球数値予報モデルの性能向上に努めました。
現在でも、観測データ数は数値モデルの自由度に比べて著しく少ない状況は変わりません。限られた観測データより大気の 3 次元構造を解析するために、予測データを第一推定値とする高度なデータ同化技術が開発されています。数値気象予測のシステムでは、時間積分のみならず、初期条件を得るためにも、膨大な計算を実施しています。
数値気象予測の開始当初は 1 初期時刻 1 回の予測計算が通例で、計算機に余裕がある限りモデルの高解像度化が図られました。しかし、1 回限りの計算では、カオスの世界では、予測は確率密度関数で表すのが望ましい。このため、摂動を加えたたくさんの初期条件から数値積分を行ない、確率密度関数を直接求める、アンサンブル予報が実用化されました。現在の週間予報では、
超高解像度予報 1 本のと、中解像度 50 本のアンサンブル予報を実行しています。アンサンブル予報から予測の信頼度の情報を提供しています。また、初期摂動は何でもよいわけではなく、データ同化システムで成長する誤差を抽出する必要があり、空間構造を決めることは重要な技術的課
題となっています。

— 2 —

SENAC Vol. 50, No. 1（2017. 1）

一般に、数値モデルの仕様は用いる計算機のアーキテクチャーに大きく依存します。数値気象
予測の計算効率に関する第一の難点は、領域が球面であることでした。予測式は緯度経度座標で最もシンプルに記述できますが、東西方向の格子間隔は極付近で他地域に比べて短くなります。
解像度の不均一は時間積分の効率を著しく低下させます。1970 年代に、時間積分に球面調和関数
展開を利用する、いわゆるスペクトル法が実用化され、実効的な解像度が全球一様となる波数切断を採用することで計算効率の向上が図られました。スペクトル法は数値計算誤差が小さく、物理量の保存性にも優れているため、ほとんどの全球モデルに採用され、球面の扱いは完了したかに見えました。しかし、スーパーコンピュータがベクトル化から超並列化に向かうと状況は変化しました。スペクトル法ではタイムステップごとにルジャンドル変換・逆変換を行います。高解
像度化に伴い、ルジャンドル変換が FFT などに較べて計算効率が悪くなることに加え、全球デー
タの再配列に伴うメモリー間のデータ転送の問題が生じました。雲や放射、乱流の計算では鉛直
一次元データを同じ処理装置に入力する必要がありますが、東西の FFT では東西一次元データを、南北のルジャンドル変換では南北 1 次元データをそれぞれ同じ処理装置に入力する必要があります。数値モデルを高解像度化すると、すべての変数を同じメモリーに置くことは難しく、変換のたびにデータ転送が発生します。気象予測の場合、計算時間だけではなく転送時間も含めた経過
時間を抑える必要があります。地球シミュレータではデータ転送時間の短縮を図るため、クロス
バーケーブルと呼ばれる膨大な筐体間配線が装着されました。他方、将来を見越し、スペクトル法を見切り、正 20 面体格子や（2 枚皮を張り合わせた野球ボールのような）Yin-Yang 格子など、
グローバルなデータ転送を必要としない全球モデルが開発されており、今でも、目が離せない研
究分野となっています。
数値気象予測モデルの計算効率低下のもう一つの原因は、非断熱過程の扱いにあります。とりわけ、雲の有無に関連し、対流不安定、凝結過程、雲の放射過程等の計算にはたくさんの条件文が含まれ、高速化の大きな障害となっています。これらの条件文はベクトル化や並列化の障害となるばかりではなく、雲の有無とその種類によって計算量が変化するため、処理装置のロードバ
ランスを著しく低下させます。非断熱加熱・冷却による温度差は大気運動の主たる駆動力であり、非断熱過程の計算精度は数値モデルの予測精度を実質的に大きく支配します。精密なモデルほど
湿潤プロセスに計算時間を多く配分しています。また、非断熱過程のプログラムは流体計算などに比べて著しく冗長になり、並列化への対応なども相当の作業量となります。その結果、数値気
象予測モデルは並列化効率が上がらず、計算科学の業界では厄介者扱いされる原因となっています。
東北大学のサイバーサイエンスセンターでは、ベクトル化機能を重視した機種選定を行っているため、これまで開発したソフトウェアが有効に活用され、この方面の利用者に多大な恩恵を与えています。また、今年度開始した計算ノードの占有利用は実行スケジュールの自己管理を可能とし、開発効率を大いに向上させました。特に、気象分野ではリアルタイムで定時起動ジョブを実行する場合があり、これまでは研究室のサーバーでしか実行できませんでしたが、ノードの占有利用によりセンターでも実行可能となり、マイコンピュータのイメージでスーパーコンピュー
タを利用することができるようになりました。関係者のご尽力に感謝致します。

SENAC Vol. 50, No. 1（2017. 1）— 3 —［共同研究成果］

DNA 鎖切断の反応動力学シミュレーションとAVS/Express を用いた三次元可視化
菱沼 直樹 1，及川 啓太 1，岡田 朝彦 2，菅野 学 1，山崎 馨 1,3，
Wilfredo Credo Chung1,4，齋藤 敦子 5，河野 裕彦 1
1
東北大学大学院 理学研究科 化学専攻，2 東北大学 理学部 化学科，
3
北海道大学大学院 理学研究院 化学部門，4Department of Chemistry, De La Salle University，5
東北大学 情報部 情報基盤課

近年，電子状態計算プログラムの高速化や計算機の高性能化が進み，多くの原子を含む複雑な分子の化学反応動力学シミュレーションが行えるようになってきた[1]。ナノサイエンスにおける材料の合成や機能評価，あるいは，生体系の構造や反応機構の解明などに実際に適用されている。
また，その対象は平衡状態のみならず，非平衡な問題にも広がっている。実際，生体内の反応は非平衡開放系の問題として捉えるべきで，反応サイトにおける原子組換えに要するエネルギー（たとえば，反応の遷移状態のエネルギー）の計算だけではなく，エネルギーや電荷がどのような時
間・空間スケールで開放系の中を移動していくかにも答えることが要求されてくるであろう。そのような問題の一つとして，我々は DNA の鎖切断などの損傷過程を取り上げ，反応動力学シミュレーションを適用して，DNA 鎖切断機構の分子論的理解を進めようとしている。本稿では，
DNA 鎖切断シミュレーションの結果を概説し，その動力学過程の可視化や解析に用いた東北大学
サイバーサイエンスセンターの三次元可視化システムの利用法について紹介する。

1.

はじめに

DNA が放射線に曝されると，核酸塩基の脱離や二量体化，鎖切断が起こることが知られている。
これらは塩基配列の転写において問題となり，人体に発がんなどの悪影響を及ぼす。DNA の損傷
は，放射線のエネルギーが標的 DNA に直接吸収されて影響を及ぼす直接作用と，エネルギーを吸収した他の分子が DNA と反応して影響を及ぼす間接作用に分けられる。直接作用の一例としては，DNA 分子が励起あるいはイオン化し，その際発生する振動エネルギーによって DNA の共有結合が切れる過程がある。また，代表的な間接作用の一例は，放射線のエネルギーがまず水分子に吸収されて，ヒドロキシラジカル（•OH）などが生じ，それら活性酸素種が水溶液中を移動して DNA に作用する過程である。DNA 損傷は放射線だけでなく，様々な粒子源や光源によっても引き起こされる。たとえば，DNA が紫外線を吸収すると，隣り合ったピリミジン塩基（チミンとシトシン)が二量体化し，塩基対の変異を引き起こすことが知られている。また，Mathur らのグループは，DNA を含んだ水溶液に近赤外のパルスを照射すると，様々な鎖切断が起こることを見出している[2]。彼らは，発生した OH ラジカルの衝突によって DNA の鎖切断が起こり，DNAの 2 本の鎖が同じ塩基対のところで切れる 2 本鎖切断は複数の OH ラジカルの衝突が引き金になると結論づけている。また，発生した高熱によっても鎖切断は起こるが，それは DNA の 2 本の鎖のうち 1 本が切断する 1 本鎖切断に限られることを報告している。次節では，放射線により発生する熱を想定して，真空条件下の DNA 及びカウンターカチオンや水分子に囲まれた DNA の化
学結合がどのように切れていくかを調べた化学反応動力学シミュレーションの結果[3,4]を紹介する。
このようなシミュレーションでは，各原子の位置（xyz 座標）とその速度などの情報を時間ス
テップごとに出力する。次に，原子の位置を描画ソフトで表し，系がどのように変化していくかを視覚的に追跡する。しかしながら，本研究のように，対象とした DNA 分子とその周囲の分子— 4 —

SENAC Vol. 50, No. 1（2017. 1）

やイオンの総原子数が数百から千を超えるような場合，視覚的に結合切断部位を探すのはほぼ不可能である。そのため，座標情報から結合長や結合の組み換えを判定するプログラムを自作して，どこで結合の切断・形成が起こったかを判断している。一方，結合の切断を含む化学反応の理解には，結合していた 2 つの原子のみを考える“ミクロ”な情報だけでは不十分で，どのような原子が周囲に存在し，どのような影響を結合に及ぼしているかという“マクロ”な情報も必要である。
そのような目的には，系全体から結合の切断・形成が起こる領域まで瞬時にズームでき，しかも，各原子の遠近を正確に捉えることができる可視化システムが力を発揮する。我々は，DNA のような複雑な構造の時間変化を様々な視点から効率よく観察するために，東北大学サイバーサイエン
スセンターの三次元可視化システムに即したプログラムを開発した。このプログラムの作成には，光の影や透明感など様々な要素を取り込んで立体形状を画像化するレンダリングソフトウエア
POV-Ray（Persistence of Vision Raytracer）[5]の知識を応用した。第 3 節では POV-Ray の入力ファ
イルの作り方を簡単に説明し，第 4 節で三次元可視化システムを使って，動力学シミュレーショ
ンの結果をどのように表示するかを具体的に説明する。

2.

DNA の化学反応動力学シミュレーション

最初に，真空条件での DNA 鎖切断シミュレーションの結果を報告する。用いたモデル DNA の構造を図 1 に示す。この短鎖 DNA は 4 つのアデニン-チミン塩基対のみからなる 2 本鎖 DNA である。ただし，短鎖 DNA を安定化するために，ヘキサエチレングリコールをリンカーとして用いて，鎖同士を架橋している。これは，実際に Lewis らによって合成された分子である[6]。反応
動力学シミュレーションでは，各原子が受けている力を各時間ステップで求めるが，それに必要な電子状態計算には，密度汎関数法に近い精度で高速計算が可能な密度汎関数強束縛(DFTB)法[7]を用いた。今回は，その中でも Kohn-Sham エネルギーを電荷揺らぎに関して 3 次まで展開した
DFTB3[8]法とパラメータセット 3ob-3-1 を組み合わせて用いた[9,10]。実際の計算には，量子化学
計算パッケージ DFTB+[11]を利用した。X 線による鎖切断では，鎖 1 本の切断に約 100 eV のエネ
ルギーが使われているという報告[12]を参考に，構造最適化した短鎖 DNA に対し，リンカー以外の部分へ１原子当たり 0.3 から 0.4 eV の熱エネルギーを与えて動力学計算を行った。得られた鎖切断の過程を Mulliken 電荷と振動エネルギー移動の観点，すなわち，有機電子論と動力学の観点から解析した。なお，エネルギー移動の解析には，分子の全ポテンシャルエネルギーと運動エネ
ルギーを各構成原子に分配する手法（原子分割エネルギー法[13,14]）を用いた。これによって，各原子が持つエネルギーを定量化でき，原子や原子団のエネルギー変化を追跡することが可能となる。つまり，反応ダイナミクスにどのような原子や原子団が関わっているかを明らかにすることができる。

図 1 アデニン-チミンの 4 塩基対で構成されるモデル DNA の構造（左）と模式図（右）。

DNA 鎖切断の反応動力学シミュレーションとAVS/Express を用いた三次元可視化— 5 —図 2 真空条件でのモデル DNA の主な切断過程。
この動力学計算の結果は，アデニン側の鎖はほとんど切れず，鎖切断はチミン側の鎖で起こりやすいことを示していた。多くの場合，①チミンが塩基脱離し，②糖からリン酸基への水素移動が起こり，後に③糖とリン酸基との間で鎖が切断する（図 2）。この一連の過程は初期時刻から
10 ピコ秒程度のオーダーで進行した。1 本鎖 DNA にも同様のシミュレーションを行い，塩基脱離後に，糖とリン酸基との間で鎖が切断するという結果を得た。この機構は，1 本鎖 DNA に対して行われたマトリックス支援レーザー脱離イオン化法（Matrix Assisted Laser Desorption/Ionization;
MALDI）による詳細な質量分析の結果[15]とも一致しており，DFTB3 法を使った動力学シミュレーションが熱効果による鎖切断を適切に再現できることがわかった。
①の塩基脱離過程のエネルギーと電荷変化の一例を図 3 に示す。結合切断に直接関わる糖とチミン塩基の外部からエネルギーが流入し，糖から塩基への電子移動により塩基脱離を引き起こしていることがわかった。次に，その後の②水素移動と③鎖切断（糖-リン酸基間の C-O 結合切断）過程におけるエネルギーと電荷の変化の一例を図 4 に示す。C-O 結合の切断部分を含む糖とリン酸基の電荷やエネルギーも鎖切断の前後で変化しており，解析の結果，他の複数のヌクレオチド
からの広域的な電子やエネルギーの流入により，鎖切断が引き起こされていることが明らかになった。①の機構では糖の電子が塩基に移動して塩基脱離が引き起こされるので，その結果アデニンよりも電子を引きつけやすいチミン側の鎖が切断されたと考えられる。また，熱による鎖切断のシミュレーションでは，1 本鎖切断しか見られない。これは Mathur らの主張[2]を裏付ける結果になっている。

図 3 ①の塩基脱離時における原子分割エネルギーの変化（左上段），電荷の変化（左中段）及び C-N 結合長の変化（左下段）。右は解析結果から得られた反応の描像。

— 6 —

SENAC Vol. 50, No. 1（2017. 1）

図 4 ②水素移動と③鎖切断時における原子分割エネルギーの変化（左上段），電荷の変化（左中段）及び C-O 結合長の変化（左下段）。右は解析結果から得られた反応の描像。
我々は，Na+や Mg2+などのカウンターカチオンと水分子が周囲に存在する条件で，DNA の動力学シミュレーションも行っている。X 線結晶構造が既知である 12 塩基対からなる DNA（図 5；
蛋白質データバンク PDB ID : 355D[16]）を対象として，カチオンや水分子以外の部分に真空条件と同程度の熱エネルギーを与えて計算を行った。結果として，図 1 のような真空条件の場合とは異なり，Na+がリン酸基と中間体（Na+-O－-P-O の四角形構造）を形成し，リン酸基内の P-O 切断が誘発されることがわかった（図 6）。カウンターカチオンの存在によって電荷の広域的な移動が妨げられ，エネルギー移動も局所的になっており，真空条件とは全く異なった鎖切断機構が存在すると考えられる。これらの詳細な結果は，OH ラジカルとの反応や励起状態を経由した鎖切断を含めて，別の機会に紹介したい。

図 5 355D の構造。DNA 以外の原子を表す球は小さく表示している。

DNA 鎖切断の反応動力学シミュレーションとAVS/Express を用いた三次元可視化

図 6

3.

— 7 —

Na+が関与する DNA の主な鎖切断過程。

POV-Ray を用いた分子の画像・動画作成法

本節では，原子の座標情報から POV-Ray を介して立体画像や動画を作成する方法について紹介する。最近では，Gaussian[17]や GAMESS[18]など，様々な量子化学計算ソフトが用いられている。
例えば，我々が使用している DFTB+の動力学シミュレーションは，その結果が XYZ フォーマッ
トで出力され，図 7 のように時間ステップ毎に各原子の元素記号とその xyz 座標の情報が得られる。パッケージソフトによってはこの出力形式に違いがあるが，元素や座標情報が通常出力される。GaussView[17]や Jmol，MOLDEN，Avogadro など[19]の量子化学計算の前後処理のためのア
プリケーションを用いれば，ひとまずシミュレーション結果を見ることができるが，プレゼンテーション用としてより高い品質の画像・動画を作成するには，POV-Ray などのレンダリングソフ
トが不可欠である。

図 7

XYZ フォーマットの形式（左），水分子の振動の出力例（右）。座標 xyz の単位はÅ（オングストローム）であり，Step n の時刻は時間刻みt の n 倍になっている。

しかしながら，レンダリングソフト自身は，元素から球の色や大きさを決めたり，座標から自動的に結合を判定したりすることができない。つまり，分子の画像を作成するためには，シミュレーションの出力である「点」の情報から，各原子を「球」で表し，それらの結合を「円柱」で表す必要がある。具体的な手順は以下のとおりである。
１．ある原子について，元素に対応した球の大きさと色を定義し，その xyz 座標に球を置く
２．全ての原子間の距離を調べ，その中で設定したしきい値を下回った距離の原子同士の間に結合を表す円柱を配置する

— 8 —

SENAC Vol. 50, No. 1（2017. 1）

この手順に従って，図 7 の Step 0 の水分子の原子の座標から自作プログラムを通して変換した
POV-Ray の入力ファイルを図 8 左に示す。なお POV-Ray の場合は，球や円柱の位置だけではな
く，カメラ位置や光源を設定する必要がある。この入力ファイルに従って POV-Ray でレンダリン
グすると，図 8 の右に示したような分子が描かれる。また，各時間ステップでレンダリングした
画像を連続して集めると動画にすることが可能である。AviUtl[19]というフリーソフトで動画編集を行っているが，どのような動画編集ソフトでも大抵可能な処理である。
POV-Ray による分子描画のメリットは，高画質な画像・動画が得られるだけではなく，原子の色や結合の色を自由に決められることにある。例えば，原子の Mulliken 電荷に合わせて色の変化を定義すると，各原子の電荷の変化を動画で確認することが可能である。図 9 に作成した画像の一例を示しておく。

…

図 8

POV-Ray の入力フォーマット POV の入力例（左）と実際の描画後の画像（右）。
重要な結合については，結合の色を変えることも可能であるし，また，重要ではない原子団については小さく出力することも可能である（図 9 参照）。

DNA 鎖切断の反応動力学シミュレーションとAVS/Express を用いた三次元可視化

図 9

4.

— 9 —

POV-Ray で DNA の一部を描画した画像例。DNA の鎖に相当する結合はグレーで目立たせ，周りの水分子などは逆に目立たないよう球や円柱を小さく設定した。白は水素，灰色は炭素，青は窒素，赤は酸素，オレンジはリンの各原子を表している。

AVS/Express を用いたシミュレーション結果の三次元可視化

東北大学サイバーサイエンスセンターの三次元可視化システム[20,21]では， CYBERNET 社の可視化ソフトウェア AVS/Express が利用できる。
AVS/Express の MGF フォーマットを利用すると，容易に分子構造の三次元可視化ができる。MGF フォーマットは，多角形，線分，球，円，円柱な
どの三次元形状をアスキー形式で簡単に記述できる AVS オリジナルの書式である。POV-Ray の書式に似ているため，図 8 のような POV-Ray 用のファイルを少し修正するだけで，AVS/Express 用の MGF フォーマット入力データを作成することができる。入力データの書式を図 10 に，入力例を図 11 に示す。原子の形状は球（sphere），結合部分の形状は円柱（column）を用いて記述した。

図 10

MGF フォーマットの入力データの書式。

— 10 —

SENAC Vol. 50, No. 1（2017. 1）

図 11 入力データの例（図 7 の Step 0 における水分子の場合）。
次に，作成した入力データファイルを AVS/Express で読み込み，可視化する方法を説明する。
MGF フォーマットで作成した入力データファイルの読込には Read MGF モジュールを使用する。
MGF フォーマットの場合は入力データファイルに形状や色の情報を全て記述するため， Read
MGF モジュールをビューワーモジュール（Uviewer）に接続するだけで簡単に可視化することができる。Read MGF モジュールを使った可視化ネットワークを図 12 に，可視化結果の例を図 13に示す。なお，TextString モジュールを使用することで，三次元画面上に 1.00 ps（ピコ秒）のよ
うなシミュレーションの経過時間などの情報を表示させることも可能である。

図 12

Read MGF モジュールを使った可視化ネットワーク。

DNA 鎖切断の反応動力学シミュレーションとAVS/Express を用いた三次元可視化

図 13

5.

— 11 —DNA の可視化結果。液晶シャッターメガネを通すと，三次元可視化システムの巨大なスクリーン（横 4.4 m×縦 1.8 m）に映し出された画像が立体的に見える。

おわりに

本稿では，DNA の鎖切断の反応動力学シミュレーションとその結果の三次元可視化について解説した。三次元可視化によって，教科書に載っている二次元の絵ではわかりにくい二重螺旋構
造および主溝・副溝といった DNA の特徴を容易につかみ取ることができる。あたかも自分が DNAの場の中に入り，個々の原子が現実の空間で動いているように感じられる。研究がより捗るためのツールとして三次元可視化システムは有効である。
我々は，今回紹介した DNA の鎖切断や X 線自由電子レーザーによる C60 のクーロン爆発[22,23]のシミュレーションの結果を東北大学のオープンキャンパスなどですでに一般公開している[21]。
三次元可視化システムは分子構造の立体的な把握を容易にするため，今後は教育での利用価値が高まると期待している。二次元の絵から空間をイメージして理解することに慣れていない一般の方々に対しても，三次元可視化システムは理解を促す強力なツールである。

謝辞
本研究の計算の一部は，東北大学サイバーサイエンスセンターの並列コンピューターで実行した。また，本センターの山下毅氏には，計算結果の三次元可視化についてご協力いただいた。DNA
の鎖切断の機構に関しては，化学専攻木野康志先生，十川和博先生，多元物質科学研究所秋山公男先生から重要な情報をいただいた。なお，本研究は科研費（河野：No.24245001，15K13614，
16H04091）の助成のもとに行われた。

参考文献[1] 日本化学会編，CSJ カレントレビュー08 巨大分子系の計算化学，化学同人，2012。
[2] A. K. Dharmadhikari, H. Bharambe, J. A. Dharmadhikari, J. S. D'Souza and D. Mathur, “DNADamage by OH Radicals Produced Using Intense, Ultrashort, Long Wavelength Laser Pulses”, Phys.
Rev. Lett. 112, 138105 (2014).
[3] 菱沼直樹，菅野学，木野康志，秋山公男，河野裕彦，モデル二本鎖 DNA における鎖切断過程の電荷・エネルギー移動解析，第 9 回分子科学討論会，口頭発表

2E10，2015。

— 12 —

SENAC Vol. 50, No. 1（2017. 1）[4] 及川啓太，菱沼直樹，菅野学，木野康志，秋山公男，河野裕彦，カウンターカチオンが引き起こす DNA 鎖切断：化学反応動力学シミュレーション解析，第 10 回分子科学討論会，口頭発表

3G09，2016。

[5] オープンソースのソフトである。詳細は，http://www.povray.org/ 参照。
[6] M. McCullagh, L. Zhang, A. H. Karaba, H. Zhu, G. C. Schatz and F. D. Lewis, “Effect of Loop
Distortion on the Stability and Structural Dynamics of DNA Hairpin and Dumbbell Conjugates”, J.
Phys. Chem. B 112, 11415 (2008).
[7] M. Elstner, D. Porezag, G. Jungnickel, J. Elsner, M. Haugk, T. Frauenheim, S. Suhai and G. Seifert,“Self-consistent-charge density-functional tight-binding method for simulations of complex materials
properties”, Phys. Rev. B 58, 7260 (1998).
[8] M. Gaus, Q. Cui and M. Elstner, “DFTB3: Extension of the Self-Consistent-Charge
Density-Functional Tight-Binding Method (SCC-DFTB)”, J. Chem. Theory Comput. 7, 931 (2011).
[9] M. Gaus, A. Goez and M. Elstner, “Parametrization and Benchmark of DFTB3 for Organic
Molecules”, J. Chem. Theory Comput. 9, 338 (2013).
[10] M. Gaus, X. Lu, M. Elstner and Q. Cui, “Parameterization of DFTB3/3OB for Sulfur and Phosphorus
for Chemical and Biological Applications”, J. Chem. Theory Comput. 10, 1518 (2014).
[11] B. Aradi, B. Hourahine and Th. Frauenheim, “DFTB+, a sparse matrix-based implementation of the
DFTB method”, J. Phys. Chem. A 111, 5678 (2007). 詳細は，http://www.dftb-plus.info/ 参照。
[12] J. E. Cleaver, G. H. Thomas and H. J. Burki, “Biological Damage from Intranuclear Tritium: DNA
Strand Breaks and Their Repair”, Science 177, 996 (1972).
[13] H. Nakai, “Energy density analysis with Kohn-Sham orbitals”, Chem. Phys. Lett. 36, 73 (2002).
[14] R. F. W. Bader, “A quantum theory of molecular structure and its applications”, Chem. Rev. 91, 893(1991).
[15] L. Zhu, G. R. Parr, M. C. Fitzgerald, C. M. Nelson and L. M .Smith, “Oligodeoxynucleotide
Fragmentation in MALDI/TOF Mass Spectrometry Using 355-nm Radiation”, J. Am. Chem. Soc. 117,6048 (1995).
[16] X. Shui, L. McFail-Isom, G. G. Hu and L. D. Williams, “The B-DNA Dodecamer at High Resolution
Reveals a Spine of Water on Sodium”, Biochemistry 37, 8341 (1998).
[17] 詳細は，http://www.gaussian.com/ 参照。なお，本学ではサイバーサイエンスセンターにてGaussian09 と GaussView を提供している。
（http://www.ss.cc.tohoku.ac.jp/application/index.html）[18] 詳細は，http://www.msg.ameslab.gov/GAMESS/ 参照。
[19] 詳細は，各ソフトのホームページを参照。
[20] 東北大学サイバーサイエンスセンター 三次元可視化システム
http://www.ss.cc.tohoku.ac.jp/service/vsr.html[21] 共同研究支援係，共同利用支援係，三次元可視化システムと可視化事例の紹介，SENAC，Vol.
49，No. 3，9 (2015).
[22] 山崎馨，上田潔，河野裕彦，X 線自由電子レーザーパルスによるフラーレン超多価カチオン
C60q+の爆発解離の動力学シミュレーション，SENAC，Vol. 48，No. 3，1 (2015).
[23] K. Yamazaki, T. Nakamura, N. Niitsu, M. Kanno, K. Ueda, and H. Kono, “Communication: Two-step
explosion processes of highly charged fullerene cations C60q+ (q = 20–60)”, J. Chem. Phys. 141,
121105 (2014).

SENAC Vol. 50, No. 1（2017. 1）— 13 —［共同研究成果］[共同研究成果]

ベクトル型スーパーコンピュータを用いた大規模リフレクトアレーの高利得化
今野 佳祐 † , 陳 強 †東北大学大学院工学研究科 通信工学専攻 †1

まえがき
リフレクトアレーは，入射波を所望の方向に散乱するように設計した構造であり，従来の反射鏡アンテナに代わる薄型・軽量アンテナとして注目されている [1]-[3]．リフレクトアレーは，大きさの異なる多数の散乱体から成る．散乱体の大きさによって散乱電界の位相が制御され，所望の方向に等位相面が形成される．したがって，リフレクトアレーの設計において，素子の大きさの決め方はビーム方向や利得を決定する上で重要である．
リフレクトアレーの素子の大きさは，素子の反射係数の位相を用いて決定するのが一般的である [4]-[6]．素子の反射係数は素子間相互結合の影響を受けるため，その値を正確に求めるにはリフ
レクトアレーの構造が予め分かっている必要がある．したがって，リフレクトアレーの素子の大きさを決めるには正確な反射係数の情報が必要であるが，そのためにはリフレクトアレー素子の大きさが分かっていなければならないというジレンマがある．そこで従来の研究では，同一の大きさの素子が有限あるいは無限周期で配置された構造を仮定して近似的に求めた反射係数を利用してリフレクトアレーを設計している [7]-[9]．これらの方法で求めた反射係数は，素子の大きさが緩やかに変化するような構造中ではある程度正しいことが分かっているが，リフレクトアレーの構造は必ずしもそうではない．また，これらの方法で求めた反射係数は，リフレクトアレーの素
子間相互結合を正しく評価して得られた値ではないため，素子間相互結合の影響で利得が低下す
ることは避けられない．
そこで本研究では，ベクトル型スーパーコンピュータを用いたリフレクトアレーの高利得化法を提案し，その有効性を明らかにする．提案法では，有限周期構造を仮定して求めた反射係数によって設計したリフレクトアレーを，素子間相互結合を正しく評価しながら高利得化していく．長い時間を要する素子間相互結合の計算は，反復法とベクトル型スーパーコンピュータ SX-ACE に
よって高速に処理する．素子長を逐次的に変えながら利得を計算し，利得が上昇するように素子長を変化させていく．数値シミュレーションによって，素子間隔が小さいときに提案法が大きな効果を発揮することを明らかにする．

2

提案設計法
提案設計法のアルゴリズムは以下に示すとおりである [10]．

1. 有限周期構造を仮定し，素子の反射係数を近似的計算．

— 14 —

SENAC Vol. 50, No. 1（2017. 1）

Reflectarray element
d

lm or

lm

lp

2ap
2am
Dipoley2amParasitic dipole
dx

x
z
dy
My

Dipoleantenna

Mx

lt
t
h

2at

Primary source
Infinite ground plane
図 1: 線状素子リフレクトアレーモデル.

2. 得られた反射係数から，リフレクトアレー素子長の初期値を求める．
3. 第 m リフレクトアレー素子長を lm から lm ± ∆l へ変え，インピーダンス行列の対応部分を更新する．

4. 素子長が更新されたリフレクトアレーの利得 G(lm ± ∆l) を，前処理付き共役勾配法 (Preconditioned Conjugate Gradient Method) によって求める．

5. G(lm + ∆l) > G(lm ) かつ G(lm + ∆l) > G(lm − ∆l) であるなら，G が極大値になるまで第 m 素子長を増やし続ける．G(lm − ∆l) > G(lm ) かつ G(lm − ∆l) > G(lm + ∆l) であるなら，G が極大値になるまで第 m 素子長を減らし続ける．G(lm ) > G(lm + ∆l) かつ

G(lm ) > G(lm − ∆l) であるなら，第 m 素子長をそのままにする．
6. m が M に達するまで 3 ∼ 5 を繰り返し実行する．ここで，M = Mx My はリフレクトアレー
全体の素子数である．

提案設計法は, 起電力法による線状素子リフレクトアレー設計法を用いている [11]. 前処理付き共役勾配法を用いても，素子長を更新する都度リフレクトアレー全体の電流を計算するのは非常に長い時間がかかる. そこで本報告では，サイバーサイエンスセンターのベクトル型スーパーコン
ピュータ SX-ACE を用いて計算の高速化を図る．ベクトル型スーパーコンピュータは，ベクトル演算と呼ばれる機能を持っており，繰り返し演算を一括して実行することが可能である．本報告の数値計算結果は，プログラムを最適化し，全ての演算に対するベクトル演算の割合 (ベクトル演算率) を 99.2%まで向上させることで，高速に得られた結果である．

ベクトル型スーパーコンピュータを用いた大規模リフレクトアレーの高利得化— 15 —

— 16 —

SENAC Vol. 50, No. 1（2017. 1）(a) Initial(b) Enhanced-180[deg.]

180(a) dx = dy = 0.55λ.

(a) Initial(b) Enhanced-180[deg.]

180(b) dx = dy = 0.75λ.

図 3: リフレクトアレーの開口位相分布 (F/D = 1).

50 × 50 素子のリフレクトアレーを提案法によって設計した．初期構造の設計には Surrounded

element approach を用い，3 × 3 の有限周期構造中にある素子の反射係数の位相を用いて設計した[8]．リフレクトアレーの利得を図 2 に示す．提案法によって得られたリフレクトアレーの利得は，初期構造の利得から大幅に改善されていることが分かる．特に，素子間隔が小さいときの改善量が大きく，4.2 dB もの改善量が得られている．高利得化の要因を明らかにするために，開口位相分布を図 3 に示す．図 3 から，特に素子間隔が小さいとき，開口面上の位相が不連続的に変化しベクトル型スーパーコンピュータを用いた大規模リフレクトアレーの高利得化— 17 —ている部分があることが見て取れる．このことは，反射係数を計算するときに仮定した素子長の局所的な周期性が，実際のリフレクトアレーでは必ずしも成り立たないことを示唆している．したがって，特に素子間隔が狭いときは，素子間相互結合を厳密に評価してリフレクトアレーを設計することが重要であると考えられる．
提案手法によってリフレクトアレーを設計するのに必要な時間は，それぞれ 52,156 秒 (dx = dy =0.55λ)，37,935 秒 (dx = dy = 0.75λ) であった．Full-wave の数値計算 1 回あたりの計算時間はそれぞれ 16.2 秒 (dx = dy = 0.55λ)，8.3 秒 (dx = dy = 0.75λ) であった．どちらも未知数 10,000 を超える大規模な問題なので，PC を用いた場合は 1 回の計算に数時間程度の時間が必要となる．し
たがって，ベクトル型スーパーコンピュータによって数千倍程度の高速化が実現できたことが分
かる．

4

まとめ
本報告では, 大規模リフレクトアレーの高利得化のための手法を提案した．提案手法は，素子間相互結合を厳密に評価しながらリフレクトアレーを設計する手法であり，反復法とベクトル型
スーパーコンピュータを併用することによって高速化を実現している．数値シミュレーションの結果，素子間隔が狭いときに，提案法が大きな効果を示すことが分かった．

謝辞
本研究成果は, 東北大学サイバーサイエンスセンターのスーパーコンピュータ SX-ACE を用いて得られたものである. スタッフをはじめ，関係各位に深く感謝する．

参考文献[1] D.G. Berry, R.G. Malech, and W.A. Kennedy, “The Reﬂectarray Antenna,” IEEE Trans.
Antennas Propag., vol.11, no.6, pp.645-651, Nov. 1963.
[2] J. Huang, ”Analysis of a microstrip reﬂectarray antenna for microspacecraft applications,”
TDA Progress Report 42-120, Feb. 1995, pp. 153-173.
[3] J. Huang and J.A. Encinar, Refrectarray Antennas, John Wiley and Sons, 2008.
[4] C. Wan and J.A. Encinar, “Eﬃcient computation of generalized scattering matrix for analyzing multilayered periodic structures,” IEEE Trans. Antennas Propag., vol. 43, no. 11,
pp. 1233-1242, Nov. 1995.
[5] L. Li, Q. Chen, Q. Yuan, K. Sawaya, T. Maruyama, T. Furuno, and S. Uebayashi, “Novel
broadband planar reﬂectarray with parasitic dipoles for wireless communication applications,” IEEE Antennas Wireless Propag. Lett., vol. 8, pp. 881-885, 2009.

— 18 —

SENAC Vol. 50, No. 1（2017. 1）[6] L. Li, Q. Chen, Q. Yuan, K. Sawaya, T. Maruyama, T. Furuno, and S. Uebayashi, “Frequency selective reﬂectarray using crossed-dipole elements with square loops for wirelesscommunication applications,” IEEE Trans. Antennas Propag., vol. 59, no. 1, pp. 89-99,
Jan. 2011.
[7] F. Venneri, G. Angiulli, and G. Di Massa, “Design of microstrip reﬂectarray using datafrom isolated patch analysis,” Microw. Optical Technol. Lett., vol.34, no.6, pp.411-414,
Sept. 2002.
[8] M.-A. Milon, D. Cadoret, R. Gillard, and H. Legay, “’Surrounded-element’ approach forthe simulation of reﬂectarray radiating cells,” IET Microw. Antennas Propag., vol.1, no.2,
pp.289-293, April 2007.
[9] C. Yann, R. Loison, R. Gillard, M. Lebeyrie, and J.-P. Martinaud, “A new approach combining surrounded-element and compression methods for analyzing reconﬁgurable reﬂectarray
antennas,” IEEE Trans. Antennas Propag., vol. 60, no. 7, pp. 3215-3221, July 2012.
[10] K. Konno and Q. Chen, “Enhancing Aperture Eﬃciency of Reﬂectarray by Accurately
Evaluating Mutual Coupling of Reﬂectarray Elements,” IEICE Commun. Express, vol. 5,
no. 9, pp.341-346, 2016.
[11] K. Konno, Q. Chen, K. Sawaya, S. Kameda and N. Suematsu, “Novel design method forreﬂectarray by induced electromotive force method,” Proc. IEEE AP-S Int. Symp., 429.3,
pp.1342-1343, July 2013, Florida, USA.

— 19 —

SENAC Vol. 50, No. 1（2017. 1）［共同研究成果］

アルゴン熱プラズマジェットによる鉄ナノ粒子の大量創製プロセスの３次元シミュレーション
茂田 正哉
大阪大学 接合科学研究所

アルゴン熱プラズマジェットを用いた鉄ナノ粒子の創製プロセスの３次元シミュレーションを行う．その際，簡潔でありながらナノ粒子群の集団的な形成および移流・拡散輸送過程を記述できるモデルを用いる．本数値計算により，動的なプラズマの熱流動場および形成途中にあるナノ粒子群の空間分布を明らかにする．

1.

緒言

直径がナノメートルスケールの超微粒子（ナノ粒子）はバルクの材料とは大きく異なる物質機能を示すことが知られており，磁気記録材料や環境浄化用触媒など様々な工業製品へ応用が期待されている[1]．近年，ナノ粒子の大量創製を可能にするツールとして，高いエンタルピーと化学的活性を有し，さらに外部電磁場によって制御可能[2]な流体である熱プラズマに注目が集まっており，精力的に研究が進められている[3]．しかし 10,000 K を超える発光体である熱プラズマの流動場について実験によって得られる情報には限りがあるため，プロセスの効率的な制御のために必要な知見は今尚少ない．また流動場だけでなく，ナノ粒子の形成過程はマイクロ秒～ミリ秒の現象であるため，その集団的形成のメカニズムや輸送現象を直接計測することも困難である．そのため，熱プラズマプロセッシングは依然として現場の技術者や研究者の経験に依っているところが多く，また莫大な時間とコストを要しているのが現状である．そこで本研究では，熱プラズ
マ流によるナノ粒子の大量創製プロセスを対象として，アルゴン熱プラズマジェットおよび形成過程にある鉄ナノ粒子群の移流・拡散輸送の数値シミュレーションを行う．

Fig. 1 Computational domain

— 20 —

SENAC Vol. 50, No. 1（2017. 1）2.

仮定および支配方程式

2.1

熱プラズマ流熱プラズマ流の通常の生成条件では，圧力は大気圧と同程度で，プラズマを含む流体全域にわたって局所熱平衡が成り立ち，また光学的に薄いと仮定できる．このとき支配方程式は以下のよ
うな質量・運動量・エネルギーに関する保存式となる．

    u   0
t
 
u
2

tr
  u  u  p     u   u    u I  
t
3

 

(2)

 
 p
h
  u  h    h   u  p  q rad  q con  Φ
C
 t
t
 p


(3)





(1)

ここで，は密度，t は時間，u は速度ベクトル，p は圧力，は粘性係数，I は単位行列，は導電率，E は電場ベクトル，B は磁束密度ベクトル，h はエンタルピー，は熱伝導率，Cp は定圧比熱，qrad は放射損失，qcon はナノ粒子の凝縮熱，は粘性散逸である．また tr は転置を意味する．

2.2

ナノ粒子群の集団的形成

熱プラズマプロセスにおけるナノ粒子形成過程の概要は次の通りである．
① 熱プラズマの高温場において原料が蒸発する② その原料蒸気は温度低下に伴い過飽和状態となる③ 多数の臨界核が生成する（均一核生成）④ その臨界核に原料蒸気が凝縮することでナノ粒子が成長する（不均一凝縮）⑤ 同時にナノ粒子同士も衝突・合体してより大きなナノ粒子となる（粒子間凝集）
ナノ粒子は，時間スケールの異なる均一核生成や不均一凝縮を経るのみならず，２～３桁に及ぶ
直径差を持つ多数の粒子同士が衝突し凝集しながら集団として成長していく．これまで分子動力学に基づいた数値計算も行われてはいるものの，現在のコンピュータ性能の限界から，数十個の核の生成過程を数ナノ秒間分ほど追跡することしかできていないため[5]，ナノ粒子群全体の成長を取り扱うことは実質的に不可能である．そこでエアロゾル学に基づく理論的および数値的なア
プローチが有効とされている．
本稿では，簡潔なモデルによりナノ粒子の集団的形成過程を表現するために，ナノ粒子は局所的には同じ粒径を持つ球体であるとする．また帯電の効果は無視し，粒子温度は周囲の流体の温度と等しいとする．このとき支配方程式は以下のように記述できる．


np
n 
 n   np / 6 1/ 6   u   p      D p  p   J  2 2  0 n11f    K th ln T 
p






t       




(4)



 f 

 f 
 f 
f   u        D p     Jg c   0 ( n v  n s ) n 1p/ 3 f 2 / 3     K th  ln T t     




(5)





— 21 —

アルゴン熱プラズマジェットによる鉄ナノ粒子の大量創製プロセスの３次元シミュレーション




n 
 n 
  nv    u   v      Dv  v   Jg c   0 (nv  n s )n 1p/ 3 f 2 / 3
t     
(6)

ここで，n は数密度，D は拡散係数，J は均一核生成率[6]，Kth は熱泳動係数[7]，T は温度，g は１つのナノ粒子に含まれるモノマー数の平均である．添え字 p，v，c および s はそれぞれ粒子，
蒸気，臨界状態および飽和状態を表している．また f は次のように定義される変数である．

f = np g(7)

また 0 は衝突頻度に関するパラメーターであり，体積 v および質量 m を用いて以下のように表
される．
1/ 6

 3vv 
 4 

0  

6k BTvvmv(8)

kB はボルツマン定数である．式(4)および式(5)の右辺第 4 項は熱泳動を表している．式(4)～(6)の右辺に含まれる粒子成長に関わる項の詳しい導出については文献[4]を参照されたい．

3.

計算手法

本研究では，10,000 K を超える高温のプラズマと常温の非電離気体が相互作用しながら同時に存在する熱流動場を取り扱わなければならない．両者の間には粘性係数・熱伝導率・定圧比熱・導電率といった物性値だけでなく密度にも大きな差がある[8]．その一方で，流れ場におけるマッ
ハ数は 10-3～10-2 のオーダーにあり，工学的に有意な時間スケールでの流体運動を捉えるためには熱プラズマ流を「大きな密度変化を伴う非圧縮性流れ」として取り扱うべきである．すなわち，
熱プラズマと周囲の低温気体との間に生じる速度，温度，密度，ナノ粒子濃度の急激な空間勾配を捉えながら，さらに時間ステップ幅を大きく取っても数値計算を安定的に進められるような計算手法が必要となる．そこで対流項をハイブリッド型 K-K スキーム[9]により，時間微分項を３次精度 Adams-Moulton-Bashforth 法により差分化し，改良型 PISO 法[10]と組み合わせることによって，上述の数値計算を実現することとする．熱プラズマ流動のシミュレーションに対するこれらの手法の有効性については文献[11]を参照されたい．なお，拡散項，圧力勾配項，熱泳動項には２次精度中心差分を用いる．

4.

計算条件

図 1 に計算領域を示す．流量 13.4 sl/min のアルゴンガスに 2.3 kW の電力が投入されることで内径 4.0 mm，外径 7.0 mm の噴出孔から約 10,000 K のプラズマジェットが，300 K・大気圧の非電離アルゴン雰囲気の計算領域へ噴出する．ナノ粒子の原料である鉄は既にプラズマ生成部で蒸気になっているものとしてプラズマジェットと共に 0.1 g/min で供給される．
これらの条件の下，３次元の計算領域を設けた．座標系の原点をプラズマジェット噴出孔の中心に取り，各軸方向にそれぞれ 0.2 mm の幅を持つスタガード格子を用いて，時間ステップ幅を0.2 ms として計算を進めた．噴出孔におけるプラズマジェットの温度および速度には文献[12]の半径方向分布を適用した．このとき本条件の下で算出される噴出孔におけるプラズマジェットの最大速度は約 400 m/s である．
なお，本計算は SX-ACE において MPI 並列によって 32 ノードを使用して実現した．

— 22 —

SENAC Vol. 50, No. 1（2017. 1）

Fig. 2 Snapshots of thermal-fluid field: (a) 0.5 ms, (b) 1.0 ms, (c) 1.5 ms, (d) 2.0 ms

5.

計算結果

図 2 にプラズマジェットが噴出してから 0.5 ms，1.0 ms，1.5 ms，2.0 ms 後の温度場および流線を示す．特に温度場についてはプラズマジェット内部を可視化するために x3 < 0 の領域のみを描画している．プラズマジェットは x1 方向に噴出するが，密度の高い非電離気体を押しのけながら進まなければならないため，きのこ状のプラズマ領域を形成する．時間の経過と共にその領域は下流へ輸送される．その後はプラズマジェットと非電離気体との間に生じる速度差および密度差に起因する Kelvin-Helmholtz 不安定性によって，プラズマジェットの側面が複雑な熱流動場を形成する．
図 3 に同時刻における鉄ナノ粒子群の空間分布を数密度 1.6x1019～1.9x1019 m-3 の等値面によって示す．ナノ粒子はプラズマジェットと非電離気体の境界領域で集団的に生成・成長するため，
熱流動場を可視化するトレーサーのように複雑な分布を形成することがわかる．

6.

まとめ

アルゴン熱プラズマジェットを用いた鉄ナノ粒子群の創製プロセスの３次元シミュレーションを行った．その際，簡潔でありながらナノ粒子群の集団的な形成および移流・拡散輸送過程を記述できるモデルを導入し，MPI 並列により SX-ACE の 32 ノードを利用することで，動的なプラ
ズマの熱流動場だけでなく，形成途中にあるナノ粒子群の空間分布を明らかにすることができた．

アルゴン熱プラズマジェットによる鉄ナノ粒子の大量創製プロセスの３次元シミュレーション— 23 —

Fig. 3 Snapshots of nanopowder distribution: (a) 0.5 ms, (b) 1.0 ms, (c) 1.5 ms, (d) 2.0 ms

謝辞
本研究は，東北大学サイバーサイエンスセンターのスーパーコンピュータを利用することで実現することができました．また計算コードの高速化およびデータの可視化にあたっては同センター関係各位よりご協力をいただきました．

参考文献[1] 細川, 能城, "ナノパーティクルテクノロジー," 日刊工業新聞社, (2003).
[2] Sato, T., Shigeta, M., Kato, D., Nishiyama, H., “Mixing and magnetic effects on a nonequilibriumargon plasma jet,” Int. J. Thermal Sci., 40 (2001), pp. 273-278.
[3] Shigeta, M. and Murphy, A.B., “Thermal plasmas for nanofabrication,” J. Phys. D: Appl. Phys., 44(2011), pp. 174025-(16 pages).
[4] Nemchinsky, V.A. and Shigeta, M., “Simple equations to describe aerosol growth,” Modelling Simul.
Mater. Sci. Eng., 20 (2012), pp. 045017-(11 pages).
[5] Lümmen, N. and Kraska, T., “Homogeneous nucleation and growth in iron-platinum vapour

— 24 —

SENAC Vol. 50, No. 1（2017. 1）

investigated by molecular dynamics simulation,” Euro. Phys. J. D, 41 (2007), pp. 247-260.
[6] Girshick, S.L., Chiu, C.P. and McMurry, P.H., “Time-dependent aerosol models and homogeneous
nucleation rates,” Aerosol Sci. Tech., 13 (1990), 465-477.
[7] Talbot, L., Cheng, R.K., Schefer, R.W. and Willis, D.R., “Thermophoresis of particles in a heatedboundary layer,” J. Fluid Mech., 101 (1980), pp. 737-758.
[8] Boulos, M.I., Fauchais, P. and Pfender, E., “Thermal plasmas,” Springer, (1994).
[9] Komurasaki, S., “A Hydrothermal Convective Flow at Extremely High Temperature,” 7th Int. Conf.
Comp. Fluid Dynamics, (2012), ICCFD7-3001.
[10] Oliveira, P.J. and Issa, R.I., “An improved PISO algorithm for the computation of buoyancy-driven
flows,” Numer. Heat Transfer B 40 (2001), pp. 473-493.
[11] Shigeta, M, “Turbulence modelling of thermal plasmas flows,” J. Phys. D: Appl. Phys., 49 (2016), pp.
493001-(18 pages).
[12] Kanzawa, A. and Kimura, I., “Measurements of viscosity and thermal conductivity of partially ionizedargon plasmas,” AIAA Journal, 5 (1967), pp. 1315-1319.

— 25 —

SENAC Vol. 50, No. 1（2017. 1）［大学 ICT 推進協議会 2016 年度年次大会論文集より］

ʰಔࢎԽ෺ͷ༗ޮϞσϧʹର͢Δ༳Β͗ަ‫ࣅۙ׵‬ʱίʔυͷ

SX-ACE ޲͚࠷దԽࢁԼ ‫ ؽ‬1) , ࢁ࡚ ࠃਓ 2) , ߐ઒ ོี 3,4) ,٢Ԭ ঊ࠸ 2) , ౔Ӝ ޺‫ ل‬2) , খྛ ޿໌ 4,3) , ીࠜ लত 3,4)
1) ౦๺େֶ ৘ใ෦৘ใ‫ج‬൫՝, 2) ౦๺େֶ େֶӃ޻ֶ‫ڀݚ‬Պ,3) ౦๺େֶ αΠόʔαΠΤϯεηϯλʔ, 4) ౦๺େֶ େֶӃ৘ใՊֶ‫ڀݚ‬Պ
yamacta@tohoku.ac.jp

Performance Optimization of “Fluctuation exchange
approximation for an eﬀective model for cuprates” code
for SX-ACE .
Takeshi Yamashita1) , Kunito Yamazaki2) , Ryusuke Egawa3,4) ,Takuya Yoshioka2) ,Hiroki Tsuchiura2) ,Hiroaki Kobayashi4,3) , Hideaki Sone3,4)1) Information Infrastructure Division, Information Department, Tohoku Univ.
2) Graduate School of Engineering, Tohoku Univ.
3) Cyberscience Center, Tohoku Univ.
4) Graduate School of Information Sciences, Tohoku Univ.

֓ཁ

FFT Λ༻͍ͨ਺஋ԋࢉΞϓϦέʔγϣϯͰ͸ɺWindows ΍ Linux γεςϜ্Ͱ࣮ߦग़དྷΔ FFTW ϥΠϒϥϦ
͕޿͘ར༻͞Ε͍ͯΔɻैདྷ SX γεςϜͰ͸ඪ४Ͱ FFTW ϥΠϒϥϦɺ΋͘͠͸ͦͷΠϯλʔϑΣʔε͸ఏ‫ڙ‬͞Ε͓ͯΒͣɺ͜ͷΑ͏ͳΞϓϦέʔγϣϯΛ SX-ACE ޲͚࣮ߦΦϒδΣΫτͱ͢ΔͨΊʹ͸ɺASL ϥΠϒϥϦ
΁ͷίʔυमਖ਼ɺ΋͘͠͸ FFTW ͷιʔείʔυΛ SX-ACE ޲͚ʹίϯύΠϧͯ͠ϥΠϒϥϦԽ͢Δ͜ͱ͕ඞཁ
Ͱ͋ΔɻຊߘͰ͸ FFTW ϥΠϒϥϦΛར༻ͨ͠ΞϓϦέʔγϣϯΛ ASL Wrapper Λ༻͍ͯ SX-ACE ޲͚ʹίϯύΠϧ͢Δํ๏ͱɺSX-ACE ʹ͓͚Δߴੑೳԋࢉͷ࣮‫ݱ‬Λ໨తͱͨ͠࠷దԽख๏ʹ͍ͭͯࣔ͢ɻ

1 ͸͡Ίʹ

Ͱ͍Δɻਤ 1 ʹ 1999 ೥͔ΒຊηϯλʔͰऔΓ૊ΜͰ͍Δηϯλʔಠࣗͷ‫ڞ‬ಉ‫ڀݚ‬ɺֶࡍେ‫ن‬໛৘ใ‫ج‬൫‫ڞ‬౦๺େֶαΠόʔαΠΤϯεηϯλʔʢҎԼɺຊηಉར༻ɾ‫ڞ‬ಉ‫఺ڌڀݚ‬ʢJHPCNʣ՝୊͓Αͼֵ৽తϯλʔʣͷେ‫ن‬໛Պֶ‫ࢉܭ‬γεςϜ͸ɺ೔ຊి‫ࣜגؾ‬ϋΠύϑΥʔϚϯεɾίϯϐϡʔςΟϯάɾΠϯϑϥձࣾʢҎԼɺNECʣ੡ϕΫτϧ‫ܕ‬εʔύʔίϯϐϡʔ

ʢHPCIʣ՝୊࠾୒਺ͷਪҠΛࣔ͢ɻຊηϯλʔಠࣗͷ

λ SX-ACE Λओྗ‫͠ͱػࢉܭ‬ɺ൚༻ΞϓϦέʔγϣϯ‫ڞ‬ಉ‫ڀݚ‬͸߃ৗతʹ೥ 10 ՝୊΄Ͳ࣮ࢪ͞Ε͍ͯΔ͜

ͷ࣮ߦ‫ ͯ͠ͱڥ؀‬NEC ੡εΧϥ‫ܕ‬ͷฒྻίϯϐϡʔͱʹՃ͑ɺۙ೥Ͱ͸ JHPCNɺHPCI Λհͨ͠‫ڞ‬ಉ‫ݚ‬

λ LX406-Re2 ͷӡ༻Λ͍ͯ͠ΔɻҟͳΔಛੑΛ༗͢‫૿͕਺ڀ‬Ճ͍ͯ͠Δɻ͜Ε͸ɺηϯλʔͷ‫ڞ‬ಉ‫ڀݚ‬Λ

Δೋछྨͷ‫ػࢉܭ‬ͷӡ༻ʹΑΓɺར༻ऀͷ෯޿͍χʔ௨ͯ͠ϢʔβΞϓϦέʔγϣϯ͕ߴ౓Խɾେ‫ن‬໛Խ͠ɺζʹԠ͑ΔαʔϏεΛఏ‫͍ͯ͠ڙ‬Δɻද 1 ʹ͜ΕΒγ

JHPCNɺHPCI ࠾୒՝୊΁ͱεςοϓΞοϓ͓ͯ͠εςϜͷॾ‫ݩ‬Λࣔ͢ɻΓɺզʑͷ‫ܧ‬ଓతͳߴ଎Խࢧԉ‫׆‬ಈ͕Ұఆͷ੒ՌΛ্

·ͨຊηϯλʔͰ͸ 1999 ೥ΑΓɺϢʔβΞϓϦέʔ

͍͛ͯΔ͜ͱ͕෼͔Δɻ

γϣϯͷߴਫ਼౓Խɺେ‫ن‬໛ԽͷࢧԉΛ໨తͱͨ͠‫ڞ‬ಉҎԼͰ͸ߴ଎Խࢧԉ‫׆‬ಈͷҰྫͱͯ͠ɺʰಔࢎԽ෺‫౓੍ڀݚ‬Λ࣮ࢪ͍ͯ͠Δɻར༻ऀɺ‫ػࢉܭ‬ՊֶΛઐ໳ͷ༗ޮϞσϧʹର͢Δ༳Β͗ަ‫ࣅۙ׵‬ʱίʔυͷɺͱ͢Δηϯλʔ‫ڭ‬һɺٕज़৬һɺ͓Αͼϕϯμʔٕज़

SX-ACE ޲͚࠷దԽࣄྫʹ͍ͭͯใࠂ͢Δɻऀ͕࿈‫ͯ͠ܞ‬ΞϓϦέʔγϣϯͷߴ଎ԽʹऔΓ૊Μ

— 26 —

SENAC Vol. 50, No. 1（2017. 1）

ද1αΠόʔαΠΤϯεηϯλʔେ‫ن‬໛Պֶ‫ࢉܭ‬γεςϜॾ‫ݩ‬ੑೳ

SX-ACE

LX406Re-2

NEC ϕΫτϧϓϩηοα
4‫ݸ‬276GFLOPS
256GFLOPS
256GB/sec
1MB/ίΞ

Intel(R) Xeon(R) E5-2695v2
12 ‫ݸ‬
230GFLOPS
4.9GB/sec
30MB (L3)ཧ࿦࠷େԋࢉੑೳ
࠷େϕΫτϧԋࢉੑೳϝϞϦ༰ྔϝϞϦόϯυ෯ϊʔυؒ௨৴଎౓

1‫ݸ‬276GFLOPS
256GFLOPS
64GB
256GB/sec
8GB/sec2‫ݸ‬
460GFLOPS
128GB
9.9GB/sec
7GB/secCPU ਺ཧ࿦࠷େԋࢉੑೳ
࠷େϕΫτϧԋࢉੑೳϝϞϦ༰ྔ

2,560 ‫ݸ‬
706.6TFLOPS
655.4TFLOPS
160TB

136 ‫ݸ‬31.3TFLOPS
8.5TB

CPU ੑೳ

໊শίΞ਺ཧ࿦࠷େԋࢉੑೳ
࠷େϕΫτϧԋࢉੑೳϝϞϦόϯυ෯

ADB / Cache
ϊʔυੑೳ

CPU ਺

γεςϜੑೳ

40ͨઢ‫ܕ‬Խ Elisashberg ํఔࣜΛղ͘͜ͱʹΑͬͯ௒఻

HPCI
JHPCN
共同研究

30

ಋసҠԹ౓౳͕‫ٻ‬ΊΒΕΔɻ͜ͷΞϓϦέʔγϣϯʹΑΓɺిࢠυʔϓ‫ܕ‬ಔࢎԽ෺௒఻ಋମͷΞϯμʔυʔ

件数ϓྖҬͰ৽ͨʹ௒఻ಋঢ়ଶ͕ग़‫͠ݱ‬ಘΔͱ͍͏ۙ೥ͷ࣮‫ݧ‬తใࠂ [1] ʹ͍ͭͯɺཧ࿦త‫͔఺؍‬ΒͷղੳΛ༩

20

͑Δ͜ͱ͕Ͱ͖Δɻ

2.2 ίʔυ֓ཁ

10༳Β͗ަ‫ࣅۙ׵‬Λ༻͍ͨઢ‫ܗ‬Խ Eliashberg ํఔࣜ

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000

1999

Λղ͘ࡍʹɺ৞ΈࠐΈੵ෼Λߦ͏ඞཁ͕͋Δɻίʔυ
0

年度

ਤ1

‫ڞ‬ಉ‫ڀݚ‬՝୊࠾୒਺

2 ΞϓϦέʔγϣϯͷ֓ཁͷΞϧΰϦζϜʹ͓͍ͯ͸ɺNx × Ny × NТ ͷ 3 ࣍‫ݩ‬഑ྻʹରͯ͠ 3 ࣍‫ ݩ‬FFT Λߦ͏͜ͱͰ͜ͷ৞ΈࠐΈੵ෼Λߴ଎Խ͢ΔɻNx , Ny , NТ ͸ͦΕͧΕ 2 ࣍‫࣮ݩ‬ۭ͓ؒΑͼ‫͚͓ʹ࣠ؒ࣌ڏ‬Δղ૾౓ΛఆΊΔύϥϝʔλͰ͋Δɻ௒఻ಋঢ়ଶͷ‫͍͓ͯʹڀݚ‬ॏཁͰ͋Δ௿ԹͰͷղੳΛߦ͏ͨΊʹ͸ɺΑΓߴ͍ΤωϧΪʔղ૾౓ࠓճ SX-ACE Ͱͷ࠷దԽͷର৅ͱͨ͠ΞϓϦέʔ͕‫ٻ‬ΊΒΕΔͨΊɺ͜ΕΒͷύϥϝʔλΛΑΓେ͖͘γϣϯίʔυ͸ɺ౦๺େֶେֶӃ޻ֶ‫ڀݚ‬ՊԠ༻෺ཧ

ͱΔඞཁ͕͋Δɻ·ͨɺԹ౓มԽΛղੳ͢ΔͨΊʹɺֶઐ߈Ͱ։ൃதͷʰಔࢎԽ෺ͷ༗ޮϞσϧʹର͢Δ༳

200Kʙ50K ·Ͱ 10K ࠁΈʹ‫ ܭ‬16 ճͷ൓෮࣮ߦ͕ߦ

Β͗ަ‫ࣅۙ׵‬ʱίʔυͰ͋Δɻຊίʔυ͸ Fortran90

ΘΕΔɻ3 ࣍‫ ݩ‬FFT ͷ࣮ߦʹ͸ɺFFTW ϥΠϒϥϦ

Ͱ‫ه‬ड़͞ΕɺίϝϯτߦΛ‫ؚ‬Έ໿ 950 ߦ͔ΒͳΓɺಛΛɺ·ͨ‫ݻ‬༗஋ͷ‫ٻ‬ղʹ͸ɺLapack ϥΠϒϥϦΛ࢖༗ͷγεςϜ޲͚ͷ࠷దԽ͸ࢪ͞Ε͍ͯͳ͍ɻ༻͢Δɻ

2.1 ༳Β͗ަ‫ࣅۙ׵‬ख๏‫ݱ‬ঢ়ͷϞσϧαΠζ͸ Nx = Ny = 64, NТ = 2, 048
RRͰ͋Γɺ‫ࣨڀݚ‬ͷαʔόʢIntel⃝
Xeon⃝
CPU E5-ࠓճ࠷దԽͷର৅ͱ͢Δίʔυ͸ɺಔࢎԽ෺௒఻ಋ
ମͷ͏ͪಛʹిࢠυʔϓ‫ݺͱܕ‬͹ΕΔ෺࣭ͷిࢠঢ়

2630 v2ʣͰ͸‫ʹࢉܭ‬໿ 7 ࣌ؒΛཁ͍ͯ͠Δɻࠓ‫ޙ‬͸ଶΛ‫ه‬ड़͢ΔͨΊʹఏҊ͞Εͨ༗ޮ 2 όϯυ໛‫ʹܕ‬௿ԹྖҬʹ͓͚Δடংঢ়ଶΛৄࡉʹղੳ͢ΔͨΊʹɺ͓͍ͯɺ௒఻ಋ͓Αͼ࣓‫ؾ‬டংసҠΛղੳ͢ΔΞϓϦ֤࣍‫ݩ‬ͷαΠζΛ Nx , Ny ʹ͍ͭͯ͸ 30 ഒҎ্ɺNТ

έʔγϣϯͰ͋Δɻ༗ޮ 2 όϯυ໛‫·ؚʹܕ‬ΕΔిࢠ

ʹ͍ͭͯ͸ 10 ഒఔ౓֦ு͢Δඞཁ͕͋ΓɺΑΓେ༰ؒ૬‫༻࡞ޓ‬Λ༳Β͗ަ‫ࣅۙ׵‬ʢfluctuation-exchangeྔͷ෺ཧϝϞϦͱ‫ؒ࣌ࢉܭ‬ͷ୹ॖ͕ඞཁͱͳΔɻ

approximationʣΛ༻͍ͯऔΓѻ͍ɺͦͷ݁ՌಘΒΕ

— 27 —

『銅酸化物の有効モデルに対する揺らぎ交換近似』コードのSX-ACE 向け最適化
2.3 ࢖༻ϥΠϒϥϦʹ͍ͭͯ਺ʹઃఆ͢Δͷ͕๬·͍͕͠ɺ‫ࡏݱ‬ͷ ASL Wrapper

FFTW ϥΠϒϥϦ [2] ͸ɺ೚ҙͷ‫਺ج‬ͷ࣮਺͓ΑͼͰ͸੔߹ੇ๏Λผ్ࢦఆ͢Δํ๏͸ͳ͍ͷͰɺ഑ྻαෳૉ਺഑ྻͷ FFT Λߦ͏ϥΠϒϥϦͰɺGNU ϥΠΠζͷ 1 ࣍‫ݩ‬໨Λ‫ͳͱ਺ح‬ΔΑ͏ N ͷαΠζΛ 65 ʹηϯεʹ‫ͮ͘ج‬ϑϦʔιϑτ΢ΣΞͰ͋ΔɻFFTW

ઃఆ͠όϯΫίϯϑϦΫτͷճආΛࢼߦͨ͠ɻ

ϥΠϒϥϦ͸঎༻ΞϓϦέʔγϣϯʹ΋࠾༻͞ΕΔ΄

3.2 ࢖༻ํ๏

Ͳ෯޿͘ར༻͞Ε͍ͯΔ FFT ϥΠϒϥϦͰ͋Δɻ·

ASL Wrapper Λར༻͢Δʹ͸ɺ։ൃ‫ݩ‬ͷ΢Σϒϖʔͨ։ൃ΋‫ܧ‬ଓతʹߦΘΕ͓ͯΓɺ೥ʹ਺౓ͷϚΠφʔδ [4] Ͱఏ‫͞ڙ‬ΕΔ tar ϑΝΠϧΛೖखͯ͠ར༻ऀͷΞοϓσʔτ͕ߦΘΕ͍ͯΔɻ·ͨ SIMD ໋ྩͷαRR
ϙʔτͳͲɺIntel⃝‫ ܥ‬CPU ͓Αͼ Intel⃝ίϯύΠϗʔϜσΟϨΫτϦ഑Լʹల։͠ɺΞϓϦέʔγϣϯϥ޲͚ͷ࠷దԽ͕ιʔείʔυʹͳ͞Ε͍ͯΔɻ
R
LX406-Re2 Ͱ ͸ Intel⃝
CPU ʹ ࠷ ద Խ ͞ Ε ͓ͨΑͼϦϯΫ࣌ʹΞʔΧΠϒϑΝΠϧͷύεࢦఆͱϥ

RIntel⃝MKL ϥΠϒϥϦ͔Β FFTW ͱ Lapack ͕རϧ࣌ʹ͸ɺ-Ep ΦϓγϣϯʹΑΓ C ϓϦϓϩηοαΛ

༻Ͱ͖ΔͨΊɺίϯύΠϧ࣌ʹ FFTW ͷΠϯΫϧʔ‫ى‬ಈ͢Δඞཁ͕͋Δɻ

ͷίϯύΠϧ࣌ʹΠϯΫϧʔυϑΝΠϧͷύεࢦఆɺΠϒϥϦ໊ͷࢦఆΛߦ͏ɻFortran ίʔυͷίϯύΠ

υϑΝΠϧͷ৔ॴͱ MKL ϥΠϒϥϦΛϦϯΫ͢Δ

4 SX-ACE ΁ͷҠ২ͱੑೳൺֱ

ࢦఆΛߦ͏ͷΈͰ࣮ߦΦϒδΣΫτͷ࡞੒͕ՄೳͰ

4.1 ίʔυͷҠ২ํ๏͋Δɻ
Ұํ SX-ACE Ͱ͸ɺFFTW ϥΠϒϥϦ΍ͦͷΠ

ASL.V1.0 r1.2.tar Λμ΢ϯϩʔυͨ͠‫ޙ‬ɺϗʔϜϯλʔϑΣʔε͸ඪ४Ͱ͸ఏ‫͞ڙ‬Ε͍ͯͳ͍ͨΊɺσΟϨΫτϦ഑Լ ($HOME/ASL Wrapper/) ʹల։

FFTW ϥΠϒϥϦΛར༻Ͱ͖ͳ͍ɻSX-ACE Ͱߴੑ͠ɺSX-ACE ༻ʹҠ২Λߦ͏ΞϓϦέʔγϣϯͷίϯ

ೳԋࢉΛ࣮‫͢ݱ‬ΔͨΊʹ͸ɺϕΫτϧνϡʔχϯά͞ύΠϧͱϦϯΫΛߦ͏ɻࠓճͷΞϓϦέʔγϣϯͷ৔Εͨ NEC ੡ͷ ASLʢAdvanced Scientific Libraryʣ߹͸ Lapack ϥΠϒϥϦ΋ඞཁͰ͋ΔͨΊɺϦετ 1

Λ FFT ϥΠϒϥϦͱͯ͠ར༻͢Δඞཁ͕͋Δɻͦ͜ʹࣔ͢ίϚϯυͰίϯύΠϧͱϦϯΫΛߦ͍ɺ࣮ߦΦͰ‫ޙ‬ड़ͷ ASL Wrapper Λಋೖ͠ɺίʔυதͷ FFTW

ϒδΣΫτͷ࡞੒ΛߦͬͨɻϥΠϒϥϦΛίʔϧ͢ΔՕॴΛमਖ਼͢Δ͜ͱͳ͘ ASL
ͷ FFT ϥΠϒϥϦΛར༻͢Δ͜ͱͱͨ͠ɻ

Ϧετ 1
1
2

3 ASL Wrapper
3.1 ֓ཁ
ASL Wrapper ͸ FFTW ΍ Intel(R) MKL ͷ FFTϥΠϒϥϦΛ༻͍ͨϓϩάϥϜΛɺSX ্Ͱར༻͢
ΔͨΊͷΠϯλʔϑΣʔεͰ͋ΔɻASL Wrapper ͸

Xevolver ϓϩδΣΫτ [3] Ͱ։ൃ͞Εɺ‫ ࡏݱ‬v1.0r1.2
͕ެ։͞Ε͍ͯΔɻASL Wrapper Λ༻͍Δ͜ͱͰɺ

FFTW ͋Δ͍͸ Intel(R) MKL ͷ FFT ϥΠϒϥϦΛ࢖༻͢ΔΞϓϦέʔγϣϯΛ SX-ACE ΁Ҡ২͢Δ
͜ͱ͕༰қʹͳΔͱͱ΋ʹɺSX ޲͚ʹߴ౓ʹνϡʔχϯά͞Εͨ ASL ϥΠϒϥϦΛར༻͢Δ͜ͱͰେ͖
ͳੑೳ޲্͕‫ظ‬଴Ͱ͖Δɻ

ASL ϥΠϒϥϦͰ͸ෳૉҾ਺‫ܕ‬ͷ 3 ࣍‫ݩ‬ෳૉϑʔϦΤม‫׵‬Λߦ͏৔߹ɺαϒϧʔνϯ ZFC3FB Λར༻͢Δɻ͜ͷαϒϧʔνϯ΋ FFTW ͱಉ͘͡೚ҙ‫ʹ਺ج‬ରԠͨ͠ FFT Ͱɺσʔλ਺Λௐ੔Ͱ͖Δ৔߹ʹ͸ɺ഑ྻͷ֤αΠζΛ 2,3,5 ͷഒ਺ͱͳΔΑ͏ʹઃఆͨ͠ํ
͕ޮ཰Α͍‫ࢉܭ‬Λߦ͑Δɻ·ͨ SX Ͱ͸ओ‫ه‬ԱͷόϯΫίϯϑϦΫτΛආ͚ΔͨΊʹɺ഑ྻͷ੔߹ੇ๏Λ‫ح‬

3

ASL Wrapper ͷϦϯΫํ๏

sxf90 - Ep - I$HOME / ASL_Wrapper / FFTW / include \source . f90 - L$HOME / ASL_Wrapper / FFTW / lib \- lfftw2asl - lasl - llapack - lblas

4.2

FFT ϥΠϒϥϦͷੑೳൺֱຊηϯλʔͷ LX406Re-2 ͱ SX-ACE ͰϕΫτϧνϡʔχϯάΛߦ͏લͷΞϓϦέʔγϣϯίʔυʢҎԼɺॳ‫ظ‬ίʔυʣͷԋࢉ࣌ؒͷൺֱΛߦͬͨɻͦΕͧΕ

1 ίΞͰͷஞ࣮࣍ߦͰ͋Δɻͳ͓ੑೳൺֱΛߦ͏ίʔυ͸ԋࢉ࣌ؒ୹ॖͷͨΊɺ୯ҰͷԹ౓ʢiTm=200ʣͷΈͷ‫ͨ͠ͱࢉܭ‬ɻ
R
LX406Re-2 Ͱ͸ Intell⃝
MKL ϥΠϒϥϦΛ༻͍ͯ FFTW ϥΠϒϥϦ͓Αͼ Lapack ϥΠϒϥϦͷ
ϦϯΫΛߦͬͨɻSX-ACE Ͱ͸ ASL Wrapper Λ༻͍ͨ৔߹ͱɺFFTW ϥΠϒϥϦͷιʔείʔυΛ

FORTRAN90/SX ίϯύΠϥʹΑΓίϯύΠϧͯ͠࡞੒ͨ͠ϥΠϒϥϦΛ༻͍ͨ৔߹ͱͷൺֱΛߦͬͨɻ

Lapack ϥΠϒϥϦ͸ SX ޲͚ʹ࠷దԽ͞Εͨ MathKeisan ϥΠϒϥϦΛ༻͍ͨɻͦΕͧΕͷԋࢉ࣌ؒΛ
ද 2 ʹࣔ͢ɻASL Wrapper Λ༻͍ͯ SX-ACE Ͱ࣮ߦͨ͠৔߹͕࠷΋ԋࢉ͕࣌ؒ୹͘ɺFFTW ϥΠϒϥϦ
ͷιʔείʔυΛίϯύΠϧͨ͠༻͍ͨ৔߹ͷ໿ 2.5
ഒͷੑೳͱͳͬͨɻSX ޲͚ʹ࠷దԽ͞Εͨ ASL ϥΠ

— 28 —

SENAC Vol. 50, No. 1（2017. 1）

ද2complex จͷΈͰߦ͍ɺ·࣮ͨߦதʹ഑ྻαΠζʹมॳ‫ظ‬ίʔυͷԋࢉ࣌ؒൺֱ

ߋ͕ͳ͍͜ͱΛ֬ೝ͠ɺ੩తͳαΠζͰ഑ྻͷ֬อΛ
FFT ϥΠϒϥϦɾ‫ػࢉܭ‬ԋࢉ࣌ؒ [sec]

FFTW (Inlel MKL)
on LX406Re-2

1,036

FFTW using
ASL Wrapper
on SX-ACE
FFTW compiled by
FORTRAN90/SX
on SX-ACEߦͬͨɻ഑ྻએ‫ݴ‬ͷมߋ‫ޙ‬ͷฤूϦετΛϦετ 5 ʹࣔ͢ɻ࠷಺ϧʔϓʹ*‫ ͱ߸ه‬2 ൪໨ͷϧʔϓʹ W ‫෇͕߸ه‬͖ɺίϯύΠϥʹΑΓ 2 ॏϧʔϓ͕ҰॏԽ͞Εͨ͜ͱ͕෼͔ΔɻίϯύΠϥʹΑΓҰॏԽ͞ΕͨՕॴ͸ɺ

707

REGION A ͷ 2 ՕॴΛ‫ؚ‬Ή‫ ܭ‬30 Օॴ͋ͬͨɻ
Ϧετ 2

1,830
1

ϒϥϦͷޮՌ͕‫ݟ‬ΒΕɺASL Wrapper Λ༻͍ͯ ASL
ϥΠϒϥϦΛ࢖༻͢Δ༗༻ੑ͕֬ೝͰ͖ͨɻ
࣍અͰ͸ɺຊίʔυͷ SX-ACE ޲͚࠷దԽʹ͍ͭͯઆ໌͢Δɻ

2
3
4
5
6
7
8
9
10

5 ϕΫτϧνϡʔχϯάͱੑೳൺֱ

11

5.1 ؆қੑೳղੳ‫ػ‬ೳʹΑΔίετௐࠪ

13

12
14
15

ίʔυ࣮ߦ࣌ʹੑೳղੳ৘ใͷऔಘΛߦ͏؆қੑ 16
17

ೳղੳʢFTRACEʣ‫ػ‬ೳΛར༻ͯ͠ɺԋࢉ࣌ؒͷί 1819ετ෼ੳΛߦ͏ɻFTRACE ‫ػ‬ೳΛར༻͢Δʹ͸ιʔ 20
21είʔυͷίϯύΠϧ࣌ͱϦϯΫ࣌ʹ-ftrace Λࢦఆ 22
23

͢ΔɻFTRACE ‫ػ‬ೳͷҰͭͰ͋ΔϢʔβʔࢦఆϦʔ 2425

δϣϯΛར༻͢Δ͜ͱͰɺίʔυͷ೚ҙͷൣғͰੑೳ 26ղੳ৘ใͷऔಘ͕ՄೳͰ͋ΔɻASL ౳ͷ֎෦ϥΠϒϥϦ͸ FTRACE ‫ػ‬ೳͷΈͰ͸ੑೳղੳ৘ใʹදࣔ͞Ε

Ϧετ 3
1

ͳ͍͕ɺϥΠϒϥϦ‫ͼݺ‬ग़͠લ‫Ͱޙ‬ϢʔβʔࢦఆϦʔ

2δϣϯΛར༻͢Δ͜ͱͰɺ֎෦ϥΠϒϥϦͷੑೳղੳ

4

৘ใ΋ಘΔ͜ͱ͕Ͱ͖Δɻ

63
5

5.2 ഑ྻએ‫ํݴ‬๏ͷมߋʹΑΔϧʔϓ༥߹
Ϧετ 2 ʹॳ‫ظ‬ίʔυͷฤूϦετͷҰ෦Λࣔ͢ɻ 2ιʔείʔυͷίϯύΠϧ࣌ͷฤूϦετΛग़ྗ͢Δ

3
4

ͨΊʹ͸ίϯύΠϧ࣌ʹ-R5 Λࢦఆ͢ΔɻϢʔβࢦఆϦʔδϣϯ REGION A Λ 2 Օॴͷ 3 ॏϧʔϓͷԋࢉ͕ߦΘΕΔՕॴʹઃఆͨ͠ɻ

2
3
4

ϓʹΑΓ 1 ࣍‫ݩ‬໨ɺ2 ࣍‫ݩ‬໨ͱ΋ఆٛ͞Εͨ഑ྻαΠ6ζͷ࠷ॳ͔Β࠷‫ࢀͰ·ޙ‬র͞ΕΔͨΊɺίϯύΠϥ͕

8

5
7
9

ࣗಈతʹ 2 ॏϧʔϓͷԋࢉΛ 1 ॏϧʔϓͷԋࢉʹҰॏ 1011Խ͢Δ͸ͣͰ͋Δ͕ɺฤूϦετͰ͸࠷಺ϧʔϓʢ5 1213ߦ໨͓Αͼ 17 ߦ໨ʣͷΈϕΫτϧԽ͞Εͨ͜ͱ͕෼ 14
15

͔ΔʢV ϚʔΫ͕ϕΫτϧԽ͞ΕͨϧʔϓΛࣔ͢ʣ
ɻ͜ 16
17

Ε͸Ϧετ 3 ʹࣔ͢Α͏ʹɺԋࢉͰ༻͍ΒΕΔ഑ྻͷ 18
19

એ‫ ͕ݴ‬complex จͱ pointer จʹΑΓߦΘΕΔͨΊɺ20
21ίϯύΠϥ͕഑ྻαΠζͱࢀরൣғ͕ಉҰͰ͋Δ൑அ 22
23
24
25

ͦ͜ͰϦετ 4 ʹࣔ͢Α͏ʹɺ഑ྻͷએ‫ݴ‬Λ௨ৗͷ 26

complex จͷΈʹΑΔ഑ྻએ‫ݴ‬

integer , parameter :: N =64 , Wm =2048
complex ( kind (0 d0 )):: Gdd (0: N -1 ,0: N -1 ,0: Wm -1)
complex ( kind (0 d0 )):: Gpp (0: N -1 ,0: N -1 ,0: Wm -1)
complex ( kind (0 d0 )):: selfs3 (0: N -1 ,0: N -1 ,0: Wm -1)

Ϧετ 5
1

಺ଆͷ 2 ॏϧʔϓͷԋࢉʢ4ɺ16 ߦ໨ʣ͸ɺDO ϧʔ͕Ͱ͖ͳ͍ͨΊͰ͋Δɻ

complexɼpointer จʹΑΔ഑ྻએ‫ݴ‬

integer , parameter :: N =64 , Wm =2048
complex ( kind (0 d0 )) , pointer :: Gdd (: ,: ,:) , Gpp (: ,: ,:)complex ( kind (0 d0 )) , pointer :: selfs3 (: ,: ,:)allocate ( Gdd (0: N -1 ,0: N -1 ,0: Wm -1))
allocate ( Gpp (0: N -1 ,0: N -1 ,0: Wm -1))
allocate ( selfs3 (0: N -1 ,0: N -1 ,0: Wm -1))

Ϧετ 4
1

REGION Aʢॳ‫ظ‬ίʔυʣ||| CALL F T R A C E _ R E G I O N _ B E G I N ( ’ REGION A ’)|||+ - - - > do iw =0 , Wm -1||||
w = dble (2* iw +1)* pi * Tm||||+ - - >do iky =0 ,N -1||||| V - >do ikx =0 , N -1|||||| A
Gdd ( ikx , iky , iw )=( im *w - Ep ( ikx , iky ))&||||||/(( im *w - Ed - selfs3 ( ikx , iky , iw )) &||||||*( im *w - Ep ( ikx , iky )) - V ( ikx , iky ))&||||||-1.0 d0 /( im *w - gza )||||| V end do||||+ - end do|||+ - - - end do||||||+ - - - > do iw =0 , Wm -1||||
w = dble (2* iw +1)* pi * Tm||||+ - - >do iky =0 ,N -1||||| V - >do ikx =0 , N -1|||||| A
Gpp ( ikx , iky , iw )=( im *w - Ed &||||||- selfs3 ( ikx , iky , iw )) &||||||/(( im *w - Ed - selfs3 ( ikx , iky , iw )) &||||||*( im *w - Ep ( ikx , iky )) - V ( ikx , iky ))&||||||-1.0 d0 /( im *w - gza )||||| V end do||||+ - end do|||+ - - - end do||| CALL F T R A C E _ R E G I O N _ E N D ( ’ REGION A ’)REGION AʢϧʔϓҰॏԽ‫ޙ‬ʣ||| CALL F T R A C E _ R E G I O N _ B E G I N ( ’ REGION A ’)|||+ - - - > do iw =0 , Wm -1||||
w = dble (2* iw +1)* pi * Tm|||| W - - >do iky =0 , N -1|||||* - >do ikx =0 , N -1|||||| A
Gdd ( ikx , iky , iw )=( im *w - Ep ( ikx , iky ))&||||||/(( im *w - Ed - selfs3 ( ikx , iky , iw )) &||||||*( im *w - Ep ( ikx , iky )) - V ( ikx , iky ))&||||||-1.0 d0 /( im *w - gza )|||||* end do|||| W - end do|||+ - - - end do||||||+ - - - > do iw =0 , Wm -1||||
w = dble (2* iw +1)* pi * Tm|||| W - - >do iky =0 , N -1|||||* - >do ikx =0 , N -1|||||| A
Gpp ( ikx , iky , iw )=( im *w - Ed &||||||- selfs3 ( ikx , iky , iw )) &||||||/(( im *w - Ed - selfs3 ( ikx , iky , iw )) &||||||*( im *w - Ep ( ikx , iky )) - V ( ikx , iky ))&||||||-1.0 d0 /( im *w - gza )|||||* end do|||| W - end do|||+ - - - end do||| CALL F T R A C E _ R E G I O N _ E N D ( ’ REGION A ’)— 29 —

『銅酸化物の有効モデルに対する揺らぎ交換近似』コードのSX-ACE 向け最適化
5.3 ίʔυमਖ਼ʹΑΔϧʔϓ༥߹ΫτϧϓϩηοαͰ͸ϕΫτϧ௕͕௕͍΄Ͳಉ͡ԋࢉREGION A Ͱࣔͨ͠ 2 Օॴͷ 3 ॏϧʔϓͷԋࢉՕྔΛॲཧ͢ΔࡍͷϝϞϦΞΫηε͕ޮ཰Խ͞ΕΔͨΊॴ͸ɺ3 ࣍‫ݩ‬໨ͷϧʔϓʢ2 ߦ໨͓Αͼ 14 ߦ໨ʣ͕ಉ

Ͱ͋Δɻ݁Ռͱͯ͠ FLOPS ஋͸໿ 2.8 ഒ޲্ͨ͠ɻ

ൣғͷԋࢉΛߦ͍ɺ3 ߦ໨͓Αͼ 15 ߦ໨ͷεΧϥԋࢉϧʔϓ༥߹‫ޙ‬ʢA-3ʣ͸ϕΫτϧԋࢉ໋ྩͷΦʔό΋‫ڞ‬௨ͷԋࢉΛߦ͏ͷͰɺ3 ࣍‫ݩ‬໨ͷϧʔϓΛ༥߹͢ϔου࡟‫ʹݮ‬ΑΓɺ͞Βʹ FLOPS ஋͕ 4% ఔ౓޲্Δ͜ͱͰɺϕΫτϧԋࢉ໋ྩͷΦʔόϔουΛ࡟‫͢ݮ‬ͨ͠ɻΔ͜ͱ͕ՄೳͰ͋ΔɻίϯύΠϥΦϓγϣϯͰ࠷దԽ

5.4 ‫਺ج‬αΠζͷมߋʹΑΔόϯΫίϯϑϦΫτͷ
࡟‫ݮ‬ϨϕϧΛ࠷ߴͷ-Choptɺ΋͘͠͸໌ࣔతʹϧʔϓ༥߹Λߦ͏Φϓγϣϯ-pvctl loopfusion Λࢦఆ͢Δ͜ͱ͕લड़ͷ௨Γ ASL ϥΠϒϥϦͷ FFT Ͱ͸ɺ‫਺ج‬ͷα

Ͱ͖Δ͕ɺ͜ͷՕॴ͸ίϯύΠϧΦϓγϣϯͰ͸ϧʔΠζ͕‫਺ۮ‬ʢಛʹ 2 ͷႈ৐ʣͷͱ͖ʹόϯΫίϯϑϦ

ϓ༥߹͞Εͳ͔ͬͨͨΊɺιʔείʔυͷҰ෦ΛίϝΫτ͕େ͖͘ͳΔͷͰɺN ͷαΠζΛ 64 ͔Β 65 ʹมϯτΞ΢τ͢Δ͜ͱͰϧʔϓ༥߹Λଅਐͨ͠ɻϦετߋ͠ɺϦετ 7 ʹࣔͨ͠ FFT ԋࢉ෦෼ͷ REGION

6 ʹιʔείʔυͷमਖ਼ʹΑΓ 3 ࣍‫ݩ‬໨ͷϧʔϓ͕༥B ͷൣғʹ͍ͭͯੑೳղੳΛߦͬͨɻ߹͞ΕͨฤूϦετΛࣔ͢ɻ
Ϧετ 6
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

2 ߦ໨͔Β 5 ߦ໨ʹ͓͍ͯ FFTW ϥΠϒϥϦΛ
ίʔϧ͢ΔՕॴͰ͸ɺASL Wrapper ʹΑΓ࣮ࡍ͸

REGION Aʢϧʔϓ༥߹‫ޙ‬ʣ||| CALL F T R A C E _ R E G I O N _ B E G I N ( ’ REGION A ’)|||+ - - - > do iw =0 , Wm -1||||
w = dble (2* iw +1)* pi * Tm|||| W - - >do iky =0 ,N -1|||||* - >do ikx =0 ,N -1|||||| A
Gdd ( ikx , iky , iw )=( im *w - Ep ( ikx , iky ))&||||||/(( im *w - Ed - selfs3 ( ikx , iky , iw )) &||||||*( im *w - Ep ( ikx , iky )) - V ( ikx , iky ))&||||||-1.0 d0 /( im *w - gza )|||||| !
end do|||||| !
end do|||||| ! end do|||||||||||| ! do iw =0 , Wm -1|||||| !
w = dble (2* iw +1)* pi * Tm|||||| !
do iky =0 ,N -1|||||| !
do ikx =0 ,N -1|||||| A
Gpp ( ikx , iky , iw )=( im *w - Ed &||||||- selfs3 ( ikx , iky , iw )) &||||||/(( im *w - Ed - selfs3 ( ikx , iky , iw )) &||||||*( im *w - Ep ( ikx , iky )) - V ( ikx , iky ))&||||||-1.0 d0 /( im *w - gza )|||||* end do|||| W - end do|||+ - - - end do||| CALL F T R A C E_R EGI ON _EN D ( ’ REGION A ’)

2 Օॴͷ 3 ॏϧʔϓͷԋࢉ෦෼͕ 3 ࣍‫ݩ‬໨ͷϧʔϓͰ༥߹͞Εɺ2 ߦ໨͔Β 25 ߦ໨͕ 1 ͭͷϧʔϓͱͳͬͨ͜ͱ͕෼͔Δɻ

ASL ϥΠϒϥϦ͕ίʔϧ͞ΕΔɻ
Ϧετ 7
1
2
3
4
5
6

||
||
||
||
||
||

REGION B

CALL F T R A C E _ R E G I O N _ B E G I N ( ’ REGION B ’)call d f f t w _ p l a n _ d f t _ 3 d (p ,N ,N , Wm , Gdd , Gdd , &FFTW_FORWARD , FFTW_ESTIMATE )call dfftw_execute ( p )call d f f t w _ d e s t r o y _ p l a n ( p )CALL F T R A C E _ R E G I O N _ E N D ( ’ REGION B ’)

ද 4 ʹ N=64 Ͱ࣮ߦͨ͠ͱ͖ʢB-1ʣͱ N=65 Ͱ࣮ߦͨ͠ͱ͖ʢB-2ʣͷ FTRACE ৘ใΛࣔ͢ɻ‫਺ج‬ͷαΠζ͕ 64 = 26 ͷ৔߹͸όϯΫίϯϑϦΫτͷ஋͕େ͖͘ɺ࣮ߦޮ཰͸ 1% ఔ౓Ͱ͋Δ͕ɺ‫਺ج‬ͷαΠζ͕ 65 ͷ৔߹͸όϯΫίϯϑϦΫτͷ஋͕໿ 1/30 ʹ୹ॖ͞Εɺ࣮ߦޮ཰͸ 28% ·Ͱ޲্͍ͯ͠ΔɻFFT ʹ
ΑΔԋࢉՕॴ͸ REGION B ͷՕॴΛ‫ؚ‬Ή‫ ܭ‬9 Օॴ͋Γɺ͜ͷߴ଎ԽͷޮՌ͸େ͖͍ɻ

5.5 ॳ‫ظ‬ίʔυͱνϡʔχϯά‫ޙ‬ίʔυͷੑೳൺֱॳ‫ظ‬ίʔυͱ 2 छྨͷϕΫτϧνϡʔχϯά͓ΑͼN ʹ 65 Ͱ࣮ߦͨ͠ࡍͷੑೳൺֱΛද 5 ʹࣔ͢ɻ֤߲

Ҏ্ 2 छྨͷϕΫτϧνϡʔχϯάΛߦͬͨίʔ໨ͷ஋͸ɺProgram Information ͔ΒͷൈਮͰ͋Δɻυͱɺॳ‫ظ‬ίʔυΛ࣮ߦͨ͠ࡍͷ FTRACE ৘ใΛΦϦδφϧίʔυͰ͸࣮ߦޮ཰͸ 4% ఔ౓Ͱ͋ͬͨ

ද 3 ʹࣔ͢ɻ্ஈ͔ΒͦΕͧΕɺॳ‫ظ‬ίʔυʢA-1ʣɺ

͕ɺϕΫτϧνϡʔχϯάͱ‫਺ج‬αΠζͷมߋʹΑΔϧʔϓҰॏԽ‫ޙ‬ʢA-2ʣɺ͞Βʹϧʔϓ༥߹‫ޙ‬ʢA-3ʣͷόϯΫίϯϑϦΫτͷ࡟‫Ͱݮ‬ɺ࣮ߦޮ཰Λ໿ 30% ·Ͱ

REGION A ͷੑೳղੳ৘ใͰ͋Δɻ

վળ͢Δ͜ͱ͕Ͱ͖ͨɻಛʹ FFT ϥΠϒϥϦΛ࢖༻ϧʔϓҰॏԽ‫ޙ‬ʢA-2ʣ͸ɺॳ‫ظ‬ίʔυʢA-1ʣͱൺ
ֱͯ͠ FLOPS ஋͕໿ 2.8 ഒ޲্ͨ͠ɻ·ͨฏ‫ۉ‬ϕΫ͢Δࡍͷ‫਺ج‬αΠζͷ࠷దԽ͸ɺϕΫτϧϓϩηοα
ͷੑೳʹେ͖͘Ө‫͢ڹ‬Δ͜ͱ͕෼͔Δɻ

τϧ௕͕ 64 ͔Β 256 ʹ૿Ճͨ͠ɻ͜Ε͸ॳ‫ظ‬ίʔυ࣍ʹϕΫτϧνϡʔχϯά‫ޙ‬ͷίʔυΛද 2 ͱಉ͡Ͱ͸࠷಺ϧʔϓͷ‫܁‬Γฦ͠਺͕ N=64 Ͱ͋ͬͨ΋ͷ‫݁ͨ͠ߦ࣮Ͱڥ؀‬ՌΛද 6 ʹࣔ͢ɻ଎౓޲্ൺ͸ද 2

͕ɺ2 ॏϧʔϓͷҰॏԽʹΑΓ 64 ʷ 64=4,096 ͱͳΓͷ֤ԋࢉ࣌ؒʹର͢ΔൺͰ͋ΔɻASL Wrapper Λ࢖࠷େϕΫτϧ௕ͷ 256 ΑΓ΋े෼௕͘ͳͬͨ͜ͱͷ݁

༻ͯ͠ SX-ACE Ͱ࣮ߦͨ͠৔߹ͷ଎౓޲্ൺ͸໿ 7

ՌͰ͋Δɻ·ͨɺόϯΫίϯϑϦΫτʢNETWORK)ഒͰ͋ͬͨɻ‫ࣨڀݚ‬ͷαʔόͰͷ࣮ߦ࣌ؒͱൺֱ͠ɺ

ͷ஋͸໿ 32 ඵ͔Β 2 ඵʹ‫ݮ‬গ͍ͯ͠Δɻ͜Ε͸ɺϕ

໿ 6.5% ͷ࣮ߦ࣌ؒͰ͋ͬͨɻ

— 30 —

SENAC Vol. 50, No. 1（2017. 1）

ද3
PROC.NAMEFREQUENCYREGION A-1
REGION A-2
REGION A-3

2893
2893
2893

PROC.NAMEFREQUENCYREGION B-1
REGION B-2

142
142

EXCLUSIVE
TIME[sec](

FTRACE REGION A ͷੑೳൺֱ% )AVER.TIME[msec]MOPS

MFLOPS V.OP AVER.
RATIO V.LEN

VECTOR I-CACHE O-CACHEBANK CONFLICT
TIME
MISS
MISS CPU PORT NETWORK

81.907( 11.6)
29.389( 4.7)
20.193( 3.3)

28.312
10.1596.980

22048.5
61210.967385.513630.6 99.44 64.0
37988.7 99.83 256.0
39661.6 99.87 256.0

81.90729.38820.193

ද4

FTRACE REGION B ͷੑೳൺֱ

EXCLUSIVE
TIME[sec](

0.001
0.000
0.000

0.001
0.000
0.000

0.000
0.000
0.000

31.853
1.707
0.854

54.92
49.99
49.95

ADB HIT
ELEM.%% )AVER.TIME[msec]MOPS

MFLOPS V.OP AVER.
RATIO V.LEN

VECTOR I-CACHE O-CACHEBANK CONFLICT
TIME
MISS
MISS CPU PORT NETWORK

138.112( 22.4)
7.998( 8.1)

972.62156.7251408.943620.8

659.4 98.56 213.6
17917.9 98.37 230.1

137.976
7.895

ද5Program Informationより抜粋

演算時間 [sec]

0.001
0.001

0.051
0.038

2.425
0.177

ADB HIT
ELEM.%

112.758
2.123

33.33
70.10

ॳ‫ظ‬ίʔυͱνϡʔχϯά‫ޙ‬ίʔυͷੑೳൺֱ
実行効率 [%]GFLOPS

平均ベクトル長

平均ベクトル化率[%]

バンクコンフリクト(CPU PORT) [sec]バンクコンフリクト(NETWORK) [sec]オリジナルコード

707.18

2.69

4.20

77.24

98.68

9.99

495.47

ベクトルチューニング後

614.982.55

3.99

194.56

99.26

9.71

459.71N=65に変更後

99.01

18.66

29.16

192.30

98.95

1.24

14.77

ද6

νϡʔχϯά‫ޙ‬ίʔυͷԋࢉ࣌ؒൺֱ (N=65)

FFT ϥΠϒϥϦ
ɾ‫ػࢉܭ‬

ԋࢉ࣌ؒ [sec]଎౓޲্ൺ [ഒ]FFTW (Inlel MKL)
on LX406Re-2

986

1.05

FFTW using
ASL Wrapper
on SX-ACE

99.6

7.14

FFTW compiled by
FORTRAN90/SX
on SX-ACE

6 ·ͱΊຊߘͰ͸ʰಔࢎԽ෺ͷ༗ޮϞσϧʹର͢Δ༳Β͗ަ‫ࣅۙ׵‬ʱίʔυͷ SX-ACE ޲͚࠷దԽख๏ʹ͍ͭͯड़΂ͨɻASL Wrapper Λ༻͍Δ͜ͱͰɺFFTW ϥΠϒϥϦͷ‫ه‬ड़෦෼Λมߋ͢Δ͜ͱͳ͘ SX-ACE ͰͷίϯύΠϧͱ࣮ߦ͕ՄೳͰ͋Γɺ·ͨ ASL ͷར༻ʹΑΓߴ͍࣮ߦޮ཰ΛಘΔ͜ͱ͕Ͱ͖ͨɻࠓճ࣮ࢪͨ͠
࠷దԽʹΑΓɺSX-ACE ʹ͓͍ͯ໿ 30% ͷ࣮ߦޮ཰

1,660

1.10

ͰͷԋࢉΛՄೳͱͨ͠ɻࠓ‫ޙ‬͸কདྷͷ໰୊‫ن‬໛֦େʹରԠ͢Δ΂͘ɺେ‫ن‬໛ฒྻͰͷ࣮ߦΛ‫ݟ‬ਾ͑ͯ MPIฒྻԽͷࢧԉΛߦ͏༧ఆͰ͋ΔɻαΠόʔαΠΤϯεηϯλʔͷେ‫ن‬໛Պֶ‫ࢉܭ‬γε·ͨɺLX406Re-2 Ͱͷ࣮ߦʹ͓͍ͯ΋ɺॳ‫ظ‬ίʔυͱ΄΅ಉఔ౓ͷੑೳ͕୲อ͞ΕɺSX-ACE ޲͚ϕΫτϧνϡʔχϯάʹΑΔੑೳ௿Լ͸‫ݟ‬ΒΕͳ͔ͬͨɻ

5.6 ໨ඪϞσϧαΠζͰͷ࣮ߦ‫ڥ؀‬ਪఆςϜ͕ɺར༻ऀͷ‫ൃڀݚ‬లͷҰॿʹͳΔͨΊʹɺࠓ‫ޙ‬΋ߴ଎Խਪਐ‫׆ڀݚ‬ಈʹऔΓ૊ΉॴଘͰ͋Δɻࢀߟจ‫ݙ‬SX-ACE ʹ͓͍ͯ Nx = Ny = 65, NТ = 2, 048 ͷ[1] ଍ཱ‫ڡ‬ɺখ஑༸ೋɺNd2CuO4 ߏ଄ (T’ ߏ଄) Λύϥϝʔλ஋Ͱ࣮ߦͨ͠ࡍͷϝϞϦ࢖༻ྔ͸໿ 2.4GB

༗͢Δిࢠ‫ܕ‬ಔࢎԽ෺ʹ͓͚Δؐ‫ॲݩ‬ཧʹΑΔి

Ͱ͋ͬͨɻίʔυதͰ࢖༻͞Ε͍ͯΔ഑ྻαΠζ͔Βࢠঢ়ଶͷมԽͱϊϯυʔϓ௒఻ಋͷϝΧχζϜɺࢉग़͠ɺࠓ‫ޙ‬ͷγϛϡϨʔγϣϯʹ͓͚Δ໨ඪϞσϧ‫ݻ‬ମ෺ཧ vol.49ɺNo.5ɺ333-344ɺ2014ɽαΠζͱͳΔ Nx = Ny = 2, 000, NТ = 20, 480 Ͱͷ

[2] FFTWɺhttp://www.ﬀtw.org

ϝϞϦ࢖༻ྔ͸ 15TB ͱਪఆ͞ΕΔɻSX-ACE Ͱ͸

[3] Xevolverɺhttp://xev.arch.is.tohoku.ac.jp/

256 ϊʔυͷར༻Ͱ͜ͷϝϞϦྔΛ࢖༻ՄೳͰ͋Δͷ[4] ASL Wrapperɺhttp://xev.arch.is.tohoku.ac.jp/software/Ͱɺࠓ‫ޙ‬͸ MPI ϥΠϒϥϦΛ༻͍ͨίʔυͷฒྻԽΛ࣮ࢪ͠ɺҾ͖ଓ͖େ‫ن‬໛ฒྻͰͷ࣮ߦΛࢧԉ͢Δ༧ఆͰ͋Δɻ

— 31 —

SENAC Vol. 50, No. 1（2017. 1）［大学 ICT 推進協議会 2016 年度年次大会論文集より］

スーパーコンピュータ SX-ACE の省エネ運用
森谷 友映 1), 齋藤 敦子 1), 佐々木 大輔 1) , 山下 毅 1) , 小野 敏 1) ,大泉 健治 1) , 江川 隆輔 2), 3), 小林 広明 3) ,2)
1) 東北大学 情報部情報基盤課
2) 東北大学 サイバーサイエンスセンター
3) 東北大学 大学院情報科学研究科
t-moriya@cc.tohoku.ac.jp

Energy-saving operation of the supercomputer SX-ACE
Tomoaki Moriya 1), Atsuko Saito 1), Daisuke Sasaki 1) , Takeshi Yamashita 1) ,Satoshi Ono 1) ,Kenji Oizumi 1), Ryusuke Egawa 2), 3) , Hiroaki Kobayashi 3) ,2)
1) Information Infrastructure Division, Information Department, Tohoku Univ.
2) Cyberscience Center, Tohoku Univ.
3) Graduate School of Information Sciences, Tohoku Univ.
概要
東北大学サイバーサイエンスセンターは、全国共同利用機関として学内外の研究者に対して大規模科学計算システムを提供している。システムが大規模化するにしたがって、また近年の電力料金の上昇により、運用コストは急増している。大規模計算機を運用する上でも「省エネ対策」は取り組むべき大きな課題である。本稿では、本センターにおける大規模科学計算システムの省エネ運用の取り組みを設備、運用の面から報告する。

1

はじめに
東北大学サイバーサイエンスセンター（以下、

このような状況の下、スーパーコンピュータ
SX-ACE の新規導入に合わせ計算機専用棟である本センター2 号館が竣工された。2 号館は、電本センター）では、全国共同利用機関として学

源設備、計算機の設置スペース、空冷・水冷方

内外の研究者に高性能計算基盤環境である大規式の両方に対応した冷却システムを備えている。

模科学計算システムを提供している。計算シス

これらの整備は計算システムの安定稼働ととも

テムは定期的に更新や増強を実施し、利用分野に電気料金等のコスト削減にも寄与する。

の裾野拡大を図り、大規模・高精度化するシミ

本稿では、本センター2 号館の冷却設備の紹ュレーションモデルに対応するなどして利用者

介とその省エネ対策、および SX-ACE の省電力運の研究開発を促進している。

用に関する取り組みについて述べる。

2011 年 3 月に発生した東日本大震災以降、原子力発電所の稼働率低下と燃料価格の高騰に伴

2

大規模科学計算システムについて

う火力発電費の上昇、さらに、2012 年 7 月から

本センター大規模科学計算システムの構成を再生可能エネルギー発電促進賦課金が上乗せさ

図 1 に示す。本センターの大規模科学計算シスれたことを背景に、スーパーコンピュータ運用

テムはベクトル型スーパーコンピュータに係る光熱水量経費が急増している。運用コス

SX-ACE、スカラ型並列コンピュータ LX 406Re-2、トを抑えるために、省エネ対策は取り組むべきストレージシステムおよび三次元可視化システ

大きな課題となっている。

ムから構成される。

— 32 —

SENAC Vol. 50, No. 1（2017. 1）

図 1 大規模科学計算システム構成図
ベクトル型スーパーコンピュータ SX-ACE は

1 階には水冷設備と空冷設備、2 階には空冷設備

2,560 ノードから構成される。1 ノードには、を備えている。2 号館の内部構成を図 2 に示す。

理論最大演算性能 276GFLOPS のベクトルプロセ
ッサ 1 基 4 コア、メモリ 64GB の主記憶容量・

表 1 SX-9 と SX-ACE の性能比較

I/O 制御部・ネットワークの制御部を単一 LSIに搭載している。前機種 SX-9 と SX-ACE の性能比較を表 1 に示す。SX-9 システムの理論最大演
算 性 能 が 34.1TFLOPS で あ っ た の に 対 し 、
SX-ACE システムでは 706.6TFLOPS となり、20.7倍に性能向上している。なお、理論演算性能あたりの消費電力については、SX-9 の 1GFLOPS あ
たり 15.8W であったのに対し、SX-ACE は 1.69W
であり、約 1/10 の低消費電力の設計になっている。
したがって、システム規模の理論演算性能比と 1GFLOPS あたりの消費電力比から、SX-9 シス
テムに比べ約 2 倍の電力増加が想定され、更なる省電力に対する取り組みが必要である。

3 建物・冷却設備における省エネルギ
ｄ ー対策
3.1

本センター2 号館の紹介

2 号館は 2 階建ての建屋であり、1 階にスーパ
ーコンピュータ SX-ACE、2 階に並列コンピュー
タ LX 406Re-2 およびストレージシステムを配置している。
冷却設備は、屋上に密閉型フリークーリング方式の冷却塔一体型チリングユニットを設置し、

図 2 2 号館内部構成

— 33 —

スーパーコンピュータ SX-ACE の省エネルギー運用

3.2 冷却塔一体型チリングユニット

うラック間の側面と上面をビニールカーテンで

図 3 に示すように、冷却塔一体型チリングユ

仕切る。供給される冷気は、仕切った内部のフニットは 2 号館屋上に設置し 4 基構成で運用しリーアクセスフロアの底面から効率的にている。上部に密閉式冷却塔 3 台、下部に 3 台

SX-ACE へ吸入させ、ラック背面からの高温排のチラーを内蔵している。冷却塔部は、冷却コ

気は天井面の吸入口から天井裏を介し、空調機

イルを流れる冷媒を、送風ファンによって取りへ戻している。

込まれた外気と散水槽から散布された水の蒸発潜熱により冷却する。チラー部は、一般的に用いられる圧縮機で冷媒を冷却する。冷媒は15℃で供給するように設定しており、外気の温度が低い期間は冷却塔のみで冷却（フリークーリング）が可能となる。
冬期や朝晩の気温が低い期間は、消費電力の高い圧縮機は停止したまま冷却塔のみの運転となり節電効果は非常に高い。
図 4 アイルキャッピングを設置した SX-ACE

4 システム運用における省エネルギー
ｄ 対策
SX-ACE は、バッチ処理システム NQSII の拡張
スケジューラ JobManipulator に搭載された省電力運転機能と連携することで、効率的な省電力運転を行うことができる。省電力運転機能にはコア縮退とノード縮退の 2 つがある。本センターではこの 2 つを組み合わせた省電力運転を
図 3 冷却塔一体型チリングユニット
3.3 アイルキャッピング

行っている。
4.1 コア縮退
コア縮退は、OS が最低限動作するのに支障が更なる省エネルギー運用を目指し、1 階に設置ない状態に稼動コア数を縮退する機能である。1

した SX-ACE ではアイルキャッピングを採用しノード 4 コアのうち最大 3 コアが休止状態になている。

る。節電効果はそれほど大きくはないが、休止/

アイルキャッピングとは、空調機から供給さ復帰のレスポンスが速いため、ジョブの実行状

れる冷気と SX-ACE からの高温排気を混流しな況に応じたきめ細かい 省エネルギー運用が可能

いようビニールカーテンで分離する方法である。

である。
4.2 ノード縮退

分離することにより、効率的な空冷制御が可能になり、消費電力の削減が期待できる。
図 4 は、アイルキャッピングを設置した

ノード縮退は、一定時間ジョブの実行がないノードの DC 電源を停止する機能である。

SX-ACE である。冷気の吸入側であるラック前

図 5 に、1 クラスタ(512 ノード)最大定格

面側を向かい合わせに配置し、2 列の向かい合240kW を 100%とした際のコア縮退時、ノード縮— 34 —

100%

SENAC Vol. 50, No. 1（2017. 1）

最大定格：
240kW

90
80
70
60
50
コア縮退なし：89.7kW
コア縮退あり：
83.7kW

40
30
20
10

ノード縮退：
10.8kW0

図 6 ノード縮退運用の改善前と改善後

図 5 1 クラスタあたりの消費電力
退時の消費電力の内訳を示す。ノード縮退は節電効果が非常に大きく、コア縮退時より消費電力を約 1/10 に抑えることができる。
4.3 ノード縮退運用の見直し
ノード縮退では、DC 電源停止/起動時にハードウェアに高い負荷がかかる。このため、ハードウェアの信頼性を確保するためにはノード縮退の頻度を制御する必要がある。
SX-ACE 導入当初は、ノード縮退から復帰す

5

省エネルギー対策の効果
図 7 に、2015 年 1 月から 2016 年 8 月までの

外気温、冷却塔一体型チリングユニットの消費電力を示す。2015 年、2016 年とも、夏期（6 月～9 月）の消費電力が大きいが、冬期(10 月～4月)は小さい。
3.2 節のとおり、冬期は冷却塔のみで冷却されるフリークーリングとなり節電効果が大きく発揮されている。

るまでの時間間隔を 4 時間以上あけることでノ

図 8 は、SX-ACE のノード状況と各設備の消費

ード縮退の頻度を制御していた。これにより、電力（SX-ACE、冷却設備）の瞬時値である。実

ハードウェアの信頼性を確保することはできた

行中以外のほとんどのノードが、コア縮退状態

が、ノード縮退中の 4 時間の間、サービス提供

やノード縮退状態であり、省電力運転機能が効が止まってしまう問題があった。

いている。よって、消費電力も縮退数に対応しこの問題を解決するために、ハードウェア信て削減でき、稼動状況に応じた効率のよい省電

頼性確保の要件を洗い直し、図 6 のように、制力運転ができている。また、図 7 より 2016 年 1

御方法を「ノード縮退の時間間隔」から「ノー月は平均気温 2.4℃と低く、いずれの日もフリ

ド縮退回数（1 日 5 回まで）」へ見直した。このークーリングのみの冷却で、冷却設備において

結果、以前と同等の信頼性が確保できることはも省エネルギーな運転ができている。約 150kW

ベンダーに確認済みである。現在は、この見直の電力消費は、空調ファンや冷媒ポンプ等の動しにより利用者へのサービス提供の質を低下さ

力機器によるもので、冷却に必要な最低限の電せることなく省電力運用を行うことが出来てい

力である。

る。

— 35 —

スーパーコンピュータ SX-ACE の省エネルギー運用

MWh
160

チルドタワーの消費電力量

140

24.8

120

24.3

23
20.5

20

18

100

℃
30

平均外気温度
25.7

25

19.8
22.1

17
15.5

80
60

10.7

6.8

40

10

7
5.9

3

2.6

20

15

11.9

11.7

2.4

20

3.5

5
0
2016/92016/8

2016/7

2016/6

2016/5

2016/4

2016/3

2016/2

2016/1

2015/122015/112015/10

2015/92015/8

2015/7

2015/6

2015/5

2015/4

2015/3

2015/2

2015/10

図 7 冷却塔一体型チリングユニットの月間消費電力量と平均外気温度
kW

ノード数

実行中

コア縮退

ノード縮退

SX-ACE

保守作業

冷却設備(空冷・水冷設備)

2,560

700
600

2,048

500
1,536

400
300

1,024

200
512

100

1/31

1/30

1/29

1/28

1/27

1/26

1/25

1/24

1/23

1/22

1/21

1/20

1/19

1/18

1/17

1/16

1/15

1/14

1/13

1/12

1/11

1/9

1/10

1/8

1/7

1/6

1/5

1/4

1/3

1/2

0
1/1

0

図 8 ノード状況と消費電力の瞬時値(2016 年 1 月)
SX-9

MWh
700
600
500
400
300
200
100
0

空
冷
設
備

SX-ACE

空冷設備

空冷設備・水冷設備

空
冷
設
備
・
水
冷
設
備

SX-9
SX-ACE20142016

20142016

20142016

20142016

20142016

20142016

20142016

20142016

20142016

1月

2月

3月

4月

5月

6月

7月

8月

9月

図9

SX-9 システムと SX-ACE システムの消費電力量

— 36 —

図 9 に、SX-9 システムと SX-ACE システムの消費電力量を示す。SX-9 システムは 2008 年 11月から 2015 年 2 月まで運用していた。その中でSX-9 シ ス テ ム を 運 用 し て い た 最 終 年 と 、
SX-ACE システムの直近 9 ヶ月間と比較している。
消費電力は、すべての月において SX-9 システ
ムを下回っている。SX-ACE システムは SX-9 シ
ステムに比べ全体の理論演算性能が 20.7 倍で、
1GFLOPS あたりの消費電力が約 1/10 と、単純に2 倍の電力増加を見込んでいた。しかし、省電
力運転の効果もあり逆に減少したことが確認できた。
また、冷却設備においては、夏期は両システ
ムともさほど差は見られないが、冬期はフリー
クーリングの効果により最大 55%の省電力が実現できている。

6

おわりにフリークーリングが可能な冷却設備およびア

イルキャッピングの導入により冷却効率の向上
をこれまで以上に高めることができ、大幅な 省
エネルギー効果を実現できた。また、省電力運

転機能を運用に取り入れたことも節電効果へつながっている。
これらの省エネルギー運用をひとつの経験として蓄積し、今後の大規模科学計算システムの運用に活かしていきたい。

参考文献[1] 東北大学情報部情報基盤課共同利用支援係、共同研究支援係、東北大学サイバーサイエン
スセンタースーパーコンピューティング研究部、スーパーコンピュータ SX-ACE の運用について、東北大学サイバーサイエンスセンタ
ー 大 規 模 科 学 計 算 シ ス テ ム 広 報 Vol.49 、
No.1、pp.22-27、2016.

SENAC Vol. 50, No. 1（2017. 1）

— 37 —

SENAC Vol. 50, No. 1（2017. 1）［大学 ICT 推進協議会 2016 年度年次大会論文集より］

キャンパス無線 eduroam と関連サービスの最新動向
Updates on eduroam and Related Services
後藤英昭 1 ,1

中村素典 2 ,曽根秀昭 1

東北大学サイバーサイエンスセンター
2

国立情報学研究所

hgot@cc.tohoku.ac.jp
概要：

学術系の無線 LAN ローミング基盤である eduroam は，世界 80 か国，国内 157

機関 (2016 年 9 月現在, 昨年末より+30 機関) に成長した．一部の国では初等・中等教育機関にも導入が始まっており，関連システム及びサービスの開発も盛んである．本報告では，eduroam の展開と関連サービスの開発について，国内外の動向を紹介する．

はじめに

国際的な学術無線 LAN ローミング基盤である
eduroam (エデュローム) は，世界の大学や研究所等において，キャンパス無線 LAN の相互利用を実現する．日本では，eduroam JP の名称で 2006 年に実証実験的なサービスが始まり，10 年目となる
2016 年現在で国内 157 機関が参加するに至り [1]，また，本年 4 月には国立情報学研究所 (NII) の正式なサービスになった．世界ではこの一年で 5 か国が参加し，総数で 80 となった．eduroam は既に大学の無線 LAN の世界的なスタンダードになっている
が，大学以外の学校にも導入が始まるなど，国内外ともに成長が続いている．
本報告では，eduroam の展開と関連サービスの開発について，国内外の動向を紹介する．

2

eduroam JP の動向

2.1

eduroam JP の正式サービスへの移行

日本における eduroam は，平成 18 年度からの文部科学省特別教育研究経費事業「大学間連携のための全国共同電子認証基盤構築事業」における実証実
験プロジェクトとして，eduroam JP の名称で 2006
年 9 月より運用が開始された．その後，その利便性
や互恵の精神への理解を得て，2016 年 3 月時点で130 を超える機関が参加するに至り，国内における重要なサービスであることが実証された．このような状況を踏まえて，eduroam JP の活動は，2016 年
4 月より NII の正式なサービスとして引き継がれることとなった [1]．
これまで 10 年間に渡り，eduroam JP の実質的な運用は主に NII 及び東北大学サイバーサイエンスセンターによって行なわれてきたが，eduroam JPの正式サービスへの移行に伴い，運用体制の変更・調整が進められてきた．また，これまで十分に整備されていなかった規定・実施要領・運用基準につい

175
150

# of institutions

1

eduroam JP

125
100
75
50
25
0

'09.12 '10.12 '11.12 '12.12 '13.12 '14.12 '15.12 '16.09

図 1: eduroam JP 参加機関数の推移

図 2: eduroam JP 参加機関マップても，策定作業が進んでいる (11 月を目途に公開
予定)．利用者及び各機関から見た eduroam JP のサービス内容に大きな変更はないが，正式な規定や基準が定められるため，既に参加している機関に対しては，後日，参加継続の意思などを問い合わせる調査が行われる予定である．機関側で特に支障がな
い限り，世界の eduroam コミュニティのメンバーとして，継続することを強くお奨めしたい．
eduroam JP の参加機関数は 2016 年 9 月時点で157 となり，2015 年末より 30 機関の増加となった．
欧州の多くの国々を上回る規模に成長したが，国内には約 1,200 の高等教育機関があることから，普及

— 38 —

率では約 13%に留まり，更なる普及が望まれる．図1 に機関数の推移を，図 2 に参加機関のマップ (ピンは本部の位置) を示す．概ね全国に展開されているが，参加機関が一つもない県がまだ 8 つあることから，全国で利用できる利便性を達成するためにも，早期の導入を期待したい．特に，国際会議がよく開催されるような都市及び会議施設では，国内外の利用者からの期待が非常に高いことから，セキュ
リティ面で不安の大きいフリー Wi-Fi ばかりではなく，802.1X 認証で安全性の高い eduroam の導入を推奨したい．

2.2

会議向け期間限定 eduroam アカウント

国際会議では，参加者がネットワークを利用できるように，一時的に基地局を設置したり，既設の基地局のためのゲストアカウントを用意するのが通例である．会場に eduroam 対応の基地局がある場合，eduroam 参加機関の利用者は各自のアカウントでそのままネットワークが利用できる．しかし，国内
外ともに eduroam に未参加の機関もまだ多く，企業の研究所のように eduroam に参加できない機関
からの参加者も多い．そのため，会議運営者が自身の責任の下でゲストアカウントを容易に取得，発行できる仕組みとして，eduroam JP では 2014 年 7月より，「会議向け期間限定 eduroam アカウントの試行」を行なってきた [3]．
このサービスでは，2016 年 9 月時点までに 25 の会議を支援した．これまでの試行運用において，以下のような課題が明らかになった．
最も大きな課題は，サービスの提供可否の基準作りである．eduroam は個人認証まで行う信用に基づいたシステムであることから，万一，偽の会議などがでっち上げられて申請された場合は，これを排除
し，アカウントの不正取得やネットワークの不正利用を未然に防ぐ必要がある．しかしながら，規模・内容ともに様々な会議が多数あることから，小さな事務局で各会議の採否を判定することは難しい．現在は，著名な学会などが主催ないし後援となっていることを一つの目安にしているが，分野が多岐に及ぶことから，信頼できる組織かどうかの判断すら難しい．一方，大きな研究プロジェクトの打ち合わせのように，後援団体がなくても，サービス対象としてできる限り拾いたい例もある．今後もしばらく調査を継続し，明確な基準と，事務手続き上可能な落としどころを検討していく予定である．
第 2 の課題として，事務局の負担軽減が挙げられる．これまでの実績では，平均してひと月あたり 1 件
程度の申請であったが，会議の担当者が eduroam や
認証システムの操作に不慣れなことが多く，サポー
トの手間が非常に大きくなるケースが幾つか認められた．申請数が徐々に増加していることもあり，

SENAC Vol. 50, No. 1（2017. 1）

全国の会議を eduroam JP の一か所で受け付ける
ことは，長期的視点で現実的ではない．そのため，eduroam 参加機関で開催される会議を当サービスの対象外として，ゲストアカウントを発行する仕組
みを各機関で用意するように，依頼していく予定である．また，小規模のミーティングなどで容易に利用できるよう，eduroam のアカウントを利用できる研究者が個人でゲストアカウントを少数だけ発行できるシステムについても，検討を進めている．
第 3 の課題として，ゲストアカウントの有効範囲の制御がある．会議の主催者ないし担当者からは，法的な責任範囲を狭めるという自衛の目的で，ゲストアカウントの有効範囲を，会場内やせいぜい国内にとどめたいという要望が聞かれる．学内のみ有
効なアカウントは，大学内の認証システムと基地局システムに仕組みを作り込むことで実現できる．標準的な eduroam には，国 (地域) のレベルで利用者
認証の範囲を制御する仕組みがないことから，そのニーズの分析も必要である．
ゲストアカウントについては，国際的にも関心が高く，GÉANT(eduroam の国際運用の中心機関)
を中心としたコミュニティで，現在でも盛んに議論が行われている．

3

世界の eduroam の動向

3.1

普及状況及び新システムの開発

執筆時点で世界の参加国 (地域) 数は 80 であり，前年同時期より+5 となった．昨年発表 [4] のように，
アジア太平洋地域では，Trans-Eurasia Information
Network (TEIN) の支援を受けて，オーストラリ
アの AARNet が中心となって XeAP (Extending
eduroam in the Asia Paciﬁc, ジープと読む) プロジ
ェクトが進められた．当プロジェクトでは，eduroam
参加と，それぞれ国内 3 機関の接続を支援する，7か国が選ばれた (当初は 5 か国の予定)．具体的には，
ブータン，インドネシア，マレーシア，ネパール，
パキスタン，フィリピン，スリランカで eduroam
接続支援が行われ，8 月に香港で開催された APAN
(Asia-Paciﬁc Advanced Network) meeting で報告があった．
GÉANT では，世界規模で利用できる集中型のIdP (Identity Provider) を共同開発するプロジェク
トが 2016 年に立ち上がった．この集中型 IdP は，従来の ID・パスワード認証に代わり，より安全と考えられるクライアント証明書認証 (EAP-TLS 方式) の実
現を目指しており，端末に無線接続のためのプロフ
ァイルを含むツール eduroam CAT (Conﬁguration
Assistant Tool) とも連携する．システムは完全な集中型ではなく，例えば国単位で中間証明書を管理できるようなアーキテクチャが考えられている．細— 39 —

キャンパス無線 eduroam と関連サービスの最新動向

かい仕様については，執筆時点でも活発な議論と調整・変更が続いている．なお，このシステムの構
想段階では，日本の集中型認証システムである「代理認証システム」及び「仮名アカウント発行システム」も参考にされた [5]．
一部の国では，高等教育機関に加えて，初等教
育・中等教育機関にも eduroam が導入される例が見られるようになった．これについては，日本国内の動向と併せて次章に述べる．

3.2

govroam

欧州では，政府関係機関の間でも無線 LAN を相互利用可能として，政府関係者のネットワーク利用の便を図りたいというニーズがあり，セキュリティ
やプライバシーなどに関して様々な議論があった
後，SURFNet(オランダ) と Belnet(ベルギー) の間
で 2016 年に，“govroam” の名称でパイロットサー
ビスが開始された [6]．さらに，欧州の数か国が参加を検討している．
現在の govroam は，eduroam と同様の仕組みにより認証連携を実現しているが，SSID には専用の“govroam” を用い，eduroam との間には認証連携を行わない，独立したシステムである．プライバ
シー保護について，ネットワーク側では特に何も行
わず，各端末に VPN の利用を強制することが想定されている．また，常に VPN の利用を保証するた
めに，基地局システムで透過させるべき VPN プロ
トコルの取り決めなどが行われる予定である．執筆時点において，日本が govroam に参加する動きはない．

4

初等教育・中等教育機関におけるeduroam 展開

海外では，高等教育機関に加えて初等・中等教育機
関にも eduroam を導入する事例があり，この数年でその動きが活発化している．eduroam ComplianceStatement には，研究または教育を行なう機関がIdP(Identity Provider) になれると規定されており，高等教育機関という縛りはないため，初等・中等教育機関の参加にも支障はない．
ハンガリーでは，NIIF と Hungarnet によって全
国の小中学校に eduroam を導入するプロジェクトが立ち上がり，そのフェーズ 1 となる 2014 年から 2016
年の間に，1,700 校以上が接続された [7]．フェーズ
2 で，さらに多くの学校が接続される予定である．
オーストラリアでは，2016 年，タスマニア州において公立学校への eduroam 導入が開始された [8]．
アメリカ合衆国でも，幾つかの学区において，小中高校に eduroam の導入例がある．
台湾では，英語名で Taiwan Academic Network

Roaming と呼ばれるローミングシステムと，その運用センターがあり，eduroam 互換ではないものの，一部の初等・中等教育機関に無線 LAN ローミ
ングが導入されている [9]．
日本では，2006 年の eduroam 導入からこれまでの間，高等教育機関と研究機関のみを対象として，
eduroam JP の整備を進めてきた．初等・中等教育機関を受け入れようとすると，機関数が大きいことから，NII のみでは労力に余裕がないと考えられる．
そのため，認証連携システムの運用や事務手続きを引き受ける，補助的な組織が別途必要になると考えられる．
現在，小学校や中学校，高校等では，政府による教育の情報化の推進に従って，生徒用端末や無線
LAN システムなどの ICT を活用した教育環境づく
りが進められている．しかしながら，無線 LAN シ
ステムのセキュリティ対策が不十分な例も見られ，
個人情報の漏洩などの深刻なトラブルも実際に発生している．少なくとも教職員が利用する無線 LAN
システムには，企業並みの高いセキュリティが要求される．一部の高校では，既に IEEE802.1X による利用者認証 (1X 認証) を導入して，無線 LAN のセキュリティを高めているところがある．1X 認証が導入されれば，その学校が eduroam に参加する
ことも技術的に容易になり，学校間の交流や大学との連携，海外との交換留学などで，ネットワーク利
用環境の充実を図ることができると考えられる．
以上のような背景から，我々は初等・中等教育機関における無線 LAN システムのセキュリティ向上，及び，eduroam の展開が必要と考え，2016 年 8 月より，その実現に向けた組織構成・基盤構築の検討を開始した．初期のシステム構築や実証実験に参加を希望または検討可能な学校や教育委員会，地方自治体，業者等団体を募集しており，早期の連絡をお願いしたい (窓口は本稿第一著者)．

5むすびeduroam の展開と関連サービスの開発について，国内外の動向を紹介した．世界の eduroam は，単に参加国・参加機関の拡大のみならず，現在でも関連システム及びサービスの開発が盛んである．新しい動きの一つに，初等・中等教育機関への展開があり，国内でもそれに対応できるように準備を開始した．現在，学校や関連団体，企業等に対して，初期のシステム構築と実証実験に協力を依頼している．
ICT 担当者が不在の学校でも容易かつ安全に利用できる無線 LAN システムの開発が課題である．

参考文献[1] eduroam JP: http://www.eduroam.jp/

— 40 —

[2] “「諸外国の教育統計」平成 27(2015) 年版,”
文部科学省, 2015.
http://www.mext.go.jp/b menu/toukei/
data/syogaikoku/1366171.htm (2016 年 9月 21 日参照)[3] 後藤英昭, 新妻 共, 中村素典, 曽根秀昭, “キャンパス無線 eduroam の最新動向と国内機関向
け新サービス,” 大学 ICT 推進協議会 2014 年
度年次大会 論文集 F3B-2, 2014.
[4] 後藤英昭, 中村素典, 曽根秀昭, “キャンパス無線 eduroam の国内外の最新動向,” 大学 ICT推進協議会 2015 年度年次大会 論文集 3E3-2,
2015.
[5] S. Winter, “Service Approach Speciﬁcation
to Small Site eduroam Adoption,” GÉANT
GN4-1 Project Deliverables, D9.3, 2016.
https://www.geant.org/Projects/GEANT
Project GN4-1/Pages/Deliverables.aspx(2016 年 9 月 21 日参照)
[6] E. Lemmens, “Harmonizing govroam worldwide – Same eduroam-technology, anothercommunity –,” The TNC16 Networking Conference, Mobility working group meeting,
2016.
[7] J. Mohácsi, “How NIIF/Hungarnet becamea large WiFi provider in Hungary?,” The
TNC16 Networking Conference (poster),
2016.
https://tnc16.geant.org/core/poster/36 (2016 年 9 月 21 日参照)
[8] “eduroam for schools takes oﬀ across Australia.”
http://news.aarnet.edu.au/
eduroam-for-schools-takes-off-across-australia/(2016 年 9 月 21 日参照)
[9] Taiwan Academic Network Roaming: https://roamingcenter.tanet.edu.tw/en/(2016 年 9 月 21 日参照)

SENAC Vol. 50, No. 1（2017. 1）

— 41 —

SENAC Vol. 50, No. 1（2017. 1）［大学 ICT 推進協議会 2016 年度年次大会論文集より］

東北大学自営光ファイバーの経年劣化調査
七尾 晶士 1), 森 倫子 1), 千葉 実 1), 水木 敬明 2), 曽根 秀昭 2)1) 東北大学 情報部情報基盤課
2) 東北大学 サイバーサイエンスセンター
nanao@tohoku.ac.jp

Aging Investigation on Optical Fibers Owned by Tohoku University
Masashi Nanao 1), Noriko Mori 1), Minoru Chiba 1), Takaaki Mizuki 2), Hideaki Sone 2)
1) Information Infrastructure Division, Information Department, Tohoku University.
2) Cyberscience Center, Tohoku University.

概要
東北大学では、各キャンパス間、並びに建物間において自営の光ファイバーを敷設しネットワークを構成している。本稿では、敷設から 20 年が経過し途中東日本
大震災をも経験した光ファイバーの劣化状況の調査を行ったので、その結果について報告する。

1

はじめに間光ファイバーは、1995 年当初、シングルモード光ファイバー(SM)の 40 芯を敷設し、それ東北大学では、キャンパスネットワーク
TAINS (Tohoku Academic/All-around/Advanced/
Information Network System)の運用を 1988 年

ない直接接続可能な構成[1]となっていたが、から開始しているが、現在使用している光フ

現在は改修や拡充を経て、次のような構成（図ァイバーは 1995 年にスタートした第 2 世代キ1）となっている。

ぞれのキャンパスに 10 芯ずつ割り当てを行ャンパスネットワーク SuperTAINS（TAINS95)以降に敷設した物である。その後、第 3 世代
TAINS/G（2003 年)、第 4 世代 StarTAINS（2009年）、そしてその更新（2016 年）と、基幹ネットワーク機器の更新を行っており、その間、・青葉山北・青葉山南間
40SM

1995 年敷設

128SM

2009 年敷設

・青葉山北・川内間

ネットワークの構成の変化や建物の新築・移40/60SM

1995 年、2002 年敷設混在

転に合わせ順次光ファイバーも拡張と増強を

120SM

2009 年敷設行ってきた。今回、敷設より 21 年経過した光・青葉山南・川内間

ファイバーが通信品質にどの程度影響を与え

40/60SMているかを調査したので、本稿で報告する。

・片平・川内間

2

40/80SM

光ファイバーの構成
東北大学は大きく分けて、5 つのキャンパス(片平地区、川内地区、青葉山北地区、青葉
山南地区、星陵地区)から構成されており、それぞれのキャンパスを接続するように自営の光ファイバーが敷設されている。キャンパス

1995 年、2002 年敷設混在
1995 年、2009 年敷設混在・星陵・川内間
40/80SM

1995 年、2009 年敷設混在

— 42 —

SENAC Vol. 50, No. 1（2017. 1）

ァイバーに生じている長手方向の歪みや温度

2002年敷設2009年敷設変化を高精度に測定することができる。した

青葉山北
キャンパス

1995年敷設

40SM
128SM
120SM

がって、この測定により光ファイバーへの物
40SM

青葉山南
キャンパス

60SM

理的な曲げ応力や荷重負荷による圧縮などの影響を調べることができる。

川内
キャンパス

80SM
片平
キャンパス

40SM

40SM

星陵
キャンパス

図 1 光ファイバーの構成図

3

調査方法
今回の調査には OTDR、B-OTDR、概観評

価の 3 種類の手法を用いた。それぞれの検査の方法と結果につて説明する。
3.1 OTDR（光パルス試験器）による検査
OTDR(Optical Time Domain Reflectometer)
は、一方の光ファイバー端から計測用の光パ
ルスを入射することにより、光ファイバーの長さ方向の損失状態を測定し異常を検知する
ことができる。したがって、この測定により融着接続やコネクタ接続などの接続損失の影
響を調べることができる。

写真 2 B-OTDR（歪分布測定器）
3.3 撤去ケーブルの芯線状態の概観評価
同時期に敷設し先に撤去された一部のファイバーに対して、デジタルマイクロスコープ
を使用してその芯線の目視検査を行う。この検査では外的要因による劣化具合を調査する。

4

調査結果

4.1 OTDR（光パルス試験器）結果
4.1.1 キャンパス間光ファイバー（川内～片平）
川内キャンパスと片平キャンパス間の光ケーブルの芯線の内、#35 と#36 を調べた結果、
図 2 に示す通り伝送損失がほぼ新品状態の光ファイバーの典型値に一致する結果が得られた。このことから、芯線の劣化はないものと推定できる。

写真 1 OTDR(光パルス試験器)
3.2 B-OTDR（歪分布測定器）による検査
B-OTDR(Brilllouin Optical Time domain
Reflectometer)は、一方の光ファイバー端から計測用のパルス光を入射することにより、フ— 43 —

東北大学自営光ファイバーの経年劣化調査

伝送損失 [dB/km]

#35
#36
典型値

1.0

#27
#28
典型値

1.0

0.5

0.5

0
1300

1.5
伝送損失 [dB/km]

1.5

1400

1500
1600
波長 [nm]

1700

0
1300

1400

1500
1600
波長 [nm]1700

図 4 伝送損失（川内～星陵）

図 2 伝送損失（川内～片平）
4.1.2 キャンパス間ファイバー（川内～星陵）

4.2 B-OTDR（歪分布測定器）結果

川内キャンパスと星陵キャンパス間の光ケ

川内～星陵間の#27、#28 のいずれも川内かーブルの芯線の内、#27 と#28 を調べた結果、ら 2.8km 付近に歪を確認した（図 5,図 6）。こ共に川内側から 1km のところで、比較的大きの歪は曲げ等の影響ではなく、製造時期の異な損失（図 3）が発生しているが、これは 1995

なる芯線同士を接続していることから生じた年に敷設した光ファイバーと 2009 年に敷設

ブリルアン周波数シフトの変化によって生じした光ファイバーの相互の接続点による損失たものであり、芯線自体は問題ないと思われと思われる。また図 4 で示す通り#28 の芯線る。

は伝送損失がほぼ新品状態の光ファイバーの典型値に一致する結果が得られており、距離あたりの伝送損失はほぼ典型値に一致する結2.8km 付近に歪果が得られたことから、芯線の劣化はないものと推定できる。

後方散乱光レベル [dB]30.0

芯線同士の接続部の損失

29.5

図 5 #27 の歪み特性

29.0
28.5
28.0
0

#27
#28
1.0

2.8km 付近に歪2.0
距離 [km]3.0

図 3 OTDR 損失測定結果

図 6 #28 の歪み特性

— 44 —

SENAC Vol. 50, No. 1（2017. 1）

4.3 撤去ケーブルの芯線状態の概観評価結果
1995 年に敷設し、その後拡充のため 2002

参考文献

年に新しい光ファイバーと交換のため撤去さ[1] 亀山 幸義、千葉 実、”SuperTAINS の設れたケーブルを使用して調査を行った。デジ計から完成まで”、 TAINS ニュース 、No.3、

タルマイクロスコープでの観察結果では、いpp.4-10、1995．

ずれのテープ芯線も接着部に気泡が見つかった（写真 3）。この気泡は接着剤部分にのみに見られることからテープ芯線接着時に混入（発生）したものと推測され、気泡自体は光ファイバーの被覆の外側に存在しているので問題ないと思われる。
また、図 2，4 に示した伝送損失は典型値に近い値であり、長波長ほど損失が増加するというマイクロベンドロスの特徴は確認されなかった。したがって、この接着部の気泡は光ファイバーの損失には影響を与えていないと
思われる。

芯1

接着面

芯2
芯3

芯4

泡
写真 3 芯線観察写真

5

おわりに当初想定された光ファイバーの劣化は、測定の結果ほとんど確認できなかった。また震災による影響も受けていないことがわかった。
今後は、ファイバーの外装皮膜の強度試験や浸水による浸潤など、多角的な劣化調査についても考えていきたい。

謝辞
本調査にあたり、技術的な調査協力、助言をしてくださった東日本電信電話株式会社の皆様に感謝申し上げます。

— 45 —

SENAC Vol. 50, No. 1（2017. 1）

［報 告］
[報 告]

SC16 報告東北大学サイバーサイエンスセンター

小松一彦

スーパーコンピュータに関する最大の国際会議 SC16(International Conference for High
Performance Computing, Networking, Storage and Analysis)が 2016 年 11 月 13 日〜18 日に米国ユタ州ソルトレイクシティのソルトパレス会議場において開催されました。SC16 は、81 件の論文発表をはじめとする研究・技術成果を発表する本会議と、349 の企業・大学・研究所等がスーパーコンピュータに関連する製品や研究成果を発表する展示会から構成されています。今年の総参加人数は 1 万 1000 人超えと非常に多く、会場周辺でも多数のワークショップや技術交流が行われ、街全体がスーパーコンピュータ関連の話題で包まれていました。
サイバーサイエンスセンターでは、流体科学研究所、金属材料研究所、東北メディカル・メガ
バンク機構と合同で、展示会へ参加いたしました。今年は展示ブースのレイアウトを一新し、ブース中央に配置したプロジェクタを活用し、各機関の動画による紹介や研究成果のプレゼンテー
ションを行いました。また、スーパーコンピュータSX-ACEの紹介、SX-ACEを利用したシミュレー
ションの高速化、スーパーコンピュータを容易に使うためのシステムソフトウェアや次世代のプロセッサなど、最新の研究成果をポスター展示しました。14～17日の4日間の展示会期間中の訪問者は300名以上にものぼり、活発な議論・情報交換を行うことができました。
また、スーパーコンピューティング研究部では、本会議ポスターでの発表、企業ブースでの発表、CREST「ポストペタスケール高性能計算に資するシステムソフトウェア技術の創出」ブースでの展示も行いました。本会議ポスター発表では、既存コードを極力複雑化させることなく自動チューニングを適用する方法について発表し、多くの研究者と有用な議論を交わしました。
次回の SC17 は 11 月 12 日～17 日に米国コロラド州デンバーで行われる予定です。

SC16 会場

東北大学展示メンバー集合写真

ポスター発表の様子

— 46 —

SENAC Vol. 50, No. 1（2017. 1）[Web 版大規模科学計算システムニュースより]
大規模科学計算システムニュースに掲載された記事の一部を転載しています。 http://www.ss.cc.tohoku.ac.jp/tayori/

コンパイラのバージョンアップについて（No.232)2016 年 10 月 24 日に FORTRAN90/SX コンパイラをバージョンアップいたします。
詳細につきましては、リリースメモをご覧ください。
対象システムSX-ACE

コンパイラ名FORTRAN90/SX

旧バージョン
Rev.530

新バージョン
Rev.532

リリースメモFORTRAN90/SX リ
リースメモ.pdf＊リリースメモは以下からご参照ください。
http://www.ss.cc.tohoku.ac.jp/PDF/20161020/sxf90_rev532.pdf
なお、コンパイルコマンドに変更はありません。オプションの詳細は、sxman コマンドや PDF 版
マニュアルで参照できます。参照方法は、以下をご覧ください。
http://www.ss.cc.tohoku.ac.jp/super/online_manual.html（共同利用支援係，共同研究支援係）

— 47 —

SENAC Vol. 50, No. 1（2017. 1）― SENAC 執筆要項 ―１．お寄せいただきたい投稿内容
サイバーサイエンスセンターでは、研究者・技術者・学生等の方々からの原稿を募集しております。
以下の内容で募集しておりますので、皆さまのご投稿をお待ちしております。なお、一般投稿いただ
いた方には、謝礼として負担金の一部を免除いたします。
・一般利用者の方々が関心をもたれる事項に関する論説・センターの計算機を利用して行った研究論文の概要
・プログラミングの実例と解説・センターに対する意見、要望
・利用者相互の情報交換

２．執筆にあたってご注意いただく事項(1)原稿は横書きです。
(2)術語以外は、「常用漢字」を用い、かなは「現代かなづかい」を用いるものとします。
(3)学術あるいは技術に関する原稿の場合、200 字～400 字程度のアブストラクトをつけてください。
(4)参考文献は通し番号を付し末尾に一括記載し、本文中の該当箇所に引用番号を記入ください。
・雑誌：著者,タイトル,雑誌名,巻,号,ページ,発行年
・書籍：著者,書名,ページ,発行所,発行年
３．原稿の提出方法
原稿のファイル形式は Word を標準としますが、PDF での提出も可能です。サイズ*は以下を参照してください。ファイルは電子メールで提出してください。
－Word の場合－
・用紙サイズ：A4
・余白：上＝30mm 下＝25mm 左右＝25mm 綴じ代＝0
・標準の文字数（45 文字 47 行）＜文字サイズ等の目安＞
・表題＝ゴシック体 14pt 中央 ・副題＝明朝体 12pt 中央
・氏名＝明朝体 10.5pt 中央
・所属＝明朝体 10.5pt 中央
・本文＝明朝体 10.5pt
・章・見出し番号＝ゴシック体 11pt～12pt*余白サイズ、文字数、文字サイズは目安とお考えください。
４．その他(1)執筆者には、希望により本誌*（10 部以内の希望部数）と本誌 PDF 版を進呈します。
*2014 年末で、別刷の進呈は終了しました。
(2)一般投稿を頂いた方には謝礼として、負担金の一部を免除いたします。免除額は概ね 1 ページ
1 万円を目安とします。詳細は共同利用支援係までお問い合わせください。
(3)投稿予定の原稿が 15 ページを超す場合は共同利用支援係まで前もってご連絡ください。
(4)初回の校正は、執筆者が行って、誤植の防止をはかるものとします。
(5)原稿の提出先は次のとおりです。
東北大学サイバーサイエンスセンター内 情報部情報基盤課共同利用支援係
e-mail uketuke@cc.tohoku.ac.jp
TEL022-795-3406

— 48 —

SENAC Vol. 50, No. 1（2017. 1）

スタッフ便り新年明けましておめでとうございます．本年もどうぞよろしくお願いいたします．
一昨年開通した仙台市営地下鉄東西線，青葉山新キャンパス移転に伴い，センターから見える
景色が大きく変わりました．青葉山キャンパスへのアクセスも大変便利になりましたので，お気軽に青葉山駅前スパコンセンターにお立ち寄りください．
さて，本年 1 月よりスーパーコンピューティング研究部には滝沢寛之教授が着任されました．
新たな体制の下，これまで以上に，ユーザの皆様にご満足いただける安定した大規模科学システ
ムの運用はもちろん，ユーザの皆様との共同研究活動をさらに活性化していければと思います．
個人的には健康第一で，日々積み残しの無い日々を過ごしたいと考えております．元旦の初詣，
1 月 14 日のどんと際とおみくじを引いてみたものの，2 回とも末吉．．． 出だしは今イチではありますが（笑），めげずにがんばって行きます！（R.E）

平成 25 年 7 月よりセンターに異動となり早いもので 4 回目の新年を迎えることができました．
以前の勤務も青葉山キャンパス内でしたので，年数を計算してみたところ 12 年目に入っており，
最初に青葉山キャンパスに来た頃を思い出しては「あの建物の立っていたところは確か雑木林だ
ったよなぁ．」などと懐かしく眺めています．それと同時に着々と開発が進み，教育・研究環境が年を追うごとに整備されていき，新たな発明や発見，それを継承しながらより高い目標に向かう人材が育って行く場所で，微力ながらも仕事として携わっていることを嬉しく感じています．
また，開業一周年を迎えた仙台市営地下鉄東西線による青葉山キャンパスへのアクセスの向上も本当に大きな変化でした．開業前はバスでの通勤でしたので天候による遅延も多く，特に冬場の大雪や凍結時は寒い中をバス停でいつ来るのかもはっきりとしないバスを待つ長蛇の列が年に何回かあり，それに絶望して凍った歩道を転びながら市内まで歩いて行ったことも何度かありました．それが地下鉄の開通で寒いところで待つことも，渋滞で時間を気にすることも無くなったのは本当に便利です．もう戻れません！（笑）
多くの夢や希望が創造されていくであろう其々の教育研究機関の，そしてその基盤となるこのセンターに貢献できるように今後も日々頑張って行きたいと思います．（K.M）

サイバーサイエンスセンター・情報部情報基盤課スタッフ異動のお知らせ
2017.1.1 付け[転入]
滝沢 寛之 スーパーコンピューティング研究部教授（情報科学研究科准教授から）平澤 将一 産学官連携研究員（情報科学研究科から）
[転出]
和泉
諭

産学官連携研究員（情報科学研究科特任准教授(教育)へ）

SENAC 編集部会
小林広明 水木敬明 後藤英昭
江川隆輔 佐藤恵美子 吉田貴子
大泉健治 小野 敏 斉藤くみ子

編集・発行

印
開発中の青葉山キャンパス（1 月に食堂･売店も開店して人通りが増えてきました.）

刷

平成 29 年 1 月発行
東北大学
サイバーサイエンスセンター
仙台市青葉区荒巻字青葉 6-3
郵便番号 980-8578
東北大学生活協同組合
プリントコープ

索
SENAC Vol.49 (No.1～No.4)
項 目
巻頭言
先 端 ス ー パ ーコ ン ピ ュ ー タが 利 用 で き る幸 せ藤井孝蔵
センター長に就いて
曽根秀昭
共同研究成果拍動流下における動脈瘤を有する血管壁挙動の数値解析法とその臨床応用
西川優他
一様磁場下の熱プラズマジェットに輸送されるナノ粒子群の集団的形成過程の数値シミュレーション
茂田正哉
従来型観測のみを用いた日本域再解析システムの構築に向けた同化実験
福井誠他
低レイノルズ数流れにおける非定常空力特性の数
値解析
児島有哉他
Building-Cube Method に基づく解適合格子細分化と動的負荷分散三坂孝志他
多速さ格子ガス法実用化展開への手がかり― “テシャラの方法”から“マクスウェルの達人
操作”へ ―
松岡浩他
電流の偏りに注目したアンテナ放射効率の解析
有馬卓司他
研究成果
-情報科学研究科グループ利用制度を利用してShape Optimization による非定常流れ場の安定性
制御
中澤嵩
大規模科学計算システム
SSH アクセス認証鍵生成サーバの利用方法
アプリケーションサービスの紹介
三次元可視化システムと可視化事例の紹介
大学 ICT 推進協議会 2015 年度 年次大会論文集より転載
スーパーコンピュータ SX-ACE の運用について
小野敏他
暑熱環境下体温上昇解析コードのスーパーコンピ
ュータ SX-ACE での高速化と並列化
佐々木大輔他
キャンパス無線 eduroam の国内外の最新動向
後藤英昭他
東北大学全学ファイアウォールの運用に関する
報告
野田大輔他

引
2016.1～2016.10

No.

1
2

1

p.

1
1

3

1

21

2

5

2

12

3

1

4

1

4

16

4

21

2
2
3

19
22
9

1

22

1

28

1

34

1

37

お知らせ
地下鉄青葉山駅周辺案内

144

平成 28 年度サイバーサイエンスセンター
講習会のご案内サイバーサイエンスセンター講習会のご案内

2
3

3
16

報告

<計算科学・計算機科学人材育成のためのスーパーコンピュータ無償提供利用報告>
基礎ゼミ報告 －計算科学・計算機科学の楽しさに触れる－
江川隆輔
SC15 報告
小松一彦

1
1

40
41

項 目

No.

p.

1

42

2
2

43
44

3

24

3

25

4

34

4

35

4

36

4

38

4

40

3
3

20
21

1
2
2
2
2

43
45
46
46
47

2
2

49
49

2
3

50
26

3
3
4

26
28
43

4

43

4

44

4

44

(No.229)445

平成 29 年度の「京」を含む HPCI システム共用
計算資源の利用研究課題の募集について（No.230）
コンパイラのバージョンアップについて（No.231）

4
4

46
46

小松助教らの研究グループが、レガシーコー
ドの移植に関する国際ワークショップ
LHAM2015 に お い て Best Workshop Paper
Award を受賞しました
第 23 回高性能シミュレーションに関するワー
クショップ(WSSP)を開催しました 小林広明
サイバーサイエンスセンターセミナー報告
第 25 回東北 CAE 懇話会を開催しました小林広明
第 23 回 NEC ユーザグループミーティング参加
報告
江川隆輔
学際大規模情報基盤共同利用・共同研究拠点（JHPCN）第 8 回シンポジウム報告
江川隆輔
サイバーサイエンスセンターオープンキャンパス
報告
小松一彦＜計算科学・計算機科学人材育成のためのスーパーコンピュータ無償提供利用報告＞
東北大学大学院データサイエンスプログラムにおける疑似プロジェクト演習 中尾光之他＜プレリリース報告＞ 気象データと連動した熱中症リスク評価システムの開発― 幼児 60 分で熱中症リスク、真夏にアスファルトの歩行 ―＜プレスリリース報告＞ 血行状態モニタリング
装置「魔法の鏡」の開発に成功
利用相談室便り
平成 28 年度の利用相談について
テクニカルアシスタントの自己紹介「Web 版大規模科学計算システムニュース」より利用負担金学の表示コマンドについて（No.207）
Gaussian09 のバージョンアップについて（No.217）
平成 28 年度共同研究について（No.218）
コンパイラのバージョンアップについて（No.219）
平成 28 年度利用負担金について (No.219)
計算科学・計算機科学人材育成のためのスーパーコンピュータ無償提供制度について（No.219）
民間企業利用サービスについて（No.219）
大規模科学計算システムの機関（部局）単位での利用について（No.219）
コンパイラのバージョンアップについて（No.220）
被災地域研究者への大規模科学計算システムの無償提供について（No.223）
利用負担金学の表示コマンドについて（No.224）
コンパイラのバージョンアップについて（No.227）
数式処理プログラム Mathematica の バージョン
アップについて（No.228）
科学技術計算言語 MATLAB のバージョンアップについて（No.228）
MSC Software 社アプリケーションの利用について（No.228）
バッチリクエストの状態確認コマンドについてࢩࢫࢸ୍࣒ぴィ⟬ᶵࢩࢫࢸ࣒ᶵ ✀ࢫ࣮ࣃ࣮ࢥࣥࣆ࣮ࣗࢱ

6;$&(୪ิࢥࣥࣆ࣮ࣗࢱ

/;5H

ࢧ࣮ࣂ࡜࣍ࢫࢺྡ
ࣇࣟࣥࢺ࢚ࣥࢻࢧ࣮ࣂIURQWFFWRKRNXDFMS

66+ ࢔ࢡࢭࢫㄆド㘽⏕ᡂࢧ࣮ࣂ

NH\FFWRKRNXDFMSࢧ࣮ࣅࢫ᫬㛫฼⏝ࢩࢫࢸ࣒ྡ➼฼⏝᫬㛫ᖏ

ࢫ࣮ࣃ࣮ࢥࣥࣆ࣮ࣗࢱ

㐃

⥆

㐠

㌿

୪ิࢥࣥࣆ࣮ࣗࢱ

㐃

⥆

㐠

㌿

ࢧ ࣮ ࣂ

㐃

⥆

㐠

㌿

ྍど໬ᶵჾᐊ

ᖹ᪥ 㹼

㤋ෆ฼⏝ᖹ᪥ 㹼

ࢫ࣮ࣃ࣮ࢥࣥࣆ࣮ࣗࢱ㸦6;$&(㸧ࡢ฼⏝ᙧែ࡜ไ㝈್฼⏝ᙧែ฼⏝ࣀ࣮ࢻᩘ ᐇ⾜᫬㛫ไ㝈ͤ㸦⤒㐣᫬㛫㸧
ࠥ

つᐃ್㸸 㐌㛫᭱኱್㸸 ࣨ᭶ࠥ

つᐃ್㸸 ࣨ᭶᭱኱್㸸 ࣨ᭶ ᫬㛫

ࠥ ᫬㛫

ࠥ ᫬㛫

㏻ᖖ

↓ᩱ
ࢹࣂࢵࢢ

࣓ࣔࣜࢧ࢖ࢬไ㝈 T ࢜ࣉࢩࣙࣥ E ࢜ࣉࢩࣙࣥ

*%ࣀ࣮ࢻᩘ

฼⏝ࣀ࣮ࢻᩘ

V[*%
*%ࣀ࣮ࢻᩘI
GHEXJ

฼⏝ࣀ࣮ࢻᩘ

ͤࣀ࣮ࢻ௨ୖࢆ฼⏝ࡋࡓ୪ิᐇ⾜࡟ࡣ03,ࡢ฼⏝ࡀᚲ⏝୪ิࢥࣥࣆ࣮ࣗࢱ㸦/;5H㸧ࡢ฼⏝ᙧែ࡜ไ㝈್฼⏝ᙧែ฼⏝ࣀ࣮ࢻᩘͤᐇ⾜᫬㛫ไ㝈㸦⤒㐣᫬㛫㸧࣓ࣔࣜࢧ࢖ࢬไ㝈

㏻ᖖ

ࠥ

つᐃ್㸸 ࣨ᭶᭱኱್㸸 ࣨ᭶*%ࣀ࣮ࢻᩘ

T ࢜ࣉࢩࣙࣥ E ࢜ࣉࢩࣙࣥ
฼⏝ࣀ࣮ࢻᩘ
O[࢔ࣉࣜࢣ࣮ࢩࣙࣥ

࡞ࡋ

*%఍ヰᆺ㸦 ࢥ࢔ࡲ࡛㸧 ᫬㛫㸦&38 ᫬㛫ྜィ㸧

*%

ͤࣀ࣮ࢻ௨ୖࢆ฼⏝ࡋࡓ୪ิᐇ⾜࡟ࡣ03,ࡢ฼⏝ࡀᚲ⏝D