学際大規模情報基盤共同利用・共同研究拠点 平成 24 年度共同研究 最終報告書 2013 年 5 月

12-MD03

高分子系粗視化シミュレーション基盤の計算機科学的高度化検討
萩田克美（防衛大学校）

概要 本研究では、高分子材料の次世代デジタルエンジニアリングの実現に向けて、高分子をバネとビーズで表現した粗視化分子動力学法、およびその周辺の技法について、計算機科学的高度化を進めた。大規模計算の実行環境／技術に加えて、計算結果の検討
手法の検討も行った。複雑な 3 次元構造の分類・特徴付けに、計算幾何学の手法を用いる検討も行った。当初目的であった大規模な粗視化分子動力学法による高分子材料中のナノ粒子の 2 次元散乱パターンの延伸開放過程での変化を観察する仮想実験が可能であることを確かめた。加えて、2 次元散乱パターンなどの逆空間情報からナノ粒子の構造や高分子相分離構造を推定する逆モンテカルロ法についての検討も深めた。さらに、可視化技法やその関連技術の検討も引き続き実施した。当初計画に加えて、相分離したブ
ロックコポリマーの機械的性質に関する粗視化シミュレーションも実施した。

1. 研究の目的と意義解析）の高度化」について、重点的に検討を進め

本研究では、将来の超大規模シミュレーション

た。H24 年度は、（計算機科学の知見を取り込み活による高分子複合材料系（ナノコンポジット）の用する）一連の取り組みの最終年度として、課題

材料設計開発（次世代デジタルエンジニアリング） 名も若干変更し、計算機科学と計算科学に加えて、の実現を目標としている。そのために、超並列計

3 次元物体の見方・特徴付けと関連する計算幾何学

算実施、複合材料系のシミュレーション初期配置の活用を目指し、「計算機科学－計算科学－計算幾

作成、結果（大規模時系列データ）の高度な解析・何学（数学）」との横断的連携も含めた検討とした。

可視化などの研究基盤の準備・整備を目的とした。

高分子材料・ソフトマテリアル分野では、最近

また、広い分野の研究者のアドバイスを頂き、統の高分子合成技術の進展に伴い、分子鎖のつなが合的に知見を取り込んで、将来の活用のシーズとり・形状を顕わに考慮した物質の物性研究が盛んなる検討を実施することを方針として取り組んだ。 に行われている。さらに、無機有機ハイブリッド
なお、H25 年度の JHCPN 研究課題は、フィラー充填

材料として、界面活性剤をグラフトした均質なナ

高分子材料の粗視化 MD 解析研究に焦点をあて、産ノ粒子の創成とその配合による高機能（高付加価総研 森田先生が代表で、産学両側のメンバーが参値な）高分子フィルム材料に応用されつつある。

画した形として、オープン・イノベーションのた

高分子ナノコンポジット材料に関して、補強効果

めに、より発展させ継続することとした。また、や破壊などの機械的性質や熱伝導特性の解明にシ大規模可視化については、名古屋大学 HPC プロジ

ミュレーション研究が期待されている。個々の分ェクトとして拡大継続させ、他のテーマについて

子鎖のつながりや形状を考慮したシミュレーショ

も、JHPCN 以外の研究プログラムなどで継続し、発ンには、Kremer-Grest 模型[J.

展させている。

(1990) 5057] と呼ばれるランダム力を含む粗視化

Chem. Phys. 92

H23 年度までの JHPCN 研究では、超大規模粗視化

MD 法が標準的な手法としてよく用いられている。

MD コードの最適化を進めるとともに、フィラー（ナこの方法はバネビーズ模型と呼ばれるポテンシャノ粒子）充填高分子系を中心に「超並列計算用に

ルの詳細を重視しないものであり、詳細なポテン

コーディングした粗視化分子動力学(MD)法のプロ

シャルを考慮した全原子分子動力学法などに比べグラム・コードの最適化の検討」「大規模な初期配て、大きな時間刻みと空間スケールを扱える利点

置の効率的な作成方法の検討」および「大規模ながある。我々は、一辺が約 1μm の大きさの領域を高分子系の可視化手法の検討とポスト処理（結果扱う大規模シミュレーションをターゲットとして、
1

学際大規模情報基盤共同利用・共同研究拠点 平成 24 年度共同研究 最終報告書 2013 年 5 月

多くのスパコンを利用し、分散データ構造と通信

3. 研究成果の詳細と当初計画の達成状況について強く配慮しつつ、分散 IO・分散処理の超(1) 研究成果の詳細について

並列コードを作成した。一方で、現実の材料を予測するモデル化は、支配因子の多さから、とても① 高分子系の粗視化分子動力学法のコードの難しい。地道にこの系の理解を深めるためにも、最適化作業・ファイル出力の隠蔽化検討

多くの研究者による基礎検討が必要である。そのために、並列版 OCTA/cognac の日立 SR16000 での本研究課題の主たる目的の一つは、ショーケー

利用普及（北大以外への導入）や IntelCPU 版の公スとして、延伸させたナノ粒子充填高分子材料に開などを促すともに、さまざまなスパコンでの並ついて、粗視化 MD による仮想実験を行い、放射光列計算実施のために米国製の汎用アプリ LAMMPS のや中性子などで観察した際によく見られる 2 次元

連携利活用について検討した。また、分析手法の散乱パターンの挙動を、比較検討することである。

一つとして可視化技法も検討した。OCTA/cognac デ

独自の超並列コード(MPI-OpenMP ハイブリッド)ータの AVS/Express 可視化用関連ツールなどを公の作成を行い、Fujitsu FX10 等を用いて、2048 個開した。本研究課題では、複雑な三次元構造を持のナノ粒子を含む約 5000 万粒子の大規模計算を

つ高分子の構造の特徴的な挙動の発見／認識を目実施した。その結果として、2 次元散乱パターン

的のために、没入型三次元立体可視化装置 CAVE をの特徴的な挙動が再現できること、ナノ粒子の構用い、それらの関連検討を行った。

造に応じて応力増大が異なることが明らかになったことなど、当初目的を達成した。ほぼランダム

2. 当拠点公募型共同研究として実施した意義に配置されたナノ粒子が、近隣のナノ粒子と衝突(1) 共同研究を実施した大学名と研究体制することで、相関を生み、複数の実験で報告され北海道大学、東京大学、名古屋大学、大阪大ている４点スポットが生じていることが明らかに学なった。また、ナノ粒子系の散乱のモデル関数と(2) 共同研究分野してよく用いられる Debye-Bueche 関数をもとに、超大規模数値計算系応用分野

ナノ粒子の凝集の具合が異なる系を RMC 法で作成

大規模データ処理系応用分野

し、応力歪み曲線を比較したところ、凝集度合い

大規模情報システム関連研究分野に応じて、応力の値が大きくなることが分かった。

(3) 当公募型共同研究ならではという事項など

現実の計算機環境では、演算ノードとファイル

本研究では、プログラム・コードのチューニン

IO 性能は、全体のバランスで最適化されているた

グ、最適化方針の検討、関連の新規プログラムのめ、特定のプログラムでは最適ではない場合があ

開発支援（最新の並列化済みライブラリの利用にる。特定の解析や可視化のために短い時間間隔で関する相談を含む）、大規模系の効果的な可視化技

記録する場合などは、ファイル IO 性能が不足する。

法など、高分子物理学・物性物理学の専門性とは全てのノードが同時に書き込み要求すると、輻輳異なる、計算機科学の諸分野の専門性が必要な事

により性能低下する。IO バッファサイズを超えれ項を検討している。これに対し、JHPCN を通じ、

ば、書き込み待ちも無視できない。特に、NFS 環

共同研究を実施した機関に属する研究者（教員）・

境の計算機クラスターでは、顕著となる。MPI-IO

技術者（技術職員）がもつ専門的なノウハウを提においては、ランダムアクセス対策の Collective

供いただき、円滑に進めることができた。

IO や、IO と計算のオーバーラップのためのノンブ

また、これまでの JHPCN 研究の複数項目についロッキング IO が実装されている。しかしながら、て、各大学（センター）の専門性を踏まえつつ、（ランダムアクセスでもない）大規模データの同

JHPCN 以外でも発展的に継続するに至っている。

時書き込みの輻輳対策は、環境依存であり、ユー
2

学際大規模情報基盤共同利用・共同研究拠点 平成 24 年度共同研究 最終報告書 2013 年 5 月

ザー側で実施する余地がある。（IO のライブラリ

ポテンシャルの追加などができる構造になっておで将来サポートされることを期待しているが、）本り、局所演算の最適化検討が可能である。通信に検討課題では、NFS 環境における Split File 方式

ついては、変更は不可能であるが、バッファサイ

による分散出力を、最大同時書き込み数を制御す

ズの変更などが有効になる点があった。Fujitsu

ることで、全体性能を向上させる方法を検討した。

FX10 では、富士通 MPI の仕様から、いくつかの制

具体的には、次の通り。MPI/OpenMP のハイブリッ

約があり、パラメータの変更が実効的な意味を持ドを想定する。演算用と IO 用の２つの MPI プロセった。インバランスの解消は、大幅な変更が必要

スを 1 組と考える。（IO 専用ノードに MPI プロセとなり、困難と考えられる。また、FFT の最適化

スを配置できる場合は、IO 専用ノードに配置するについては、並列数の抑制など、今後の最適化指ことを想定した。）演算用の MPI プロセスは、IO

針を得ることができた。

用の MPI プロセスにデータを通信で渡す。IO 用の参考的な検討として、比較的少ない原子数の全

MPI-Communicator 内で、同時に書き込む MPI プロ

原子模型（LAMMPS の標準的なベンチマークである

セスを制御する。東大の Fujitsu FX10 やその他の

rhodopsin

環境で試し、書き込み待ちの解消、輻輳の抑制で、Fujitsu FX10、Hitachi SR16000 などで比較評価

実時間が短縮されることを確かめた。IO プロセス

した。Hitachi SR16000 では、12nodes/384Coresのためにインバランスなどの性能低下が発生し、が限界で、100MDsteps の計算が 0.29 秒となった。

演算への影響はある。更なる向上が必要である。

検討は完全ではないが、FX10 よりも SR16000 の方

この方向の技術検討は、システム全体のネットワ

が良い性能を示していた。また、この計算規模でーク IO 性能、OS の IO バッファのポリシー、IO ノ

は PPPM の FFT メッシュ数は 323 と少なく、並列数

ード利用を含めたスパコンの運用と密接に関係がの限界が 10 ノード程度であった。Pair ポテンシあるため、必要に応じて、計算機システムを含めャルの計算や通信のスケーラビリティを踏まえ、て検討することが望ましく、将来の課題とする。

PPPM や FFT の並列数を抑制することで性能向上可

32000 原子等)の高速化検討のため、能と考えられる。
② 高分子系の粗視化分子動力学法の汎用アプ
表１

リの活用環境整備

SR16000 での LAMMPS の実計算時間の評価（時間単位は、秒。1MPI を 2OMP で実行。）
MPI
32
64
128
192
256
384
512

コモディティ化や今後のコードの維持コスト、および新しい計算アーキテクチャへの対応を踏まえ、米国(Sandia 研究所)製の汎用アプリである
LAMMPS の利用環境の整備についても検討した。大規模向けの超並列の自作コードや北大スパコンの

Node
1
2
4
6
8
12
16

LOOPtime
1.608
0.883
0.528
0.407
0.340
0.295
0.628

Pair
0.937
0.468
0.235
0.157
0.119
0.081
0.061

Comm
0.061
0.051
0.046
0.040
0.027
0.037
0.021

Kspace
0.257
0.170
0.134
0.125
0.124
0.122
0.225

FFTtime
0.055
0.039
0.041
0.043
0.047
0.056
0.075

SMP 並列化 OCTA/cognac から LAMMPS のデータ形式への効率的なデータ変換などについて検討した。

大規模な粗視化 MD 計算について、LAMMPS の設

また、LAMMPS のカスタマイズ利用や個別計算機環

定方法等の比較検討を行い、東大の FX10 でベンチ

境での最適化作業の可能性について、検討した。

マーク評価した。多数本の N=512 の高分子鎖が絡大規模計算での利用にあたり、チューニングポ

み合う２億（226,492,416）粒子の系について、LJ

イントを分析した。粒子系の分子動力学法で一般

ポテンシャルのカットオフ長を 1.12246σ、2.5σ

的な、演算の高速化、通信の最適化、インバランとした場合について、2000MDsteps のループ時間

ス解消、加えて、FFT の最適化の可能性についてを評価した。
（演算密度が小さく、MPI/OMP hybrid

検討した。LAMMPS においては、ユーザーが簡単によりも、flatMPI の方が、性能が良かった。）
3

学際大規模情報基盤共同利用・共同研究拠点 平成 24 年度共同研究 最終報告書 2013 年 5 月

表２

FX10 での LAMMPS の実計算時間の評価

LOOPtime (rc=1.12246)
1MDsteps あたり比率
LOOPtime (rc=2.5)
1MDsteps あたり比率
rc=1.1246 と rc2.5 の比4096MPI
178.072s
89msec3.75
664.015s
332msec
3.83
3.73

8192MPI
91.4289s
46msec1.92
357.784
179msec
2.06
3.91

16384MPI
47.5028s
24msec1.0
173.285
87msec1.0
3.65

なお、H25 年度の JHPCN 課題（産総研 森田先生代表）の予備的検討では、東工大 TSUBAME2.0 で1024MPI+1024GPU の評価を行っており、rc=1.12246

図１ 歪み 2%で変形させた時の応力応答挙動

で 264 秒、rc=2.5 で 277 秒であった。rc=2.5 の場
合に GPU の性能が発揮され、rc=1.12246 では GPU③ 逆問題解法による散乱実験データの大規模のメリットは薄いことが、分かる。すなわち、
「京」

計算解析

や Fujitsu FX10 では、rc=1.12246 のような、演算密度の低い計算に、非常に強いと言える。また、本研究課題では、ナノ粒子充填高分子材料や高rc=2.5 の場合も、「京」の方が高性能と予想でき

分子相分離構造など、多彩な構造をもつ高分子材

る。TITAN は、18,688 の NVIDIA Tesla K20X を搭料の粗視化したシミュレーションを研究対象とし載しており、1024MPI+1024GPU の 20～40 倍の性能ている。高分子材料に関連した 10nm～サブμm のと目され、楽観的な単純計算で 7～14 秒となる。

実物の構造に関する情報を得る観察手段として、「京」は、663,552Cores で、1MPI プロセスあたり

SPring-8 などの放射光実験や中性子実験が行われ341 粒子と概ねスケールする領域にあり、安全側ている。散乱実験では、CCD などで、フーリエ変の遅い見積もりをしても、5 秒程度と考えられる。

換した 3 次元逆空間（波数空間）断面の 2 次元散「京」フルノード利用での性能実証が期待される。

乱パターンを観測している。周期境界条件を課し

H24 の検討では、3 億粒子系（周期境界条件の一たシミュレーションでは、局所的な構造は揺らい

辺が、500nm 程度）でのインパクト（効用）につでいるものの、ある大きさ以上では均質なものといて、予備的評価を行った。粘弾性の評価などで考えている。シミュレーションのために、現実のは、小さなシステムサイズの場合、S/N 比の問題

物を現像するイメージングではなく、実験で観測から、10%以上の大きな振幅の周期的歪みを加える

したデータの特徴を反映したモデル構築を考える。

ことが多い。粘弾性の評価や防振ゴムの性能評価モデル構築において、散乱データなどの入力のでは、本来、1%以下の実用的な歪み範囲での計算情報量に十分にして、（解析的／非解析的を問わ

機実験を行いたい。約 3 億粒子の系で、歪み幅 2%ず）逆変換として構造を決める事ができれば、明での振動変形の計算機実験を行い、誤差の程度を快である。情報量は不足するが、他の実験や知見評価した。図１に、平均処理をしていない応力のを拘束条件にして解空間を狭めることで、構造を瞬間値を示す。ランダム力によるノイズが、変形推定すること（もっともらしいモデルを構築するによる応力変化の程度に比べ、小さく、2%よりもデータ同化）も、シミュレーションとの連携では小さい歪み下でも、応答の遅れや tanδを評価で有効な場合がある。

きることが期待される。これらから、「京」で計算高分子相分離構造では、結晶のように、Braggの現実性が実証されれば、今後、世界に登場するピーク的なスポットが観測されるが、幅を持つな

100 ペタ、1 エクサの計算機でこの研究が花開くこど、散乱パターン全体にわたって何らかの情報をとが見込まれる入り口が見えてきたと言える。

含んでいると言える。これら全体の情報を活用し4

学際大規模情報基盤共同利用・共同研究拠点 平成 24 年度共同研究 最終報告書 2013 年 5 月て、モデル構築をすることを考えている。粒子描施した。試行動きの排除体積条件の確認における像で扱う逆モンテカルロ法や、密度場描像を扱う

Cell-index 法の適用などを行った。2 次元散乱パ

各種の手法について、検討した。

ターンに対する RMC 計算では、ヒストグラムから密度場データに対しては、Oversampling 法や、の散乱パターンの計算（フーリエ変換に相当）に（逆モンテカルロ法にちなんだ制約を課した）

おいて、変換係数のメモリ格納（三角関数の計算

Simulated Annealing 法を用いて、散乱パターン回避）が高速化に有効である。作業メモリを多くに一致する構造（密度場）を推定する問題に帰着要するため、クラスター計算機等での効率化のたされる。その場合、散乱パターンは、密度場のフめに、圧縮格納法について検討した。また、東大ーリエ変換で計算されるため、上記の推定問題に

FX10 の登場で 1000Cores 程度を利用した予備的計

おいて、多頻度で、FFT が用いられる。サイズは、算が容易になり、実時間が短縮されたことから、10243 やそれ以上にも及び、演算量・メモリともに、収束解を効率よく得るためのノウハウ検討が可能

厳しくなる。実際の実験データは、全ての波数領となり、大幅に改良された。
（今後、多くの散乱パ

域をカバーせずに、小角領域（低波数）に限定さターンの解析に活用できると期待している。）

れている。情報量の観点も踏まえ、波数空間の刻また、本検討手法の発展として、太陽電池薄膜

みΔq は、実空間の大きさ L に対して、Δq<2π/L

中のフラーレン誘導体の空間分布の温度変化観察となる条件で、扱われる。Oversampling 法で収束など C60 を粗視化粒子と見なした RMC 法の応用や、解を得る場合、(ML-EM 法のように)FFT-IFFT を伴CNT 等の線状／棒状の物体に関する 3 次元構造推

う逐次式を発展させる。このとき、実空間データ

定方法や有機半導体の表面での構造変化に関するの周りに０領域をパディングする。散乱パターン

放射光実験／中性子実験／X 線自由電子レーザーの計算では、低波数側だけを使っている。一方で、実験の多変数推定問題の開発など、HPC を活用しOversampling 法の計算では、逆空間領域を全て活た構造の逆推定の手法開発を今後も進める。

用することが通常である。一方で、逆空間の内、④ 高速フーリエ変換の利用方法に関する検討

本質的に影響が小さい所をゼロで近似すると、演算量は log オーダーで削減できる（Pruned FFT）。
いま、CΔq=2π/L となる条件で（C は、4～16 を

我々の関連する計算では、3 次元空間の FFT を想定）計算する場合を考えてみる。実空間領域が多く利用することから、FFT の利用方法に関するN3 点、波数空間が全体で(CN)3 点とする。０パディ

比較検討を行った。まず、メモリ共有型の並列化

3

3

3

ングした(CN) 点の FFT は、C 回の N 点の FFT と等

FFT について、Intel 系計算機、Hitachi SR16000

価である。N3 点の FFT の前に、係数を掛ける操作

において、FFTW, MKL, 日立 MATRIX/MPP を比較検3が必要であり、N 回の演算増加となるが、分割し討した。問題サイズや計算環境により、一長一短

た N3 点の FFT は、独立に実施可能な上、作業メモがあるので、問題に応じて、ベストを選択する必リや通信コストの削減という、計算実施上の利点要がある。また、我々が主に利用するアプリ LAMMPSがあり、大いに活用できた。さらに、Oversamplingにおいても、PPPM や FFT については、改良が継続法の計算では、逆空間の情報を全て使わなくとも、的に行われており、今後が期待される。

いわば low pass filter をかけても、実用上は、

H24 年度の本研究課題では、スパース行列に対同等の収束性能が得られる数値実験結果を得た。

するフーリエ変換に対する工夫について検討した。

一方、粒子法ベースの逆モンテカルロ(RMC)法に③の逆問題解法においては、０値の領域がブロッ

ついては、これまで、数千程度を対象としていた

ク状に存在するので、Pruned FFT として計算が簡が、大規模化が想定されるため、大規模な粒子系略できる。小さな FFT に分割され、独立に計算で計算で用いられる手法を活用した高速化作業を実きることから、ワーキングメモリの抑制、通信の5

学際大規模情報基盤共同利用・共同研究拠点 平成 24 年度共同研究 最終報告書 2013 年 5 月

抑制などにより、PC からスパコンで高速化され、め、その高速化が望まれる。あるセルのフィール大きな問題も扱うことを可能とすること確かめた。 ドデータを増減させる操作において、局所的なト
最近、（信号解析を目的とした）スパース行列に対ポロジーが不変であれば、大域的なトポロジーはする FFT の高速化について、MIT の k スパース FFT

変わらないことは自明である。ゆえに、RMC 法のや Intel の 1 次元 FFT の高速化などが報告されお大半の試行おいて、CHomP での全体計算は不要なり、その応用や参考の可能性について検討したい。

はずである。変更のあったセルの周辺 26 セルにおいて変更がない場合に、周辺 26 セルを含む 33 セルの unwrap の Betti 数が不変であれば、トポロジ⑤ 計算位相幾何学の方法を用いた空間の特徴

ー不変と判定できる。（同様のトポロジー判定は、

付けと、HPC 活用時の工夫の検討

ボクセルデータの細線化処理における除去可能な計算機の発達から、計算幾何学(computational

セルの判定で必要となるものであり、その方向で

homology)という分野が進展している。トポロジーの応用も考えられる。）既存の文献の方法では、経特徴付けでは、CHomP という Betti 数を計算する

験的に見出された煩雑なフローで判定している模ソフトウェアが、高分子科学で有用である。Betti

様であり、Betti 数・CHomP を用いれば、簡潔になとは、Euler 数を交代和で構成する量であり、ドることを記述しておく。あわせて、Betti 数を用

メインの数、トンネルの数、ホールの数などの詳いれば、任意の次元空間での細線化を容易とする

細なトポロジー情報を持つ。３次元中では、Betti

ことから、データマイニングなどの領域での活用数(b0,b1,b2,b3)は、Euler 数χ=b0-b1+b2-b3 である。

も今後検討したい。なお、2 次元中での細線化処

高分子相分離構造で見られるダブルジャイロイド

理では、Euler 数で判定できるので、Betti 数が(DG)構造のユニットセルの Betti 数(2,10,0,0)でEuler 数を一般化したものと感じることができる。

あり、目視や Euler 数では不可能な、他の構造（極日本ゼオン

小曲面構造）と数値的区別が可能となる。

本田博士との共同研究において

OCTA/sushi で計算した、5 つの異なる高分子相分

Betti 数解析は、3D-CT や 3D-TEM で取得した高離構造について、物性と構造の関連を特徴付ける

分子相分離構造の幾何学的特徴付けに有用である。 試みとして、Betti 数解析を行った。Betti 数の振
現在、具体的な実験データを、分析中である。
（こる舞いは、概ね同じであり、大域的な分類はできのような解析法は、同様に複雑な３次元構造を持るが、詳細の分類は難しい様子であった。この方

つ fMRI、CT などの医療分野でも注目されている。）

向の検討には、少なくとも、系を大きくしサンプ

逆モンテカルロ(RMC)法の研究の観点から、解空

ル数を増やすなどの統計の積み増しが必要である。

間の絞り込み手段の一つとして、Betti 数を罰金

今後も、引き続き検討していく。

関数として利用することができる。１次元散乱ス
ペクトルからの３次元構造の再現は、一般に情報⑥ 初期配置作成のためのメソスケールシミュ

量不足から、ill-posed 問題である。RMC 法では、

レーション手法の大規模化と、粗視化分子

他の制約情報を付加することで、情報量の補強を動力学法との連携した Simulated Annealing 法に相当する。１周期の DG 構造に関して、１次元散乱スペクトルに対す

高分子相分離構造のメソスケールの構造シミュ

る RMC 法では、Betti 数の制約を与えることで、レータとして、OCTA/sushi がある。OCTA では、密DG 構造が再現できることが分かった。更に詳細に

度場描像の sushi と粒子描像の cognac が、連携し調べると、0 番目のベッチ数 b0（ドメイン数の制

マルチスケールシミュレーションを構成するデザ約）の寄与が重要であることを明らかにした。

インとなっている。具体的には、sushi で作成し

CHomP の計算は、比較的計算コストを要するた

たメソ構造から、粗視化分子動力学法の初期配置
6

学際大規模情報基盤共同利用・共同研究拠点 平成 24 年度共同研究 最終報告書 2013 年 5 月

を作成し、分子鎖レベルでの挙動を考慮した物性している。動画を扱う場合には、データ供給も問解析を可能としている。OCTA/sushi の開発者であ題である。また、可視化やデータの解析において、る日本ゼオン 本田博士と協力し、sushi の大規模データ変換・読み込みにおける IO 処理も無視でき化とその活用について検討した。大規模化したないことが多い。テキスト IO 処理では、ディスク

sushi の結果を、北大スパコン(Hitachi SR16000)

IO とともに、atof のエラーチェックが遅いために、で SMP 並列化した OCTA/cognac を用いることで、処理が遅くなっている。そこで、エラーチェック

OCTA が意図したデータ連携（密度場描像から粒子を除いた実装を行うことで、atof の動作を 6～7描像へ変換処理）が、大規模・高速化されること倍とし、作業の効率化を図った。（国立天文台 武を確かめた。また、粗視化 MD 計算の実行では、複田博士との議論。）さらに、可視化のための効率的数ノードを利用した(MPI)並列化の恩恵を受けるな技法の検討を行った。分子動力学法などの計算ために、OCTA/cognac から LAMMPS にデータ変換し内部で、CLF 条件に比べ過剰に取得している位置て、計算するスキームも確認した。

座標の時系列データを効率よく３次関数などにデ

その上で、日本ゼオンの地球シミュレータ産業

ータ圧縮する手法で、演算は増えるが IO サイズを利用プログラム課題と共同／分担で、非平衡相分削減することで、可視化やデータ解析のために有離状態の高分子材料を延伸させる粗視化分子動力用な相対的に精度高い座標出力が可能となった。

学シミュレーションを実施した。
（ここでは、①で可視化の検討としては、同じ物の異なる表現、開発検討した独自作成のコードを用いた。）延伸過ある表現では等価である別物の比較などが、結果程における応力歪み関係を評価し、非平衡な相分の考察段階で重要である。目視ベースでの直感を離構造と応力の（歪みに対する）立ち上がり挙動得るために、AVS/Express を用いて、2 つの異なるの間に相関があることを見出した。シミュレーシ

可視化対象を同期させて回転させるモジュールのョンによる現実材料の開発・検討として、今後、作成と利活用などを行った。高分子相分離構造でこの方向の研究も深めていく予定である。

見られる DG 構造のその骨格の K4 格子の比較は良い例である。なお、K4 格子は、3 次元空間中で配⑦ 探索的可視化のための可視化関連技術の要

位数３の等方的な格子である。
（配位数４の等方的素技術検討

な格子はダイヤモンド構造である。
）高分子相分離構造では、穴あきラメラ（グラファイト構造）か

探索的可視化を実現するためには、高い臨場性、ら、Fddd 構造、DG 構造と、条件に応じて構造変化

高い操作性が重要となる。手段としては、CAVE やすると考えられている。
（これら全て、配位数３の3D テレビの活用があげられる。この分野について

ネットワーク。）それらの散乱パターン群から、③は、JHPCN 学際拠点研究を開始した 3 年前に比べ、で検討した逆問題解法で構造推定することで世の中のレベルは急速に進化した。AVS/Express

Pathway を明らかにすることを一つの目標と考えを活用することで、可視化エンジンの開発を回避ており、その過程でも活用できると考えている。

し、道具として使うことに徹した。興味のある領

また、逆問題解法で推定した高分子材料中のナノ

域 ROI を円滑に抽出することや、特徴付け（表現

粒子の構造についても、配合などが異なる複数の手法を含む）が、高い操作性のために重要である。

系について比較する実験も存在し、その比較検討

今年度は、大規模データをオンラインで操作しにも３次元可視化は有効な手段である。

ながら、大規模系を丸ごと可視化することを検討

可視化関連技術の検討に関しては、H25 年度名した。超多粒子系の粒子データの丸ごと大規模可

古屋大学 HPC プロジェクトの研究課題を主として、視化については、自然科学研究機構の若手連携課

同じ要素技術共有できる他分野にも対象を広げ、題とも連携し、超多粒子系のそのまま描画を検討

活動を拡大させることとした。
7

学際大規模情報基盤共同利用・共同研究拠点 平成 24 年度共同研究 最終報告書 2013 年 5 月⑧ モデル検証のためのパラメータスタディ効本システムの利用に関する実証検証として、ア率化のためのシステム化検討

メリカ物理学会 March Meeting（ボルチモア）の会場および移動中の空港等の国内外の WiFi 環境

高分子物理・材料科学としての地道な研究のたを経由し、スマホからのジョブ実行やロボット作

めには、多くのパラメータについて、系統的に実業の状況確認などが円滑にできることを確かめた。

施する必要がある。その円滑な支援や効率化のた
めに、システム化の検討を行った。具体的には、東京大学 奥田先生とキャトルアイサイエンス 上
島博士が実施している RCM(R&D Chain Management)の活用検討として、北大の SMP 並列化版 OCTA/
congac と AVS/Express を連携させる仕組みを実際に構築し、有効性の評価を行った。有効性は高い
ものの、個別の研究室での導入は資金面やシステ
図３

ム面で難しいと感じた。

スマホでの利用画面

H24 年度後半において、シミュレーション実施の人的コスト削減（システム化）を目的として、

今後は、産学連携共同研究などでスパコンを利自作ツールの開発を行った。
「ジョブ監視や継続ジ用する際の支援ツールとして発展させるべく、H25

ョブ投入などのルーチンの消費的時間の削減」と、年度の JHPCN 研究課題（産総研「作業記録と追記メモの保存」という機能に絞り、等においても、検討を進めていく予定である。

森田先生代表）WEB からのスパコン利用を可能とするシステムと(2) 当初計画の達成状況についてした。ユーザーは、図２のように、コマンドを WEBで入力し、ブログのような形で、入力したコマン
ドと出力結果が記載される。また、ルーチン作業

高分子系の大規模な粗視化 MD 解析研究の基盤のロボット化は、crontab を用い、perl スクリプ整備としては、概ね達成したいことは達成できた。

トを実行する簡素なものとした。さらに、実作業

これらの実施例を呼び水として、実験なども含フローの分析から、上記 2 つに同様のＵＩを用いめた産学連携等の共同研究体制で、スパコンを利るとともに、コメント追記機能を重視した。

用した実際の高分子材料科学研究を促進させたい。
なお、当初は、超大規模計算に向け、独自コードの改良を考えたが、スパコンの運用などの制約から、IO まで含めた大胆な最適化は難しく、GPU
対応やコモディティ化を踏まえて、米国の汎用ア
プリ LAMMPS を徹底的に活用する戦略に変更した。

4. 今後の展望
H22～H24 年度の JHPCN 学際拠点研究では、スパコンを軸とした高分子系粗視化シミュレーション
基盤の計算機科学的高度化検討を行ってきた。これらの活動を通じて、プログラムの大規模対応、
図２

WEB インターフェースの概要

大規模可視化の実現／効率化、スパコン利用環境
8

学際大規模情報基盤共同利用・共同研究拠点 平成 24 年度共同研究 最終報告書 2013 年 5 月の利便性向上を図ることができた。

・H.Ohtani, K.Hagita, A.M.Ito, T.Kato, T.Saitoh,

H25 年度の JHPCN 研究では、計算機科学的高度

and T.Takeda, “Data compression concepts

化から、実際の高分子材料研究にスコープを絞り、

fortime-series

data

of

材料研究としての HPC 活用検討を、産総研

system”US-JapanJIFTWorkshop

森田先生の代表の下で産学連携の体制で実施していく。
一方で、高分子材料研究の周辺技術となる大規

particle
2012

on“Innovative Methods in Plasma Particle
Simulations”,

模可視化、スパコン利用の利便性向上、解析関連

huge(Providence,

RI,

USA)

(2012.11)の数値計算技法等は、JHPCN での検討を継続させる形で、共同研究を発展させる予定で進めている。

(4) 国内会議発表
・萩田克美, 棟朝雅晴, 上島豊, 大宮学,

5. 研究成果リスト“ASNARO-RCM を用いた OCTA/cognac のパラメー(1) 学術論文（投稿中のものは「投稿中」と明記）

タサーベイの効率化に関する報告”, 第 17 回なし。

計算工学講演会, (京都) (2012.5)
・萩田克美, “高分子複合材料のナノ構造の解析と(2) 国際会議プロシーディングス

没入型立体可視化”, SPring-8 利用推進協議会

・H.Ohtani, K.Hagita, A.M.Ito, T.Kato, T.Saitoh,

ヘ ル ス ケ ア 研 究 会 （ 第 13 回 ） , （ 大 阪 ）andT.Takeda,“

Irreversible(2012.12)

Data

Compression Concepts with Polynomial Fitting

・萩田克美, “阪大 CAVE を利用した高分子ナノ材

in Time-Order of Particle Trajectory for

料の没入可視化検討”, 「バーチャルリアリテ

Visualization of Huge Particle System ” ,ィ装置による表現法の追求」研究会

Journal of Physics: Conference Series

学研究所, （土岐）(2013.1)

(in

核融合科

press)(5) その他（特許，プレス発表，著書等）なし。

(3) 国際会議発表
・ K. Hagita, M. Doi, H. Takano, H. Morita,“Coarsegrainedmolecular

dynamics

offilledpolymersimulation

nano-composites”,

ICR

2012

謝辞
高分子ナノコンポジットの粗視化 MD 法の大規模計算の共同研究者である産総研 森田主任研究員、慶大理工高野教授、豊田理研 土井先生（現：中国 北京航空航天
大）には、多くのご協力・ご助言を頂いた。コード最適化、可視化技法の検討にあたっては、北海道大学情報基盤セン
ター、東京大学情報基盤センター、名古屋大学情報基盤センター、大阪大学サイバーメディアセンターの教職員の協力を得た。計算幾何学（数学）を活用した取り組みでは、
旭川医大 寺本准教授、東北大学 西浦教授、小谷教授のご協力・ご助言を頂いた。可視化関連技術の検討では、国立天文台 武田博士（現： ヴェイサエンターテイメント）と有益な議論をさせて頂いた。高分子相分離系の関連については、京都工芸繊維大 西川准教授、京都工繊大 藤原
准教授、日本ゼオン 本田博士、京都大学 竹中准教授から、ご協力・ご助言を頂いた。上記に加えて、計算利用の技術的側面において、日立製作所関係者、日本電気(NEC)関係者、サイバネット・システム関係者には、多大な協力を得た。H24 年度の JHPCN 学際拠点研究において、日本ゼオン、三ツ星ベルト、トヨタテクニカルディベロップメン
ト、JSR、日東電工、三菱化学科学技術研究センターから、さまざまな協力を得ました。

(Lisbon,Portugal) (2012.8)
・ K. Hagita, and T. Arai, “A study of RMC
analysis using small pseudo particles toestimate morphology of nano-particles from
small

angle

scatteringdata”,

RMC-5,(Budapest, Hungary) (2012.9)
・H.Ohtani, K.Hagita, A.M.Ito, T.Kato, T.Saitoh,
and T.Takeda, “Data compression concepts onscientific visualization for time-series
data of huge particle system”, Conference on
Computational Physics 2012 (CCP2012), (Kobe,
Japan) (2012.10)
9