学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

jh200061-NAH

GW space-time コードの大規模な有機-金属界面への適用に向けた高効率化
柳澤 将（琉球大学）
概要
GW space-time コードによる大規模な表面・界面系の効率的計算を可能にするため、今年
度は、共同研究者との協力のもと、10 月より新たに稼働した SX-Aurora TSUBASA 上での、コードのコストが大きい箇所について検証を行なった。結果、ベクトル化率が低い高速フーリエ変換について、多重フーリエ変換を導入することで、コストの解消・計算時間の短縮に大きな成果が見られた。表面などの二次元系の電子状態に向けた計算法も、非周期的な方向でクーロンポテンシャルを打ち切る方法の実装を、有機薄膜の予備的な計算にまで適用した。現実的な有機混合膜表面の問題へのコードの適用を、以前よりも大きなサイズの問題に適用して計算結果の信頼性を高めることで成果につなげた。

1. 共同研究に関する情報

列と OpenMP とのハイブリッド並列の実装を(1) 共同研究を実施した拠点名はじめ、プログラムの効率向上を進めている。

東北大学

有機半導体の電子物性の実験研究は日本では歴史と実績があり、現在でも分野を先導する(2) 共同研究分野最先端の成果が得られている。本研究では、コ

超大規模数値計算系応用分野ード開発の進展とともに、大規模な計算機資源を利用することで、有機半導体の実験事実に対(3) 参加研究者の役割分担する、理論計算による洞察・解釈の深化をはか• 柳澤 将（琉球大学・代表）プログラム開発・っていくことも目指している。2017 年度より

テストおよび、実物質系の大規模計算実行。

計算プログラムコード GW space-time (GWST)• 江川 隆輔（東北大学・副代表）プログラムをもとに、研究プロジェクトを継続してきた。

効率化のための実装および助言。

本年度は、引き続きノード内でのタスク並列• 滝沢 寛之、撫佐 昭裕、曽我 隆、山口 健太

実行や、比較的ノード・コア数の多い計算での（東北大学・共同研究者）プログラムコード

コードの動作効率の検討に加え、副代表をはじの並列化・最適化の作業進行。

めとする東北大学サイバーサイエンスセンター（東北大学 CC）の共同研究の協力のもとに、2. 研究の目的と意義本研究で中心的に使用する SX-ACE または今本研究では、有機半導体電子材料の基礎電子年度からは SX-Aurora TSUBASA 上でのプログ

物性の理解に資するため、量子力学や電磁気学ラムコードの詳細な性能解析と向上をはかっなどの基礎の物理学（第一原理）をもとにするている。

電子状態計算のプログラムの整備・開発を進め

また、GWST プログラムによる比較的規模のている。特に、有機分子膜と金属電極との接触大きい応用としては、以前報告した、表面でのする領域（界面）でのキャリア（電子・正孔）有機分子の配向に依存した電荷注入準位の精注入障壁の正確な予測に向けた第一原理計算

密 な 決 定 に 関 す る 成 果 [K. Yamada and S.

（GW 近似）を可能にするため、大規模な並列

Yanagisawa et al., Phys. Rev. B 97, 245206 (2018)]

計算を効率的に実行することを目的に、MPI 並を発展させ、より実際的な、p/n 型有機半導体の1

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

混合膜についても、電荷注入準位の物理的な支更に合わせて、引き続き共同研究体勢を継続配要因の検討を進め、今年度の成果につなげたしていくことが必要である。
また、物性の計算科学コミュニティにも成(「7. 研究業績一覧」(1)を参照のこと）。

果を広めることによって、同センターでの開さらに、現時点のコードの応用目標と考える、より現実的な材料に近い、有機半導体の薄膜自発プログラムの使用を広めることができる

体を GWST によって扱う取り組みについても、点でも意義があると言える。

計算の収束性を高める工夫や予備計算を開始4.

しており、応用目標に徐々に近づきつつある。

前年度までに得られた研究成果の概要
固体・結晶系の準粒子エネルギーを正確に予3.

測できる GW 近似の計算プログラム GWST を、当拠点公募型研究として実施した意義
2016 年度まで、東北大学 CC と共同研究

有機半導体系の表面・界面の問題にも適用できを進め、GW 近似プログラムの整備・開発や、る よ う 、 MPI 並 列 と ノ ー ド 内 タ ス ク 並 列

それを用いた有機半導体の電子物性計算で（OpenMP）とのハイブリッド並列の導入によ少なからず成果を収めてきた。特に、通常のって、並列化効率の向上を試みた。プログラム

PC クラスタよりも 1 コアあたりのメモリの中の複素誘電行列の逆行列化計算において、多い SX を使用することで、比較的大きなサScaLapack のライブラリの使用をやめ、並列度イズの問題にもプログラムを適用できる利が増すにつれて通信時間の増大で発生するボ点がある。また、平面波基底関数に基づく第トルネックの解消を進めた。計算データは、ノ一原理計算コードであることから、ベクトルード・プロセス間では独立な変数についてノー化によって得られる利点も大きい。

ド間に分散させ、さらにノード内でタスク並列2017 年度より、東北大学 CC からプログラ化を行うようにした。結果、計算時間の短縮とム開発の支援を受けながら、効率のよい大規並列化効率の改善が見られた。ノード内タスク模な並列計算を可能にし、計算対象をバルク並列化については、逆行列化計算における LU結晶だけでなく、表面・界面などの並進対称分解とその後のプロセスにおいて、タスク並列性のない系にまで拡大するため、計算機資源化の効率に差異が見られ、使用する数値計算ラの使用料金で大きなメリットのある貴拠点イブラリの選択などの工夫が必要であること

公募型共同研究として進めている。前々年度が示唆された。これらの成果は、昨年度に査読からは、東北大学 CC の共同研究者との、定付き国際会議プロシーディングスにて報告し期的なディスカッションも開始しており、よた（S. Yanagisawa, T. Yamashita, and R. Egawa, the

り綿密な共同研究の体制を確立している。

proceeding

今年度からは SX-Aurora TSUBASA に機種

book“SustainedSimulationPerformance 2018 and 2019”, pp. 225-234 (Springerが変更された。これまでのように、ベクトル2020)）。

演算を得意とする一方、OS 処理を行うベク応用計算の面では、二次元並進対象を有するトルホスト (VH) 1 基に 8 ベクトルエンジン

物質系の GW 近似による取り扱いに向け、表面(VE; 1VE は 8 コア) を合わせて構成単位としでの有機分子の配向に依存する静電ポテンシている。演算では VE だけでなく VH と協調

ャルの効果と、有機半導体の結晶・バルク内部したメモリの効率使用や通信のマッピングでの注入電荷への誘起分極の効果とを切り分といった、コードの最適化や応用可能性と本けて扱う工夫を行なった。この工夫により、GW質的に関係する性能のチューニングの余地近似によって高コストな表面をあらわに扱わが多いと考えられる。その点からも、機種変なくても、有機半導体の表面の構造に依存した2

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

電荷注入準位の正確な決定が可能になることが 分 か っ た [S. Yanagisawa, AIP Conf. Procs.
1906,030014-1-4 (2017); K. Yamada, S. Yanagisawa
et al., Phys. Rev. B 97, 245206-1-8 (2018)]。さらに昨年度は、より構造が複雑な、複数の有機半導体分子の混合膜への適用も進め、成果を得ることができ、今年度の成果に結びついた（「7. 研究業績一覧」(1)を参照）。
より現実材料に近い、数分子層からなる有機半導体薄膜をあらわに GW 近似で取り扱うため、

5.

周期的スラブモデルの導入によって人為的に

図 1. ZnPc と F16ZnPc の混合薄膜における、起こる、薄膜表面に垂直な方向に隣接するスラ電荷注入準位の支配要因（電子分極(D)およびブ間のクーロン相互作用を取り除く方法(クー静電エネルギー(S)）の理論計算値（点線）とロン相互作用カットオフ法)を GWST コードに実測値（実線）の比較。横軸には F16ZnPc の実装する取り組みも進めた。結果、代表的な半混合比を取った。(a)は薄膜の表面に対して分導体薄膜シートのバンドエネルギーの再現へ子が立ち上がっている構造、(b)は表面に対しの見通しがたった（今後、論文として報告予定）。

分子が寝ている構造を表す。

今年度の研究成果の詳細

薄膜中での電荷のエネルギー準位は、電子分極A. p/n 型有機半導体の混合膜における電荷注（図 1 の D）および静電エネルギー（図 1 の S）

入準位の決定要因によって支配されていることが実験・理論によ有機薄膜太陽電池の材料として注目されるって明らかになっている。本研究でも、理論計

金属フタロシアニン（MPc）について、p 型半算によって混合膜での電子分極 D と静電エネ導体特性をもつ ZnPc と、分子周囲のすべてのルギーS をどの程度再現可能であるかに注目

水素原子をフッ素原子に置換し n 型半導体特性した。

を持たせた F16ZnPc とを混合させ、太陽電池で電子分極 D とは、物理的には、注入された正のバルクヘテロ接合の構造と電子状態の関係

または負の電荷が、周囲の電子雲の分極によっについて知見を得ることを試みた。特に、太陽て誘起された反対符号の電荷で取り囲まれる電池でも正孔―電子対（励起子）の生成効率とことによる安定化のエネルギーの大きさであ関係があると考えられる電子・正孔注入準位が、る。主に結晶・薄膜を構成する各分子の内部・薄膜中の分子配置によってどう変わるかを、電バルクの電子物性に由来すると考えられてい子・正孔注入準位の再現にすぐれる GWST プロる。GW 近似は、このような電子分極を正しくグラムを用いて検討した。

再現できる理論計算法である。

本研究成果は、昨年度の最終成果に加え、さ図 1(a-b)の左側のパネルから分かるように、らに大規模な計算を実行し、比較の実験データF16ZnPc の混合比に関わらず、D の光電子分光もさらに精査されたことで研究論文成果につによる精密な測定値とよく一致している。また、ながったので、昨年度の報告内容から新たに変F16ZnPc の混合比に関係なく D の値はほぼ一更された点について報告する。

定で、実験のトレンドをよく再現している。ま

研究結果を図 1 に、実験での実測値と比較した、今年度は数値的信頼性の向上のために、バて示す。まず、注意する点として、有機固体・ルクを表現する単位格子の大きさを倍にして3

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

構成原子数を倍にした GW 近似での計算を行っ業績一覧」(1)を参照）。

た。結果として、ほとんど数値結果に差異はなく、これまでの計算結果の信頼性を裏付けるもB.のとなった。

フの実装: 有機薄膜への予備計算の実行

非周期系でのクーロン相互作用カットオ

一方、静電エネルギーS は、結晶・薄膜を構

一般に固体・結晶系の電子状態・バンドエネ成する各分子に局在する電荷が、分子間で静電ルギーの第一原理計算では、周期的ポテンシャ相互作用することに由来するエネルギーであル下の電子波（ブロッホ波）を効率よく計算す

り、分子内の電荷分布に加え、分子同士の相互るために、周期的境界条件の下で平面波基底関配置によっても変化する。図 1(a-b)の右側のパ数を用いる。

ネルから分かるように、分子が立っているか・表面などの二次元周期系では、表面垂直方向寝ているかにより、または混合膜中の ZnPc とに周期性がないため、周期的な単位格子（ユニF16ZnPc の混合比によっても S の値は大きく変ットセル）を、その方向に沿って大きめに取り、化することが分かる。

隣接セル同士が相互作用しないよう工夫する

分子が立っているか・寝ているかで大きな違（スーパーセルの方法；図 2 を参照）。スーパ

いが見られるのは、分子の配向に依存する電荷ーセルの方法は、自由電子の振る舞いに近い典―四重極相互作用が支配的であるため、と理論型金属などの表面では電子間相互作用が短距的には説明できる[B. J. Topham and Z. G. Soos,

離的で小さく、極めて有効である。しかし、一Phys. Rev. B 84, 165405 (2011); K. Yamada and S.

般に固体中の多体電子間のクーロン相互作用

Yanagisawa et al., ibid. 97, 245206 (2018)]。

は、誘起分極で遮蔽されても長距離的である。

ZnPc と F16ZnPc とは p 型/n 型の違いがあ

セル間の人為的な相互作用を避けるには、100るように、分子周囲の電荷分布は正反対であるÅ以上のセル長が必要と見積もられるが、そのため、静電エネルギーS には正反対に寄与する。

ようなサイズのスーパーセルの計算は、今日のしたがって、これらの混合比の変化によって、計算機環境でも実行は容易ではない。

図 1(a-b)のように実験・理論ともに単調に連続

その状況の改善のため、2006 年に、相互作用的に S が変化するのは妥当と言える。

すべきでない非周期的な方向のクーロン相互昨年度の理論計算の結果では、S の値は実験作用を、適当な距離（カットオフ）で打ち切る値からややずれが目立っていたが、今年度は S方法が提案された [C. A. Rozzi et al., Phys. Rev.の計算のための系のサイズを大きくした。やはB 73, 205119 (2006); S. Ismail-Beigi, ibid. 73,

り、D の計算と同様に結果はほとんど変わらな233103 (2006)]。この方法では、たとえば二次元かったが、実験の再試によって理論計算と実験物質の場合、面に垂直な方向のクーロン相互作との間の一致が向上した。

用が、表面からの距離|z|について、カットオフzc を超えるとゼロになる（図 2）。

以上の成果から、有機薄膜太陽電池において重要な、電荷注入の準位や効率を支配する電子昨年度の成果報告では、そのクーロン相互作分極および静電エネルギーの効果を、薄膜の成用カットオフ法の実装が大体成功し、ブリルア

膜条件や p/n 型有機半導体の混合比によってンゾーンサンプリングの k 点数に対する計算値連続的に調整することができる可能性が示唆の収束性の改善が確認され、効率的に表面や薄された。

膜系の探索が可能になった。

この成果は、当該物質系を研究する実験家グ

これまでは比較的単位格子中の原子数の少ループとの共同研究成果として査読つき国際ない、無機物質の二次元シートへの適用テスト

誌 Physical Review B 誌に掲載された（「7. 研究のみであったが、実験対象に近い有機半導体の4

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書まで展開を目指す。

スーパーセルペンタセン（z 方向の長さ Lz）

単分子膜

図 3. ペンタセン単分子膜の模式図。
直立した分子が、膜内で二次元的に並進対称性を持つ構造となっている。

図 2. 二次元系でのクーロン相互作用打ち切りの概念図。表面からの距離|z|が zc を超えると、クーロン相互作用はゼロとなる。

C. プログラムコードの性能評価・考察: コストとなる箇所への多重フーリエ変換の導入

単分子層の二次元シートにも適用を拡張した。

本年度の 10 月より、東北大学 CC では、SX-

典型的な例として、これまで検討したペンタAurora TSUBASA への機種変更が行われ、あらセン C22H14 の単分子層の薄膜の検討を行なっためて性能評価・必要なコード改定を行った。

た（シミュレーション系の模式図は、図 3）。薄これまでの上記の応用計算でも明らかにな膜の構造は、ペンタセンの代表的な結晶を成膜っていたが、ボトルネックであった高速フーリした際に得られる典型的な構造で、成膜面に対エ変換 (FFT) の箇所についての性能評価・改し、分子が立ち上がった構造となっている。
何も原子・分子が存在しない真空層が、単位善を行った。GWST コードでは、2 種類の FFT格子の半分程度を占め、単なるバルク結晶よりがあり、そのうち波数ベクトル k と実空間格子も計算コストが膨大になる傾向にある。まずは、ベクトル R との間の FFT は、ベクトル長も小さくなることが、一般的な応用計算での傾向でこれまでの有機半導体結晶での GW 近似の計算あった。に比べ、平面波基底数では 1/3 程度にて、薄膜日頃、一般的なテスト系として用いている分のエネルギーギャップのテストを行なった。

子結晶系のテスト計算を、以下のような測定・その結果、バンドギャップは 2.9 eV と見積も評価条件で実施した。

られた。すでに自著の文献で報告した、3 次元・ SX-Aurora TSUBASA Type 20B（計算サーバ）

並進対称性のバルク結晶でのバンドギャップ

・ Vector Engine 向け NEC Fortran コンパイラの計算値 2.5 eV よりも大きくなった。これは、Version 3.2.0

薄膜の垂直方向には並進対称性がなく単位格子が存在しないため、その分だけ周囲分子中の・ NEC MPI Version 2.15.0

電子から受けるクーロンポテンシャルの遮蔽

・ 64MPI (1MPI プロセス/1VE)

効果がバルク結晶よりも小さくなっているこ
今回のテストでは 1VE あたり 40 GB 程度のとに物理的に対応し、妥当な結果と言える。

メモリを使用し、VE 内でのスレッド並列は行

今後は、より大きな計算リソースを使用し、っていない。SX-Aurora TSUBASA 上でのスレ計算値の収束性を高めるとともに、真空準位かッド並列の効率については、今後の検証課題とら測った電荷注入準位のエネルギー（イオン化する。

エネルギー・電子親和力）を直接求めるところ5

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

表 1. コード最適化前における、FTRACE でのコストが大きい箇所の解析情報の採取結果。

コード最適化前には、表 1 の簡易性能解析機

示すようにコードの修正を行った。すなわち、能情報（FTRACE）の採取に示すように、上述

ループ長 nrgrid（このテストでは nrgrid=23040）の FFT に対応する”FFT3D”というサブルーチンの ル ー プ 下 で ”ICT” が コ ー ル さ れ 、 さ らのコストが最大であることがうかがえる。まに”FFT3D”がコールされるのを、ループを削除た、”ICT”というルーチンで”FFT3D”のコールがし 、 新 た に サ ブ ル ー チ ン W_ICT お よ び

行われることが多く、やはり”FFT3D”のコード

W_FFT3D を作成した（図 5）。同時に、多重フのコストがボトルネックになっていることがーリエ変換のプラン作成・破棄のためのサブル分かる。

ーチンも新たに準備した。

“FFT3D”では、ベクトル長が 7 と極めて短く、この修正により、フーリエ変換のルーチンがそのためにベクトル化が有効に行われていなループ下で繰り返しコールされるのをやめ、かい。このようなベクトル長が短くなる場合は、わりに多重フーリエ変換（多重度 nrgrid）が行一般的なアプリケーション・物質系で少なからわれるようにした。長いループ内でのルーチンず発生する。この状況を改善するため、図 4 にをコールするオーバーヘッドが解消されると

図 4. コード最適化の概要。greensrt のルーチン内での、ループ長 nrgrid のループ削除、および、多重フーリエ変換を行う W_FFT3D を新たに作成した。

図 5. W_FFT3D のコードの内容。これまでの fft3d に新たに nrgrid を引数として追加し、多重フーリエ変換を行っている。

6

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

表 2. コード最適化後の、FTRACE での FFT3D/W_FFT3D の解析情報の採取結果。

表 3. FFT3D コード最適化後の、高コスト箇所の解析情報の採取結果。

6. 今年度の進捗状況と今後の展望

ともに、平均ベクトル長が 7 から 256 まで伸ばされることによって、サブルーチンの実行時間

今年度は、当初は、コードのボトルネックとは 3637.9 秒から 35.6 秒まで、99%の削減が見して、ベクトル化率の向上のための修正を掲げられた（表 2）。ており、それについてまだ修正すべき点もある

最適化後の FTRACE の採取結果を示す（表とは思うが、大きな進歩を達することができた

3）。コスト上位のルーチンに（W_）FFT3D はのではないかと考える。

しかし、その一方で、複素誘電行列eGG’の現れておらず、今回の修正がコード全体のコス計算コードで、逆格子ベクトル引数{G}またト削減に大きく寄与したことがわかる。
しかし、その一方で、まだベクトル演算率のは{G’}のいずれかをブロック並列分割する低いサブルーチンがいくつか存在し、それらのために起動される MPI AlltoAllv 通信のコスコストが大きいことも改めて分かる。その中で、ト解消を掲げてもいたが、この点は達成を果

もっともコストが高い ” FT_W_W2T_MEM_V”

たすことができなかった。2020 年 7 月頃からと い う 名 前 の サ ブ ル ー チ ン で は 、9 月終わりまで、それまで使用した SX-ACE

MY_ALLTOALLV_G2RS の通信を待っているが 稼 働 終 了 と な り 、 10 月 か ら SX-Aurora

ために、ベクトル演算率が低く経過時間が長くTSUBASA に機種変更されたことで、一貫しなってしまっていることが判明している。て通信のコスト解消に取り組めなかったこ

MY_ALLTOALLV_G2RS 自身もベクトル演算とが原因として挙げられる。それでも、前述率が低くなっているが、これも通信のコストがのように、SX-Aurora TSUBASA は通信コス現れている結果と言える。

トについては VH・VE の通信アークテクチャ

しかし、SX-Aurora TSUBASA の VH・VE のをより有効に利用して改善する余地が十分通信のアーキテクチャは、これまで使用してきにあるため、その点を来年度の課題として継た SX-ACE とは異なっており、通信のマッピン続していきたい。
応用計算の課題も、SX-ACE の稼働中に、グに関し、少なからず改善の余地があるため、大きな計算資源を生かして成果につなげら

今後、大いに改善が期待される。

れたものがあったが、その後の機種変更後に7

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

速やかに大規模な計算実行を行うのが進まず、分量としては半分近く、当初の目標を積み残してしまった。
以上から、今年度の達成度は 60%程度と評価したい。
また、SX-Aurora TSUBASA では、1VE8 コ
アあたり 48 GB の共有メモリ搭載となっており、以前の SX-ACE の 1 ノード 4 コアあた
り 64 GB に比べて減少している。これだけを見ると、これまで SX-ACE で行ってきた大規模な計算を同様に SX-Aurora TSUBASA 上では行うのが容易でなくなることになる。しかし、Linux ベースの VH にもメモリを担わせることが可能なようであり、また、SX-Aurora
TSUBASA のメンテナンス時には特別に 576
VE までのシステム全系を使った計算が可能であるため、今後、東北大 CC の共同研究者の方々とも打ち合わせて、そのような大規模実行の進行を計画していく。

7. 研究業績一覧(1)

学術論文 （査読あり）
Y. Uemura, S. A. Abd-Rahman, S. Yanagisawa,
and H. Yoshida, ‘Quantitative analysis oftheelectrostaticandelectronic

polarization energies in molecularly mixed
filmsoforganic

semiconductors’,

Physical Review B 102, 125302-1-8 (2020).

8