学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書

jh190062-NAH

GW space-time コードの大規模な有機-金属界面への適用に向けた高効率化
柳澤 将（琉球大学）
概要 GW space-time コードによる大規模な表面・界面系の効率的な計算を可能にするため、今
年度は、共同研究者との協力のもと、主に SX-ACE 上での実行における、コード全体の通信コストやベクトル化率について検証を行なった。表面などの二次元系の電子状態に向けた計算法についても、非周期的な方向でクーロンポテンシャルを打ち切る方法の実装を進めた。計算の収束性に大幅な改善が見られ、表面・界面系への適用の可能性が高まった。これまでの共同研究によるプログラムの改善により、表面・界面系への適用も含め、以前よりも複雑で大きなサイズの問題への応用計算の成果も得られた。

1. 共同研究に関する情報

では歴史と実績があり、現在でも分野を先導(1) 共同研究を実施した拠点名

する最先端の成果が得られている。本研究で東北大学サイバーサイエンスセンター

は、コード開発の進展とともに、大規模な計算機資源を利用することで、有機半導体の実(2) 共同研究分野

験事実に対する、理論計算による洞察・解釈

n

超大規模数値計算系応用分野の深化をはかっていく。

o

超大規模データ処理系応用分野

2017 年度より計算プログラムコード GWo

超大容量ネットワーク技術分野

space-time （GWST）をもとに、研究プロジェo

超大規模情報システム関連研究分野

クトを継続してきた。
本年度は、引き続きノード内でのタスク並(3) 参加研究者の役割分担列実行や、比較的ノード・コア数の多い計算・柳澤 将（琉球大学・代表）プログラム開発・でのコードの動作効率の検討に加え、副代表テストおよび、実物質系の大規模計算の実行。

をはじめとする東北大学サイバーサイエン・江川 隆輔（東北大学・副代表）プログラム

スセンター（東北大学 CC）の共同研究の協効率化のための実装および助言。

力のもとに、本研究で中心的に使用する SXACE 上でのプログラムコードの詳細な性能2.

解析により、性能向上をはかった。

研究の目的と意義本研究では、有機半導体電子材料の基礎的

また、GWST プログラムによる比較的規模な電子物性の理解に資するため、基礎的な物の大きい応用として、以前報告した、表面で理学（第一原理）をもとにする電子状態計算の有機分子の配向に依存した電荷注入準位のプログラムの整備・開発を進めている。特の精密な決定に関する成果 [K. Yamada and S.に、有機分子膜と金属電極との接触する領域

Yanagisawa et al., Phys. Rev. B 97, 245206（界面）でのキャリア（電子・正孔）注入障(2018)] を発展させ、より実際的な、p/n 型有壁の正確な予測に向けた第一原理計算（GW機半導体の混合膜についても、電荷注入準位近似）を可能にするため、大規模な並列計算の物理的な支配要因の検討を進めた。

を効率的に実行することを目的に、MPI 並列

さらに、現時点のコードの応用目標と考えと OpenMP とのハイブリッド並列の実装を行る、より現実的な材料に近い、有機半導体のってプログラムの効率向上を進めている。

薄膜自体を GWST によって扱う取り組みに有機半導体の電子物性の実験研究は日本

ついても、計算の収束性を高める工夫を行な1

学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書

った。

についてノード間に分散させ、さらにノード内でタスク並列化を行うようにした。結果、

3.

計算時間の短縮と並列化効率の改善が見ら

当拠点公募型研究として実施した意義
2016 年度まで、東北大学 CC と共同研究れた。ノード内タスク並列化については、逆を進め、GW 近似プログラムの整備・開発や、行列化計算における LU 分解とその後のプロそれを用いた有機半導体の電子物性計算でセスにおいて、タスク並列化の効率に差異が少なからず成果を収めてきた。特に、通常の見られ、使用する数値計算ライブラリの選択

PC クラスタよりも 1 コアあたりのメモリのなどの工夫が必要であることが示唆された。

多い SX-ACE を使用することで、比較的大きこれらの成果については、本年度に査読付きなサイズの問題にもプログラムを適用でき国際会議プロシーディングスにて報告したる利点がある。また、平面波基底関数に基づ（「7. 研究業績一覧」(2)を参照）。
表面の周期的スラブの GW 近似による取りく第一原理計算コードであるため、ベクトル化によって得られる利点も大きい。

扱いに向け、表面での有機分子の配向に依存

2017 年度より、東北大学 CC からプログラする静電ポテンシャルの効果と、有機半導体ム開発の支援を受けながら、効率のよい大規の結晶内部での注入電荷への誘起分極の効模な並列計算を可能にし、計算対象をバルク果とを切り分けて扱う工夫を行なった。有機結晶だけでなく、表面・界面などの並進対称半導体の表面の構造に依存した電荷注入準性のない系にまで拡大するため、計算機資源位の正確な決定が可能となることが分かっの使用料金で大きなメリットのある貴拠点

た [S. Yanagisawa, AIP Conf. Procs. 1906,

公募型共同研究として進めている。

030014-1-4 (2017); K. Yamada, S. Yanagisawa et

昨年度からは東北大学 CC の共同研究者とal., Phys. Rev. B 97, 245206-1-8 (2018)]。の、定期的なディスカッションも開始しておより現実材料に近い、数分子層からなる有り、より綿密な共同研究の体制を確立してい機半導体薄膜をあらわに GW 近似で取り扱うる。また、物性の計算科学コミュニティにもため、周期的スラブモデルの導入によって人成果を広めることによって、同センターでの為的に起こる、薄膜表面に垂直な方向に隣接開発プログラムの使用を広めることができするスラブ間のクーロン相互作用を取り除る点でも意義があると言える。

く方法(クーロン相互作用カットオフ法)をGWST コードに実装する取り組みも進めた。

4.

結果、代表的な半導体薄膜シートのバンドエ前年度までに得られた研究成果の概要
固体・結晶系の準粒子エネルギーを正確にネルギーの再現への見通しがたった（今後、予測できる GW 近似の計算プログラム GWST論文とし報告予定。
「7. 研究業績一覧」(5)のを、有機半導体系の表面・界面の問題にも適第二番目を参照のこと）。

用できるよう、MPI 並列とノード内タスク並

5. 今年度の研究成果の詳細

列（OpenMP）とのハイブリッド並列の導入によって、並列化効率の向上を試みた。プログ

A. p/n 型有機半導体の混合膜における電荷注

ラム中の複素誘電行列の逆行列化計算にお入準位の決定要因いて、ScaLapack のライブラリの使用をやめ、有機薄膜太陽電池の材料として注目され並列度が増すにつれて通信時間の増大で発る金属フタロシアニン（MPc）について、p生するボトルネックの解消を進めた。計算デ型特性をもつ ZnPc と、分子周囲のすべてのータは、ノード・プロセス間では独立な変数水素原子をフッ素原子に置換して n 型特性
2

学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書を持たせた F16ZnPc とを混合させ、太陽電正または負の電荷が、周囲の電子雲の分極に池におけるバルクヘテロ接合の構造と電子よって反対符号の電荷で取り囲まれることに状態の関係について知見を得ることを試みよる安定化のエネルギーの大きさで、主に結た。特に、太陽電池でも正孔―電子対（励起晶・薄膜を構成する各分子の内部の電子物性子）の生成効率と関係があると考えられるに由来すると考えられている。

電子・正孔注入準位が、薄膜中の分子配置

本研究で用いた GW 近似は、このような電によってどう変わるかを、電子・正孔注入子分極を正しく再現できる理論計算法である。

準位の再現にすぐれる GWST プログラムを実際、図 1(a-b)の左側のパネルから分かるよう用いて検討した。に、F16ZnPc の混合比に関わらず、D の光電子分光による精密な測定値とよく一致している。
また、F16ZnPc の混合比に関係なく D の値はほぼ一定であるが、これは、電子分極について以前から知られる、有機分子の種類に関係なくほぼ一定である、という事実を裏付ける結果と言える。
一方、静電エネルギーS は、結晶・薄膜を構成する各分子に局在する電荷が、分子間で静電相互作用することに由来するエネルギーであり、分子内の電荷分布に加え、分子同士の相互配置によっても変化する。実際、図 1(a-b)の右側のパネルから分かるように、分子が立っているか・寝ているかにより、さらには混合膜中の ZnPc と F16ZnPc の混合比によって

図 1. ZnPc と F16ZnPc の混合薄膜における、も S の値は大きく変化するのが分かる。

電荷注入準位の支配要因（電子分極(D)および分子が立っているか・寝ているかによって静電エネルギー(S)）の理論計算値（点線）と大きな違いが見られるのは、すでに理論的に実測値（実線）の比較。横軸には F16ZnPc の提案されたように、分子の配向に依存する電混合比を取った。(a)は薄膜の表面に対して分荷―四重極相互作用が支配的であるため、と子が立ち上がった場合、(b)は表面に対し分子説明できる[B. J. Topham and Z. G. Soos, Phys.

が寝ている場合を表す。

Rev. B 84, 165405 (2011); K. Yamada and S.

研究結果を図 1 に、実験での実測値と比較

Yanagisawa et al., ibid. 97, 245206 (2018)]。

して示す。まず、注意する点として、有機固ZnPc と F16ZnPc とは p 型/n 型の違いがあ

体・薄膜中での電荷のエネルギー準位は、電るように、分子周囲の電荷分布は正反対で子分極（図 1 の D）および静電エネルギー（図あるため、静電エネルギーS には正反対に寄1 の S）によって支配されていることが実験・与する。したがって、これらの混合比の変化理論によって明らかになっている。そこで本によって、図 1(a-b)のように実験・理論とも研究でも、理論計算によって混合膜での電子に単調に連続的に S が変化するのは妥当と分極 D と静電エネルギーS をどの程度再現可言える。

能であるかに注目した。

本研究の理論計算の結果では、S の値は実電子分極 D とは、物理的には、注入された験値から、ややずれが目立つ。これは S の3

学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書

計算の都合上、GW 近似と別の方法で計算を行なっていること、および、計算コストの制約上、薄膜の層数および成膜のための基板の存在の有無など実験条件との相違があるのが主な理由と考えられる。それでも、定性的なトレンドについて実験をよく再現していると言える。
以上の成果から、有機薄膜太陽電池において重要な、電荷注入の準位や効率を支配する電子分極および静電エネルギーの効果を、薄膜の成膜条件や p/n 型有機半導体の図 2. 二次元系でのクーロン相互作用打ち切混合比によって連続的に調整することがでりの概念図。表面からの距離|z|が zc を超えるきる可能性が示唆された。と、クーロン相互作用はゼロとなる。

この成果は、当該物質系を研究する実験家離的である。セル間の人為的な相互作用を避グループとの共同研究成果として査読つき国けるには、100 Å 以上のセル長が必要と見積

際誌 Physical Review B 誌に投稿中である（「7.

もられるが、そのようなサイズのスーパーセ研究業績一覧」(5)の第一項目を参照）。一方、ルの計算は、今日の計算機環境でも実行は容本計算モデルのような理論的取り扱いでの有易ではない。

機薄膜の層数依存性について、研究代表者単

その状況の改善のため、2006 年に、相互作

独で詳細に検討を進めてきており、その成果用すべきでない非周期的な方向のクーロン相を査読つき国際誌に報告した（「7. 研究業績互作用を、適当な距離（カットオフ）で打ち一覧」(1)を参照）。

切る方法が提案された [C. A. Rozzi et al., Phys.
Rev. B 73, 205119 (2006); S. Ismail-Beigi, ibid. 73,B.

非周期系でのクーロン相互作用カットオ233103 (2006)]。この方法では、たとえば二次フの実装: 収束性の改善

元物質の場合、面に垂直な方向のクーロン相

一般に固体・結晶系の電子状態・バンドエ互作用が、表面からの距離|z|について、カット

ネルギーの第一原理計算では、周期的ポテン

オフ zc を超えるとゼロになる（図 2）。

シャル下の電子波（ブロッホ波）を効率よく昨年度の成果報告では、そのクーロン相互計算するために、周期的境界条件の下で平面作用カットオフ法の実装が大体成功したこと波基底関数を用いる。

を報告した。しかし、さらにテスト計算を重表面などの二次元周期系では、表面垂直方ねた結果、巨視的誘電定数に相当するガンマ向に周期性がないため、周期的な単位格子（ユ点 (k= 0) における複素誘電行列eGG’(k=0)のニットセル）を、その方向に沿って大きめにe1,1 要素 (“head”)、および、それを元に計算さ取り、隣接セル同士が相互作用しないよう工れる遮蔽ポテンシャル W GG’ (k=0)の計算の実夫する（スーパーセルの方法；図 2 を参照）。

装に粗い点があることが分かった。

スーパーセルの方法は、自由電子の振る舞い

具体的には、昨年度までeGG’(k=0)の計算を、に近い典型金属などの表面では電子間相互作実物質の一般的性質や、単純に|𝐤| → 0の極限用が短距離的で小さく、極めて有効である。

を取ることにもとづき、定数 1 としていたた

しかし、一般に固体中の多体電子間のクーロめ、ブリルアンゾーン内の波数 k のサンプルン相互作用は、誘起分極で遮蔽されても長距数に対する収束の達成が容易でないことが明4

学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書

らかになった。その点の改善に向け、特にり（バンドギャップ値は 1.87 eV）、この規模|𝐤| → 0の極限で考慮すべき、極限をとる際ののテストは、研究代表者が知る範囲ではどの角度依存性をより正確な表式で扱うことで、先行研究の報告例よりも大規模である。

ブリルアンゾーンサンプリングの k 点数に対C. プログラムコードの性能評価・考察する計算値の収束性の改善を試みた。
表 2. リンの二次元シート（フォスフォレ

本計算プログラムの特徴として、一部のン）でのクーロン相互作用打ち切りによる計算で要求される複雑な畳み込みの計算

バンドギャップの計算結果（単位は eV）。

を避けるため、計算量が定義される空間を、左端の列は二次元ブリルアン域内の k 点高速フーリエ変換（FFT）によって実空間ベ数、Work1 は本年度の実装変更後、Work2クトル(r)と逆格子ベクトル(G)との間で、は変更前の結果にそれぞれ相当する。

適宜スイッチさせている。32-64 コア程度

バンドギャップ

Work1

Work2

10×14×1 k 点

1.79

2.2222×30×1 k 点

1.77

1.95

30×42×1 k 点

1.81

1.95

40×54×1 k 点

1.85

1.92

使用の小・中規模程度のテストでの解析の結果、この際に必要な MPI_ALLTOALLV 通信が、経過時間の上位（上記テストでは全経過時間の 50%近く）を占めることが明らかになった。
本計算プログラムでの主要な計算量は、

表 2 に、その計算結果を示す。特に注目す

一般に P (r, r’)または P (G, G’)のように表べきは、実装の変更によって、比較的少ないされるが、MPI 並列時に r から G へのフー

k 点サンプル数 (10×14×1) でも、より大きなリエ変換を行う際、もう一方の実空間変数サンプル数の結果と比較して 0.1 eV 以内のバr’について計算をブロック並列化し、G へンドギャップ値の収束が得られていることでのフーリエ変換後には r’を G’にフーリエあり、変更前に比べて収束性が著しく改善し変換するため、P (G, r’)を G についてブロているのが分かる。また、1.8 eV 程度の数値ック並列化する。このプロセスに必要な通も、GWST 以外のコードを用いた同様のカッ信のために、MPI_ALLTOALLV 通信を使用

トオフの方法での先行研究で報告された数値してきた。ALLTOALLV 通信のコストにつに極めて近くなっている。

いては注意していたが、これまでのテスト実装の変更によって、GWST コードの二次では親プロセス（RANK0）で ALLTOALLV元系への適用性が高まり、今後の有機半導体による通信のコストがほとんどなく、の二次元的な薄膜への適用の可能性がさらにRANK0 以外でコストが顕在化していたた開けたと言える。本年度の成果について、現め、本年度の東北大 CC の共同研究者によ在論文投稿を準備中である（「7. 研究業績一る解析結果が出るまで気付くことができ覧」(5)の第二項目を参照）
。

なかった。

また、計算規模の面で追記する点として、

今後は、通信処理の最適化のためのコン

これまでの GWST コードの計算の高速化・大パ イ ル オ プ シ ョ ン の 検 証 や 、規模化の取り組みにより、上記の k 点サンプ

MPI_PUT/MPI_GET による代替などの可能ル数の収束チェックもより高度に行うことが性を検討していくが、2020 年度以降に使用可能となった。収束性改善後の場合のみに限できる可能性のある SX-Aurora TSUBASA

るが、SX-ACE 上で 601 コア・ノードを使用上での使用も見据え、選択肢を慎重に検討した 40×60×1 k 点のテストまで実行できておしていきたい。また、それと同時に、
5

学際大規模情報基盤共同利用・共同研究拠点 2019 年度共同研究 最終報告書

ALLTOALLV 通信以外の部分でもベクトル

electronic properties of organic electronics

化率を上げる余地があることも分かってmaterials”, the proceeding book “Sustained

おり、今後、改善を進めていく。

Simulation Performance 2018 and 2019”, pp.
225-234 (Springer 2020).

6. 今年度の進捗状況と今後の展望(3) 国際会議発表（査読なし）

今年度は、MPI_ALLTOALLV 通信や、それ・ Y. Uemura, S. A. A. Rahman, S. Yanagisawa,以外のパートのベクトル化率の向上というand H. Yoshida, “Impact of the molecular

コードの課題が明らかになった。

quadrupole moment in the molecularly mixed
film of organic semiconductors”, CEMS

その一方で、有機半導体薄膜の物性に関わる応用計算や、今後の有機薄膜表面や有機―Topical

金属界面系への適用に向けた実装の改善の成果を上げることができた。
来年度は、有機薄膜表面全体を GW 近似にMeetingon

Organic

Photoelectronics:

Theory,Materials,

Interfaces,

Spectroscopy,

SuzukiandUmetaro Hall, RIKEN, Saitama, July 25-26,
2019 (poster).

よって取り扱う試みを進め、有機―金属界面での界面準位接続の問題についても、GW 近・ S. Yanagisawa and I. Hamada, “Role of the似の物理的特長を生かして適用を進めるこ

molecular configuration on the electronicとを目指す。

structure of organic crystals: A combined

そのために必要な、上述のプログラムコー

DFT and GW study”, The 22nd Asian

ドの課題についても、東北大 CC の共同研究

Workshop on First-Principles Electronic

者との連携によって改善を進めていく。

Structure Calculations, Osaka University Hall,Osaka, October 28-30, 2019 (poster).

また、「5. 今年度の研究成果の詳細」の項目 B, C それぞれについて、ご協力をいた(4) 国内会議発表（査読なし）

だいたドイツ・バーダーボルン大学の Arno
Schindlmayer 教授、および、東北大学サイ(5) その他（特許，プレスリリース，著書等）

バーサイエンスセンターの山下 毅氏に、・ Y. Uemura, S. A. A. Rahman, S. Yanagisawa,
and H. Yoshida, “Impact of the molecular

この場を借りて感謝申し上げます。

quadrupole moment in the molecularly mixed
film of organic semiconductors”, submitted

7. 研究業績一覧（発表予定も含む）

to Phys. Rev. B.

(1) 学術論文（査読あり）
S. Yanagisawa, “Determination of the・ S. Yanagisawa and A. Schindlmayr, to be

ionization energy and the electron affinity ofsubmitted.

organic molecular crystals from first-・ S. Yanagisawa and I. Hamada, A Chapter inprinciples: dependence on the molecular

Theoretical Chemistry for Advancedorientation at the surface”, Jpn. J. Appl. Phys.

Nanomaterials - Functional Analysis by59, 031002 (2020).

Computation and Experiment, "Nano-scale(2) 国際会議プロシーディングス（査読あり）

first-principles electronic structure

S. Yanagisawa, T. Yamashita, and R. Egawa,simulations of materials relevant to organic“Enhancementelectronics", pp. 89-131 (Springer NatureoftheGW

space-time

program code for accurate prediction of the2020).
6