東京工業大学 TSUBAME 共同利用
平成30年度利用終了課題 利用成果報告書集

東京工業大学 学術国際情報センター
共同利用推進室https://www.gsic.titech.ac.jp/tsubame本報告書集および個別の報告書の PDF ファイルは、以下の URL にあります。
平成 30 年度採択実績および利用終了課題報告書
https://www.gsic.titech.ac.jp/kyodou/kadai_h30■平成 30 年度産業利用 利用成果報告書 一覧
申請課題名
所属機関／利用課題責任者頁

フィラー分散ポリマー複合材料の相分離構造シミュレーション
1
先端素材高速開発技術研究組合／本田隆
車載電子システムの低周波漏えい磁界のシミュレーション
7
株式会社豊田中央研究所／松沢晋一郎
5GHz 帯無線 LAN における大型車両内電磁界特性に関する基礎検討
13
株式会社パナソニックシステムネットワークス開発研究所／池田和彦
車載レーダにおけるターゲット散乱及び伝搬構造の FDTD 法による詳細解析
17
マツダ株式会社技術研究所／山本康典
大容量データ伝送用ミリ波アンテナのレドームに関する基礎検討21
スタッフ株式会社／千葉修二
車両レーダー断面積の大規模電磁界解析25
株式会社豊田中央研究所／大脇崇史■平成 30 年度学術利用 利用成果報告書別紙の提出免除課題 一覧（利用成果を論文/学会等にて発表した要旨等の提出により提出免除）
申請課題名
所属機関／利用課題責任者
論文/学会等における発表済利用成果の情報
高性能計算向け分散メモリ・ストレージ統合システムの研究
成蹊大学／緑川博子「ソフトウエア分散共有メモリシステム mSMS による大規模マルチコアノードにおけるステンシル」,
情報処理学会 研究報告ハイパフォーマンスコンピューティング（HPC）, Vol. 2018-HPC-165, No.22

申請課題名所属機関／利用課題責任者
論文/学会等における発表済利用成果の情報
抗インフルエンザウイルス広域中和抗体のエスケープ変異株由来表面糖タンパク質の構造解析
国立感染症研究所感染病理部／長谷川秀樹「経鼻インフルエンザワクチン接種者由来広域中和抗体のエスケープ変異体ウイルスの解析」
第 66 回日本ウイルス学会学術集会（http://www.c-linkage.co.jp/jsv66/）
ノードローカルバーストバッファの研究
筑波大学計算科学研究センター／建部修見「ノードローカルバーストバッファのための MPI-IO の設計」
情報処理学会 研究報告ハイパフォーマンスコンピューティング（HPC）, Vol. 2019-HPC-168, No.22■平成 30 年度学術利用 利用成果報告書 一覧
申請課題名
所属機関／利用課題責任者

頁

高性能ポリマーエレクトレット材料の開発
29
東京大学大学院工学系研究科／鈴木雄二
廃棄物最終処分場における間隙内流体挙動の数値解析
31
埼玉県環境科学国際センター／鈴木和将
第一原理計算と反応速度論による触媒活性予測技術の確立
35
物質・材料研究機構／石川敦之
HIV エンベロープタンパク質の分子動力学解析
37
国立感染症研究所病原体ゲノム解析研究センター／横山勝
EV-A71 カプシドタンパク質の分子動力学解析
39
国立感染症研究所病原体ゲノム解析研究センター／佐藤裕徳
HIV Pr55Gag タンパク質全長の分子モデリングと分子動力学解析
41
国立感染症研究所病原体ゲノム解析研究センター／佐藤裕徳

申請課題名所属機関／利用課題責任者頁

マルチ GPU を用いた心血管系における血流の数値シミュレーション
43
東北大学材料科学高等研究所／水藤寛
超対称ゲージ理論のＧＰＵプログラムの開発
45
慶應大学自然科学研究教育センター／花田政範
高解像度画像を使った広域の家屋及び道路の深層学習による自動判別システムの開発(2)47
東京大学空間情報科学研究センター／柴崎亮介
知識に基づく構造的言語処理の確立と知識インフラの構築
53
京都大学／黒橋禎夫
LRnLA アルゴリズムを用いた物理シミュレーション
57
法政大学情報科学部／善甫康成
HPC を利用した自然言語処理技術の研究
61
情報通信研究機構 ユニバーサルコミュニケーション研究所／鳥澤健太郎
GPU 加速化フラグメント分子軌道法プログラムの開発と応用
63
筑波大学計算科学研究センター／鬼頭宏任
スパコンのメモリ階層を活用したスケーラブル・大規模計算
65
産業技術総合研究所 RWBC-OIL／遠藤敏夫
ラージ・エディ・シミュレーションとドップラー・ライダーを組み合わせた都市域の大気境界層 3 次元構造の解明69
京都大学生存圏研究所／古本淳一

MEMS 構造の光学応答解析
73
電気通信大学／菅哲朗
近似ベイズ推定を用いた分散並列深層学習
75
理化学研究所革新知能統合研究センター／モハマッド エムティヤズ カーン
ニューラルネットワークに基づく音声合成
77
国立情報学研究所コンテンツ科学研究系／山岸順一
GPGPU による長周期地震動シミュレーション
79
国立研究開発法人防災科学技術研究所／藤原広行

申請課題名所属機関／利用課題責任者

頁

機械学習を用いた逆問題解析の研究
83
電気通信大学／清雄一
ニューラルネットワークに基づく生成音声と画像の識別85
国立情報学研究所情報社会相関研究系／越前功
時間依存密度汎関数法による原子内包フラーレン X@C60 の励起状態研究
87
岡山大学異分野基礎科学研究所／吉村太彦
ソフトクリスタル機能物性解析のための計算科学技術の開発
89
豊橋技術科学大学／後藤仁志
第一原理計算による電池・触媒メカニズム解明と新物質探索
91
物質・材料研究機構／館山佳尚（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 産業利用 成果報告書

利用課題名 フィラー分散ポリマー複合材料の相分離構造シミュレーション
英文：Simulation of phase separated structures of polymeric materials with fillers
本田 隆
Takashi Honda
先端素材高速開発技術研究組合
Research Association of High-Throughput Design and Development for
Advanced Functional Materials (ADMAT)
http://www.admat.or.jp/
3 種類（粒子、ファイバー、板）の形状のフィラーを存在させた高分子溶融体における高分子マトリックスの相分離構造を高分子の SCF 法で MPI+GPU 計算可能とするプログラムを開発した。また、粒子形状のフィラーであれば、粒子形状を界面に濃度勾配をもった形状を固定した液体粒子（Diffuse Interface Particle: DIP）として扱い、粒子位置と相分離構造の同時最適化を可能とした。さらに DIP 粒子を粗視化ポテンシャルで結合し、フレキシブルなファイバー状のフィラーとして扱う実装もした。開発したプログラムは SOBA(Soft Blends
Analyzer)として公開を開始した。
We developed a program that enables MPI + GPU calculation of the phase separated structure ofpolymer matrix in which three type fillers (particles, fibers, and plates) exist with the SCF methodof polymers. We also developed a method to simulate simultaneous optimization of filler’s positions
and phase separated structure, for particle fillers of which the interfaces have concentration
gradients (Diffuse Interface Particle: DIP). In addition, the DIP particles can be combined by usingcoarse graining potential and treated as a flexible fibrous filler. The developed program has beenreleased as Soft Blends Analyzer (SOBA).

Keywords: SCF theory, polymer composite, particle filler, fiber filler, plate filler, diffuse interface
particle

Blends Analyzer(SOBA)[3]の改良をすることを目的

背景と目的
高分子材料は、様々なフィラーが添加され、その物とする。

性が改良されて用いられることが多い、例えばカーボン

SCF では高分子のコンフォメーションのエントロピー

ブラックやシリカが添加されたタイヤ材料がその代表例の効果を精度よく計算に取り込めることができる。よっである。最近は CNT を添加し電気伝導性・熱伝導性にて、フィラー周囲の高分子マトリックスの相分離構造を優れた材料が開発されており、今後も様々な高性能材

高精度に計算することができるが、計算するスケールと料の創生が期待されている。しかし、フィラーが添加さしては粗視化した高分子鎖が認識できるようなミクロ・メ

れた高分子材料は、フィラー高分子間の相互作用や高ゾスケールとなる。しかし、このスケールは複合材料に分子の絡み合い・分子量・自己組織化の影響等によりするために添加されるフィラーに比べると小さい。よっ

様々な相分離構造をとる。よって、フィラー・高分子複合て、フィラーが存在する系の計算を SCF 法のスケール

材料の構造解析には時間を要し、開発期間は長時間とに合わせると、領域分割ができる MPI ライブラリを利なる場合が多い。

用した大規模並列計算が必要となる。さらに、SCF 計
算の高速性を実現するためには GPU の利用に対応す

本課題においては、高性能な高分子複合材料の開発期間短縮のため、高分子の SCF 法（密度汎関数法

る必要もある。

の一つ：以降では簡単のため SCF 法と記載する）[1,2]

本課題においては、高分子の SCF 法の MPI+GPU

を利用し、フィラーの凝集構造と高分子マトリックスの相並列計算における多くのバグを取り計算の安定化をは

分離構造を同時にシミュレートできるプログラム Softかり、さらに MPI+GPU 並列計算において、領域を跨

1

（様式 20）成果報告書
ぐフィラー存在下においても問題なく計算が実行できる

開発中の SOBA ではこの計算を全て有限差分法

ように境界問題とフィラー取り扱いにおけるマルチスケ（FDM）で行う。フィラーが存在する場合は、経路積分ール問題を解決することに注力し、高分子複合材料系の初期値（高分子末端の存在確率）が、フィラーがメッでの高分子マトリックスの SCF 計算を実行可能とする

シュに占める体積分率で影響を受ける。それを SOBA成果を得た。

で利用するスキームで表すと次のようになる[4]。
Q(0, ｒ𝐼 ; 0, ｒ𝐼 ) =概要
１．理論：フィラーを充填した系の高分子の SCF 法

1
𝑣𝑓

(3)

ここで、𝑣𝑓 は高分子末端が存在するメッシュ点での自由高分子を粗視化し、いくつかのモノマーをひとつのセ体積である。この自由体積を求めるため、SOBA では

グメントという粗視化単位として扱うと、セグメント間のフィラー周囲のみメッシュを細分化し、数値積分して𝑣𝑓排除体積効果が無視できるスケールとなり、高分子鎖を求める。

の一端を空間のある点に固定すると、それにつながる

２．理論：フィラーの位置と相分離構造の自動最適化

高分子鎖を形成するセグメントの分布は、いわゆる酔前述の SCF 法において、𝑣𝑓 を求める方法は、メッシュ

歩の軌跡と同等となり Gauss 分布となる。高分子のの細分化に計算コストがかかるので、フィラー位置は固SCF 法はこのような Gauss 鎖近似が成り立つスケー定とするのが現実的な制約となる。そこで、フィラーがルでの理論である。これを物理的に記述するために、存在する系の SCF 法の計算コストを削減するための鎖上のセグメントの位置を s、空間でのセグメントの位手法として導入したのが、フィラーの境界に濃度勾配が置を r で表し、高分子内の部分鎖の両端をそれぞれ s、ある溶液粒子（以降では Diffuse Interface Particle:r と s’、r’に固定したときのセグメントの統計的な重みDIP）とする方法である。SOBA ではフィラーの濃度分を 𝑄(𝑠, 𝐫; 𝑠 ′ 𝐫 ′ ) として表す。これは、以下の酔歩に相布∅ｐ (𝐫)を以下の式にてモデルして計算するようにした。

当する拡散方程式（Edwards 方程式と呼ぶ）に利用で∅ｐ (𝐫) =きる。
𝜕𝜕ｓ𝑄(𝑠, 𝐫; 𝑠 ′ 𝐫 ′ ) = [

𝑏2
𝑉(𝐫)
−
] 𝑄(𝑠, 𝐫; 𝑠 ′ 𝐫 ′ )6𝑘𝐵 𝑇tanh{𝛼(𝑅−|𝐫−𝐫0 |)}+1
2(4)

ここで、𝑅はフィラー粒子の半径、𝐫0 は粒子中止の位置、(1)αは界面の幅を設定するパラメータである。この方法でここで、b はセグメントの有効長、T は温度、𝑉(𝐫)はセグ

は、フィラー界面に濃度勾配があるので、界面でも複数メント間相互作用と非圧縮条件からセグメントに働く外のメッシュ点が存在し、界面での物理量も計算可能とな

部ポテンシャルエネルギーとする。以降では、この統計る。残念ながら高分子のコンフォメーションのエントロピ

的な重みを経路積分と呼ぶこととする。経路積分を利ー効果を精密に計算するのを諦めることにはなるが、フ用すれば、ある点 r に集まるセグメントの濃度分布φ(r)ィラー位置を固定したまま複数回 SCF を回し、高分子は次の式で求まる。

フィラーへ働く化学ポテンシャルからフィラーへ働く力を計算し、力の方向に微小量フィラーを移動させた後、再𝑁∅(𝐫) = 𝐶 ∫ 𝑑𝑠 ∫ 𝑑𝒓0 ∫ 𝑑𝒓𝑁 𝑄(0, 𝒓0 ; 𝑠, 𝒓)𝑄(𝑠, 𝒓; 𝑁, 𝑟𝑁 )度 SCF を回す疑似的動力学をすることにより、DIP の0(2)

位置と高分子マトリックスの相分離構造の同時最適化

ここで、C は計算で選択するアンサンブルから決まる規が可能となる。

格化定数、外側の積分は鎖に沿って全てのセグメントを積分する意味、内側の二つの積分は鎖の両末端位結果および考察１．SCF 法の MPI+GPU 計算の安定化

置を空間的に全て積分するという意味である。∅(𝐫)が求まらないと𝑉(𝐫)を求めることができないので、この計最初に、流体力学効果を導入した動力学計算におい算 は 非 線 形 な 計 算 で あ り 自 己 無 撞 着 場 （ Self-て、問題によっては計算がアボートする不具合が発見

Consistent Field: SCF）計算を必要とする。

されたのでデバッグし、これまでのコードに存在したデ2

（様式 20）成果報告書
バイス上でのメモリの確保におけるバグを取り除いた。

２．3 種 類の 形状のフ ィラ ー存在系 の相分 離計算 のその結果、安定した計算が行えるようになった。さらに、

MPI+GPU 計算

セグが相互作用パラメータχを位置により可変とし温図 2 に示すのは境界を固体壁した球、ファイバー、板

度勾配のある系を疑似的に設定できるような改良を施の 3 種類の形状のフィラーが存在する系における対称した。つまり、温度が高い領域はχが小さく溶融状態とジブロック・コポリマーの SCF 計算の結果の一例であなり、温度が低い領域はχが大きく相分離するという条る。このような計算を MPI+GPU 計算で実行すること件である。図１に示すのはジブロック。コポリマーのミクができるようにコードを改良することができた。フィラー

ロ相分離構造を 64（Core+GPU）MPI 並列で計算した形状は任意の大きさを設定することができるが、それに例である。図 1(a)に示すのは、温度勾配に相当するχ

は高分子マトリックスの SCF 計算とオブスタクルスケー

を球対称で設定した場合のプロファイルであり、球の中ルの計算のマルチスケール計算を同時に実行するス

心部で相分離し、外周は高温で溶融状態を保ち、周期キームが必要である。当初、フィラーは大きいので、全境界条件の影響を排除した自由界面を存在させた計

MPI プロセスにて、全フィラーを扱う同等なスキームを算とした例である。図 1(b)に示すように自由界面を伴う

実行する設計としていたが、256 プロセスを利用する大球状の相分離構造を形成させることに成功した。

規模 MPI＋GPU 並列計算とした場合、フィラーの取り

図 1 χパラメータに位置依存性を導入して自由界面を図 2 3 種類の形状のフィラーが存在する系にお形成させたジブロック・コポリマーの相分離構造

ける対称ジブロック・コポリマーの相分離構造

64（Core＋GPU）MPI 並列計算、Gyroid 構造の8FlatMPI 計算、システムサイズ 323(643 メッシュ）、鎖

4096unit_cell(5123 メッシュ）、鎖長 N=20、ブロック比

長 N=20、χN=20、ブロック比 f=0.5、静的学計算、

f=0.35、動力学計算、(a)χパラメータに分布を導入、(a)セグメント濃度分布、(b)等値面表示、Φ=0.5、球、フ(b)等値面表示、流体力学を導入：粘度μ=0.001、等値

ァイバー、板の 3 種類のフィラーが存在する周囲で相

面表示：Φ=0.75、時間 t =76

分離している。

3

（様式 20）成果報告書
扱いの効率の悪さが露見し計算速度が低下したのでス

1

𝑉𝑏 = 𝑘𝑏 （R 0 − |𝐫0 − 𝐫1 |）2

2

キームを改め、各分割小領域に存在するフィラーのみ1

𝑉𝑎 = 𝑘𝑎 (𝜃 − 𝜃0 )2を取り扱うようスキームを変更した。このような分割スキ

2

(5)
(6)

ームは、粒子を扱う MD の MPI 計算と同等と認識しがここで、𝑘𝑏 、𝑘𝑎 はそれぞれポテンシャルの強度を設定すちであるが、大規模粒子、長いファイバー、広面積板等る任意のパラメータ、R 0 は RIP 粒子の半径、𝐫0 と𝐫1 はボを導入した計算では一つのフィラーが複数の小領域をンドを形成する 2 つの DIP 粒子の中心位置、𝜃は２つ跨ぐ条件が発生するので一般的な粒子を扱う MD ののボンドがなす角、𝜃0 は任意の基準となる角度である。

MPI 計算以上にスキームに工夫が必要であり、プログ

図 4 に示すような大規模 MPI+GPU 計算により、多くラムを改良し各フィラーの存在領域の認識を効率よく行の統計量を得ることができ、パラメータの差異が構造にうようにした。

与える結果を評価することができた。その結果、フィラ

３．ポリマーブレンド中の DIP 粒子

ー周囲はポリマーマトリックスであり、真空中に置く粗図 3 に示すのは DIP 粒子を A/B ポリマーブレンドに視化 MD とは異なり、非圧縮条件（ポリマー溶融体なの投入した例である。粒子は A ポリマーを避けるような相で非圧縮な系として扱う）により受ける力は非常に大き互作用パラメータが設定されているので、粒子周囲を B

いことがわかった。また、DIP 粒子の界面幅を設定すポリマーが覆い、凝集構造を形成していることがわかる。

る(4)式におけるパラメータαの影響もあり、例えばαこのような計算も、領域分割した場合に境界に存在す=0.1、R 0 =2、の条件において、DIP 粒子間距離は、4.9

る粒子情報を通信し、MPI+GPU 計算可能とした。

が平均値となった。このような計算を 256（Gore+GPU）
MPI 並列まで実行可能なことを確認した。

図 3 ポリマーブレンド中の DIP 粒子
1（Core+GPGPU）計算、システムサイズ 323(643 メッ

図 4 DIP 粒子を粗視化ポテンシャルで結合しフレキシ

シュ）、鎖長 N=10、A/B ブレンドに半径 2 の C 粒子

ブルなファイバーを想定した計算例

64 個を投入し、χAC=1、とした場合の B セグメント分

64（Core+GPGPU）計算、システムサイズ 2563(5123

布の断面図。

メッシュ）、鎖長 N=10 の A ポリマー中に半径 2 のDIP を 32 個接続した模擬ファイバーを 2048 存在させ

４．DIP 粒子を粗視化ポテンシャルで接続した計算た。α=0.1、kb=30、ka=75、θ0=180°とし直鎖状の

図 4 に示すのは、CNT のようなフレキシブルな繊維配置から 20 回緩和した例。

状のファラーを計算するために、DIP 粒子の粗視化ポ
テンシャルで結合した計算例におけるフィラーの構造で６．FlatMPI と MIP+GPU 計算の比較ある。結合している DIP 粒子同志をシリンダーとして表

現在実装中の SCF 法のコードでは、問題によって示している。粗視化ポテンシャルとしては次のボンドと様々なスキームが作動するので、一概に計算速度を比アングルポテンシャルを導入した。

較することは難しいが、フィラーが存在しない通常の高4

（様式 20）成果報告書
分子の SCF 計算を MPI+GPU 並列計算と FlatMPI

参考文献

計算で比較すると、NVLINK は利用するが最新の[1] 公益社団法人 新化学技術推進協会 (編集)、“増DirectGPU 等の手法を利用しないプログラムにおいて、補版 高分子材料シミュレーション: OCTA活用事例

システムサイズ 137.63（ミクロ相分離の Gyroid 構造集”、 化学工業日報社 (2017).

512 unit cell）、メッシュサイズ 2563、鎖長 N=20、ブ[2] T. Honda and T. Kawakatsu, “Applications of

ロック比 f=0.35、鎖の数約 13 万本の計算条件にて

SUSHI in OCTA system” in Nanostructured

8(Core+GPU)MPI 並列計算での比較結果は、

Soft

Matter:Experiments,

TheoryandPerspectives, A. V. Zvelindovsky, ed., Springer-

1 GPU（P100）≒ 72 core Intel Xeon E5-2697A v4 @ 2.60GHz

Verlag (2007).

相当であるとの結果となった。この値は最新の CUDA

[3]http://octa.jp/ にて公開中（アカウント取得と loginが必要であるが利用は無料） (2019).

のプログラミング手法を利用してチューニングすればさ[4] H. Morita, M. Toda and T. Honda, Polymer

らに MPI+GPU 計算の速度が向上すると考えられる。

Journal, 48, 451 (2016).

また、大規模 PC クラスターではなくとも数枚の GPUで十分な高速計算を実現できるといえる。

まとめ、今後の課題
高分子の SCF 法に改良を施し、3 種類のフィラー（球、ファイバー、板）が存在する系においても高分子マトリッ
クスの相分離構造の計算ができるようになった。さらに、
DIP 粒子を導入すれば、粒子の位置と相分離構造の同時最適化が可能となった。また、DIP 粒子間に粗視化ポテンシャルを導入し、フレキシブルなフィラーを模擬した 計算も可能とした 。これらのすべての計算は
MPI+GPU 計算可能であり、256（Core+GPGP）並列においても並列化効率に問題のない計算を実行できることを確認した。
開発したプログラムは、 http://octa.jp/ より SOBA
Ver.1.や SUSH10.7 として 2019 年 4 月より公開した。
無料でダウンロードが可能である。
今後は、MPI+GPU 計算に粘弾性効果を導入すること、DIP 粒子のパラメータ・サーベイを継続し複合材料を評価できる具体性のあるシミュレーション技術に発展させること、また、CUDA に導入された最新の機能によりより並列計算の速度を向上させることが必要である。

謝辞
この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の委託業務（P16010）の結果得られたものです。

5

6

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 産業利用 成果報告書

利用課題名 車載電子システムの低周波漏えい磁界のシミュレーション
英文：Simulation of Low frequency Magnetic Field Leakage from an automotive electrical system
松沢晋一郎
Shin-ichiro Matsuzawa
株式会社 豊田中央研究所
Toyota Central R&D Labs., Inc.
http://www.tytlabs.co.jp

邦文抄録
kHz 帯の低周波の電磁界解析では、周波数領域の有限要素法のシミュレータが一般的に用いられるが、周波数点数にほぼ比例して計算時間が増えるという課題がある。本報告では、時間領域の結果からフーリエ変換で周波数特性を求めるため、周波数点数が増えても計算時間がほとんど変化しない、時間領域の FI(Finite Integral)法のシミュレーションを TSUBAME により検討した。
英文抄録
In the low frequency electromagnetic field analysis of the kHz band, a simulator of the finite
element method in the frequency domain is generally used, but there is a problem that the calculation
time increases in proportion to the number of frequency points. In this report, TSUBAME is used to study

time domain simulation of FI (Finite Integral) simulation with almost no change in calculation time even if thenumber of frequency points increases
Keywords: 電磁界シミュレーション、低周波磁界

背景と目的いう課題がある。しかし、FDTD(Finite Difference Time
Domain)法やＦＩ（Finite Integral)法等の時間領域の解析

概要

は、時間領域の結果からフーリエ変換(FFT)で周波数

1.はじめに特性を求めるため、周波数点数が増えても計算時間はEV,PHV では、DCDC コンバータ等により大電流をほとんど増えないため、その短縮が期待できる。

高速に切り替えるため、低周波磁界が発生する。しか本報告では、車室内のケーブルが人の足元を通るし、現状では、ボデーの機械的要件を満足するために場合を例に、0.01kHz～10､000kHz の車室内の電磁界

DCDC コンバータは、厚い鋼板によって囲われているた分布を FI 法の時間領域のシ ミュレータ Microwave

め、結果的にその漏えい磁界はシールドされ、車室内

Studio(CST 社、以下 MWS と記載）で TSUBAME を用いの磁界強度は十分弱くなっている。しかしながら、ボデて評価し、可能性を検討した。

ーの軽量化のため、従来の鋼板以外に一部に CFRP
（炭素繊維強化プラスチック）等の樹脂が用いられるよ2. 電磁波の人体ばく露の指標

うになっている。一般的に樹脂には、磁界シールド効果

本報告では、車室内の電磁界分布を求め、人体ばくはほとんどないため磁界シールド効果は低下すること

露について評価した。人体ばく露の指標について、以になり、それを考慮したシミュレーション技術の開発が下に説明する。電磁波が人体に与える影響には、低周重要となる。

波領域で支配的な刺激作用と、高周波領域で支配的kHz 帯の低周波の電磁界解析では、周波数領域

な熱作用がある。そのガイドラインとして、国際非電離の有限要素法のシミュレータが用いられることが多い

放射防護委員会(ICNIRP)によりガイドラインが定めらが、周波数の点数にほぼ比例して計算時間が増えるとれている[1]。

7

（様式 20）成果報告書

表 1 ICNIRP のガイドライン（公衆のばく露）

熱作用(0.1MHz～）

基本制限

全身平均 SAR
0.08[W/kg]

局 所 平 均 局所平均 SAR
SAR(頭部） (四肢）2[W/kg]4[W/kg]
図 1 想定した車両の電動機器の配置

そのガイドラインは基本制限と参考レベルの 2 段階からなる。人体内における影響に関連した実効的な指標である基本制限は、刺激作用（10MHz 以下）と熱作用（ 0.1MHz 以 上） が示 さ れ て いる 。 熱 的作 用 を 表す
SAR(Specific Absorption Rate)の定義は以下の通りである。

SAR =σE2/ρ(1)(a) zx 面

ここで、E は体内の電界強度、σは導電率、ρは密度であり、SAR の単位は W/kg である。SAR の値を表 1に示す。刺激作用を表す体内誘導電界のガイドライン
については、本報告書では評価していないので、省略する。

3. 解析モデル
車両後方にモータ、前方にインバータがあり、その間のフロア部分に、人の足元の下をケーブルが通る場(b) xy 面

合の車室内の電磁界分布を評価した（図 1)。そのシミュ
レーションモデルを図 2 に示す。車両の後方にモータのある FR 車を想定した。簡易形状の車体（銅、導電率
5.8×107S/m)の内部に、シート（アルミ、導電率 3.6×
107S/m)があり、運転席に人が座っている。シートは、フレームのみモデル化した。インパネ周辺の金属物、ハンドル、ガラス等は除いている。インバータは、グラン(c) yz 面

ドとみなすフロアに接地した電流ポートでモデル化し、

図 2 シミュレーションモデルの構造図

ケーブルに接続した。ケーブル長は 2000mm、材質は銅である。本ケーブルモデルの電流に相当するコモン等価回路は、文献[2]を参考に一例として、 R=1 Ω 、

モード電流は、数百 A のモータ電流の約 1/1000 である

L=20 mH の直列回路とし、その周波数特性はないもため、本報告書では 1A とした。車両後方のケーブル終のとした。ケーブルの y 座標は、ケーブルが人の左足

端は、モータの等価回路を接続した。

甲のほぼ中心を通るように yL=1100mm とした。ケーブルと足裏までの距離は、約 10mm である。人体モデル

8

（様式 20）成果報告書には NICT(独立行政法人 情報通信研究機構)が公開している成人男性の数値人体モデルデータベース
TARO[3,4]を用いた。TSUBAME の計算時間は、2 ノードでおよそ 2 時間であった。
(a) 0.01 kHz

結果および考察
4.結果
4.1 電磁界分布と SAR の結果
人 体 、 シ ー ト を 含 む 図 2 の モ デ ル の zx 面
（y=1100mm)における、0.01kHz から 10,000kHz の各周波数の磁界分布を示す（図 3)。ケーブルの真上に足が(b) 1 kHz

あるため、その部分の磁界が強い。また、ケーブルの周囲の 0.01kHz、1kHz の磁界強度は、x 方向にほぼ一定だが、1,000kHz 以上では、ケーブルの終端部に近づくと磁界が弱くなっている。これは、1,000kHz 以上では、ケーブルが分布定数線路となり、終端の L とグランド－
ケーブル間の容量 C の関係で、励振点から離れるほど(c) 1,000 kHz

電流が減衰したためと考えられる。

(c) 1,000 kHz(a) 0.01 kHz

図 4 電界分布（zx 面、y=1100mm）
zx 面（y=1100mm)の電界分布の周波数変化を図 4 に示す。ケーブル終端が低インピーダンスのため、ケーブル(b) 1 kHzの周囲の電界は、1000V/m と高く、また 1,000kHz 以下
では、足元以外に、人体頭部とルーフの間の距離が約40mm と近く、約 200V/m の電界が生じている。
図 5 に、組織 10g 平均の SAR 分布の変化を示す。
左足、特にその足首部分の SAR が高くなっている。こ(c) 1,000 kHz

れは、一般的に知られているように断面積の狭い箇所の値が高くなる傾向と一致している。また周波数が高いほど SAR が低い傾向が分かる。図 6(a)に全身平均
SAR,図 6(b)に局所 SAR の周波数特性を示す。全身平均 SAR,局所 SAR のどちらの場合も 100kHz の場合に最も高く、ICNIRP のガイドラインと比べると、全身平均(d) 10,000 kHz

で約 1/33、局所 SAR は約 1/20 分である。

図 3 磁界分布（zx 面、y=1100mm）

9

（様式 20）成果報告書
W/kg

ICNIRP のガイドライン（公衆ばく露）

0.1

0.05

0
(a) 100kHz
W/kg
0.1

(a) 全身平均 SARICNIRP のガイドライン（公衆ばく露）

0.05

0(b) 1,000kHz

W/kg
まとめ、今後の課題

0.1（まとめと今後の課題について記載してください。）。

(b)局所 SAR

0.05

図 6 全身平均 SAR、局所 SAR の周波数特性
まとめ、今後の課題

0

終端にモータの等価回路を接続したケーブルから(c) 10,000 kHzの漏えい電磁界（周波数 0.01～10,000kHz)を MWS（時図 5 SAR（組織の 10g 平均）分布の周波数特性間領域）で評価可能なことを示した。ケーブルの電流が1A のときの 100kHz の人体の SAR 値を求め、ICNIRPのガイドラインに比べて全身平均で約 1/33、局所 SAR
で約 1/20 であることが分かった。今後の課題は、体内誘導電界の 99%ile 値の導出と評価である。
[参考文献][1]

ICNIRP GUIDELINES for Limiting Exposure toTime-Varying

Electric

Magnetic

Fields(1Hz-

100kHz), Health Physics 99(6), 818-836, 2010[2] 大濱他，“PM モータの負荷時におえる d,q 軸インダ
クタンスの測定”，電気学会，平成 28 年度電気・情報関係学会九州支部連合大会．
[3] 長岡他,”日本人成人男女の平均体型を有する全10

（様式 20）成果報告書
身 数 値 モ デ ル の 開 発 , ” 生 体 医 工 学 Vol.40,No.4,
pp.45-52, 2002.
[4]

Nagaoka, et al., “ Development of realistic

high-resolution

whole-body

voxel

modelsofJapanese adult male and female of average height andweight,andradio-frequency

applicationofelectromagnetic-fieldmodelstodosimetry ”

Phys. Med. Biol., Vol.49, pp.1-15, 2004.

11

12

（様式 20）成果報告書

TSUBAME 共同利用

平成 30 年度

産業利用

成果報告書

利用課題名 5GHz 帯無線 LAN における大型車両内電磁界特性に関する基礎検討
英文：A Study on the Electromagnetic-field Characteristic in a Large-scale Vehicle in wireless LAN
利用課題責任者 池田 和彦
First name Surname
Kazuhiko Ikeda
所属

株式会社パナソニック システムネットワークス開発研究所
Affiliation
Panasonic System Networks R&D Lab. Co., Ltd.
URL
http://panasonic.co.jp/avc/psnrd/

邦文抄録（300 字程度）
近年，鉄道やバス等の公共交通機関において多種多様な情報を活用するクラウド化が進んでいる．大型
車両内での安定した高速・大容量通信を実現するための無線通信システムとして，無線 LAN システムや第５世代移動通信システム（5G）などが想定されており，それぞれの無線システムに適したアンテナが必要となる．大型車両の車室内における通信としては 5GHz 帯を用いた無線 LAN が考えられ、搭載されるアンテナの性能の評価が求められる．しかしながら，大型車両に搭載したアンテナ特性を測定するためには多大な時間と労力が必要であり，また電磁界シミュレーションでは空間セル数が大規模になる課題がある．
そこで本報告では，5GHz 帯無線 LAN を解析対象のシステムとし，5.2GHz 帯で動作するアンテナをバスに搭載した場合のアンテナ性能について，TSUBAME3.0 を用いた電磁界シミュレーションにより解析する．
英文抄録（100 words 程度）
The system into a cloud has been advanced to utilize various kinds of information in public transportation such asrailroads and buses in recent years. Wireless LAN and the 5th generation mobile communication system (5G) areproposed, as a wireless communication system for achieving stable high-speed and large-capacity communication in alarge vehicle, a suitable antenna for each wireless system is requited. Wireless LAN using 5 GHz band is conceivableas communication in the large-scale vehicle, and the evaluation of the antenna performance installed on thelarge-scale vehicle is required. However, the antenna measurement with large-scale vehicle involves immense amountof time and effort, and the antenna electromagnetic simulation requires the enormous analysis cells because of thevolume of the vehicle. In this paper, we adopt the wireless LAN as the target system of the cloud service, andevaluate the 5.2 GHz antenna performance installed on the bus by electro- magnetic simulation using supercomputer
TSUBAME 3.0.
Keywords: Electromagnetic simulation, Large-scale vehicle, Cloud service, Wireless LAN
両に搭載される 5G 用アンテナの特性や車室内における無1.まえがき近年，鉄道やバス等の公共交通機関において多種多様な

線 LAN システムにおける車両構造物や人体の影響を把握

情報を活用するクラウド化が進んでいる．大型車両内でのすることが重要である．しかしながら，大型車両に搭載し安定した高速・大容量通信を実現するための無線通信シス

たアンテナ特性や車室内の電磁界分布を測定することは，テムとして，無線 LAN システムや超高速，大容量，低遅評価設備等の問題から非常に困難であるため，電磁界シミ

延といった特徴を持つ第 5 世代移動通信システム（5G）ュレーションを用いてアンテナ性能を解析することが望などが想定されており，それぞれの無線システムに適したましい[1]．また，電磁界シミュレーションでは，解析空アンテナが必要となる．その無線システムの具体的な実現

間を波長の数十分の一程度の大きさで分割する必要があ

方法の一つとして，基地局と大型車両との間の通信にはることから，解析周波数が高くなるほど，また解析対象が5G を利用し，大型車両の車室内においては 5GHz 帯を用

大規模になるほど，膨大な空間メッシュの解析が必要とないた無線 LAN システムを用いてユーザ（端末）と車両とる．現在，解析に用いられる一般的なスタンドアロン型計の間で通信を行うことにより，ユーザスループットを向上

算機では，2 億個程度のメッシュ数のモデルの解析が限界できると考えられる．

であるため，並列処理によって大規模メッシュの解析が可このような無線システムを構築する上において，大型車

能なスーパーコンピュータの利用が有効となる．

13

（様式 20）成果報告書
図 1 に本検討で用いる大型車両のバスモデルを示

本利用課題では，基礎検討として，5GHz 帯無線 LAN
システムを解析対象のシステムとし，大型車両のバスに搭

す．大きさは全長 8990mm×全幅 2315mm×全高載されるアンテナの性能をスーパーコンピュータ

2980mm，ボディ及びホイールは金属，座席シート，

TSUBAME3.0[2]を用いて電磁界解析する．実際の構造をダッシュボード，窓ガラス，バンパーは誘電体でモモデリングしたバスモデル車両内に 5.2GHz で動作するア

デリングしている．

ンテナを配置し，バス車両内の電磁界分布を可視化するこ

図 2 にアンテナモデルを示す．5.2GHz で動作するアンとで、バス車両内の構造物の影響について検証する．このテナとして，一般的な車両搭載アンテナである 1/4 波長モ検討により，使用ノード数と解析時間の関係を把握し，電ノポールアンテナを採用した．

磁界シミュレーションにおける TSUBAME3.0 活用の有効

図 3 にアンテナ配置位置を示す．バス車両内へのアンテ性について検討する．

ナ配置として，①前方ダッシュボード上配置，②後方ダッシュボード上配置，③ルーフ中央裏配置，④ルーフ後方裏配置の 4 通りを検証する．アンテナの配置向きは，①②の2.解析モデルと解析条件
表 1 に解析条件を示す．計算機システムはスーパーコン

ダッシュボード上配置では図 2 に示す座標軸の向き（アンピュータ TSUBAME3.0，電磁界解析には有限積分法を用

テナ素子がルーフ側）であり，③④のルーフ裏配置では図いた電磁界シミュレータである DASSAULT SYSTEMES

2 においてアンテナを X 軸中心に 180 回転させた向き（ア社の MICROWAVE STUDIO[3]を使用する．解析周波数はンテナ素子が床側）である．

5GHz 帯無線 LAN を想定し 5.2GHz としている．

以上の解析条件でモデル 1 条件あたりの解析メッシュ
数は 21 億メッシュとなり，一般的なスタンドアロン型計

表 1 解析条件

算機での MICROWAVE STUDIO で解析可能な約 2 億メッ

計算機システムTSUBAME 3.0

シュを大きく超えているため，TSUBAME3.0 での解析が電磁界解析

MICROWAVE STUDIO必要である．

解析周波数

5.2GHz

車両モデル

バス

アンテナ

1/4 波長モノポールアンテナ

2mm

100mm

①前方ダッシュボード上配置
アンテナ②後方ダッシュボード上配置

配置位置③ルーフ中央裏配置

14mm
Port

GND

④ルーフ後方裏配置

図 2 解析モデル（アンテナ）

21 億メッシュ

解析メッシュ数8990mm

2315mm

2980mm① 前方ダッシュボード上配置② 後方ダッシュボード上配置③ ルーフ中央裏配置④ ルーフ後方裏配置（a） 全景図 3 アンテナ配置位置（b） 断面図

図 1 解析モデル（バス）14（様式 20）成果報告書
向であるが．今回の解析モデルでは，12 ノードで解析時

3.車両内電界分布
図 4 に各アンテナ配置位置における車両内の電界分布間がほぼ飽和すると考えられる．

の比較を示す．それぞれ XZ 面（垂直面）及び XY 面（水平面）の電界分布であり，図中にピンクで示した点にアン

5.まとめ

テナを配置している．

本利用課題では，スーパーコンピュータ TSUBAME3.0③のルーフ中央裏配置の場合であれば，車両全体に電界を用いて，バスに搭載される 5.2GHz 帯アンテナの特性をが分布しやすいという傾向が確認できる．一方，他の条件

電磁界シミュレーションにより解析した．バス車両内のア

では，アンテナが車両の端に配置される条件のため，反対ンテナ配置位置により放射指向性が大きく変化し，車両中側の車両端における電界強度が低くなっていることがわ

央のルーフ裏にアンテナを配置する場合にバス全体に電かる．また，座席シートや運転席背面の仕切り板の遮蔽の界が分布する傾向であることを確認した．座席シート等の影響によって電界強度が低下する傾向も確認できる．

遮蔽によって電界強度が低下するため，車両の端にアンテナが配置される場合は，その反対側における電界強度が低4.TSUBAME ノード数と解析時間の関係

くなることを把握した．また，TSUBAME3.0 の 12 ノード

図 5 に TSUBAME ノード数と解析時間の関係を示す．

を用いた並列解析により約 21 億メッシュのモデルを約 3

解析モデルは①の前方ダッシュボード上配置のモデルを時間で解析でき，電磁界シミュレーションにおける用い，
解析メッシュ数は表 1 の通り 21 億メッシュである．

TSUBAME3.0 の有用性を確認した．

図 5 より，ノード数を増やすことで解析時間が低減する傾大①前方ダッシュボード上配置②後方ダッシュボード上配置③ルーフ中央裏配置③ルーフ後方裏配置

図4

車両内の電界分布15

小（様式 20）成果報告書
本検討はスーパーコンピュータ活用による電磁界解析

Yの基礎検討の位置付けであり，今後は、アンテナ形式の違

Z

Eθ 成分
Eφ成分

いや乗客などの人体影響の検討などが研究課題となる．

Caluculation time (sec.)

14000
13000
12000
11000

-40

10000

Y

9000
8000

4

6

8
10
12
Nodes for caluculation

Y[3] CST STUDIO SUITE（http://www.cst.com/）
-40

Y

20

Eθ 成分
Eφ成分

X

X

(dBi)

(dBi)

Z

[2] 東京工業大学 学術国際情報センター TSUBAME（http://www.gsic.titech.ac.jp/tsubame）

図 6 に各アンテナ配置位置における XY 面と XZ 面のア

(dBi)

20
-40
②後方ダッシュボード上配置[1] S. Horiuchi et al., “Comparisons of Simulated and Measured Electric Field Distributions in Cabin of a Simplified
Scale Car Model,” IEICE TRANS. COMMUN., Vol. E90-B, No. 9, Sep. 2007.

6.付録

(dBi)

Z

図 5 ノード数と解析時間の関係

参考文献

X

20
-40
①前方ダッシュボード上配置

14

-40

X

20

Eθ 成分
Eφ成分

X

X

(dBi)

(dBi)

20
-40
③ルーフ中央裏配置

20

Z

Eθ 成分
Eφ成分

ンテナ放射指向性を示す．バス車両内に搭載するアンテナ
位置によって車両外部への放射を示す放射指向性が大き

X

X

(dBi)

(dBi)

く変化することが確認できる．
XZ 面の放射指向性より，①②のダッシュボード上配置-40では天頂方向に，③④のルーフ裏配置では地面方向に最大20-40④ルーフ後方裏配置

放射方向が向くことがわかる．また，車両の影響で放射指図6

向性に多数のヌルが発生している．

16

アンテナ放射指向性

20

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 産業利用 成果報告書

車載レーダにおけるターゲット散乱及び伝搬構造の FDTD 法による詳細解析
Detailed analysis of target scattering and propagation structure in on-board radar by FDTD method
山本 康典
Yasunori Yamamoto
マツダ株式会社
Mazda Motor Corporation
http://www.mazda.co.jp
車載レーダは、自動運転システムや安全運転支援システムの走行環境認識機能を実現する上で重要なデバイスであり、夜間や悪天候下でも有効である。交通事故ゼロを実現するためには、駐車車両の裏など物陰から飛び出す歩行者を早期に検出することが必要となるが、カメラなどの光学センサでは対応困難である。一方、電波の回折効果を活用できれば、見通し外領域検知へレーダを活用可能となる。今回、TSUBAME3.0 を活用した
FDTD 法(Finite Difference Time Domain method) 数値解析により、準ミリ波帯（24GHz）アンテナ放射波が遮蔽板の裏へ回折し、ターゲットへ入射した電波が散乱した後、遮蔽板で再度回折してアンテナまで戻ってくる現象を確認できた。
The on-vehicle radar is an important device for an automatic driving system or a safety assistancesystem. In order to achieve zero traffic accidents, it is necessary to detect pedestrians jumping out
from behind, such as the back of a parked vehicle at an early stage, but it is difficult to handle with
optical sensors such as cameras. On the other hand, if the diffraction effect of radio waves can be used,radar can also be used for out-of-sight area detection. The realization of out-of-sight area detection is
expected. By FDTD method simulation using TSUBAME 3.0, we confirmed that the quasi-millimeterwave band (24GHz) radio waves were diffracted to the back of the shielding plate, and after the radio
wave incident on the target is scattered, were diffracted again at the shielding plate and comes backto the antenna.

Keywords: Millimeter wave band radar, Electromagnetic simulation, GPU multi-node, FDTD

1

す る こ と も 困 難 で あ る 。 一 方 、 FDTD （ Finite

背景と目的
自動運転システムや緊急ブレーキなどの安全運転

Difference Time Domain）法 [1] シミュレーションは、

支援システム（ADAS : Advanced Driver Assistance

電磁波の振る舞いを高精度に再現でき、時系列の伝搬

System）において車載レーダは走行環境認識のため現象解析に有力な手段である。ただし、解析空間を波の重要なセンシングデバイスである。しかし、実環境で長の 10 分の 1 以下のセルに分割して時間ステップ毎

は、自動車や歩行者など様々な大きさと形状を有するに全空間を繰り返し計算するため膨大な計算資源を必ターゲットから複雑な反射、散乱が発生することに加え要とする。

て、道路、ガードレール、建物などでもマルチパス干渉

今回、TSUBAME 3.0 の GPU クラスタにハイブリッドが起こるために車載レーダ伝搬特性は十分に解明でき

MPI 並列計算を組み合わせることで、準ミリ波帯（周波ていない。特に、駐車車両の陰から飛び出す歩行者を数：24GHz、波長：12.5mm）の電波伝搬現象を現実的早期に検出することが重要な課題であり、遮蔽環境下な時間で再現可能とし、遮蔽板裏のターゲットに対するのターゲットに対する散乱波の伝搬特性解明が必要で散乱波の伝搬特性を解明することを目的とする。

ある。

2

概要

このためには、遮蔽物の裏への伝搬やターゲット散

駐車車両の陰に存在する歩行者ターゲットを模擬し乱現象の解析に加え、微弱な反射信号をノイズと切りた解析モデルを図 1 に示す。今回は、駐車車両は金属分けて検出し解析する必要があるが、実験では統制し板とし、歩行者ターゲットは金属円柱とした。金属壁はた再現性の高い信号計測が難しく、伝搬現象を可視化

17

（様式 20）成果報告書
遮蔽物：金属板y

タ ーゲット：金属円柱（Φ200m m ）遮蔽壁

円柱ターゲットxz

1.1m

水平ダイポールアンテナ

1m

1m
3m

26.6度

[dBm]

4m
6m

床：金属板

送受信アンテナ

図 1. 遮蔽条件下のターゲット散乱解析モデル
表 1. 計算条件
周波数24.0 [GHz]

解析空間

3D 空間

セルサイズ

0.001249135241667 [m]（=1/10λ)

計算スキームFDTD(2,4)

クーラン数 CFL

1.3632124270e-01

時間ステップ

5.68e-13 [秒]放射源

ダイポールアンテナ+正弦波

放射電力7.75 [dBm]

計算ステップ数

20000 [回]吸収境界PML 24 層、R0=1.0E-32、M=4

変数の型

float (GPU)(a) 全電磁界の電力空間分布
遮蔽壁

[dBm]

送受信アンテナ(b) 遮蔽板の散乱界の電力空間分布
遮蔽壁

円柱ターゲット

ターゲットを光学的に完全遮蔽するように設定した。計
算条件は表 1 であり、準ミリ波帯 24GHz の連続正弦波[dBm]をダイポールアンテナから放射し、FDTD(2,4) 法[2-3]により計算した。
結果、遮蔽板を回折してターゲットまで到達した電波

送受信アンテナが、ターゲットで散乱した後、再度遮蔽板を回折してアンテナまで戻って来る伝搬現象を再現できた。
今回の計算には 25 ノード、100 GPU を使用し、メモ(c) 遮蔽ターゲットの散乱界の電力空間分布

リ量は 1.5TB、計算時間は 21.6 時間であった。

3

図 2. 24GHz 連続波照射時の定常状態の計算結果

結果および考察
単一周波数の 24GHz 正弦連続波を遮蔽条件下の認できた。アンテナ位置における遮蔽板からの反射受

円柱ターゲットに照射した際の全電磁界における定常

信電力値は-101dBm、遮蔽板裏ターゲットからの反射状態の電力空間分布を図 2 (a) に、その計算結果から受信電力値は-107dBm と 6dB 低い結果となった。

アンテナ放射波を差し引き、遮蔽壁からの散乱波を抽

円柱ターゲットから全方位に散乱した電波が、遮蔽出した電力空間分布を図 2 (b) に、図 2 (a) の計算結板エッジで回折してアンテナまで戻ってくるプロセスに果からアンテナ放射波と遮蔽壁からの散乱波を差し引

加え、遮蔽板裏で再反射された電波が再度円柱ターゲ

き、ターゲットからの散乱界を抽出した電力空間分布をットへ入射し散乱するプロセスを何度も繰り返すことも

図 2 (c) に示す。

確認できた。

この結果より、24GHz の電波は幾何学的には完全

この多重反射波が遮蔽板とターゲット間の距離に対遮蔽された条件下でも遮蔽板の裏側まで回折しターゲ

応した時間差で受信アンテナへ戻る特性を明らかにすットに照射されることを確認できた。また、ターゲットでることで、見通し外のターゲット検知や物体識別に活用

散乱した電波は大半が遮蔽板で遮られるが、一部はエ可能と考える。

ッジを回折して、アンテナ位置まで戻っていることも確

18

（様式 20）成果報告書
4

まとめ、今後の課題
遮蔽条件下の円柱ターゲットに準ミリ波帯 24GHz 連

続正弦波を照射する条件にて、FDTD 法によるレーダ
電波伝搬を再現解析した結果、遮蔽板を回折してターゲットに入射し散乱した電波が、再度遮蔽板を回折してアンテナまで戻ってくる現象を確認できた。さらに、遮蔽板からの反射波と円柱ターゲットからの反射波の受信電力値を比較したところ、6dB の差であり、遮蔽ターゲットに対しても受信電力レベルは極端に低下しないことが分かった。今回の計算には 25 ノード、100 GPU を使用し、メモリ量は 1.5TB、計算時間は 21.6 時間であった。
今後、より現実を模擬した走行環境及びターゲットを設定し、車載レーダ伝搬現象の解明に取り組む。

参考文献[1] 宇野 亨, FDTD 法による電磁界およびアンテナ
解析, コロナ社, p.22(2009)[2] 園田 潤, 大規模電波伝搬解析に適した波動方
程式に基づく FDTD(2,M)法の数値分散と並列計
算特性, 信学技報, AP2009-12, p.7-12(2009)[3] 園田 潤, 高次 FDTD 法とクラスタを用いた並列計算による大規模電波伝搬解析に関する研究,
東北大学博士学位論文, p.78-83(2005)

19

20

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 産業利用 成果報告書

利用課題名 大容量データ伝送用ミリ波アンテナのレドームに関する基礎検討
英文：A Study on radome for millimeter-wave antenna
利用課題責任者 千葉 修二
Shuji Chiba所属 スタッフ株式会社
STAF corporation．
URL http://www.staf.co.jp/
邦文抄録（300 字程度）
屋外で使用される大容量データ伝送用ミリ波帯アンテナに装着されるレドームについて検討を行った。
レドームに放射するアンテナ利得を 13～18（dBi）まで変化させた。
TSUBAME を用いた電磁界解析では、レドームに放射させるアンテナ利得を変化させたときのアンテナ利得ならびにアンテナ指向性の変化を示している。その結果から、最適化したレドームの有効性を確認している。
英文抄録（100 words 程度）
We studied the radome of the outdoor millimeter wave antenna.
The antenna gain radiated to the radome was varied between 13 and 18 dBi.
Electromagnetic field analysis using TSUBAME shows changes in antenna gain and antenna
directivity when chang the antenna gain radiated to the radome.
As a result, the effectiveness of the optimized radome was confirmed.
Keywords: ５つ程度
radome, electromagnetic simulation, horn antenna
背景と目的形状を固定し、アンテナ放射素子の利得を変化させ、ミリ波帯を使用した大容量伝送用のアンテナは日本

前年度までに最適化したレドームの有効性をレドーム

国内において、積極的な開発が行われておらず、海外あり、なしで、電磁界解析を用いてデータの取得を行い、製品がほとんどである。ついては、アンテナ特性（利得、利得、指向性を比較する事で最適化したレドームの有指向性、VSWR）において、海外製品同等以上のミリ波

効性を明らかにすることを目的としている。

帯アンテナを無線装置開発メーカー様へ逸早く供給す
る事は、弊社にとって喫緊の課題であり、この課題解決

概要のために同アンテナ開発を高精度かつ遅滞なく進める

本年度は、平成 26 年度から平成 29 年度にかけて最適ことが必要である。屋外で使用されるミリ波帯アンテナ

化したレドームの形状・条件（図 1）（厚み 2mm、比誘電において、高いアンテナ性能を維持しつつ、優れた耐率 4.05 アンテナとレドームの間隔 16.7mm、レドームの候特性を確保する為のレドームは屋外用ミリ波帯アン曲率半径 R300mm）を変えずに、アンテナ放射素子（図テナを構成する重要な部品であり、最適化は重要であ2）の開口部を 8×4（mm）～16×8（mm）変えることでり大きな課題となる。

利得を変化させている。

本プロジェクトでは、上記課題に対し、電磁界解析を

アンテナ放射素子の開口部の大きさを変えることで、利用いて、レドームの影響を明らかにする事を目的として得を変化させ、レドームあり、なしの電磁界解析を行い、いる。平成 26 年度から平成 29 年度にかけて、レドーム

利得、指向性の比較を行う事で E-Band 帯の 71GHz、の厚み、レドーム比誘電率、検討アンテナとレドームの76GHz、における最適化したレドームの有効性を確認し間隔、レドームの曲率半径について電磁界解析を実施た。

した。そこで得られたアンテナ利得、指向性に影響の少なかったレドームの条件を用いて、本年度はレドームの

21

（様式 20）成果報告書
71GHz

曲率半径＝300（mm）

Z（0°）
H面

0°方向利得（dBi)

16.7（mm）

レドーム厚みｔ2.0mm
比誘電率 4.05

20
19
18
17
16
15
14
13
12
11
10

レドームなしレドームあり

8×4mm

E面

10×5mm

12×6mm

14×7mm

16×8mmアンテナ放射素子開口部

Y（90°） X（90°）

図 3（a） 71GHz 帯利得

図 1 最適化したレドーム形状・条件
76GHz

0°方向利得（dBi)

開口部＝8×4mm～16×8mm

20
19
18
17
16
15
14
13
12
11
10

レドームなしレドームあり

8×4mm

10×5mm

12×6mm

14×7mm

16×8mmアンテナ放射素子開口部

図 3（b） 76GHz 帯利得
図 2 アンテナ放射素子

次に図 4（a）(b)(c)(d)(e)に 71GHz 帯、76GHz の指結果および考察
図 3（a）（b）、アンテナ放射素子の開口部を変化させ、向性を示す。

レドームあり、なしで電磁界解析した結果を示す。

アンテナ放射素子の開口部を変化させることで指向

71GHz 帯について、レドームなしではアンテナ放射性は変化する。また、レドームを付ける事で 40°から素子の開口部を広げることにより、利得がリニアに高く

広角方向の指向性はレドームありなしで若干の違いがなっているのが解る。レドームありにおいては、レドームみられる。

なしから利得が 1～2dB 高い状態で、レドームなしと同

これは広角方向になるにつれて、レドームへの電波様の傾向がみられる。

の入射角が小さくなるため、レドームの厚みが厚くみえ、

76GHz 帯においては、レドームあり、なしにおける利その影響で反射波が多くなり、指向性の乱れに表れて得差はほぼなく、71GHz 帯と同様にアンテナ放射素子

いる物と推測しているが、利得の低いところであり、ア

開口部が広くなるにつれ、利得がリニアに高くなっていンテナとして特に問題になるレベルではないと考える。

ることが解る。
アンテナ放射素子の開口部を広げることでの利得向上の傾向は、レドームありなしで、ほぼ同じ傾向であることが確認できた。

22

（様式 20）成果報告書
まとめ、今後の課題
71GHz 面指向性

20

15

10

アンテナで平成 26 年度から平成 29 年度にかけて最

10

5

5
利得【dBi】

利得【dBi】

アンテナ放射素子の開口部を変化させ利得の違う

76GHz 面指向性

20

15

0
-5

H面レドームなし-10

H面レドームあり-15

E面レドームなし-20

H面レドームなし-10

H面レドームあり-15

確認した結果、0°方向アンテナ利得の変化はレド

E面レドームあり-25-30

適化を行ったレドーム形状の有効性を電磁界解析でE面レドームなし-20

E面レドームあり

-25

0
-5

-30
0

10

20

30

40

50

60

70

80

90

0

10

20

30

角度【deg】

40

50

60

70

80

90

ームなしと傾向はほぼ同じ、指向性についてもレドー

角度【deg】

図 4（a） アンテナ放射素子開口部 8×4mm 指向性

ムあり状態での大きな変化は見られなかった。

71GHz 面指向性

20
15
10
5
0
-5
-10
-15
-20
-25
-30

利得【dBi】

利得【dBi】

前年度までに最適化したレドームの有効性が確認

H面レドームなし
H面レドームあり
E面レドームなし
E面レドームあり

0

10

20

30

40

50

60

70

80

今後の課題としては、平成 26 年度から積み上げた基礎検討を元に商用化できる高利得ミリ波アンテ

H面レドームなし
H面レドームあり

E面レドームなし

ナの実現にあると考えている。商用化するにはレド

E面レドームあり

090

でき、今年度の目的は達成できたと考える。

76GHz 面指向性

20
15
10
5
0
-5
-10
-15
-20
-25
-30

10

20

30

40

50

60

70

80

90

ームの影響だけではなく、アンテナを構成する他の角度【deg】

角度【deg】

部品の影響も確認する必要がある。

図 4（b） アンテナ放射素子開口部 10×5mm 指向性

71GHz 面指向性

20

15

10

10

5

5

利得【dBi】

利得【dBi】

76GHz 面指向性

20

15

0
-5
-10

H面レドームなし

-15
-20
-25

0
-5
-10

H面レドームなし

H面レドームあり-15

H面レドームあり

E面レドームなし-20

E面レドームなし

E面レドームあり-25-30

E面レドームあり

-30
0

10

20

30

40

50

60

70

80

90

0

10

20

30

角度【deg】

40

50

60

70

80

90

80

90

80

90

角度【deg】

図 4（c） アンテナ放射素子開口部 12×6mm 指向性

71GHz 面指向性

20

15

10

10

5

5

利得【dBi】

利得【dBi】

76GHz 面指向性

20

15

0
-5
-10

H面レドームなし

-15
-20
-25

0
-5
-10

H面レドームなし

H面レドームあり-15

H面レドームあり

E面レドームなし-20

E面レドームあり-25-30

E面レドームなし
E面レドームあり

-30

0

10

20

30

40

50

60

70

80

90

0

10

20

30

角度【deg】

40

50

60

70

角度【deg】

図 4（c） アンテナ放射素子開口部 14×7mm 指向性

71GHz 面指向性

20

15

10

10

5

5

利得【dBi】

利得【dBi】

76GHz 面指向性

20

15

0
-5
-10

H面レドームなし

-15
-20
-25

0
-5
-10

H面レドームなし

H面レドームあり-15

H面レドームあり

E面レドームなし-20

E面レドームなし

E面レドームあり-25-30

E面レドームあり

-30

0

10

20

30

40

50

角度【deg】

60

70

80

90

0

10

20

30

40

50

60

70

角度【deg】

図 4（c） アンテナ放射素子開口部 14×7mm 指向性

23

24

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 産業利用 成果報告書

利用課題名 車両レーダー断面積の大規模電磁界解析
英文：Large-scale electromagnetic analysis of radar cross-section of vehicles
大脇 崇史
Takashi Owaki
株式会社 豊田中央研究所
Toyota Central R&D Labs., Inc.
URL: https://www.tytlabs.co.jp/
CST 社製の電磁界シミュレーションソフトウェアである MW STUDIO を用い、有限積分法により 3 次元形状データベースである NTU 3D Model Database に含まれる 20 台分の車両についてレーダー断面積（RCS）を計算した。解析周波数範囲を 0～19.2 GHz として、GPU のメモリが不足しない範囲でできるだけ少ないノード数を用いて計算した。車両モデルの要素数は 29～111 億で、計算に用いたノード数は 3～12、平均計算時間は約 7,000～13,000 秒であった。RCS の計算結果から、車両形状によって RCS のパターンが大きく異なることを確認した。
Radar cross-section (RCS) values of 20 vehicle models included in a 3D object model database called NTU 3D
Model Database were calculated with the finite integration technique implemented in MW STUDIO, anelectromagnetic simulator from CST. The frequency range of RCS calculation was set to 0-19.2 GHz. The vehicle
models had 2.9-11.1 billion meshes. The number of employed computing nodes for each vehicle model ranged
from three to twelve, and the averaged computation time for each vehicle model ranged from about 7,000 to
13,000 s. Different vehicle models yielded significantly different RCS patterns.
Keywords: Vehicle, Radar, Electromagnetic Field Analysis, Finite Integration Technique,3D Model Database

概要

背景と目的
レーダーが送信する電磁波は、認識対象物体によっ

CST 社製の電磁界シミュレーションソフトウェアであるて散乱されるが、この散乱特性を高精度に知ることがで

MW STUDIO を用い、車両の構造モデルを作成した。

きれば、レーダーをより有効に活用することが期待でき

車両の形状データは、様々な物体の 3 次元形状データ

る。物体の電磁波散乱特性は実測することが可能であ

ベースである NTU 3D Model Database に含まれる車両

るが、高精度な測定のためには高価な機材を用いた長のデータを用い、MW STUDIO にインポートした上で、時間の計測が必要となるため、そのコストは大きい。一車両を水平面内で回転させた時に幅 2 m×高さ 1 m×方、物体の電磁波散乱特性を解析するための高精度な

奥行 2 m の範囲に収まるようにサイズを調整した。次に、計算機シミュレーション方法には、FDTD 法や有限積分

MW STUDIO の機能を用いて形状の自動分解処理を法といった時間領域の電磁界シミュレーション手法があ行い、フロントガラス・ドアガラス・リアガラスは比誘電率

るが、単体の PC ワークステーションで車両全体の電磁5.0 の誘電体に、タイヤとシートは比誘電率 3.0 の誘電界シミュレーションを実行可能な周波数は、車載レーダ

体に、それ以外は完全導体に設定した。なお、形状のーで用いられる周波数帯との乖離が極めて大きいという自動分解処理によるパーツの分解が適切に実行できな課題がある。

かった形状データについては使用しなかった。最終的

本利用課題では、物体の電磁波散乱特性として一般に 、 23 台 分 の 車 両 の 構 造 モ デ ル に 対 し て 、 MW

的によく用いられるレーダー断面積（RCS）を対象とし、

STUDIO 上で解析周波数範囲を 0～19.2 GHz として有

様々な車両に対する RCS を時間領域の電磁界シミュレ

限積分法を用いた電磁界シミュレーションを行った。なーション手法によって TSUBAME3.0 の複数ノードを用

お、車両に入射する電磁波は、図 1 に示す xz 平面上にいて計算し、車両形状と RCS の関係に関する知見を得

車両を置いた時、波面の法線が xz 平面と平行であるよることを目的とする。

うな平面波である。入射角度は、この波面の法線のうち25

（様式 20）成果報告書
まとめ、今後の課題

座標系の原点を通る法線と z 軸のなす角度で表し、車両の前方・左側方・後方・右側方から入射する場合の入大規模電磁界シミュレーション手法を用いて、様々な射角度をそれぞれ 0º・90º・180º・270ºと定義した。各車車両に対する RCS を高精度に計算し、車両の種類や両について 0°～359°の範囲で 22°または 23°の間

電磁波の周波数が RCS に与える影響、計算に用いる

隔（平均 22.5°）で入射角度を変化させ、23 台の車両

ノード数と計算時間に関する知見を得た。車両のサイズの入射角度が 0°～359°の範囲でなるべく均等に分や解析周波数範囲を、実際に車載レーダーを使用する

布するようにし、車両毎に 16 通りの入射角度で RCS を場合の条件に近づけていくことが今後の課題である。

計算した。計算に用いるノード数は、GPU のメモリが不足しない範囲でできるだけ少ないノード数を用いるよう

表 1 車両毎の要素数・ノード数・計算時間に、計算中に出力される GPU 使用率の概算値に基づ

モデル名

要素数

ノード数

平均計算時間[s]

Y40

51 億

5

11,457

Y41

29 億

3

9,166

Y85

43 億

5

7,378

Y119

52 億

6

8,308

Y530

40 億

4

7,741

Y918

49 億

6

8,455

Y924

37 億

4

7,200

Y4098

56 億

6

8,207

Y4105

41 億

4

9,142

Y4122

65 億

7

8,482

Y4129

75 億

8

10,606

Y4130

76 億

8

9,197

Y4135

59 億

7

7,671

Y4137

111 億

12

11,391

Y4140

60 億

6

9,063

Y4141

68 億

7

9,544

Y5418

49 億

5

10,556

Y6569

71 億

8

10,354

Y6797

78 億

8

12,774

Y6801

53 億

6

7,841

いて調整した。

yzx

図 1 電磁波入射角度の定義

結果および考察23 台の車両のうち、RCS の計算が正常に完了しなかった 3 台を除いた 20 台について、計算に用いたノード
数とひとつの入射角度あたりの平均計算時間を、要素数と共に表 1 に示す。なお、この平均計算時間は、各ジョブが実際に消費した時間を用いて算出した。また、一部のジョブについては表 1 に示したノード数とは異なるノード数で計算を実行したが、平均計算時間を算出する
際にはこれらのジョブは除外した。表 1 の結果について、要素数とノード数をプロットした結果を図 2 に、要素数と平均計算時間をプロットした結果を図 3 に示す。図 2 から、ノード数は要素数に概ね比例することがわかる。また図 3 から、車両間の要素数の変動に比べ平均計算時間の変動は少なく、計算の並列化が有効に機能していたことがわかる。
2 台の車両（モデル名 Y40・Y4140）について、車両の前方・左側方・後方から電磁波が入射したときの RCS 計
算結果（0～19.2 GHz）を図 4 に示す。Y40 はコンバーチ
ブル型の車両、Y4140 はハッチバック型の車両である。
この結果から、車両の形状によって RCS と周波数の関係が大きく異なることがわかる。

26

14
12
10
8
6
4
2
0
0

20

40

60
80
要素数

100

×108
120

平均計算時間 [s]ノード数（様式 20）成果報告書
14
12
10
8
6
4
2
0

×103

0

図2 車両の要素数とノード数の関係

20Y40
入射角度0º

30

10
0
-10
-20
10
15
周波数 [GHz]

10
0
-10

30

入射角度90º

-10
-20

20

5

15
10
周波数 [GHz]

20

10
15
周波数 [GHz]

20

10
15
周波数 [GHz]20

入射角度91º

10
0
-10
-20

-30

-30
0

5

10
15
周波数 [GHz]

20

0
30

入射角度180º
RCS [dBsm]

RCS [dBsm]

×108
120

Y4140
入射角度1º

0

0

20

20

20

RCS [dBsm]

RCS [dBsm]

5

10

30

100

-30
0

20

60
80
要素数

-20

-30
30

40

図3 車両の要素数と平均計算時間の関係

RCS [dBsm]

RCS [dBsm]

30

20

10
0
-10
-20

20

5

入射角度181º

10
0
-10
-20

-30

-30
0

5

15
10
周波数 [GHz]

20

0

5

図4 RCS計算結果の一例（左：Y40, 右：Y4140）

27

28

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名 高性能ポリマーエレクトレット材料の開発
英文：Development of High-performance Polymer Electret

利用課題責任者
鈴木 雄二
所属
東京大学 工学系研究科 機械工学専攻
https://www.u-tokyo.ac.jp/
邦文抄録
アモルファスフッ素ポリマーエレクトレットの電子親和力を評価するため，ソリッドステート量子化学計算を行った．密
度汎関数理論計算で得られる単分子エネルギーに，多極子作用エネルギーを補正項として考慮することで個体アモ
ルファスポリマー系における電子親和力を計算した．得られた電子親和力は，測定値と誤差範囲内で一致し，当手法の有効性を示した．
英文抄録
A solid-state quantum chemical analysis is performed to quantitatively calculate amorphous
fluorinate polymer electret. Solid state molecular energy is calculated by density functional theory
calculation and correction term acknowledging multipole-multipole interaction of charge trap site andneighboring system. Obtained electron affinity made quantitative agreement with experimental result,indicating the present method reflects well for the amorphous polymer electret system.

Keywords: Dielectric, Electret, Quantum Chemistry, Solid-state analysis, Multipole
主鎖と量末端の官能基で構成されている．Fig. 1.に主背景と目的
エレクトレットとは，電荷を打ち込んだ誘電体のことで鎖の単位体と末端官能基を表す．CYTOP のエレクトレ

ある．誘電体に保持された電子/イオンは，特立的に静ットとしての性能は，末端官能基に強く依存する [1]．

電場を形成させることができる．エレクトレットを用いた

近年，著者らは，長距離補間密度汎関数理論計算

振動発電器は，身の回りの振動を効率よく電力に変換(LC-DFT)とクープマンの定理を用いて CYTOP の電

でき，ウェアラブルデバイスや無線センサーの動力源と子親和力を計算した [2]． 計算で得られた電子親和

して注目を浴びている．発電機の実用化のためにはよ

力は，材料のエレクトレットとしての物性(表面電荷密度，

り多くの電荷を，長期間安定的に保持できるエレクトレ

電荷熱的安定性)と定性的に一致した．しかし，低エネットの開発が必要である．高性能エレクトレットとして注

ルギー逆光電子分光法(LEIPS)で測定された電子親

目を浴びている CYTOP CTX (AGC Inc.)は，アモルフ

和力に比べると 1 eV 程度の過大評価傾向があること

ァスフッ素ポリマーであり，全フッ化した分子量 30 万のがわかった． 過大評価の原因は，分子を現実の個体系とは違う 0 K の真空状態において計算したためであると考えられた．
当研究では，CYTOP エレクトレットの電子親和力を定量的に評価することを目標とする．電子をトラップする分子のみならず，分子を囲う個体分子系の影響を考慮する Solid state 電子親和力計算を行った．
概要
CYTOP 分子系を再現するため，分子動力学(MD)シ

Fig. 1. Chemical structure of CYTOP series.

ミュレーションを行う．力場は，MD シミュレーションが量29

（様式 20）成果報告書
子力学(QM)計算と類似な挙動をするようにフィッティン

計算することができることを示した．

グした OPLS-AA を用いる．CYTOP 分子系は，実際

まとめ、今後の課題

分子の単位体と末端基の比率を保つため， CTX-S のCYTOP エレクトレットの電子親和力を定量的に評価す

6 量体を 89 個，CTX-X (X=S, A, M)の 6 量体を 1 個るため，分子動力学，量子化学計算，多極子展開の計で作成した．1,000 K で ランダムで混合して 1,000 個

算を通じて，CTX-S, CTX-A, そして CTX-M の solidのランダムな初期構造を作成した後，系の圧力を 1

state 量子化学計算を行った．計算によって求まった電atm に保ちながら 300K まで冷やし，実際のアモルファ

子親和力は実験値と定性的/定量的に一致し，本手法

ス系を再現した (使用ソフト: Gromacs 4.5 [3])．分子を用いてエレクトレットの性能をより正確に予測できるこのエネルギーは，3 つの項を計算することによって求めとを示した．今後の研究においては，本手法を用いてよら れ る . 第 一 の 項 は QM エ ネ ル ギ ー で あ り ，り多くの電荷を，長期間安定的に保持できるエレクトレ

CAM-B3LYP/6-31+g(d,p)のエネルギー計算で求まるット材料を探索し，開発することを目標とする．

(使用ソフト: Gaussian16 [4])．第二は静電エネルギー

謝辞

補正項である．QM 計算で求まった波動関数を 1-4 ラン

本研究は、JST CREST, JPMJCR15Q3 の支援を受

クの多極子に変換する (使用ソフト: GDMA [5])．電子

けたものである.

トラップ分子を囲う周り分子からの影響は，多極子同士

参考文献の相互作用を計算することで求まる．第三は誘導多極[1] K. Kashiwagi et al., “Nano-cluster-enhanced

子補正項である．系に存在する分子は互いに静電的に

high-performance perfluoro-polymer electrets for

相互作用し，多極子を変化させる．第二，第三項はenergy harvesting”, J. Micromech. Microeng. 21,

Votca-CTP を用いて計算した [6]．これらの考慮により(2011), 125016

求まった分子のエネルギーを，中性状態(0)と負帯電状[2] S. Kim et al., “Effect of End Group of態(-1)状態において計算し，その差分で solid state 電

Amorphous

子親和力を計算した．

Electron Trapping”, Sci. Technol. Adv. Mater., 19,

結果および考察(2018), 486-494.

CTX-A, CTX-S, CTX-M の，各 1,000 ケースにおいて[3]

求まった電子親和力でヒストグラムを取り，状態密度

high-throughput and highly parallel open source(DoS)を得る (Fig. 2.)．得られた DoS は正規分布の形

molecular simulation toolkit”, Bioinformatics, 29,

をしていて，その中央値は 3.41 eV (CTX-S), 3.94 eV(2013) 845-854.

(CTX-A), そして 4.56 eV (CTX-M)である.計算によっ[4] M. J. Frisch et al., “Gaussian 16, Revisionて求まった CTX-S の電子親和力は，LEIPS 測定によっB.01”, Gaussian, Inc., Wallingford CT, 2016.

て測定された値（3.6 eV）と測定誤差範囲内で一致し，[5] A. J. Stone, “Distributed Multipole Analysis:

本計算がより正確にエレクトレット分子の電子親和力を

Stability

Density of State [-]

2.0
1.5

Pronk

for

et

Large

al.,

Electrets“GROMACS

Basis

Sets

4.5:

on

A

Distributed

Multipole Analysis: Stability for Large Basis
EAsol CTX-S

EAsol CTX-A

EAsol CTX-M

Sets”, J. Chem. Theory Comput., 1 (2005)

4.56 eV

3.41 eV1128-1132.

3.94 eV[6] V. Rulhe et al., “Microscopic simulations of

1.0

charge

0.5
0.0
2.5

S.

Perfluoro-Polymertransportindisorderedorganic

semiconductors”, J. Chem. Theory Comput., 7,
3.0

3.5
4.0
4.5
5.0
Electron Affinity [eV](2011), 3335-3345.

5.5

Fig. 2. Solid state electron affinity of CYTOP
series.

30

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名 廃棄物最終処分場における間隙内流体挙動の数値解析
英文：Numerical analyses of fluid dynamics in pores of landfill waste layer
利用課題責任者 鈴木和将
Kazuyuki Suzuki所属 埼玉県環境科学国際センター
Affiliation Center for Environmental Science in Saitama
URL http://www.pref.saitama.lg.jp/cess/index.html

邦文抄録
我々は、これまで廃棄物最終処分場内部の水やガスの流れ問題の高品質な計算スキームの開発を目的として、数値流体解析による検討を行ってきた。本研究では、さらに流体力学特性として、新たに壁面せん断応力等を追加し、流れの力学的性質と流動挙動を調べ、間隙構造と流れの関係解明を試みた。
英文抄録
A numerical method for simulating pore flow in landfills is presented. The Navier-Stokes equation isused as a governing equation and discretized using the streamline upwind Petrov-Galerkin/pressurestabilizing Petrov-Galerkin stabilized finite element method(FEM). Moreover, wall-shear stress(WSS)
was calculated to elucidate fluid-flow dynamics, affecting the geometry of porous media in wastematerials. We focus on the relationship between the geometry of porous media and the fluid dynamics
of a landfill.

Keywords: landfill, Numerical simulation, FEM, Navier-Stokes equations, WSSの発生が認められる等、不均質な間隙構造に依存し背景と目的

近年、計算機の高速化・大容量化によって発展した複雑な様相を示した（図 1）。本研究では、さらに流た数値流体力学は、測定や理論解析が困難な複雑体力学特性として新たに壁面せん断応力等を追加し、な流れ現象の理解やモデル化に貢献している。廃棄流れの力学的性質と流動挙動を調べ、間隙構造と物の分野においても、埋立地からの浸出水やガス量

流れの関係解明を試みる。

を予測し制御することは、埋立地の設計・管理における最重要課題の一つであり、これら流れ現象の解明やモデル化にとって数値シミュレーション又は数値計算は有用なツールとなる。我々はこれまで、廃棄物最終処分場内部の水やガスの流れ問題の高品質な計算スキームの開発を目的として、数値流体解析
による検討を行ってきた 1～3)。マイクロフォーカス X
線 CT 装置を利用し、廃棄物層間隙の構造解析とモデル化を行い、そのモデル化した流れ場における流
図 1 廃棄物層間隙流れの可視化（流線）

動現象の数値解析を行った。複雑な幾何形状を有する間隙を扱うため、有限要素法を適用し 4)、それに伴い計算時間が増大する問題に対しては、GPU ス

概要

パコンを用いた並列計算を行うことにより計算の高マイクロフォーカス X 線 CT 装置を用いて撮影した速化を図った。間隙内を通る流れの計算結果は、渦埋立廃棄物のコアサンプル等の CT 画像を画像処

31

（様式 20）成果報告書
理ソフトウェアに読み込み、モデル間隙形状の作成

ために、NVIDIA 社の統合開発環境である CUDAを行った。詳細は、前報 1,2)に記載している。さらに、と cuBLAS, cuSPRASE 等のライブラリを用いて作成した間隙形状のデータを STL ファイルへ変換し、GPBi-CG の並列化を行い、GPU スパコンを利用しこの STL ファイルを基に、自動メッシュ生成ソフトウて計算を実施した。

ェア Gmsh5)を用いて有限要素メッシュの生成を行っ

また、壁面せん断応力（wall shear stress: WSS）は、た。

下記に示す(7), (8), (9), (10)式から算出した。

支配方程式には、非圧縮性 Navier-Stokes 方程式、連続の式を用いた。

𝜏𝑖𝑗 = 𝑝𝛿𝑖𝑗 + 𝜇 (

u i
u i
p
1   u i u j 
in , (1)
+u j
=−
+
+
t
x j
x i Re x j  x j x i 
u i
= 0 inx i

. (2)

𝛺

𝜕𝑢

𝜕𝑥𝑘

)(

𝜕𝑢𝑖
𝜕𝑡

+ 𝑢̅𝑗
𝜕𝑞

𝑛

(9)

𝑛

𝜕𝑢𝑖
𝜕𝑥𝑗

+

𝜕𝑝
𝜕𝑥𝑖

𝜕𝑢

(10)

素の法線ベクトル、δij は kronecker のデルタ、σi は壁面応力ベクトル、σn は壁面法線応力、στi は壁面せん
断応力ベクトルである。

𝜕𝑢𝑖
𝜕𝑢𝑖
𝜕𝑤𝑖
+ 𝑢̅𝑗
) 𝑑𝛺 − ∫
𝜕𝑡
𝜕𝑥𝑗
𝛺 𝜕𝑥𝑖

𝜕𝑤𝑖

𝜎 𝑛 = 𝜏𝑖𝑗 𝑛𝑗 𝑛𝑖 = 𝜎𝑖 𝑛𝑖

ここで、τij は応力テンソル、n は壁面の三角形要結果および考察1 𝜕𝑤𝑖 𝜕𝑢𝑖 𝜕𝑢𝑗
(
+
)
𝜕𝑥𝑖
𝛺 𝑅𝑒 𝜕𝑥𝑗 𝜕𝑥𝑗𝑛(8)𝜎 = 𝜎𝑖 − 𝜎 𝑛𝑖+∫𝑒𝑙+ ∑𝑒=1̅̅̅𝑘∫𝛺 (𝛽𝑢(7)𝜎𝑖 = 𝜏𝑖𝑗 𝑛𝑗𝜏𝑖

ここで、 u は流速、 p は圧力、Re は Reynolds 数、
 は計算領域である。
上記(1),(2)の支配方程式に対して、安定化有限要素法（SUPG/PSPG 法）を適用すると以下のように弱形式が導かれる。
∫ 𝑤𝑖 (

𝜕𝑢𝑖 𝜕𝑢𝑗+)𝜕𝑥𝑗 𝜕𝑥𝑖

焼却灰で構成されている間隙の壁面せん断応力（WSS）を計算した結果を図 2 に示す。

) 𝑑𝛺 = 0 ,(3)

𝜕𝑢

𝜕𝑝

𝑗

𝑖

𝑒𝑙
∫𝛺 𝑞 𝜕𝑥𝑖 𝑑𝛺 + ∑𝑒=1
∫𝛺 (𝛽 𝜕𝑥 ) ( 𝜕𝑡𝑖 + 𝑢̅𝑗 𝜕𝑥 𝑖 + 𝜕𝑥 ) 𝑑𝛺 =
𝑖

𝑖

0,

(4)

ここで、 wi , q は、それぞれ式(1),(2)に対す Galerkin
項の重み関数である。また、 u i は移流速度を表し、βは安定化パラメータで以下の式のように定義され
ている。
2 2

̅̅̅̅𝑒 ‖
2‖𝑢
𝑖

2

𝜇 4 2

β = [(∆𝑡) + ( ℎ ) + (𝜌 ℎ2 ) ]
𝑒

−

1
2

(5)

𝑒

1

𝑒 −2
̅̅̅𝑖𝑒 ‖ = [∑𝑛𝑑 ̅̅̅‖𝑢(6)
𝑖=1 𝑢𝑖 ]図 2 焼却灰の WSS 分布

̅̅̅𝑖𝑒 ‖は、要素移流速度のノルム、he は代
ここで、‖𝑢
解析対象とした有限要素メッシュは、節点数

表要素長、nd は次元数を表す。
これら(3), (4)式に対して、空間の離散化要素に

99,560、要素数 437,386 である。また、流れの方向はは、四面体 1 次要素を用い、時間方向の離散化に

上から下向きである。図 2 に示されているように、局

は、Crank-Nicolson 法を適用した。なお、最終的に所的に狭さく部、分岐部等の部位で強い壁面せん断

得られる連立一次方程式の解法には GPBi-CG8)法

応力が生じていた。壁面せん断応力は、壁面近傍のを適用した。本研究では、計算の高速化を達成する

速度の勾配で決まるため、速度が速い部位や流れ32

（様式 20）成果報告書
6)が乱される部位で高くなり、一方、流れが遅く停滞しているような部位では、壁面せん断応力が小さくなっ7)ていた。さらに、図 3 に不燃残渣で構成される間隙の
WSS 分布を示す。図 2 の焼却灰と比較すると WSS
分布が大きく異なっていることが分かる。この WSS

8)分布の違いは、間隙構造の違いに起因しているものと示唆された。

図 3 不燃残渣の WSS 分布
まとめ、今後の課題

今後、このような壁面せん断応力等の流体力学特性の違いが、どのような間隙構造に由来するのか、
詳細なメカニズムを解明するため、間隙構造と流体力学特性との関係を定量的に評価し、間隙形状を考慮した新規で高品質な予測手法の開発につなげていきたいと考えている。
参考文献
1)

2)

3)

4)

5)

鈴木和将, 水藤寛: 廃棄物最終処分場内部における間隙構造の可視化と間隙中流れの数値的研究、第 26 回
廃棄 物資源循環学会研究発表会講演原稿 , 441-442(2015)
鈴木和将, 水藤寛: 廃棄物最終処分場における埋立層
間隙内の気液二相流数値解析、第 27 回廃棄物資源循
環学会研究発表会講演原稿, 451-452 (2016)
鈴木和将，Huynh Quang Huy Viet, 水藤寛: GPU スパコンを用いた廃棄物埋立層内の数値流体シミュレーシ
ョン、第 28 回廃棄物資源循環学会研究発表会講演原稿, 387-388 (2017)
日本計算工学会流れの有限要素法研究委員会編：続・
有限要素法による流れのシミュレーション、シュプリ
ンガー・ジャパン (2008)
Geuzaine, C. and Remacle, J.F.: Gmsh: a three-dimensional
finite element mesh generator with built-in pre- and postprocessing facilities, International Journal for Numerical
Methods in Engineering, 79(11), 1309-1331(2009)33

Tezduyar, T.E.: Stabilized finite element formulations forincompressible flow computations, Advanced in Applied
Mechanics, 28, 1-44(1991)
Tezduyar, T.E., Mittal, S., Ray, S.E. ＆ Shih, R.:
Incompressible flow computations with stabilized bilinear
and linear equal-order-interpolation velocity-pressure
elements, Computer Methods in Applied Mechanics andEngineering, 95, 221-242(1992)
Zhang, S.L.: GPBi-CG: Generalized product-type methods
based on Bi-CG for solving nonsymmetric linear system,
SIAM J. Sci. Comput., 18, 537-551(1997)

34

（様式 20）成果報告書

TSUBAME 共同利用 平成３０年度 学術利用 成果報告書

利用課題名 第一原理計算と反応速度論による触媒活性予測技術の確立
英文：Development of combined method of first-principle electronic structure
calculation and chemical kinetics for catalyst reactivity prediction
利用課題責任者 石川 敦之
First name Surname
Atsushi Ishikawa

this mechanism. Results show that once *NNH is formed,seq

所属 物質・材料研究機構
Affiliation National Institute of Materials*NNH
Science
2 → NH 3 + *N) proceed easily as presented in Fig. 5(
邦文抄録

preferably into *NH + *N as presented in Fig. 5(b). The potent

本研究では、Cs / Ru / SrZrO3 触媒に電場を印加すると触媒アンモニア合成活性が高まるメカニズムを
and *NNH (0.12 eV) is less than that between *NN* and *NN*
解明するために、密度汎関数理論(DFT)による理論計算を実行した。その結果、N2H 中間体を経由する
stable than *NN*. Therefore, it is assumed that the *NNH forma「会合機構」によって NH3 合成が進行することがわかり、この特性が低温でのアンモニア合成活性を高めていることが明らかとなった。また、Ba と Ca の添加は N2H 生成エネルギーを低下させることも明らかとhydrogenation. The rate determining step in the reaction path is *なり、アンモニア合成活性の向上に寄与していることも明らかとなった。
1

E / eV

英文抄録
We earlier reported that application of an electric field on Cs/Ru/SrZrO3 catalyst enhances
catalytic
0.5
NH3 synthesis activity. Efficient NH3 synthesis proceeds by an “associative mechanism,” in which N2
dissociates via N2H intermediate, even at low temperatures. The governing factor of 0NH3 synthesis+ * Y,
activity for active metals differed from that in the conventional mechanism. Effects of dopantsN2(Al,Ba, Ca) on this mechanism were investigated using activity tests and density functional-0.5 theory (DFT)
calculations to gain insights into the support role in the electric field. Ba and Ca addition showed
positive effects on N2H formation energy, leading to high NH3 synthesis activity.
-1

Keywords: 理論計算、触媒化学、アンモニア合成、密度汎関数、担体効果

*NN*

NN*

-1.5
-2

背景と目的

Reaction coordinat結果および考察

DFT 計算により算出された NH
Fig.34.の合成反応経路を
Potential energy diagram for dissociatが急務であり、そのためには水素キャリアの構築が重図に示す。この結果は、N2 結合の解離が N2H 分子を要である。この点においてアンモニア(NH3)は有望な候経由して起こ補であるが、効率的な触媒はいまだ確立されていない。

ることがわか

近年、電場を印加した触媒反応が NH3 合成においてa)は不明な点が多い。本研究では、その例の１つである

によって進行

Cs/Ru/SrZrO3 による NH3 合成反応を密度汎関数法

することがわ0E / eV

が会合機構

1

0.5

り、NH3 合成

有効であることが見出されたが、その反応メカニズムに

b)
1

-0.5

0.5

HNHN*

0

HNN*

N2 + *

H2 NHN*NN*-1

E / eV

地球温暖化や環境問題の解決には水素社会の構築

-0.5
-1

H2 NN*-1.5(DFT)により検討し、反応メカニズムの解明に挑んだ。

かった。

概要

まとめ、今後の課題-1.5
NH3 + N*

-2

-2

Reaction coordinate

Fig. 5. Potential energy diagram for associative mechanism, a)

第一原理計算には平面波基底関数による密度汎関

Cs/Ru/SrZrO3 での NH3 の生成は N2H を経由する数法を用い、プログラムソフトウェアとして Vienna ab

こと、さらに、Ba や Ca のドーピングが N2H を安定化に

initio simulation package (VASP, version 5.4)を利させることが今回明らかとなった。これらの金属ドーピ 10用した。

ングが触媒機能を高めるメカニズムに基づき、今後はさらなるドーピング原子の探索に取り組む。

35

36

（様式 20）成果報告書

TSUBAME 共同利用 平成３０年度 学術利用 成果報告書

利用課題名 HIV エンベロープタンパク質の分子動力学解析
英文：Molecular dynamics simulation of HIV envelope protein
利用課題責任者 横山 勝
Masaru Yokoyama
所属 国立感染症研究所 病原体ゲノム解析研究センター
Pathogen Genomics Center, National Institute of Infectious Diseases
https://www.niid.go.jp/niid/ja/
邦文抄録
ヒト免疫不全ウイルス（HIV）の粒子表面上のエンベロープタンパク質は、三量体を形成することで主要中和
エピトープを遮蔽することが知られている。しかし、遮蔽構造の発現・維持の分子メカニズムは未だ明らかにされていない。我々は中和抵抗性株と中和感受性株のエンベロープタンパク質三量体の構造的特徴を、Gaussian
Accelerated Molecular Dynamics (GaMD) シミュレーションにより調べた。GaMD により得られたエンベロ
ープタンパク質三量体の平衡構造は、中和感受性株のエンベロープタンパク質三量体が、中和抵抗性株よりも緩い構造となっていることを示唆した。この構造的特徴が、抗体中和逃避能を制御していると考えられる。
英文抄録
Envelope proteins on the surface of human immunodeficiency virus (HIV) are known to mask
major neutralizing epitopes by forming trimers. However, the molecular mechanism of the shielding
structure has not been clarified yet. We investigated the structural features of the envelope protein
trimer of the neutralization-resistant strain and the neutralization-sensitive strain by Gaussian
accelerated molecular dynamics (GaMD) simulation. The equilibrium structure of the envelope
protein trimer suggested that the envelope protein trimer of the neutralization-sensitive strain had
a looser structure than the neutralization-resistant strain. It is believed that this structural feature
controls the ability to escape antibody neutralization.

Keywords:
human immunodeficiency virus, envelope protein, neutralization resistance, structural feature,
Gaussian accelerated molecular dynamics

背景と目的

概要

本研究では、TSUBAME の Amber16 を用いた分HIV は致死的感染症エイズの病原として公衆衛生

子動力学解析により、不明な点の多いヒト免疫不全ウ

上の重要な研究対象になっている。我々を含む複数のイルス（HIV）の抗体耐性機構の理解を深める。そこで研究グループの研究により、HIV 粒子表面上のエンベ得られる知見は、これまで報告されている抗原部位のロープタンパク質は三量体を形成することで主要中和

変異によるものとは全く異なる抗体逃避機構の理解をエピトープを遮蔽することが知られている。しかし、遮蔽

深め、ウイルスの持続感染を司る構造基盤の解明につ構造の発現・維持の分子メカニズムは未だ明らかにさながる。今回、我々は中和抵抗性株と中和感受性株のれ て い な い 。 そ こ で 本 研 究 で は 、 TSUBAME のエンベロープタンパク質三量体の構造的特徴を、拡張

Amber16 を用いてエンベロープタンパク質三量体の分アンサンブル法の一つである Gaussian Accelerated

子モデルを構築し、その構造的特徴を調べることにより、

Molecular Dynamics (GaMD) シミュレーションによ

抗体中和逃避能を司る構造基盤を解明する。

り調べた。GaMD により得られたエンベロープタンパク
質三量体の平衡構造は、中和抵抗性株と中和感受性

結果および考察GaMD シミュレーションに用いる初期構造は、ホモロ株で異なることを示唆した。

ジーモデリング法により構築した。鋳型には X 線結晶

37

（様式 20）成果報告書
解析法により決定された構造（PDB ID:4TVP）を用い

今回明らかになった構造的特徴が中和感受性を決た。中和抵抗性株には JR-FL、中和感受性株にはめる構造要因であるかどうかを明らかにするために、

NL4-3 の ア ミ ノ 酸 配 列 を 用 い た 。 糖 鎖 は 、 High

今回用いた株とは異なる中和感受性株と中和抵抗性

mannose 型である Man5GlcNAc2 を付加した。

株での検討が必要である、

MD シミュレーションは Amber16 の pmemd.cuda
モジュールにより実行した。計算条件は、温度 310K、
圧力 1 bar、塩濃度 150 mM NaCl とした。2 ns のConventional MD 後、248 ns の GaMD を実行した。
GaMD に よ り 得 ら れ た ト ラ ジ ェ ク ト リ ー はAmberTools17 の cpptraj により解析した。
はじめに、初期構造からの構造変化を、RMSD を指標に調べた。JR-FL と NL4-3 のどちらも、50 ns までに急激に RMSD は増加する。その後、RMSD は揺らぎながら緩やかに増加し、JR-FL では約 4 Å、NL4-3 では約 5 Åに達する。NL4-3 は JR-FL よりも初期構造からの変化が大きい。
次に、エンベロープタンパク質三量体の大きさの変化を知るため、gp120 の α2 と p41 の HR1 の距離を調べた 。 200～ 250ns の デ ータ を 用 いて 計算 する と 、
JR-FL では 50.4±0.6 Å、NL4-3 では 51.8±1.0 Åであった。NL4-3 は JR-FL よりも大きい。
最後に、エンベロープタ ン パク質 三量体におけるgp120 間の配置の変化を知るため、gp120 の最も内側に位置する P88 間の距離を JR-FL と NL4-3 で比較した。JR-FL では 15.5±1.5 Å、NL4-3 では 20.0±1.3Åであった。NL4-3 の gp120 は、JR-FL の gp120 よりも互いに離れて配置されている。
以上より、中和感受性である NL4-3 のエンベロープ
タンパク質三量体は、中和抵抗性である JR-FL よりも緩い構造となっていることが明らかになった。この構造的特徴が、抗体中和逃避能を制御していると考えられる。

まとめ、今後の課題
今回、我々は中和抵抗性株と中和感受性株のエンベロープタンパク質三量体の構造的特徴を、GaMD シ
ミュレーションにより調べた。GaMD により得られたエンベロープタンパク質三量体の平衡構造は、中和感受性株のエンベロープタンパク質三量体が、中和抵抗性
株よりも緩い構造となっていることを示唆した。

38

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度

学術利用

成果報告書

利用課題名 EV-A71 カプシドタンパク質の分子動力学解析
英文：Molecular dynamics simulation of EV-A71 capsid protein
利用課題責任者 佐藤 裕徳
Hironori Sato所属
国立感染症研究所 病原体ゲノム解析研究センター
Pathogen Genomics Center, National Institute of Infectious Diseases
URL: https://www.niid.go.jp/niid/ja/
邦文抄録
エンテロウイルスは、小児神経症の病原として公衆衛生上の重要な研究対象になっている。現在、病原性発現の分子機序はほとんど分かっていない。本研究では、TSUBAME を用いた分子動力学解析により、EV-A71 病原性発現の構造基盤を解き明かす手がかりを得た。すなわち、ウイルス粒子外郭タンパク質の１アミノ酸置換（残基番号 VP1 145）が、変異箇所とは離れた位置に存在する受容体結合部位や抗体エピトープの構造特性変化を誘発することを見出した。特定アミノ酸残基の変異による粒子外郭タンパク
質の構造変化が、EV-A71 の速やかな形質変化に結びつく可能性がある。
英文抄録
Enterovirus infection is becoming an important research subject in the public health because it can cause
childhood neurosis. At present, molecular mechanisms for the neuropathogenesis remain unclarified. In thisstudy, we have obtained a clue for elucidating a structural basis for the neuropathogenesis by a single mutation
in a capsid protein. Molecular dynamics (MD) simulation study using TSUBAME disclosed that VP1-145 is
the cis-allosteric regulator to coincidentally modulate physical properties of multiple interaction surfaces of
the capsid protein.
Keywords: Enterovirus, capsid, mutation, neutralization escape, cell-tropism change, pathogenesis

背景と目的ータシミュレーション技術を軸とする独自の病原体

ヒトや動植物に感染するウイルスは、時に地球

解析プラットフォームを整備し、強化してきた。こ

規模で甚大な被害をもたらす。特に、RNA をゲノム

れを用いてウイルス感染症の様々な謎の解明に貢献に持つ RNA ウイルスは変身能力に優れ、しばしばしてきた。

新たな性質を獲得した病原体が流行して人々の生本研究では、TSUBAME を用いることで、特に、分活を脅かす。1918-1919 当時の世界人口の〜5%に達子動力学（MD）計算の高速化を図った。解析対象は、する死者（5000 万〜１億人）を出したとされるイ

エンテロウイルス A71（EV-A71）の粒子外郭タンパ

ンフルエンザ（スペイン風邪）、2015 年末までにク質（カプシド蛋白質）とした。EV-A71 は、小児の3,000 万人に達する死者を出し今もなお全世界で神経症の病原として公衆衛生上の重要な研究対象に流行するエイズなど、動物界からヒト社会に広がなっている。国立感染症研究所と東京都医学総合研り深刻な損害を与え続ける RNA ウイルス感染症は究所の研究グループの研究により、EV-A71 粒子表面

枚挙にいとまがない。感染症に国境はない。RNA

上のカプシド蛋白質 VP1 の 145 番目のアミノ酸残基

ウイルス感染症の制御は、世界が共有する公衆衛が変異すると、受容体親和性、抗体感受性、病原性

生上の最重要課題の一つになっている。

など多様な生物活性が同時に変化することが知られウイルスの分子構造は、ウイルスの性質決定・変ている。しかしその分子メカニズムは未だ全く明ら化の鍵を握る。そこで我々は、2005 年前後より、生かにされていない。これを明らかにすることは、学

体高分子の立体構造や相互作用を再現するコンピュ術上の貢献のみならず、エンテロウイルスのリスク

39

（様式 20）成果報告書
評価法開発につながる。本研究では、TSUBAME の（４）145 変異は、変異箇所とは離れた位置に存在

Amber を用いてカプシド構成単位（VP1, VP2, VP3,する分子間相互作用表面の構造特性を変えることを

VP4 複合体）の分子動力学（MD）解析を実施した。

見出した。影響を受けた相互作用表面には、ウイル

構造の動的特性と変異の効果を解析することで、145

スの細胞指向性、抗体感受性、病原性発現に関わる変異が変異箇所とは異なる相互作用表面の構造特性領域が含まれていた。

変化を誘発することを見出した。

以上の解析により、EV-A71 カプシドタンパク質の残概要

基 145 は、ウイルスの細胞指向性、抗体感受性、病本研究では、TSUBAME を用いることで、特に、分原性を同時に制御する部位であることが示唆された。

子動力学（MD）シミュレーションの高速化を図った。
TSUBAME の Amber を用いた MD 解析により、エンテロ

まとめ、今後の課題

ウイルス A71（EV-A71）の神経病原性発現の構造基

TSUBAME の Amber を用いた MD シミュレーションの盤を解き明かす手がかりを得た。すなわち、ウイル

高速化により、エンテロウイルスの神経病原性発現

ス粒子外郭タンパク質（カプシド蛋白質）の変異が、の構造基盤を解き明かすための重要な手がかりを得

変異箇所とは離れた位置に存在する種々の相互作用た。ウイルス粒子外郭タンパク質の１アミノ酸残基

表面の構造特性を変えることを見出した。影響を受置換が、ウイルスの細胞指向性、抗体感受性、病原

けた表面には、ウイルスの細胞指向性、抗体感受性、性発現を司る領域の構造変化を同時に誘発すること

病原性発現を司る領域が含まれていた。残基 145 変を見出した。

異は、EV-A71 病原性発現に寄与する様々な形質の変今後は、上の発見の一般性を種々のウイルス株を化を遠隔から同時に誘発するアロステリック制御部

用いて調べるとともに、残基 145 以外の構造・機能位であることがわかった。成果は、エンテロウイル

制御部位の探索を進める。実験を取り入れながら細スの国際学会で発表した（小谷ら、Europic 2018,

胞におけるエンテロウイルスの細胞指向性、中和抗Netherlands）。

体逃避、及び感染個体における病原性発現の構造基盤解明を進める。得られた知見を元に、エンテロウ

結果および考察

イルス制御法開発（構造ベースの創薬、ワクチン抗（１）分子モデル構築： Fuyang 株カプシド立体構

原設計、及びリスク変異予測法開発など）を進める。

造情報(PDB ID:3vbs)を鋳型とし、ホモロジーモデリ
ング法により、種々の EV-A71A 株の 145 残基置換株のカプシド分子モデルを構築した。
（２）分子動力学計算：TSUBAME の Amber を用いて、上で構築した分子モデルの MD 計算を実行した。複合体周囲に水分子を配置して、1 atm, 310 K, 150 mM
NaCl の条件で MD 計算を 100 ns 実施した。水・イオ
ン分子の衝突・熱運動により変化する立体構造の時系列データ（時系列 trajectory データ）を収集した。
（３）trajectory 解析：上の計算で得た時系列構造
データを用い、アミノ酸残基ごとの"Root Mean
Square Fluctuation（RMSF）"のプロファイルを作成・解析し、145 残基置換による分子表面の揺らぎの変化が生じる箇所を特定した。

40

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名 HIV Pr55Gag タンパク質全長の分子モデリングと分子動力学解析
英文：Molecular modeling and molecular dynamics simulations of HIV Pr55Gag protein
利用課題責任者 佐藤 裕徳

Hironori Sato
所属 国立感染症研究所
Affiliation National Institute of Infectious Diseases
URL https://www.niid.go.jp/niid/ja/
邦文抄録

HIV 粒子形成の主役を務める Gag タンパク質前駆体（Pr55Gag）の全構造は未だ不明で、ウイルス粒子形
成の分子基盤解明や構造ベース創薬の障壁となっている。そこで本研究では、TSUBAME の Amber を用いて Pr55Gag の全構造モデルの構築と構造特性解析を実施した。その結果、中性子小角散乱測定データに基づく溶液中の Pr55Gag 部分構造に酷似する Pr55Gag 全構造モデルを得ることに成功した。さらに Pr55Gag の折畳み様式が粒子形成時の一連の相互作用に秩序と方向性を与えている可能性を見出した。HIV 粒子形
成の構造生物学を実施し、新しい抗 HIV 薬の開発を進める基盤が得られた。
英文抄録（100 words 程度）
HIV Pr55Gag protein plays key roles in virus particle formation, whereas its entire structure still remains elusive.
This has been a major obstacle for elucidating molecular mechanisms of virion morphogenesis and for conducting
structure-based drug design. In this study, we constructed and analyzed full-length Pr55Gag models by molecular
dynamics simulations using TSUBAME Amber. These models were strikingly similar to reported ones of HIV-1
partial Pr55Gag molecule (Gag ∆p6) from small-angle neutron scattering measurements and suggested that the
Pr55Gag folding mode play a crucial role in directing ordered molecular interactions of Pr55Gag during virion
formation.

Keywords: ５つ程度
Human immunodeficiency virus, Pr55Gag entire structure, virion morphogenesis, molecular dynamics
simulation

背景と目的

ルを得ることに成功した。さらにこのモデルを用い

1980 年代初期に顕在化した致死的新興感染症エて Pr55Gag の機能発現を司る構造特性を見出した（小イズは、HIV 感染で発症する。HIV 感染の流行は未谷ら、米国 2018CSHL retrovirus meeting で発表）。

だに続き、世界の HIV 感染者は約 3,690 万人に達HIV Pr55Gag の全構造をもとに HIV 粒子形成の仕組みする。感染者の QOL の向上、並びに公衆衛生上のを明らかにし、構造ベース創薬を進める新しい基盤

脅威を低減するには、HIV 感染症の制御と治癒に向が得られた。

けた新しい抗 HIV 薬の開発が不可欠である。
HIV 粒子形成の主役を務める Gag タンパク質前駆

概要

Gag

体（Pr55 ）の全長構造は未だ不明のまま残されて

HIV Pr55Gag は、多機能タンパク質である。HIV 感染いる。このため、ウイルス粒子形成の分子基盤解明、細胞において、種々の因子と相互作用しながら細胞並びに Pr55

Gag

を標的とする構造ベース創薬の研究

膜に特異的に輸送・係留され、そこでウイルス粒子は立ち遅れている。そこで本研究では、TSUBAME のの他の部品（ゲノム、外被タンパク質、脂質二重層）

Amber を用いて Pr55

Gag

折り畳み様式と構造特性を解の集合、感染性ウイルス粒子の形成、発芽を推進す析した。その結果、中性子小角散乱測定データに基る。しかし、これらの過程がなぜ順序だって進むのづく溶液中の Pr55

Gag

部分構造に酷似する構造モデ

かは、HIV 発見後 35 年あまり経た現在もほとんどわ

41

（様式 20）成果報告書
かっていない。主な原因の一つに、Pr55Gag 全構造の欠如がある。そこで本研究では、TSUBAME を利用した分子動力学解析により、ウイルス学上の謎の解明を試みた。その結果、中性子小角散乱測定データに基づく溶液中の Pr55Gag 部分構造に酷似する構造モデルを得ることに成功した。さらにこのモデルを用いて、Pr55Gag の fold（折畳み）が、粒子形成に必要な一連の相互作用に秩序と方向性を与えている可能性を示唆した。

結果および考察
分子動力学法により、翻訳直後の溶液中の Gag 前駆体全長モデルを世界で初めて構築した。Gag 前駆体は、MA-CA 間と SP1-NC-SP2-p6 間の分子内相互作
用により、疎水性表面の露出が減少する方向に折り畳まれることがわかった。このモデルは、中性子小角散乱測定データに基づく溶液中の Gag 部分構造モデル（Gag ∆p6): Datta SA et al., J Mol Biol. 2007）に酷似していた。さらに、既知の解像度の低い構造
情報では判明しなかった分子構造特性を見出した。
すなわち、HIV 粒子形成初期に必要な相互作用表面は露出し、後期に必要なそれは遮蔽されていることがわかった。

まとめ、今後の課題
TSUBAME の Amber を用いて、Gag 前駆体 Pr55Gag の
全構造モデルを構築した。このモデルは、実験で得られている Gag 前駆体部分構造情報との類似性が高く、さらにはそれらの報告では解析できなかった相互作用表面の微細構造を解析できる。これにより、HIV 粒子形成初期に必要な相互作用表面の露出状態が判明し、Pr55Gag の fold（折畳み）が、粒子形成に必要な一連の相互作用に秩序と方向性を与えている可能性が示唆された。今後は、HIV Pr55Gag の全構造情報をもとに HIV 粒子形成の仕組みを分子レベルで明らかにし、構造ベース創薬につなげる予定でいる。

42

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名 マルチ GPU による心血管系の血流の数値シミュレーション
英文：Numerical simulation of blood flow in cardiovascular system by multi-GPU

利用課題責任者
水藤寛
所属
東北大学材料科学高等研究所
邦文抄録
安定化有限要素法は、複雑な境界形状を持つ領域での 3 次元非圧縮性 Navier-Stokes 方程式の数値計算に広く用いられているが、その GPU による高速化には、実装上いまだ困難な点が多い。そこで本研究課題ではマルチ GPU による大規模計算が行える TSUBAME の計算機環境を利用し、安定化有限要素法による 3
次元非圧縮性 Navier-Stokes 方程式のマルチ GPU 並列解法を構築する。そして大動脈における血流の数
値シミュレーションを行い、その結果から治療に役に立つ血流速度や内圧や壁面せん断応力などの特徴量を解析する。大動脈における様々な病態のメカニズムを血流の違いという視点から調べることを目指している。
英文抄録
In this research, we aim to develop multi-GPU parallel solution method for 3D incompressible
Navier-Stokes equations discretized by the stabilized finite element method and perform
numerical simulations of blood flow in the human aorta. We aim to investigate the mechanism ofvarious pathological conditions in the aorta from the viewpoint of the difference in blood flow.

Keywords:

Multi-GPU, Stabilized FEM, Navier-Stokes Equations, Iterative Solvers

背景と目的

結果および考察

本研究で扱う 3 次元非圧縮性 Navier-Stokes 方程式

血流の数値シミュレーションに用いた大動脈の形状と計の数値計算の主な対象は、大動脈における血流計算

算結果の例を図に示す。

である。大動脈内の血流は、大動脈瘤や大動脈解離な
どの生命に関わる疾患と深く関係しており、その病態のメカニズムを血流の違いという視点から調べることは、社会的にも大きな意義を持っている。多数の症例に対する効率的な計算を実現するため、安定化有限要素法による 3 次元非圧縮性 Navier-Stokes 方程式のマルチ
GPU 並列解法を構築することを目的とする。
概要
Navier-Stokes 方程式を安定化有限要素法によって離まとめ、今後の課題

散化した連立方程式のマルチ GPU 並列計算の解法にマルチ GPU を使用した BiCGSafe 法のソルバーを実装

BiCGSafe 法を用いている。CPU 並列計算においてはできた。また、開発した BiCGSafe 法のソルバーを用いてBiCGSafe 法の計算効率が良いということがよく知られて有限要素により血流の数値シミュレーションを行うことがいるが、GPU 並列計算において検証された例はあまりできた。今後の課題として開発したプログラムを複数分ない。マルチ GPU を使用した BiCGSafe 法のソルバーを岐がある複雑形状の大動脈の流れのシミュレーションに実装し、その有効性を検証し、有限要素により血流の数

応用していく。

値シミュレーションを行う。

43

44

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名 超対称ゲージ理論の GPU プログラムの開発
英文：Developing GPU code for supersymmetric gauge theory
花田政範
Masanori Hanada
慶應大学自然科学研究教育センター
Research and Education Center for Natural Sciences
http://www.sci.keio.ac.jp/
邦文抄録
二次元と四次元の極大超対称ゲージ理論の GPU でのシミュレーションコードを開発する。具体的には花田が松浦
氏（慶應義塾大学）、杉野氏（韓国 IBS）と共同で提案した格子正則化を用いる。GPU のベンチマークプログラムを作成し、どの程度の計算性能向上が見られるかをテストした。
英文抄録
We test a benchmark program on TSUBAME to develop a GPU program of two and four dimensional
SYM theories, which describe a quantum blackhole according to the gauge/gravity duality.

Keywords: 超弦理論、ホログラフィー原理、格子理論

背景と目的マークコードでも十分な計算時間の改善が見られ、今ホログラフィー原理を通じて超弦理論、量子重力理

後の SYM コードの開発につながる知見を得た。

論の非自明な性質を調べるためには、極大超対称ゲージ理論の数値的な解析が不可欠である。特に、極大まとめ、今後の課題

超対称ゲージ理論を大規模に数値シミュレーションする

今後は、得られた知見を活かして、二次元と四次元のことで、重力の量子論的な性質を明らかにすることがで極大超対称ゲージ理論の GPU プログラムの開発を進きると期待されている。

めていく。

概要
本研究では、二次元と四次元の極大超対称ゲージ理論の大規模シミュレーションのための数値計算プロ
グラムを開発する。特に、超弦理論で重要となるパラメータ領域では計算コストが増大し、GPU を用いたプログ
ラムの実行が重要となるた め、TSUBAME を用いてGPU コードのテストを行う。

結果および考察プログラムの GPU 化の有効性を調査すべく、ベンチ
マークコードを GPU 化して走らせた。テストしたベンチマ
ークコードは、行列積が主体となる極大超対称ゲージ理論のコードと同様に、メモリからの情報転送に比べ具体的な演算の比重が大きい。GPU 化によって、ベンチ

45

46

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名 高解像度画像を使った広域の家屋及び道路の深層学習による自動判別システムの開発(2)
英文：System development of automatic building and road network detection using high resolution
imagery by deep-learning 2
柴崎亮介
Ryosuke Shibasaki
東京大学 空間情報科学研究センター
Center for Spatial Information Science, University of Tokyo
http://csis.u-tokyo.ac.jp
本プロジェクトでは衛星画像データ内に見られる建物・家屋を深層学習によって自動認識する処理を、地図データとして利用するためのマッピング処理を自動化することで、広域に展開するためのシステム開発を実施した。
TSUBAME の GPU クラスタと連携したシステムを開発し、ラオス・サワナケート県、ルワンダ全土、ケニアの 17県を対象として、約 2,000,000 の画像タイル（256 px × 256 px）におよぶ領域について建物・家屋をマッピング
した。品質や精度にばらつきはあるものの、広域にわたって一定のモデルで自動処理することができた。今後は、品質管理・改良を効率的に進める手順・方法を研究開発し、当システムへの実装を進める。
This project aims to apply automated building mapping from satellite images by deep learning to largescale geographical extent, such as national and provincial scale. We developed the system with
TSUBAME’s GPU cluster and applied the building-mapping algorithms to the extent of Savannakhet
Province in Laos, the whole land of Rwanda, and 17 provinces in Kenya with more than 2,000,000 image
times of 256 × 256 pixels. The process was succeeded with models applied to the broad areas while
the quality and accuracy varied by region. We will develop the system further on methods and processesof quality control and improvement and implement it on the system.

Keywords: deep learning, satellite images, building mapping, large-scale processing

概観するのに有用である。

背景と目的
持続可能な開発課題（Sustainable Development

広域にわたる自動マッピングへのニーズは高まる一

Goals; SDGs）に Goal 11 “Make cities and human方、これまでの研究の成果は、単一シーンの衛星画像

settlements”として掲げられているように、都市の成長

データといった限られた領域でのみ処理されており、全国土といった広域を対象とした処理は未だ試みられてを適切に管理するためのデータ基盤の整備には早急いない。

な対応が求められている。地球観測データは、このよう

本プロジェクトでは、昨年度の成果等をもとに、深層なニーズに対応するデータ資源として、特に広域性と高学習による自動マッピングアルゴリズムを、広域に適用頻度の特長が、都市成長の観測において高い有用性するためのシステムを開発し、ラオス・サワナケート県、が期待されている。近年、Google Earth をはじめとし

ルワンダ、ケニアを対象に広域処理を試行し、全国・全た高分解能衛星画像データの普及により、個別の建物

県スケールでの家屋マップを作成した。

を衛星画像から検出し、衛星画像データの位置情報とあわせることで正確にマッピングする可能性が議論さ概要

れ、機械学習や深層学習の適用によって、自動的に衛社会基盤情報として人口分布、交通ネットワークの星画像内の建物を検出する研究がなされてきた。建物整備は必須であるが、途上国、僻地の情報基盤の整や道路のマッピングの自動化は、広域にわたる地図作

備は乏しい状況にある。オープンな利用が広まりつつ

成を低コストで実現し、インフラ開発や公衆衛生の課題ある高解像度衛星画像から機械学習、ディープラーニ

において、都市部だけでなく郊外の社会経済の状況をングなどの手法で家屋や道路ネットワークを自動検出
47

（様式 20）成果報告書

目視判読
インター
フェース

学習
データ
領域

高分解能
衛星画像

品質管理
システム

衛星データ
管理システム

既存の人間
居住地マップ

データ
改良の
優先付

学習データ
セット
学習領域
の画像 学習アルゴリズム
High-Performance
Computing
System (HPC)

マッピング
領域
マッピング領域
の画像

No

最終データ
セット

品質は
OK？
Yes

東工大TSUBAME

分類アルゴ
リズム

仮データ
セット

後処理 (微笑エラーの手動修正、ノイズ除去、位置修正等)

図 1 システム開発の全体像
し、地図データと利用することによる広域・社会基盤情タを用いた。
全世界の行政区域 GIS データを収集した成果であ報の整備に寄与する。
本プロジェクトでは、東工大 TSUBAME をデータ処

る GADM のうち国レベルの次に下位の行政区域（県・理の基幹とし、データ収集・管理の機能を連携させるこ

州・省など；以下、県レベルとする）の境界データとで、任意の領域について、家屋マッピングを自動化す

European Commission Joint Research Centre がることができた。図 1 にシステム開発の全体像を示す。

Landsat 衛星データから作成したグローバル居住地データセット（Global Human Settlement Layer）のうち、結果および考察250 m グリッドに密度を集約したデータを用いて居住地昨年度に開発した画像収集・管理システムを用いて密度を以下の 5 段階に分類した。

Google Maps の衛星画像を収集した。画像データは、

1) 居住地密度 = 0

1.2 m 分解能で取得し、256 ピクセル× 256 ピクセ

2) 0 < 居住地密度 ≦ 0.1

ルを単位としたタイルとして画像ファイルに保存した。全

3) 0.1 < 居住地密度 ≦ 0.2ての画像ファイルのファイル名には、全世界のタイル位

4) 0.2 < 居住地密度 ≦ 0.4

置に対して一意的であるタイル番号が付与され、データ

5) 0.4 < 居住地密度

処理で画像ファイルの参照が容易になるようにした。収集した画像ファイルの数は表 1 の通りである。
家屋検出の自動化は、学習データ内にみられる家屋の画像パターンに基づいて、入力データ内の家屋を認

表 1 地域別画像ファイル数

識することによってなされる。したがって、家屋の画像パターンが地理的背景によって、異なる場合には誤っ地域て検出されることになる。

ラオス・サワナケート県

250,844

ルワンダ

272,594

本事業では、県レベル境界別と、グローバルデータ

ケニア（17 県）

セットから得られる居住地密度別に家屋検出モデルを構築することで影響を低減した。具体的に以下のデー

48

画像ファイル数

1,546,594

（様式 20）成果報告書
基準画像

画像例 1

画像例 2

調
整
前

調
整
後

図 2 コントラスト調整の処理例
したがって、表 2 に示される区分の学習データを使

最近隣の学習データ 64 タイルを、その区分の学習デーってディープラーニングで家屋検出モデルが構築され、タとした。
Google Maps の画像ファイルはタイル間でコントラス

それぞれ同様の地理的区分に該当する衛星画像デー
タにモデル適用し、家屋マッピングを処理する。

トが異なることが多く、家屋検出の精度に著しい影響を原則として、全ての区分に十分な数の学習データが及ぼす。本事業では、高速フーリエ変換を経ることで、分布するように、学習データはサンプリングされたが、高い精度でコントラストを同調にするアルゴリズムを適一部の区分では学習データがゼロとなる場合があった。

用することで、モデルごとのコントラストが同様になるよ

その場合には、同居住地密度段階のうち、その県からう調整した。この際、コントラストの基準となる画像には、画素値の標準偏差値が第 2 四分位

表 2 検出モデルの地域区分

点（50％）になる画像を選定するようアルゴリズムを構

県レベル行政区域

居住地密度

県A

居住地密度 = 0

県A

0 < 居住地密度 ≦ 0.1

使ったディープラーニングを実装し、ラオスのサワナケ

県A

0.1 < 居住地密度 ≦ 0.2

ート県、ルワンダ全域、ケニア全域を対象に処理を実県A0.2 < 居住地密度 ≦ 0.4

施した。実装にあたって使用したアルゴリズム、ソフトウ

県A

0.4 < 居住地密度

ェア等の詳細は以下の通りである。

県B

居住地密度 = 0

県B

0 < 居住地密度 ≦ 0.1

ある TensorFlow をベースに、汎用的なアルゴリズムを…

…

関数として整備したフレームワーク。本事業では、

県C居住地密度 = 0

Keras を使って UNet アーキテクチャによるセマンティ…

…

クセグメンテーションを実装した。

築した。図 2 に処理結果の例を示す。
上述のアルゴリズム等を TSUBAME の GPGPU を

Keras – 代表的なディープラーニングのライブラリで

GNU Parallel – 多数のデータ処理の並列化を簡49

（様式 20）成果報告書

図 3 サワナケート県のマッピング結果。上：全域、

図 4 ルワンダ全域のマッピング結果。上：全域、中：中：良好な結果の例、下：不良な結果の例。中段と下良好な結果の例、下：不良な結果の例。中段と下段段の背景は Google Map より引用した。全域についの背景は Google Map より引用した。

てはポリゴンを強調したため、誤検出も強調されていが 45 ㎡未満および 5000 ㎡以上のポリゴンは家屋のる。

大きさに見合わないため、検出結果から除いた。

易に行うためのソフトウェア。本事業では、TSUBAME

ラオス・サワナケート県についてマッピングした結果上で多数の GPGPU クラスタで同時に処理を実行するを図 3 に示す。概ね集落の位置を捉えられているが、ために使用した。

森林のテクスチャを建物として誤認識している区域があAdam オプティマイザの学習率を 0.00003 に設定し、る（図 3 上および図 3 下）。郊外の集落を拡大すると学習データのうち最小の検出精度が Accuracy > 85%

幾分かの取りこぼしはあるが、概ね全ての建物を検出

かつ IoU > 80%、または学習エポック数が 100 を超したことが確認できた。

えるまで学習を反復させた。学習にかかる時間は、1 エ

ルワンダ全域についてマッピングした結果を図 4 にポックあたり 250 秒～280 秒程度であった。なお、面積示す。集落の位置を概ね捉えているが、裸地等が家屋50

（様式 20）成果報告書
データと組み合わせることで、このような誤検出を除外することができる。
まとめ、今後の課題
本プロジェクトでは深層学習を用いた家屋・建物の自動検出アルゴリズムを広域に適用するためのシステム開発を実施し、ラオス・サワナケート県、ルワンダ全土、
ケニアの 17 県について Google Maps の衛星画像に適用した。その結果、精度や品質にある程度のばらつ
きはあるものの、一定のアルゴリズムによる処理を広域に適用した結果が得られた。今後は、品質管理・改良を効率的に進める手順・方法を研究開発し、当該システムへの実装をおこなう。

図 5 ケニア（17 県）のマッピング結果。上：全域、
中：良好な結果の例、下：不良な結果の例。中段と下段の背景は Google Map より引用した。
として誤認識されたケースが見られた。都市部に一部取りこぼしが見られたが、大半の家屋を検出したことを確認した。
ケニア国土のうち 17 県についてマッピングした結果を図 5 に示す。都市部や集落の位置や規模を概ね捉えているが、県によっては森林等を家屋として誤検出する例が見られた。また、ケニアには 68,800 km2 を占めるビクトリア湖があるが、湖面のまばらな画素値が家屋として誤って検出される例が見られた。水域については正確な地図が整備されているので、そのような地図

51

52

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名 知識に基づく構造的言語処理の確立と知識インフラの構築
英文：Establishment of Knowledge-Intensive Structural Natural Language Processing andConstruction of Knowledge Infrastructure
利用課題責任者 黒橋 禎夫
First name Surname Sadao Kurohashi
所属 京都大学 大学院情報学研究科
Affiliation Graduate School of Informatics, Kyoto University
URL http://nlp.ist.i.kyoto-u.ac.jp/
邦文抄録（300 字程度）
本利用課題では，知識に基づく頑健で高精度な構造的言語処理を実現し，これによって様々なテキストの横断的な関連付け，検索，比較を可能とする知識インフラを構築することを目的とする．そのために，大規模 Web コーパスに対して言語解析を適用し，その解析結果から膨大な知識を獲得する．この知識獲得の処理には膨大な計算量が必要になるが，TSUBAME の大規模並列計算資源を利用することによって，極めて短期間で達成することができた．
英文抄録（100 words 程度）
In this project, we aim to establish robust and accurate knowledge-intensive structural NLP, and toconstruct a knowledge infrastructure which can relate, retrieve and compare knowledge from various
texts. We perform linguistic analysis to a large-scale Web corpus and use the resulting analyses toacquire wide-coverage knowledge. We accomplished several knowledge acquisition processes quite
rapidly using TSUBAME.

Keywords: ５つ程度
natural Language processing, knowledge acquisition, predicate-argument structure analysis, text
generation
背景と目的

本利用課題では，TSUBAME の大規模計算機環境を

テキストは，専門家によるデータの分析結果や解釈，用いて，上記の目的を実現するために必要となる知識

ステークホルダーの批判・意見，種々の手続きや ノウを大規模テキストコーパスから自動獲得する．具体的にハウなどが表出されたものであり，人間の知識表現の根は述語項構造解析・共参照解析の同時学習と LSTM を幹である．テキストとして表現された知識を計算機によっ用いた論理式からの文生成を行った．

て抽出・関連付けすることができれば，社会における知識循環を円滑化し，異なる分野間での知識の相互関連

Entity-Centric な述語項構造解析・共参照解析の同性の発見や，新しい知識・法則の発見を支援することが時学習可能となる．言語情報処理はウェブをはじめとする大規背景模テキストの活用によって長足の進歩を遂げつつある

述語項構造解析とはテキスト中の「誰が何をどうした」をが，本利用課題ではこれをさらに発展させ，知識に基づ明らかにする解析である．述語項構造解析は情報抽出

く頑健で高精度な構造的言語処理を実現し，これによや質問応答など様々なアプリケーションにとって重要とって様々なテキストの横断的な関連付け，検索，比較をなる基礎解析である．

可能とする知識インフラを構築する．

53

（様式 20）成果報告書
今年度は昨年度に提案したモデル[柴田+ 18]の上で橋

entityバッファ
著者

読者

コワリョフ氏 党員

ロシア

渡し指示解析(名詞に関する関係解析)も行うなどの拡・・・張を試みた．

ガガ

コワリョフ氏は正式な党員ではないが、… ロシア共産党から立候補し当選した。

結果

・・・

訓練とテストは 1GPU で半日程度の時間を要する．

同氏は当選までロシア内務省法律研究所の教授を務めていた法律学者。

ガ

TSUBAME を用いることで様々な条件での実行が短時・・・間で可能となった．

九四年に大統領令でチェチェン問題に関する人権監視委員会の委員長に任命された。

ガ・・・
チェチェンへの軍事介入に関しては、… エリツィン大統領の立場を支持していた。

図 1 述語項構造解析と共参照解析の同時学習
述語項構造解析のサブタスクにゼロ照応解析と呼ばれLSTM を用いた論理式からの文生成る解析があり，これは述語と項が係り受け関係にない場

背景

合に項を同定する解析である．ゼロ照応解析はさらに近年の構文解析と意味解析の技術の発展によって，文

文内ゼロ照応解析(述語と項が同一文にある)と文間ゼの意味を論理式で表して高度な推論を行うシステムのロ照応解析(述語の文より前の文に項がある)に大別す構築が可能となった．このようなシステムは，含意関係

ることができる．文間ゼロ照応解析は非常に難しいタス

認識[Mineshima+ 2015] や文間類似度計算のタスク

クであり，その精度を向上させるためには文章中で何が[Yanaka+ 2017]で高精度を達成しており，今後さらなる話題の中心であるかなどを捉える必要がある．

自然言語処理タスクへの応用が期待されている．

話題の中心を捉えるために entity という概念を導入する文からその論理式への変換が高精度に行われる一方

モデルを提案した[柴田+ 18]．entity を考えるためにはで，論理式を自然言語文に戻す方法については自明

共参照解析を行う必要があるので，述語項構造解析とではない．しかし，論理式から自然言語文に逆変換す

共 参 照 解 析 を 同 時 に 行 う ． Wiseman ら は RNNることができれば，推論システムの改善や，様々な自然(Recurrent Neural Network)で entity の embedding を計

言語処理タスクへの応用が期待できる．推論システムに算しており[Wiseman+ 2016]，本研究でもこの手法になおいては，実社会への応用を考えると，推論に失敗した

らい entity の embedding を計算し，話題の中心を捉え場合において，なぜ推論に失敗したのかという解釈性

る．

が求められる．そこで，推論において証明不可能と判定

方法

された論理式を文に変換することができれば，どのよう提 案 手 法 の 概 要 を 図 1 に 示 す ． 各 entity に はな知識が推論に必要であったかを言語化することがでembedding を割り当て，図の上部に示すバッファで管理

きる．

する．入力テキストが与えられると，まず Bi-directional

また，論理式から自然言語文に変換する方法は，パラLSTM を用いて文脈を考慮した句の表現を得る．次に，

フレーズ抽出，テキスト平易化等への応用も可能である．

文章の先頭から対象の句が名詞句の場合は共参照解

パラフレーズ抽出については，例えば，二文を論理式

析を，動詞句の場合は述語項構造解析を行う．共参照に変換した上で，それらの論理式に共通する部分を自解析・述語項構造解析ともにニューラルネットワークを用

然言語に変換することにより，二文の意味の重複を言語

い て ス コ ア を 計 算 す る ． そ の 際 に mention の化する，といった応用が考えられる．また，テキスト平易

embedding(Bi-directional LSTM で得られるもの)だけで化については，統計的機械翻訳を用いた手法が研究さなく entity の embedding を考慮する．そして，両解析のれているが，統語構造の差異による意味の違いを抽象

解析結果を用いて RNN で embedding を更新し，情報を化する論理式の性質を利用すれば，難しい文を論理式蓄積する．

に変換し，論理式から同じ意味を持つ平易な文を生成

54

（様式 20）成果報告書することが考えられる．

な述語項構造解析・共参照解析の同時学習. 言語方法

処理学会第 24 回年次大会, 2018.

そこで本研究では，機械翻訳等の系列変換において高[Mineshima+ 2015]

い精度を示しているニューラルネットによる系列変換モ

Koji Mineshima, Pascual Martínez Gómez, Yusuke

デル(Sequence-to-Sequence model)を用いて高階論理

Miyao, and Daisuke Bekki. Higher-order logical

式から文を生成する手法を提案する．エンコーダの入

inference with compositional semantics. In Proc. of

力となる論理式をどのようにシーケンス化するかについ

EMNLP, 2015.

て，複数の方法を提案・比較した．具体的には，文字単[Yanaka+ 2017]

位での埋め込みや論理記号単位での埋め込みの比較，

Hitomi Yanaka, Koji Mineshima, Pascual Martínez

加えて論理記号単位の場合においては，論理式の埋

Gómez, and Daisuke

め込み順の比較を行なった．さらに，デコーダ部には，

Bekki. Determining Semantic Textual Similarity using

論理式に述語として出現しない名詞，動詞を出力させNatural Deduction Proofs. In Proc. of EMNLP, 2017.

ないようにする masking ベクトルを追加した．

[馬目+ 2018]

また，文生成において，表層の n-gram 一致率を計算

馬目華奈, 谷中瞳, 吉川将司, 峯島宏次, 戸次大介.

する BLEU 等が定量指標として用いられることが多いが，RNN 系列変換モデルを用いた高階論理式からの文生

これは類似度以上の意味を考慮した評価を行うことがで

成. 言語処理学会第 24 回年次大会(NLP2018), 岡山,

きない．本研究班がこれまでに開発した，統語解析・意Mar.2018.

味 解 析 ・ 推 論 の 統 合 的 シ ス テ ム ccg2lambda[Manome+ 2018][Mineshima+2015]を用いて，元の文と生成された文とのKana Manome, Masashi Yoshikawa, Hitomi Yanaka,

双方向含意関係の証明を行うことで，深い意味的な関Pascual Martínez-Gómez, Koji Mineshima and Daisuke

係を考慮して生成文を評価する方法を提案する．

Bekki.

結果

semantics. In Proc. of INLG, 2018.

実験では，大規模な含意関係認識用データセットである SNLI を用いた．データセット中の開発データ 50,000
件を ccg2lambda を用いて論理式と文のペアを作成した．
ルールベースによる手法との比 較を行ったところ，
BLEU 値，含意関係認識評価のどちらも既存手法を上回った．論理式の埋め込みは，文字単位でなく論理記
号単位で埋め込みを行い，論理式のグラフ構造に基づいて論理式中の項を系列に落とし込むことで，非文の生成が抑制された．また，デコーダ部に masking ベクトルを追加することで，BLEU 値，含意関係認識評価のどちらも高くなり，精度向上が見られた．含意関係認識を用いた評価は，文が非文かどうかの判断を行える点でも非常に有用であった．TSUBAME の利用により，大規模データを用いた系列変換モデルの学習が可能となり，本研究の成果を得ることができたと言える．

参考文献[柴田+ 2018] 柴田知秀, 黒橋禎夫. Entity-Centric

55

Neuralsentence

generation

fromformal56

（様式 20）成果報告書

TSUBAME 共同利用

平成 30 年度

学術利用

成果報告書

利用課題名 LRnLA アルゴリズムを用いた物理シミュレーション
英文：Simulation of Physical Processes with LRｎLA Algorithm
善甫 康成
Yasunari Zempo
法政大学 情報科学部
Computer and Information Sciences
http://cis.k.hosei.ac.jp/
永久凍土地域の地震探査で注意しなければならないことに、不凍土層(talik)の存在が地震記録に干渉を引き起こすことが知られていることである。 この干渉はシミュレーションで予測することができ、その記録を解析することにより不凍土層に起因した地震波の解析結果について補正を行い、地震波を正確にとらえることが可能である。この解析では以前に開発された DTmaxwell を基に高度に改良した
DiamondSeism を使用した。 このコードは 1 秒間に最大 14 億のセル更新を実行し、層状媒体の地震弾性波解析を行うことが可能である。 我々は Putorana 台地の地震モデルを使用し、1 件あたり約 50GBのメモリが必要なシミュレーションを 1000 件以上行うことができた。
In the seismic surveys in the areas of permafrost, the regions of melted soil, talik, are known to causeinterference on the seismograms. The interference may be predicted with computer simulation, andthis is used to introduce corrections into real seismogram analysis. We use the code DiamondSeism,
which is an advanced version of a previously developed and tested code DTmaxwell. The code
simulates seismic elastic waves in a layered media with a performance up to 1.4 billion cell updates
per second. We have used the seismic model of the Putorana plateau, and obtained results for morethan 1000 simulations, while each required about 50GB of memory.

Keywords: LRnLA Algorithm, Hooke’s law, synthetic seismogram, FDTD

Depth (km)ーションを行うと、データ量は50GB以上になる。
背景と目的
また幾つかの震源位置での地震解析の結果を得るに永久凍土(permafrost)がある地域での地震波トモ
は 、必要 な計算 を1000 ケ ース以 上行う 必要があグラフィーを用いる際に注意しなければならないこる。
との一つに不凍土層(Talik)の存在の有無がある。
このためには効率的なアルゴリズムを持つ並列コ
不凍土層があると地震計の記録に干渉によるノイズードと高性能計算機の利用が不可欠となる。本プロが発生することが知られている。3 次元全波数値シジェクトでは、GPU を使用して地震波の伝播現象
ミュレーションを使用すると、推測した位置にあるをシミュレーションする高性能コード
不凍土層を含む地震層モデルから理論的な地震波がDiamondSeism を many-GPU の 環 境 で あ る得られる。その記録を解析することにより不凍土層
TSUBAME3.0 に移植し不凍土層を含む地震層モデに起因した干渉の検出が可能になり地震波トモグラ
ル計算を実施した[1]。
フィーの解析について補正を行い、地震波を正確にとらえることが可能である。
計算コストの観点から、不凍土
Layer
0.0
Talik
1
層は低速度層であるので、解析の2-1.0
解像度は空間ステップによって決3
4-2.0
まり、それがモデルの全計算量を5決める。4 次近似の数値スキームを-3.0
6
使用すれば、空間ステップは一番-4.0
短い波長の 8 分の 1 程度で、十分で-5.0あり必要な精度が得られるモデル
0
20
40
60
80
100
120
140
160
180 km
リングが可能である。不凍土層の P
図 1．地震層モデル。 Layer1 の 141200m-144925m が Talik 層で波の伝播速度は𝑉𝑝 ~2400 m/s, S 波
ある。地震源は 134925m から 151200m の空間にあるとした。
の伝播速度はVs ~1550 m/sであるので、長さが~10 km程度のシミュレ

57

（様式 20）成果報告書

向かって主要な構造が 6 層ある．これらの層を用い
図 2 に示す層のパラメータ依存性を考慮しシミュレーションを行った。図 2 に密度の空間依存性、P 波
および S 波の伝播速度との空間依存性を、それぞれ
図 3 および図 4 に示す。本プロジェクトで用いたモデルは 3 次元データを用いた 3 次元解析であるが、1 断面をとり 2 次元の表示としている。伝播速度が低い Talik 層は Layer1 の中の 141200m-144925mに示してある。
本コードの特徴は、LRnLA アルゴリズムの使用していることである。この数値計算スキームでは局所依存性を考慮し、メモリバンド幅への負担をできるだけ最小化・緩和する。また LRnLA アルゴリズ/ m

概要
地震波の伝播の数値モデルはフックの法則とニュートン運動の法則からなる[2]。モデルは、応力テンソルと変位速度ベクトルの時間発展をあらわす。
使用されている Finite-Difference 数値スキームは空間で４次近似、時間で二次近似である[3]。境界条件として PML を使用し、地震波源のため TF/SF法を使用している。なお本モデルは以前、DTmaxwell コード[4]を基本に TSUBAME2.5 とTSUBAME3.0 上で開発してきた解析を実施してきた実績のあるものである。
図 1 に地震層モデルを示す。地表から地球内部に

2.6
2.4
2.2
2.0
1.8
1.6
1.4
1.2
1.0
0

20

40

60

80

100

120

140

160

180

km

図 2．密度の空間依存性

4.2
(a)

10 m/s

3.8

3.4
3.0

𝑉𝑝

2.6
2.2

0

20

40

60

80

100

120

140

160

180

(b)

10 m/s

2.4

𝑉

km

2.2
2.0
1.8
1.6
1.4
0

20

40

60

80

100

120

140

図 3．P 波(a)および S 波(b)の伝播速度の空間依存性

58

160

180

km

（様式 20）成果報告書

ムは、全メモリ階層と全並列法を考慮し temporal
blocking[5] の 考 え 方 を 更 に 進 め た 形 に な っ て いる。GPU の場合、計算のデータを比較的に大きい
レジスタファイル内に閉込め CUDA-スレッドの並列性を使う[4]。このため Many-GPU とプロセス並
列性も併用することができるため、並列スケーラビ
リティは必然的に良くなる。これらの結果は 2018年迄の我々の成果報告で既に示した通りである。

計算データは13 GBとなるので、ノード内で 4 つの独立なシミュレーションを実施することが可能である。時間ステップは~0.667 秒であるため、5 秒の伝播を図るためには 15000 ステップ必要である。現在の パ フ ォ ー マ ン ス は 3.1 109 cell update persecond であり一つの計算は 12 分程度で済む（図 3.
参照）。
計算結果の例として、図 4 では理論的に求めた地震計の記録が表している。これは、𝑡 − のグラフ
で 変位の 速度の 𝑉 で あ る。 z- 軸は 下に 向いて いる。不凍土層による反射が良く見える。

結果および考察TSUBAME3.0 の ノ ー ド 内 の 4 つ の NVIDIA
Tesla P100 を用い計算を行った。
震源の振動数は30 Gzである。モデルの134925 m
から151200 mまでの空間内で50 mごとに325個の地震波源がある。地震波センサーは地表に25 m毎に650個設置した。シミュレーション領域は地震計を設置した線に沿って長さ10 kmである。深さは5 kmである。空間のメッシュ数は1500 600 256個である。地震計の線の垂線の方向で 128 メッシュ
内には PML 層も含んでいるが、球形の波面を持つ
地震波の伝播距離にからすると減衰は十分である。

まとめ、今後の課題
これまでに開発した LRnLA アルゴリズムを使ったコードを地震波の伝播計算に応用した。
TSUBAME3.0 でバッチ計算を実施した。低速度層
によって空間ステップ、及びクーラント条件で決める時間ステップの制限が厳密であるが、短時間で600 位上の理論的な地震波解析が可能となった。

km

図 3．計算処理のパフォーマンス

𝑡 s

図 4．理論的に求めた地震波。震源付近での変位の速度の大きさを表している。

59

（様式 20）成果報告書

参考文献[1] T. Levchenko, V. Rok, V. Levchenko, A.
Perepelkina,
Y.
Zempo,“Computermodelling specifics of the geologicalstructure with contrasting inhomogeneities
under
the
permafrost
conditions”
GEOEurasia-2019, Materials of theInternational geologic and geophysics
conference and exhibition (Feb. 4-7, 2019,
Moscow), pp. 814-817
https://www.gece.moscow/https://drive.google.com/file/d/1Z7o5H8ZQ6
EYqgpatcbBEGlaKiEMFiarh/view?usp=sh
aring[2] Aki, Keiiti, and Paul G. Richards,“Quantitative seismology”, 2002.
[3] Levander Alan R. Fourth-order finitedifference P-W seismograms // Geophysics.
53(11), p1425-1436., 1988
[4] A. Zakirov, V. Levchenko, A. Perepelkina, Y.
Zempo, “High performance FDTD algorithm for
GPGPU supercomputers”, J. Phys.: Conf. Ser.
759 012100, 2016[5] Endo, Toshio. "Applying Recursive Temporal
Blocking for Stencil Computations to Deeper
Memory Hierarchy." 2018 IEEE 7th NonVolatile Memory Systems and Applications
Symposium (NVMSA). IEEE, 2018.

60

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名 HPC を利用した自然言語処理技術の研究
英文：High Performance Computing for Natural Language Processing Technology Research
利用課題責任者
鳥澤 健太郎
所属
国立研究開発法人情報通信研究機構 ユニバーサルコミュニケーション研究所
データ駆動知能システム研究センター
http://www2.nict.go.jp/direct/
邦文抄録（300 字程度）
情報通信研究機構では、対話システム WEKDA を初めとする複数の自然言語処理アプリケーションで、深層学習による様々な分析を行っている。深層学習の高速化には GPGPU を用いることが一般的であるが、近年発表されている大規模なニューラルネットワークは、一枚の GPGPU に学習パラメータを収容することが困難である。そのため本研究では、ニューラルネットワークを分割し複数の GPGPU に格納して分散計算を行う、モデルパラレルと呼ばれる手法によって大規模ニューラルネットワークの学習を試みる。PyTorch など
既存の深層学習フレームワークが出力する、ニューラルネットワークの中間表現に基づいてグラフ分割を行
い、サブグラフを複数の計算機に転送して学習を行うことに成功した。
英文抄録（100 words 程度）
NICT has been developing language processing applications including WEKDA, where deeplearning is intensively used to analyze a large-scale Web archive. Although it is common to use
GPGPUs to speed up deep learning, extremely huge modern neural networks contain billions ofparameters to learn and single GPGPU cannot store them in its memory. Our approach to learnsuch huge neural networks is model parallelism, which divides a neural network into smaller partsand distributes them onto multiple compute nodes. In this work, we analyzed an intermediate
representation of a neural network that an existing framework outputs and successfully learned
the network in a distributed manner.

Keywords: 自然言語処理, 大規模情報分析, テキスト分析, モデルパラレル

背景と目的るのに適する一方で、ニューラルネットワークのパラメ

深層学習において扱われるニューラルネットワーク

ータが各 GPGPU に複製されるため、超巨大なニューは、年々大規模化が進んでいる。例えば、昨年 Google

ラルネットワークでは GPGPU メモリが不足したり、複から発表され、言語処理分野において注目を集めるネ

数 GPGPU 間でのパラメータの同期のコストが大きくな

ットワーク BERT（参考文献[1]）では、学習におけるミるという問題がある。

ニバッチのサイズを可能な限り小さくしても、一般に入そこで利用者らは、モデルパラレルと呼ばれる並列

手しやすい GPGPU の 16GB 程度のメモリには学習パ処理方式によって、超巨大ネットワークを用いた深層学

ラメータを格納できない。巨大なニューラルネットワーク

習を行うためのフレームワークを開発してきた。モデル

を高速に学習するため、これまでに、既存の多くの深層パラレルは、ニ ューラルネットワークを分割し、複数学習フレームワークがデータパラレルと呼ばれる分散

GPGPU に配置するため、巨大ニューラルネットワーク

処理方式をサポートしてきた。データパラレルでは、入を処理するのに適している。本研究は、開発したモデル

力のミニバッチを分割し、複数の GPGPU で分散してパラレル深層学習フレームワークを、実際に GPGPU

学習を行うことで、高速化と共に、各 GPGPU で計算結を多数搭載した計算機環境で使用し、その機能や速度果の保持に必要なメモリ量を減少させることができる。

を改善することを目的とするものである。

しかしこの方式は、巨大な学習データを並列に処理す61

（様式 20）成果報告書

図 1 モデルパラレル用深層学習フレームワークの構成
利用者らのフレームワークでは、この IR で記述され

概要
利用者らは従来からモデルパラレルのための深層たニューラルネットワークのグラフ構造を分割し、複数学習フレームワークの研究を進めてきたが、利用できの GPGPU 計算機に転送する。各 GPGPU 計算機でる GPU が同一サーバ上のものに限られるなどの制限

は、使用した IR を受理可能な深層学習フレームワークがあった。本研究では、スケーラビリティを向上させるを用いて学習を行う。順伝播・逆伝播の計算時には、グため、複数の GPGPU サーバを利用可能とするよう拡

ラフの cut となった部分について MPI でのデータ転送張を行った。

を行う。

利用者らが開発した、モデルパラレルのための深層学習フレームワークの概要を図 1 に示す。始めに、既結果および考察

存の深層学習フレームワークを用いて実装されたプロ

PyTorch を用いた深層学習プログラムを対象に、開グラムから、学習対象となるニューラルネットワークの発したフレームワークを用いてモデルパラレルでの学

中間表現（IR）を出力させる。ニューラルネットワークの習を行った。PyTorch が出力した IR を解析し、およそIR として、ONNX1がよく知られており、多くのフレーム

GPGPU の消費メモリが均等になるようにニューラルネ

ワークから出力可能である。例として、2 つのテンソルをットワークの分割を行い、複数の GPGPU サーバで分引数に取り、それらを加算した結果を返す単純な関数

散して学習することに成功した。

について、PyTorch2が生成する IR を図 2 に示す。こうした IR を出力する機能を備えたフレームワークでは、

まとめ、今後の課題

深層学習プログラムのソースコードの解析や、実行のト

本研究で試作したモデルパラレルのためのニューラ

レースによって、こうした IR を自動的に出力できる。

ルネットワーク分割は、ごく試験的なものに止まる。今後、BERT 等の巨大ニューラルネットワークに対して適graph(%a : Tensor

用すると共に、ニューラルネットワークの分割アルゴリ%b : Tensor) {ズムを改善し、大規模化と共に速度向上を図る。

%2 : int = prim::Constant[value=1]()%3 : Tensor = aten::add(%a, %b, %2)

参考文献

return (%3);[1] Devlin, Jacob and Chang, Ming-Wei and Lee, Kenton}

and Toutanova, Kristina. BERT: Pre-training of Deep

図２ 中間表現 (IR) の例

Bidirectional

Transformers

forUnderstanding. arXiv:1810.04805, 2018.

1https://onnx.ai/

262

https://pytorch.org/

Language（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

GPU 加速化フラグメント分子軌道法プログラムの開発と応用
Development and Application of GPU-Accelerated Fragment Molecular Orbital Program
鬼頭 宏任
Hirotaka Kitoh-Nishioka
JST さきがけ、筑波大学 計算科学研究センター
JST-PRESTO and Center for Computational Sciences, University of Tsukuba
https://www.ccs.tsukuba.ac.jp
邦文抄録
GPU 加速化したフラグメント分子軌道(FMO)法プログラム”OpenFMO”の生体系への応用を目指し、DNA
光回復酵素の電子移動反応研究を行なった。 DNA 光回復酵素の補欠分子フラビン補因子 FAD が光還元される際、遺伝的に高く保存された三つ組トリプトファン(TRP-triad)を通って高効率で高速(数百ピコ秒)な電子移動反応が起こる。この研究で我々は、GPU 加速化された分子動力学(MD)シミュレーションと FMO 計算を組み合わせた手法を用いて、Class II/III DNA 光回復酵素で新規に見つかった TRP-triad で、効率的な電荷移動が起こることを理論的に明らかにした。
英文抄録
We have developed a GPU-accelerated FMO (fragment molecular orbital) method program called
OpenFMO. In this project, toward the efficient application of the OpenFMO program to biologicalelectron-transfer (ET) reactions, we have studied the photoactivation process in class II and III DNA
photolyases by using the combined method of GPU-accelerated molecular dynamics (MD) simulations
and FMO calculations. Our simulations confirmed that an efficient ET reaction can occur through a
triad of tryptophan (TRP) residues which were newly found by recent X-ray crystal structurestudies.
Keywords: フラグメント分子軌道法、電子移動、DNA 光回復酵素、GPU 加速化 MD シミュレーション行った。その結果、Class II/III DNA 光回復酵素で新背景と目的量子効果が顕著に関与する生体機能の微視的メカ

規に見つかった三つ組トリプトファン(TRP-triad)を介しニズムを第一原理的に明らかにするためには、巨大分て効率的な電荷移動が起こることを初めて理論的に明子である蛋白質の電子状態を解く必要がある。フラグメ

らかにした。

ント分子軌道(FMO)法は、巨大分子を小さなフラグメン
トに分割し、その電子状態から分子全体の電子状態を概要近似するオーダーN 第一原理電子状態計算手法であDNA 光回復酵素では、遺伝的に高く保存された三る 。 我 々 は 、 GPU 化 さ れ た FMO 法 プ ロ グ ラ

つ組トリプトファン(Trp-triad)を使った高速(数百ピコム”OpenFMO”の開発を行っている。

秒)で効率な ET 反応により、フラビン補欠分子 FAD が

これまで、リゾチウム蛋白質(1,961 原子)やインフル

光還元される。最近の X 線結晶構造解析から、Class

エンザ HA3 蛋白質(23,460 原子)などの全エネルギー・

II/III の DNA 光回復酵素では、従来の Trp-triad とベンチマーク計算から、OpenFMO プログラムの GPUは異なる Trp-triad が存在することが分かり、その電子加速化性能評価を行ってきた。一方、生体機能への応移動経路としての役割が注目されている。(図 1)
そこでこれらの新規 Trp-triad 中の各 ET 反応を

用研究はまだ行われていない。

Marcus の速度式(1)を基に解析する。

そこで本プロジェクトでは、蛋白質中の生体電子移動(ET)反応に対して、GPU 加速化・分子動力学(MD)シミュレーションと FMO 計算を組み合わせた応用研究を63

（様式 20）成果報告書
ΔG は反応の自由エネルギー差、λは再配置エネル
ギー、Ti,j はサイト間(i,j)の電子移動積分で、反応速度はこの三つのパラメータによって決定される。ET による分極変化に対する線形応答を仮定すると、分子動力学(MD)シミュレーションと以下の式(2)(3)を使って、とを評価することができる。
図 2 (a) MD 積算時間に対する自由エネルギーギャッ
プ計算結果 (b) ET 反応のエネルギーダイアグラム
ここで<ΔE>x=<Ej-Ei>x で、< >x は電荷状態 x でのMD トラジェクトリー上アンサンブル平均を意味する。Eiは電荷状態 i での系のポテンシャルエネルギーである。
Class I/II/III の結晶構造を一辺 105Åの TIP3P
water cubic box に配置し、T=300K の NPT アンサン
ブルで、GPU 版 NAMD プログラムによる MD シミュ
レーションを実行した。
電子移動積分 Ti,j は、FMO-LC-BLYP/cc-pVDZ レ
ベルの計算を行なった。

CPDI の Trp-triad 経路で∆𝐺が常に負の値を持つ
ことから、FAD 光還元で生じた W382 上のホールが、
Trp-triad を使って一方向的に蛋白質表面へと移動する``熱力学的なダウンヒル勾配”が存在していることが分かる。一方、CPDII の新規 Trp-triad では、ET12 ス
テップはアップヒルであるが、ET23 で∆𝐺が大きな負の値を持つことからトータルとしてはダウンヒルになり、こちらも一方向的な電子移動がおこることが分かる。
式(1)に示すように、ET 反応速度は電子移動積分 Ti,jの二乗に比例する。そこで、MD スナップショットに対して、 FMO 法 から 計 算し た Ti,j の 結 果 を、 CPDI とCPDII で比較した。図３で示すように、CPDII の方が構造ゆらぎの影響が強く、大きな Ti,j 値を持つことが分

図１. (a) Class III と(b) Class I/II DNA 光回復酵素

かった。

の Trp-triad

結果および考察
ここでは図 1(b)に示した、大腸菌(Ec) Class I DNA
光回復酵素(CPDI)と、古細菌(Mm) ClassII DNA 光
回復酵素(CPDII)の結果を報告する。CPDI の通常
Trp-triad の W382-W359 間 ET を ET12、W359W306 間 ET を ET23 と呼ぶ。CPDII の新規 Trptriad の W381-W360 間 ET と W360-W388 間 ET もそれぞれ、ET12 と ET23 と呼び、それらの ET パラメ

図 3. FMO 法を用いた電子移動積分の計算結果

ーター計算結果を比較した。
図 2(a)には、MD シミュレーション・アンサンブルの積

まとめ

算時間に対して式(2)から計算した ET 反応のΔG の計

この研究から、MD シミュレーションと FMO 計算

算結果をプロットした。500ps で十分収束値に達していを組み合わせた手法を用いて、DNA 光回復酵素のるとみなし、その結果を用いて、図 2(b)には ET 反応の

新規 Trp-triad を介する ET 反応の実態を、初めてエネルギーダイアグラムを書いた。

理論的に解析することに成功した。

64

（様式 20）成果報告書

TSUBAME 共同利用 平成３０年度 学術利用 成果報告書

利用課題名 スパコンのメモリ階層を活用したスケーラブル・大規模計算
英文：Scalable and Large Scale Computation Harnessing Memory Hierarchy on Supercomputers
遠藤敏夫
Toshio Endo
産業技術総合研究所 RWBC-OIL／東京工業大学学術国際情報センター
RWBC-OIL, AIST / GSIC, Tokyo Institute of Technology
https://unit.aist.go.jp/rwbc-oil/
邦文抄録
本課題ではスパコンのメモリ容量の限界を超えるような超大規模演算の実現を目的とし、ソフトウェアの研究開発を行った。この目的のために、TSUBAME3.0 が備える高速 NVMe SSD を含めたメモリ階層を用いた。このメモリ階層の活用をアプリケーション開発者から容易に行えることを目的として、Partitioned global address space(PGAS)
モデルに基づきつつ、SSD の大容量を利用可能なミドルウェア vGASNet の実装改良・大規模評価を行った。
TSUBAME3.0 の 32 台の計算ノードを利用した実験を、マイクロベンチマーク・ステンシル計算を対象に行った。それにより、SSD アクセスのオーバヘッドの抑制および、ノード数が多い場合に提案する協調キャッシュ方式がスケー
ラビリティを大きく改善することを実証した。
英文抄録
We have promoted software research and development, whose objective is to realize extreme big data
computation that exceeds memory capacity of supercomputers. For this purpose, we used memory
hierarchy including high-performance NVMe SSDs. Towards easier use of the hierarchy, we have
implemented and evaluated vGASNet, which is a middleware to support usage of large capacity of
SSDs. The evaluation has been done with 32nodes of TSUBAME3.0, using microbenchmarks, matrix
computation and stencil computation. The evaluation has shown that vGASNet reduces overhead for
SSD accesses, and our cooperative caching method improves scalability largely.

Keywords: SSD, Memory hierarchy, PGAS, Caching algorithm

背景と目的

リティを大きく改善することを実証した。

スパコンにおける超高速・超大規模な演算の実現は、
特にビッグデータ時代・人工知能時代と呼ばれる近年

vGASNet の概要

特に重要であり。学術的にも重要な目的とされている。

vGASNet の設計は、代表的な PGAS 実装である

本課題では、スパコンのメモリ(DRAM)容量を超えるよ

GASNet をベースに行われた。GASNet では、アプリ

うな並列計算をアプリケーション開発者が容易に記述

ケーションは複数の計算ノードに分散したプロセス群かできるようなミドルウェアの実現を目的とする。具体的らなる。GASNet 上では、2 つのメモリ領域であるグロには Partitioned global address space(PGAS)モデ

ーバル領域とローカル領域が提供される。グローバルルに基づきつつ、SSD の大容量を利用可能なミドルウ

領域は概念的にプロセスたちにまたがった単一のもの

ェア vGASNet の研究開発を行ってきた[1,2]。

であるが、プロセスは直接計算のためにアクセスはでTSUBAME3.0 の 32 台の計算ノードを利用した実験

きない。各プロセスは、get または put オペレーションにを、vGASNet 上で記述されたマイクロベンチマーク・行

より、グローバル領域と、自プロセスのローカル領域に

列演算・ステンシル計算を対象に行った。それにより、

データコピーを行うことができ、ローカル領域を直接のSSD アクセスのオーバヘッドの抑制および、ノード数が計算対象とする。

多い場合に提案する協調キャッシュ方式がスケーラビ

GASNet および PGAS モデルは、MPI 等よりも分散

65

（様式 20）成果報告書
並列プログラミングが容易なツールとして期待されている一方、計算ノード数が増えた際のスケーラビリティが(特に専用の集団通信処理を使わない場合に)低い傾
向にあるという課題が指摘されている。また、MPI と同様に、各計算ノードの DRAM の合計容量を超える計算に、それ自身が対応するものではない。
それに対して vGASNet では、DRAM 合計容量を超えるグローバル領域を、計算ノードの SSD を用いて実現することが主眼である。TSUBAME3.0 では各ノードに 2TB (DRAM の 8 倍)、2GB/s 程度の高速 NVMe
SSD が搭載されており、これを活用する。
技術的な課題は以下の通りである。
⚫

高速 SSD と言っても、DRAM (TSUBAME3.0 ではノードあたり 150GB/s)に比べればアクセスバン
ド幅は 2 桁近く悪い。そのアクセスオーバヘッドを抑制する必要がある。

⚫

計算に参加するノード数が増えた際に、たとえば単一のグローバルアドレスに多数ノードからのア

上図は、1～32 ノード上において、各プロセスがグロクセス(put/get)が集中した場合に 1 ノードの SSD

ーバル領域上の単一配列を逐次にスキャンするという、

帯幅・ネットワーク帯幅がボトルネックとなりうる。

マイクロベンチマークの性能を表す。上のグラフは協調

そこで vGASNet は以下のような方策をとる。
⚫

⚫

キャッシングを使わない場合、下のグラフは使う場合でDRAM 容量の一部を、SSD のキャッシュとして確ある。後者では明らかにアクセススループットが良く、特保し、(アプリケーションの局所性が良好な場合に 32 ノードの場合は 3 倍以上高速となっている。このに)SSD のアクセス頻度を削減する。

結果は協調キャッシング手法の効果を示している。

グローバル領域の、あるアドレスのデータは、複数ノードの DRAM キャッシュ上に複製が存在しうるとする。新たなノードが同じアドレスをアクセスしようとするとき、キャッシュを持つ別ノードがデータ転送の役割を担うことができる。これを「協調キャッシング方式」と呼ぶ。

⚫

上記の場合、複数キャッシュ間で一貫性を保つ必要があり、新しい一貫性プロトコルである
MOESI-F を用いる。

次に、アプリケーションにより近い例として、並列ステ
ンシル計算の性能(それぞれ weak scale)を示す。横軸

結果および考察はノード数で ある 。青 のラ インは、 計算 対象配 列がTSUBAME3.0 の 32 台の計算ノードを利用した実験

DRAM 合計容量を超える場合の vGASNet 上の性能を、vGASNet 上で記述されたマイクロベンチマーク・スを示す。赤のラインは、協調キャッシングを使わない場

テンシル計算を対象に行った。

合である。これらの比較から、このケースについては、
協調キャッシングが速度性能に 10 倍以上の影響を持つ。なお、緑のラインは計算対象が DRAM におさまる、66

（様式 20）成果報告書
小規模(そのため高速に計算できる)の場合をオリジナ
ル GASNet 上で実行した場合である。理想的には大規模計算が、小規模計算に近い速度で可能であると望ましいが、まだ 20 倍ほどの差があることが分かる。しかしその差はハードウェアの性能差(100 倍弱)より抑制されており、キャッシュの効果が表れているといえる。

まとめ、今後の課題
DRAM メモリ容量を超える大規模データ計算を容易に 可 能 と す る vGASNet に つ い て 述 べ 、 そ の
TSUBAME3.0 上の性能について報告した。NVMe
SSD の大容量を活用しつつ、アクセスオーバヘッド等を大幅に抑制するキャッシング機構を中心に評価した。
将来に向けて、インメモリ(DRAM 内)の場合に近い
アプリケーション速度性能を、大規模計算においても実現する課題があげられる。そのために、我々が研究してきた局所性向上アルゴリズム(ステンシル計算の場合
は再帰的時間ブロッキング[3]など)との統合などを計画
している。

文献

[1] Ryo Matsumiya, Toshio Endo. Scalable
RMA-based Communication Library FeaturingNode-local NVMs. In proceedings of 2018 IEEE
High

Performance

ExtremeComputingConference (HPEC '18). Sep 2018.
[2] Ryo Matsumiya. Integration of Non-volatile
Memory into One-sided Communication for
Extreme Big Data Applications, PhD Thesis,
Tokyo Institute of Technology, Jan 2019.
[3] Toshio Endo. Applying Recursive Temporal
Blocking for Stencil Computations to Deeper
Memory Hierarchy. In proceedings of the 7thIEEE

Non-Volatile

MemorySystems

andApplications Symposium (NVMSA 2018). Aug
2018.

67

68

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名 ラージ・エディ・シミュレーションとドップラー・ライダーを組み合わせた都市
域の大気境界層 3 次元構造の解明
英文： Elucidation of the atmospheric boundary layer structure in the urban area by combining the large
eddy simulation and the Doppler lidar
岩本 尚大 東 邦昭 古本 淳一
Naohiro Iwamoto, Kuniaki Higashi, Jun-ichi Furumoto
所属 京都大学 生存圏研究所
Research Institute for Sustainable Humanosphere, Kyoto University
http://www.rish.kyoto-u.ac.jp
邦文抄録（300 字程度）
大気境界層の影響を受けて発生する自由大気中の気象現象の発生メカニズムを理解する上で、大気境界層に発生する微細構造を理解することは重要である。都市域は複雑な地表面状態を持ち、大気境界層の構造に影響を与えていると考えられている。
本課題では、都市の大気境界層における風の流れを詳細に表現できる LES (Large Eddy Simulation) を用いて、8km 四方の計算領域内で東京駅周辺の高層ビル密集域を再現するとともに、都心部の大気境界層における大気構造を再現し、CDL （Coherent Doppler Lidar）の観測結果との比較を行った。
英文抄録（100 words 程度）
It is important to understand the fine structure generated in the boundary layer in order tounderstand the mechanism of the meteorological phenomena influenced by the boundary layer. Urban
areas are considered to have complex surface conditions and affect the structure of the boundary layer.
In this project, we used the LES (Large Eddy Simulation) to express the flow of wind in the boundary
layer in the urban area in detail, and reproduce the high-rise building around Tokyo Station. The
atmospheric structure in the boundary layer was reproduced and compared with the observation
results of CDL (Coherent Doppler Lidar).

Keywords: ５つ程度

背景と目的

概要

本課題では大気境界層の 3 次元構造を定量的に理大気境界層の影響を受けて発生する自由大気中の解するため、気象予報モデルの空間分解能を 5m まで気象現象の発生メカニズムを理解する上で、大気境界向上させ、東京都市域の地面状態を再現させた LES層に発生する微細構造を理解することは重要である。

モデルを用いて解析を行う。実気象のシミュレーション

都市域は複雑な地表面状態を持ち、大気境界層の構を行うため、メソ気象モデルとして実用されている WRF

造に影響を与えていると考えられている。

(Weather Research and Forecasting)の計算結果をそこで都市の街区レベルの地面状態や熱を考慮でき、

独・ ハノヴァー大学が開発し た LES モ デルである

大 気 境 界 層 全 体 の 構 造 を 計 算 で き る LES(Large

PALM に組み入れる。

Eddy Simulation)を用いて東京都市域の実気象シミ

本課 題 によ り 、 コヒ ー レン ト ・ ドッ プ ラ ー ・ ラ イダ ーュレーションを行う。CDL(Coherent Doppler Lidar)（CDL）が観測した大気境界層における乱流構造を都

観測結果の水平風解析も行うことで、LES と CDL を組

市 LES モデルによるシミュレーションで 3 次元的に解析み合わせて大気境界層の 3 次元構造を明らかにする。

し、乱流による輸送過程を検討する。
結果および考察
都市域における大気境界層内の風の流れについて69

（様式 20）成果報告書
地表面の影響を考慮した詳細に表現するため、渦を陽に表現できる LES モデルである PALM Ver.4.0 [1]を使用し、東京都環境科学研究所の地表面データを用いて図 1 に示す水平分解能 5m の高解像度都市モデルを作成した。計算領域は 8 km x 8 km x 1km (格子数： 1,600 x 1,600 x 200) で CDL が設置されていた
東京都中央区日本橋を含む東京駅周辺の高層ビル密集域が含まれるように設定した。

図 2 2015 年 8 月 10 日 0000UTC の地上天気図
2015 年 8 月 10 日の関東地方の状況について、WRFを用いた計算を行い、その計算結果を PALM に初期値として設定し、東京都心部の詳細な計算を行った。
図 3 は PALM で計算した領域における地上 150m の

図 1 東京駅周辺の街区データ

地上風分布である。主風向に沿って筋状に連なる主風
より風速が弱くなる弱風域がみられた。特に 200m 級

本実験では CDL で観測を行っていた 2015 年の夏季の高層ビルが林立する計算領域中央付近では建物のにおいて、関東地方周辺において南側からの暖湿流が後面で弱風域が顕著になった。また、この弱風域にお流入しやすい状況にある 2015 年 8 月 10 日の事例にいて上昇流が卓越していた。弱風域ならびに上昇流域

ついて解析を行った。この日は図 2 の天気図に示すとは地上 300m 付近までみられ、大気境界層下部においおり、総観規模の前線や低気圧はないが、関東の南海て街区によって水平方向で大きく風速が変わり、空気上に台風があった。

の上下運動も起こることが示唆された。

70

（様式 20）成果報告書
まとめ、今後の課題
本課題では、大気境界層の影響を受けて発生する
自由大気中の気象現象の発生メカニズムを理解する
上で、大気境界層に発生する微細構造を理解するため、都市向けの LES モデルを用いて大規模計算を行うこと
で、都市部の詳細な風の流れを表現できるようになった。今後は、PALM Ver 6.0 を TAUBAME に導入することで雲物理スキームや放射モデルを導入でき、雲の発達過程や都市の放射を考慮したシミュレーションができるようになると考えられる。

図 3 2015 年 8 月 10 日 0300UTC における東京都
心部の地上 150m における地上風分布
水平風速の変動は計算領域中央にある高さ 200m の高層ビル屋上に設置された CDL による観測でもみられた。図 4 に 2015 年 8 月 10 日における CDL 視線風
速の結果を示す。赤色が中心に向かう風の成分の強さ、青色が中心から遠ざかる風の成分の強さを示す。これは PALM を用いたシミュレーションにより得られた水平
風速の変動が実際の観測でもみられることを示唆する。

図 4 2015 年 8 月 10 日 0251UTC における CDL
観測結果

71

72

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名 MEMS 構造の光学応答解析
英文：Analysis on Optical Responses of MEMS Structures
菅 哲朗
Tetsuo Kan
電気通信大学
The University of Electro-Communications
http://www.uec.ac.jp
本研究課題は、通常はシリコン単体では検出できない赤外光を、ナノピラー構造による光の高効率な吸収と、金属・シリコン界面に形成されるショットキー障壁を用いることで、電気的に検出可能とする赤外検出デバイスの光学応答解析を目的としている。受光素子の性能向上には計算による構造探索が必要である。しかし、通常のワークステーションでは計算速度に限界があり、有効な探索が難しかった。そこで、有限要素アプリケーション
を高速な計算機上で用いることで、本課題の本格的な展開に取り組むために、TSUBAME での計算の方法の検討を進めた。
In this research, numerical analysis of optical responses of Si nano-pillar structures coated by Au
thin film was performed. Our research group is investigating on a Si based infrared photodetector
based on the nano-pillar structure, and finite element method calculation is used to analyze its
photo response. This year, we mainly focused on an investigating regarding how to construct a
calculation environment using TSUBAME.

Keywords: Si infrared photodetector, surface plasmon resonance, FEM, nano-pilllar, MEMSTSUBAME での計算の方法の検討を進めた。利用者

背景と目的
本研究課題は、通常はシリコン単体では検出できなは、光学的応答解析のソフトウェアとして、商用のアプい赤外光を、ナノピラー構造による光の高効率な吸収リケーションソフトである COMSOL Multiphysics を利と、金属・シリコン界面に形成されるショットキー障壁を用しており、COMSOL の TSUBAME 上での実行可

用いることで、電気的に検出可能とする赤外検出デバ

能性についての調査を進めた。

イスの光学応答解析を目的としている。学術的には、シ結果および考察リコンデバイスを利用した、新たな光センシング方法の昨年度のまでの調査で、ライセンスサーバの設置方法

確立と位置付けることができる。具体的構造としては、が必要と判明したので、KESCO 社の協力を仰ぎ、ライ

赤外光を波長選択的に吸収する金属ナノピラーを用い

センスサーバの TSUBAME 内のインストールを完了した、シリコン製の MEMS 構造である。入射した赤外光た。これにより、TSUBAME 上での COMSOL 計算はが金属表面の自由電子を励振することで表面プラズモ可能となった。ただし、RF モジュールを用いたサンプル

ン共鳴（SPR）が発生することで、光が吸収される。ナノ

ファイルの計算で速度を比較したが、研究室内部のワピラー構造の組成・形状により SPR が発生する波長やークステーションで 2300 秒程度かかった計算が、f ノー

偏光、および入射角度の条件が異なるため、受光素子

ド 28CPU で実行した場合 1240 秒であった。現時点での性能向上には計算による構造探索が必要である。しは飛躍的な高速化は測れておらず、最適な計算設定なかし、通常のワークステーションでは計算速度に限界

どを探索する必要がある。

があり、有効な探索が難しかった。

まとめ、今後の課題
本年度は、TSUBAME 上に COMSOL 用のライセ

概要
有限要素アプリケーションを高速な計算機上で用いる

ンスサーバを設置し、計算の実施まで至った。来年度ことで、本課題の本格的な展開に取り組むために、以降、システムに適した計算最適化をはかる。

73

74

（様式 20）成果報告書

TSUBAME 共同利用 平成３０年度 学術利用 成果報告書

利用課題名 近似ベイズ推定を用いた分散並列深層学習
英文：Parallel Distributed Deep Learning Using Approximate Bayesian Inference
利用課題責任者
Mohammad Emtiyaz Khan
所属
理化学研究所 革新知能統合研究センター
URL
http://www.riken.jp/en/research/labs/aip/generic_tech/approx_bayes_infer/
邦文抄録（300 字程度）
深層学習では、ノイズが多く不完全で欠損のあるデータを用いて汎化性能の高いモデルを学習することが最大の課題である。近似ベイズ推定は従来の点推定による深層学習とは異なり、不確かさを含めて学習することでデータが少なかったり、ノイズが多かったり、欠損があったりする場合にも高い汎化性能を保ちつつ正しく学習することができる。
ただし、近似ベイズ推定による深層学習は計算コストが高く、膨大な計算資源を要する。そこで、本研究ではTSUBAME3.0 を用いることで、従来では不可能であった実用規模での近似ベイズ推定による学習を行うことを目的とする。
英文抄録（100 words 程度）
One of the main challenges in deep learning is to improve the generalization capability of models
when trained on noisy and incomplete training data. Bayesian inference can learn the uncertainty inthe data and has good generalizability even for noisy and incomplete data. However, Bayesianinference is computationally expensive and a fast approximation method is needed to train in arealistic timeframe. Using TSUBAME3.0 we aim to train on real-world datasets using approximate
Bayesian inference.

Keywords: Deep learning, Bayesian inference, Data-parallel, Sample-parallel

背景と目的習できるようにする手法がある．従来の学習ではニュー

近年の深層学習手法と計算機技術の発展により画像

ラルネットの重みを点推定する手法が用いられてきたが，認識，音声認識，自然言語処理の分野で人間の能力をベイズ推定では重みの期待値と分散の両方を学習する

超える性能を発揮できるようになってきている．画像認ことで不確かさも含めて学習することができる．これによ

識技術は監視カメラ，顔認証，自動運転の分野で応用

り，データが少ないときは間違った答えを出すのではな

され，音声認識は音声入力，自然言語処理は自動翻訳

く，予想に自信がないということを明示的に示すことがでや自動文章生成などで応用されており，いずれも，今後きるようになる．ただし，ベイズ推定は点推定に比べての AI 社会の基盤となる技術である．

膨大な計算時間を要するため，非常に小さなデータと深層学習の問題点は膨大なデータを必要とすることでモデルに対してしか用いられてこなかった．

ある．単にデータを集めただけでは学習に使えず，それ

本プロジェクトでは，ベイズ推定の新たな近似解法をに正解のラベルを人間が付与する必要があるため，学

提案し，その分散メモリ並列化を行うことで習用のデータを大量に揃えることは容易ではない．そのTSUBAME3.0 の計算性能を活かし，既存研究では不ため，深層学習分野ではラベルのないデータから特徴可能であった，実用レベルのデータセットとモデルでベ量を抽出する教師なし学習や，少ないラベル付きのデイズ推定を行うことができた．

ータと大量のラベルなしデータから学習する半教師あり学習などが盛んに研究されている．また，これとは異な概要るアプローチでベイズの定理にもとづく不確かさを含め

本プロジェクトでは，ベイズ推定で必要になるモンテカ

た学習を行う事でノイズの多い不完全なデータからも学

ルロサンプルとミニバッチ勾配降下法で必要になるデー

75

（様式 20）成果報告書

図１ データ並列とサンプル並列の組み合わせによるベイズ推定の分散並列化の様子

タサンプルの両方を同時に分散並列化の枠組みに組み込む新たな手法を提案した．図１の左側にデータ並
列のみの場合，中央に MC サンプル並列のみの場合，右側にデータ・MC サンプル同時並列の場合のデータ
フローの様子を示す．左側のデータ並列のみの場合は
重み W は全プロセスで共通しており，各プロセスに分散されたローカルミニバッチのデータが異なる．一方，中央の MC サンプル並列のみの場合は，ミニバッチのデータは全プロセスで共通しており，MC サンプルした重み W が少しずつ異なる．右側の図ではこの 2 つの並列

図２ 本手法(VOGN)と従来法(Adam)と普通のモンテカ化を組み合わせた状態になっている．

ルロ法(MC)の陽性と偽陽性の指数
まとめ、今後の課題

結果および考察

図２の実験で用いたデータセット CIFAR10 とモデル

図２に本手法(VOGN)と従来法(Adam)と普通のモンテ

LeNet5 はまだまだ小さいため，TSUBAME3.0 の計算能カルロ法(MC)の陽性と偽陽性の指数を示す．この曲線力が十分に発揮できている結果とは言えない．ただし，が左上の隅に寄っているほど精度が高い．従来法は普手法の有効性は確かめられたため今後はより大規模な通のモンテカルロ法より精度が高く，提案手法はそれら

データセットとモデルを用いて学習を行っていく予定でよりはるかに高い精度が得られていることが分かる．

ある．

76

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名： ニューラルネットワークに基づく音声合成
英文： Neural network-based speech synthesis
利用課題責任者： 山岸 順一
First name Surname: Junichi Yamagishi
所属： 国立情報学研究所
Affiliation: National Institute of Informatics
URL: https://www.nii.ac.jp/
邦文抄録 高品質な音声を高速に合成する手法であるニューラル・ソースフィルター・モデルを開発しました。
ニューラルネットワークの機械学習も容易に安定して行える新手法となります。この新たな方式は、単純な構造によるニューラルネットワークを利用しているのが特徴です。単純構造でありながら、現在主流になりつつある
複雑なニューラルネットワーク構造の「Wavenet 法」と同等の、非常に肉声感の高い音声波形を生成できることを確認しました。
英文抄録 We have developed the method of neural source-filter (NSF) models for high-speed,
high-quality speech synthesis. This new technique, which combines the recent deep-learningalgorithms and a classical speech production model dated back to the 1960s, is capable not only ofgenerating high-quality voice waveforms--closely resembling the human voice--but also of
conducting stable learning via neural networks.

Keywords: speech information processing, speech synthesis, deep learning, Wavenet, source filter

で実現しており、古典的なソースフィルター・ボコーダー

背景と目的
現在の音声合成システムは、2017 年に海外の有力法にニューラルネットワークを導入した新手法となって

ITC 企業が発表した、人間の音声とほぼ区別がつかな

います。また、高速 Wavenet 法と同程度の音声品質でいほどの高音質な音声波形生成法が使用されつつあありながら、１秒間に 14 秒分の音声信号を合成できるります。「Wavenet」としても知られるこの手法は 2016

ほど高速に動作します。ニューラルネットワークの学習

年に発表された当初、数秒の音声の合成に GPU サーも容易に安定して行うことができます

バ上で数時間の計算が必要など、計算量・計算時間に概要関する大きな問題がありました。ところが、音質はほぼ

今回開発した NSF 法は、条件付けモジュール・音源

そのままに約 1,000 倍速く動作するように改良された方生成モジュール・ニューラルフィルターモジュールの 3 モ

法（以下高速 Wavenet 法）が 2017 年に発表され、現ジュールで構成されています（図 1）。音源生成モジュー

在急速に市販製品にも活用されるようになっています。

ルでは、声の高さに相当する基本周波数およびその調

しかし、高速 Wavenet 法は現在もっとも良い音が生波構造からなる音源信号が生成されます。それに続く成可能とされているものの、非常に複雑な構造によるニューラルフィルター・モジュールでは、音源モジュール

ニューラルネットワークを複数の基準により同時に学習で生成された音源信号を受け取り音声波形へと変換ささせるため、色々な試行錯誤や調整を何度も繰り返すれます。
この構造は、人間の発声構造を模している古典的なことが必要でした。
現在活用されつつある Wavenet 法と同等の品質に

ソースフィルター・ボコーダと同じ構成ですが、フィルタよる音声波形を短時間で生成可能なニューラルネット

ー・モジュールにニューラルネットワークを組み込んだワークを安定的に学習できる新手法の NSF 法を開発

新手法となっています。このニューラルネットワークのしました。これは高速 Wavenet 法とは全く異なる理論

機械学習では、時間軸に沿って予測した出力波形を音77

（様式 20）成果報告書
声の主要な特徴を示す周波数へ変換し、合成される音
声の周波数スペクトルと位相の誤差を学習の際に直接考慮させる処理となっています。
これに対して、高速 Wavenet 法は、教師ネットワークと生徒ネットワークによる複雑な再帰計算となっています（図 2）。そのため、今回開発した新手法の NFS 法はその学習を容易に行えます。
結果および考察
開発した新手法である NSF 法で合成した音声の品
質は、現在もっとも良い音を生成可能とされる
Wavenet 法と比べても全く遜色がない結果を示しました。今回の評価では、この NSF 法で実装したプログラ
ムを、女性が日本語で発話した 15 時間分の音声を使って機械学習させました。そして、学習後のプログラム

図 2 図 2: 複雑な構造ながら、高速で良い音が生成が合成した音声による 480 発話を実際に 245 人に聞い可能とされている「高速 Wavenet 法」てもらい、合成音声の品質を５段階の評点数値（５：とてまとめ、今後の課題
この NSF の開発のほか、日本語 end-to-end TTS

も良い～１：とても悪い）で示す「平均オピニオン評点（MOS）法」で評価しました。

システムを構築する作業等も行った。今後は、ニューラ
ルボコーダの改良のほか、バイリンガル音声合成等の「テキスト情報から予測された周波数等の特徴」を入力して合成した音声の評価は図 3 赤となり、「人間によ開発も行う予定である。

る実際の音声波形から直に抽出した周波数等の特徴」
を入力として合成した音声の評価は図 3 青となります。
この実験結果から、新開発の NSF 法で合成した音声の品質は入力の方法によらずに、現在もっとも音質が良 い と さ れ る オ リ ジ ナ ル Wavenet 法 お よ び 高 速
Wavenet 法での合成音質と比べても全く遜色がないことが示されました。

図 1 図 1:今回新開発した単純な構造の「ニューラル・ソースフィルター・モデル（NSF 法）」

78

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名 GPGPU による長周期地震動シミュレーション
英文：Long-period ground motion simulation using GPGPU藤原広行
Hiroyuki Fujiwara
国立研究開発法人 防災科学技術研究所
National Research Institute for Earth Science and Disaster Resilience
URL: http://www.bosai.go.jp
本課題では、南海トラフで発生する海溝型巨大地震を対象として、3 次元差分法を用いた大規模地震波伝播
シミュレーションにより長周期地震動の検討を行った。具体的には、震源パラメータの不確実性や破壊不均質性を考慮して 126 ケースの震源モデルを設定し、関東から九州までを計算対象領域とし、申請者らが TSUBAME のGPU 環境に対応させた地震動シミュレータ GMS による地震波伝播シミュレーションを実施し、それらの結果をもとに震源モデルの不確実性や不均質性を考慮した長周期地震動評価を行った。
We simulated long-period ground motion of Nankai-Trough megathrust earthquakes by the 3-D
FDM of the Ground Motion Simulator (GMS) adapted to GPU on TSUBAME. We used 126 cases ofseismic source model which have different source parameters such like hypocenter and asperity andsimulated long-period ground motion for vast area from Kanto to Kyushu. These simulation results
enable us to estimate long-period ground motions by considering uncertainties of source model onlong period ground motions.

Keywords: 長周期地震動、3 次元差分法、GMS、南海トラフ地震

背景と目的

模シミュレーションを多数行う必要がある。

大地震の際に超高層ビルや石油タンクなどの長大構

そこで、本課題では、TSUBAME の GPU 環境を利造物が長周期地震動による被害を受けることが知られ用することで多数回の大規模地震波伝播シミュレーショ

ている。２０１１年東北地方太平洋沖地震の際に、大阪ンを実施し、それにもとづいた長周期地震動のハザー

平野内の超高層ビルが長周期地震動による被害を受

ド評価を行った。

けた事例は、震源から遠く離れた平野や盆地においても、複雑な地下構造の影響によって増幅された長周期

概要

地震動が、構造物に被害を及ぼし得ることを示している。

南海トラフで発生する海溝型巨大地震を対象として、

３次元差分法などの数値シミュレーションにより複雑な

震源パラメータの不確実性や破壊不均質性を考慮して地下構造が長周期地震動に及ぼす影響を評価するこ126 ケースの震源モデルを設定し、関東から九州までとが可能だが、長周期地震動の予測のためには、地下を計算対象領域とし、3 次元差分法を用いた大規模地構造の情報に加え、震源からの地震波の励起特性（震震波伝播シミュレーションにより長周期地震動の検討を源モデル）に関する情報も必要となる。

行った。シミュレーションには申請者らが TSUBAMEの GPU 環境に対応させた地震動シミュレータ GMS を

巨大地震の震源モデルを事前に予測することが極めて困難なことは、2011 年東北地方太平洋沖地震や使用した。

2016 年熊本地震からも明らかであり、長周期地震動の本検討で対象とした震源モデルは、地震調査研究

予測では、不確実性を考慮して多数の震源モデルを設推定し、個々の震源モデルに対する予測に加え、予測結（ https://www.jishin.go.jp/main/chousa/kaikou_pdf

果がどの程度のばらつきを持つかを定量的に評価する/nankai_2.pdf）で例示された 15 の震源域のうち、マグことが重要となる。そのためには計算コストの高い大規

ニチュード８程度に相当する 6 つの震源域（図 1）に対
79

進

本

部

の

長

期

評

価

（様式 20）成果報告書
応するもので、それぞれ破壊開始点やアスペリティの（AO110、AF110、TO110）が地震動は大きいことがわ

配置を変えた計 126 モデルを設定した。

かる。さらに、図１左列に示した震源モデルに対する地

地下構造モデルは防災科学技術研究所で作成し震動分布（図１中列）においても、浅部を震源域に含むている全国の 3 次元地下構造モデルにプレート構造を場合の方が浅部を含まない場合に比べ東海から関東付与したものを用いた。南北 670km、東西 870km、深の地域にかけて地震動が大きいが、浅部の有無によるさ 100km までの領域を水平方向 105m、深さ方向

地震動の違いは、平均値の分布（図１右列）で見られる105m（深さ 8km 以深ではその 3 倍の大きさ）の格子でよりも顕著である。

モデル化した。格子数は約 61 億である。

本検討のような大規模シミュレーションを要する地震

地震波伝播シミュレーションでは、地下構造モデル

動評価では、計算機資源などに制約がある場合にはを水平方向に 8×6 に分割し、それぞれの部分領域に少数の限られた震源モデルのみを対象とせざるを得ず、１つの GPU を割り付けて計算処理を行った。計算結果

破壊開始点位置やアスペリティ配置等によって地震動

は、GMS の 1D Dump 機能を利用し、地動速度の 1

分布がどの程度のばらつきを持つのかを検討すること

成分を 1 ファイルとして東西、南北、上下の 3 成分につが困難である。

いて出力した。1 ファイルには、陸域に約 2km 間隔で設

また、平均値の分布がわかりやすいが、地震動が大定した約 5 万観測点の毎タイムステップ（全部で 49600

きい地域は限られており、大阪平野、濃尾平野、関東

ステップ= 310 秒）の地動速度値が記録されており、1

平野や日本海側の平野、盆地部に概ね限定されており、ファイルで約 40GB である。震源モデルの大きさにもよ

長周期地震動評価において地下構造の影響を適切にるが、TSUBAME3.0 の 48GPU（24 ノード）を使用した評価することの重要性を示している。

実行時間は平均 68 分であり、95％以上は 70 分以下であった。

まとめ、今後の課題
TSUBAME の GPU 環境を用いて、南海トラフの海
溝型巨大地震を対象とした 126 ケースの震源モデルに結果および考察
出力された 1D Dump ファイルに対して、フィルタ、ダ

対する長周期地震動シミュレーションを行い、震源モデ

ウンサンプリングのポスト処理を行い、各ケースについルの違いによるばらつきを含んだ長周期地震動評価をて速度応答スペクトルの空間分布を求め、さらに、結果行った。

を統計処理し、6 つの震源域それぞれに対する平均的

今後は、本研究で行った検討を南海トラフの地震のな速度応答スペクトル（周期 3 秒）の空間分布を求めた

みならず、他の地域で想定されている巨大地震に対し（図 1）。図 1 では、同図左列に示した震源モデルに対て適用していく必要がある。また、本課題で設定した多応する速度応答スペクトル分布と、同じ震源域を有する数の震源モデルが長周期地震動のばらつきを評価す

複数の震源モデルに対する速度応答スペクトルの平均

る上で十分な母集団となっているかについて検討する

値（震源域ごとに 6 モデルから 30 モデルの平均値）のことが重要な課題である。そのためにはさらに多くの震分布を示している。

源モデルに対するシミュレーションが必要になることか

震源域名の前半のアルファベット２文字は、震源域

ら、計算コードの高度化を図るなどし、計算の効率化をの東西方向の両端の地名を表しており、T は都井岬、高め必要もある。

A は足摺岬、O は御前崎、F は富士川に対応している。

また、シミュレーションによって得られる膨大な計算

後半の３桁の数字は深さ方向の広がりを示しており、結果から、防災、減災に有用な情報を抽出し、効果的

110 は浅部と中部、010 は中部のみを震源域とする震に可視化する手法を開発することも今後の重要な課題

源モデルに対応している。

である。

図１右列の平均値分布からは、東西方向の広がりが同じ場合には、浅部まで震源域が広がっている方

80

（様式 20）成果報告書

相対速度応答（cm/s）

破壊開始時間（s）

0

50

震源域

100

150

200

250

300

[sec]

震源モデル

周期 3 秒（個別）

周期 3 秒（平均）

AO010

AO110

AF010

AF110

TO010

TO110

図１ ６つの震源域の断層面（左列：星印は破壊開始点、矩形領域はアスペリティ、色は破壊開始時間）と、速度応答値（周期 3 秒、減衰 5％）の空間分布（中列：左列の震源モデルに対応するもの、右列：同じ震源域を有する震源モデルでの平均値）
。

81

82

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名 機械学習を用いた逆問題解析の研究
英文：Analysis of inverse problem by using machine learning
利用課題責任者: 水澤 悟
First Name Surname: Satoru Mizusawa
所属: 電気通信大学
Affiliation: The University of Electro-Communications
URL: https://www.uec.ac.jp/
邦文抄録（300 字程度）
近年 X 線 CT(Computed Tomography)の再構成の方法として，X 線の投影密度を少なくできる逐次近似法が研究されてきた.逐次近似法には患者の負荷を低減でき,ノイズやアーティファクトを少なくできるといった特徴がある一方,再構成に時間がかかるという特徴があり,クリニカルユーズに耐えられるように,再構成時間を短くする研究がされてきた.
一方ディープラーニング技術の進展により,CNN を使った画像の高画質化の研究が盛んに行われており，ノイズリダクション,単一画像超解像,セグメンテーションなどで効果をあげている．ディープラーニングは，簡単に高精度なモデルが構築できるといった特徴がある一方，ラベル付きの学習用画像を多く用意しなくてはならな
い.
我々は Stacked U-Net というモデルを利用することで,医療用画像なしに,自然画像から復元用のモデルを学習した.この結果,アーティファクトとノイズが少ないモデルを作成できた.
英文抄録（100 words 程度）
Recently the, reconstruction of Computed Tomography by iterative methods were developed for reducing
patients dose level. The iterative methods characterized by low noise and low artifacts. But it takes muchreconstruction time.
On the other hand, the deep learning technique is achieved good results in the noise reduction, superresolution and segmentation domains of image processing. The deep learning can create high accuracy model
easily. But it needs many labeled image for training.
We create reconstruction model by using natural images without medical images. As a result, we get low noise,and low artifact reconstruction time model.

Keywords: deep learning, reconstruction, inverse problem, computed tomography, U-Net
背景と目的

一方近年ディープラーニング技術の進展により,CNN

X 線 Computed tomography(CT)の再構成は, 物体へを使った画像の高画質化の研究が盛んに行われておの様々な角度の x 線陽子の透過を検出器で捉えた"投り，ノイズリダクション，単一画像超解像，セグメンテー

影画像"を元に,物体の断面画像を復元する.

ションなどで効果をあげている．

X 線の再構成の方法としては FBP 法に代表される直再構成においてもディープラーニングを用いて画像を接法や,MLEM 法に代表される逐次近似法があるが,直復元する方法が研究されている.Jin らは CT 画像の再接法に比べて X 線の投影密度を少なくできる逐次近似

構成に FBP 法と U-Net と残渣学習を組み合わせて適法が近年研究されてきた.逐次近似法には患者の負荷

用し,FBP 法により生じたアーティファクトとノイズを低減を低減でき,ノイズやアーティファクトを少なくできるとい

し既存手法より優れた結果を出した.

った特徴がある一方,再構成に時間がかかるという特徴

ディープラーニングを用いたモデル学習では精度を確があり,クリニカルユーズに耐えられるように,再構成時保するために多数の学習用画像を用意する必要があ

間を短くする研究がされてきた.

るが,医療用画像は患者のプライバシーの観点や病気83

（様式 20）成果報告書の希少性により,多数の学習用画像を用意できないとい結果および考察った問題がある.

図 3 に今回の学習したモデルの出力結果を示す

Y ang らは MRI 画像の再構成に GAN を適用し,サンプ
ル数が少ない状況でも復元ができることを示した.
我々は Stacked U-Net というモデルを利用することで,医療用画像なしに,自然画像から復元用のモデルを学習した.この結果,アーティファクトとノイズが少ないモデ

1.断⾯画像

2.投影画像ルを作成できた.
概要

3.再構成画像PSNR 30.1db
SSIM 0.90

図 3 学習済みモデルでの再構成結果

今回作成した Stacked U-Net の構造は図 1 に示す通再構成は断面画像[1][2]をもとに投影画像を作成し,そりである. 基本構造は U-Net と同じであるが,違う点をれを入力として学習済みモデルに入力し再構成画像を挙げると,閾値関数には eRelu を使用しており,max

生成し評価を行った．断面画像を正解とした時の PSNR

pooling ではなく stride2 の 2x2 Convolution にしており,は 30.1db SSIM は 0.90 だった.

それを 6 段繋げている．(図 2).

まとめ，今後の課題作成したモデルは学習用の医療用画像なしに作成
でき,512x512 の断面画像を復元ができる.
ただ,現状のモデルは FBP 法に U-Net を組み合わせたモデルと比べて PSNR が劣っており，精度向上が課題である．今後学習用画像の増加や,医療用画像を学習用画像に少し混ぜるなどを行い精度を上げていく必要がある．

図 1 提案 U-Net の構造

References.
[1] Albertina, B., Watson, M., Holback, C., Jarosz, R., Kirk,
S., Lee, Y., … Lemmerman, J. (2016). Radiology Data
from The Cancer Genome Atlas Lung Adenocarcinoma[TCGA-LUAD] collection. The Cancer Imaging Archive.
http://doi.org/10.7937/K9/TCIA.2016.JGNIHEP5[2] Clark K, Vendt B, Smith K, Freymann J, Kirby J,

図 2 Stacked U-Net

Koppel P, Moore S, Phillips S, Maffitt D, Pringle M,

訓練データは Image Net から 28463 枚を training set

Tarbox L, Prior F. The Cancer Imaging Archive (TCIA):に 1537 枚を validation set に使用した. test set としてはMaintaining and Operating a Public Information[1][2]を使用した.それぞれのデータは 512x512 に線形

Repository, Journal of Digital Imaging, Volume 26,

補間で scale したのちに,円形に clopping し出力画像とし,

Number 6, December, 2013, pp 1045-1057. (paper)

出力画像を元に scipy の radon 関数を使用し投影画像を生成し入力画像とした.
学習環境としては Intel Xeon E5-2680 v4 2.4GHz×
2CPU 14 コア / 28 スレッド×2CPU Memory 256GiBGPU NVIDIA TESLA P100 for NVlink-Optimized
Servers ×4 を使用した. 学習時間は 4GPU 動作で 85時間だった.

84

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名: ニューラルネットワークに基づく生成音声と画像の識別
英文： Generated speech and image recognition using neural network
利用課題責任者： 越前 功First name Surname: Isao Echizen
所属： 国立情報学研究所
Affiliation： National Institute of Informatics
URL: https://www.nii.ac.jp/
邦文抄録 近年、深層学習の発展により合成画像と合成音声は自然画像と自然音声にほぼ区別できなくなってきた。様々な有益なサービスを受けるようになった一方、悪用された場合、社会安全に大きく影響する懸念がある。そこで、本研究は合成画像と合成音声の品質をさらに改善した上、よりロバストなフェイク画像とフェイク
音声を検知するアルゴリズムに取り組む。本稿は画像変換技術を用いて合成したフェイクビデオを検知するア
ルゴリズム及びその検知性能を報告する。
英文抄録 Recently fake image, fake video, and fake audio have achieved very high quality because
development of advanced deep learning algorithms and it is difficult for human to distinguish thesynthesized image, video, and audio samples from natural ones. In order to mitigate the threats
from such fake samples, our work aims to develop an algorithm to detect these fake samples. In thisreport, we show our initial result of fake video detection.

Keywords: deep learning, fake image, fake video, fake audio, detection

特徴量を抽出すると共に、各特徴間の幾何情報を保つ

背景と目的
IoT の進展により、画像や音声のようなデータの収ことが可能である。そのため、入力は微小な歪みだけ集が容易になった。さらに、深層学習の発展により、収であっても、出力は大きなコンフィデンスを得ることが可集したデータを用いてターゲットの高品質な顔画像や能となる。図 1 に提案の capsule network に基づくフェ音声信号を合成できるようになった。このような技術がイクビデオの検知パイプラインを示す。提案法はまずビ悪用された場合、社会に大きな悪影響を与える懸念がデオの各フレームを VGG という画像分類ネットワーク

ある。深層学習によりサイバー空間上で合成されたフェに入力し、コンパクトな画像特徴量を抽出する。次に

イク顔画像やフェイク音声と，現実に存在する顔画像やcapsule network を用いて歪みを図り、真偽ビデオに音声を識別する技術の確立は喫緊の課題である。そこ

関するコンフィデンススコアを出力する。最後に閾値とで、本研究はフェイク画像、フェイクビデオ及びフェイク

比較し、フェイクビデオかどうかを判別する。

音声の検知アルゴリズムの開発を目的として行っている。
本研究は検討の初期段階であるため、本稿は主にフ
図 1 提案のフェイクビデオ検知手法の処理流れェイクビデオの検知アルゴリズムの仕組み及びその結果を報告する。
概要
フェイクビデオを検知するため、本研究は capsuleneural network という新しく提案したニューラルネット
ワークを利用する。Capsule neural network は従来の convolutional neural network (CNN)とは異なり、

図 2 Capsule network の構成

85

（様式 20）成果報告書
図 2 は capsule network の具体的な構成を示す。コンボリューションチャンネルを 3 つ用いて、画像特徴量をカプセルにする。次に、dynamic routing アルゴリズ
ムを用いて、類似のカプセル同士の合意を取って出力を決める。出力層は 2 つのカプセルにより構成され、それぞれは自然画像と偽画像を表す。最後に、softmax関数を用いてカプセル要素の平均スコアを計算する。
結果および考察
実験はプレイバックビデオ、顔スワッピング(deepfake に よ り 生 成 ) 、 facial reenactment(face2face により生成)の 3 種類のフェイクビデオを識別する実験を行った。
Capsule network を利用する提案法を用いてプレイ
バックビデオを検知する場合、検知精度は従来のCNN と同等レベルの 100%を達した。また、顔スワッピ
ングは従来の 92％から 96%までに向上した。Facial
reenactment の検知精度も従来の 98%から 99%までに向上した。
まとめ、今後の課題
本研究は capsule neural network を用いてフェイク
ビデオの検知を行った。検知精度は従来の CNN を利用する方法より高い精度を得られた。
今後はフェイクビデオだけではなく、フェイク音声の検知も行う予定である。そして、ビデオを強く圧縮しても、音声と顔や唇の動きは高い相関があるため、音声と画像情報を同時に利用するフェイクビデオやフェイク音声の検知も行う。

86（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名 時間依存密度汎関数法による原子内包フラーレン X@C60 の励起状態研究
英文： Time-dependent density-functional study of excited states of X@C60
利用課題責任者

吉 村太 彦

First name Surname Motohiko Yoshimura
所属 岡山大学 異分野基礎科学研究所
Affiliation

Research Institute for Interdisciplinary Science, Okayama University
URL http://www.riis.okayama-u.ac.jp/

時間依存密度汎関数理論のシミュレーションを行った結果，異種原子内包フラーレン X@C60 系（X = Xe, Cu,
および Au）において，外殻の C60 に吸収・散乱されない共鳴エネルギーで内包原子 X の電子状態を励起させられることが明らかとなった． これらの系では，X の電気双極子遷移のピークが C60 吸収ピークと異なるエネルギーを持つことから，X@C60 の吸収スペクトルに独立したピークが現れ，選択的な励起が可能であると考えられる．とくに，Cu@C60 は紫外レーザーの波長領域で励起が可能であることから，量子干渉性による低頻度反応確率の増幅が可能な擬似孤立原子集団としての応用が期待される．

We found that the electronic states of X in endohedral fullerenes X@C60 (X = Xe, Cu, and Au) can be selectively
excited by laser radiation with resonance frequencies that are not absorbed or scattered by the C60 cage.
Time-dependent density-functional theory calculations predict the splitting of absorption peaks in these systems.
The result suggests that X@C60 would be promising candidate to realize microscopic assembly of pseudo-isolated
atoms, where the possibility of rare events can be magnified by utilizing quantum coherency.
Keywords: endohedral fullerenes, time-dependent density functional theory, optical absorption spectra

背景と目的

SALMON[1]と Octopus[2]を用いて計算を行った．

籠状構造を持つフラーレン C60 に異種原子 X を内包
概要させた X@C60 では，適切な X の原子種を選択すること
で孤立原子的な電子状態を実現することができる．その疑似孤立原子集団として X@C60 に求められる性質のため，X@C60 を集積させ巨視的な数量の疑似孤立原子

うち重要なのは，内包原子 X の電子状態の光学的な励集団を形成することができれば，量子干渉性を用いるこ起が可能であることである．すなわち，外殻の C60 に吸とにより，これまで観測が不可能だったニュートリノ対放収・散乱されない波長領域で内包原子 X の電子状態を出などの低頻度反応現象の発生確率を増幅させること励起させられなければならない．そこで，本研究課題でができると期待される．本研究課題では，疑似孤立原子

は，X = Xe, N, Cu, Au を候補として選び， X@C60 の光集団としての応用に適した原子種 X を定量的な理論計

学吸収強度の予測を行った．その結果，X = Xe, Cu, お算を用いて予測することを目的とする．

よび Au の場合に選択的な励起が可能であることがわかった.

本研究では，外殻の C60 を含む 61 原子系の電子状態を計算し，基底状態のスピン分極を考慮した光吸収結果および考察スペクトルの定量的な計算が必要となる．このような計算は世界的にも例が少ない挑戦的な課題である．我々はまず， X@C60 (X = Xe, N, Cu, および Au) につい

時間依存密度汎関数法のソフトウェアであるて基底状態の電子状態計算を行い，原子構造の最適化を行った．その結果，いずれの場合も， X はフラーレ
87

（様式 20）成果報告書
ン C60 の中心に安定に位置することがわかった．次に，また， Cu@C60 の 4.2 eV 付近のピークは，300 nm 程

基底状態で最適化した構造を用いて時間依存密度汎度の紫外レーザーで励起が可能であり，Cu@C60 が擬関数理論計算を行い，双極子型のパルス電場を印加し似孤立原子集団としての応用に利用可能であると考えた後の電子状態の時間発展のシミュレーションを行い，られる．

振動子強度スペクトルを計算した．これは，電気双極子
まとめ、今後の課題

遷移による光学吸収スペクトル強度の理論予測に相当

X@C60 の光学吸収スペクトルのシミュレーションを行する．
まず，Xe@C60 の結果を図 1 に示す．Xe の最も低い

い，内包原子の電子状態の選択的な励起の可能性を

吸収ピークは 7.5 eV 付近に現れ，このエネルギー帯に調査した．異種原子の候補として X = Xe, N, Cu, およは C60 の吸収ピークが存在しないことがわかった．

び Au を選び，X の孤立原子，C60，および X@C60 の光

Xe@C60 の吸収ピークを計算すると，Xe と C60 のそれぞ

学吸収強度を計算したところ，X = Xe，Au，Cu では選れのピークが互いに分離したスペクトルが得られた．そ択的な励起が可能であり，とくに Cu の場合は紫外レーのため，Xe@C60 では，7.5 eV 付近の共鳴エネルギーをザーの波長領域で励起が可能であることが分かった．

用いることにより，Xe の電子状態を選択的に励起するこ

今後の課題として，吸収スペクトルのピークが X の励とができると期待される．また，このピークのエネルギー起によるものか，C60 の励起によるものかの区別するためは独立原子の場合に比べて，0.05 eV ほど高エネルギに，C60 の結合長を変えた場合のスペクトルの変化を調ー側にシフトすることも予測された．

べる．

同様に X = N, Cu, および Au の場合の結果を，それ[1] K. Yabana and G. F. Bertsch, Phys. Rev. B, 54, 4484
(1996); G. F Bertsch et al., Phys. Rev. B, 62, 7998 (2000); K.
Yabana et al., Phys. Rev. B 85, 045134 (2012).
[2] X. Andrade et al., Phys. Chem. Chem. Phys. 17, 31371(2015); A. Castro et al., Phys. Stat. Sol. B 243, 2465 (2006);
M.A.L. Marques et al., Comput. Phys. Commun. 151, 60(2003).

ぞれ，図 2，3，および 4 に示す．X = N の場合，N の吸収ピークは C60 のピークと重なってしまい，選択的な励起は困難であると予想される．一方，Cu の 4.2 eV 付近のピークと，Au の 5.3 eV のピークは C60 のピークとエネ
ルギー的に近いものの，Cu@C60 と Au@C60 の吸収ピー
クは 0.2–0.3 eV 程度の分裂を示しており，選択的な励起が可能であることを示唆している．

図 1. C60, Xe, および Xe@C60 の振動子強度．

図 3. C60, Cu, および Cu@C60 の振動子強度．

図 2. C60, N, および N@C60 の振動子強度．

図 4. C60, Au, および Au@C60 の振動子強度．

88

（様式 20）成果報告書

TSUBAME 共同利用 平成３０年度 学術利用 成果報告書

利用課題名 ソフトクリスタル機能物性解析のための計算科学技術の開発
英文：Development of Computational Science and Technology for Functional Property Analysis of Soft
Crystals
利用課題責任者
後藤仁志
所属
豊橋技術科学大学 情報・知能工学系
http://www.cs.tut.ac.jp/
ソフトクリスタルは、蒸気にさらす、擦るなどの低エネルギー刺激によって結晶構造が遷移することで、主に発光や光学特性などの機能物性が変化する新奇物質群である。その準安定構造や結晶多形間の遷移を制御することによって、これまで存在しなかった革新的な物質機能を創造することが期待されている。本課題では，こうしたソフトクリスタ
ル現象の機能物性を解析するための基盤となる計算科学技術を開発する。特に，TSUBAME の特徴である GPUを活用し，機械学習による分子レベルでの物性解析，大規模構造データベースを用いた経験的ポテンシャルの開発，
および立体配座や結晶多形データベースの自動構築とそこから得たビッグデータ解析を検討する。
Soft crystals are novel substances in which functions such as light emission and optical properties
can be changed by phase transition of crystal structure with low energy stimulations. By controllingthe crystal phase transition between stable and metastable crystal polymorphs, it is expected to create
innovative material functions. In this work, we try to develop new computational techniques as a basis
for analyzing the functional properties of such soft crystals’ phenomena. In particular, using GPUs, thecharacteristics of TSUBAME, we expected to develop the materials’ property analysis in molecularlevel by machine learning techniques, empirical crystal energy potentials using large scale structural
database, and automatic construction of conformational and lattice polymorph database.

Keywords: Crystal Structure Prediction, Dynamic Reaction Coordinate Analysis of Soft Crystal,
Vapochromism, Mechanochromism, Superelasticity

背景と目的る結晶構造予測技術，および相転移プロセスを解析「ソフトクリスタル」は，蒸気にさらす、擦るなする動的反応座標解析法の確立を目指し研究を進め

どの特定の弱い刺激によって『堅い』結晶構造が容ている[1]。特に，ソフトクリスタルの動的現象の解

易に別の結晶構造に相転移し，発光や光学特性など

明には，秩序を維持しながら変位する動的プロセスを変化させる新しい機能性物質である[1,2]。それらを再現できる分子間相互作用の精緻化と，アモルフの多くは有機金属錯体等の分子性結晶であり，そうァス系を考慮した新しい結晶シミュレーション技術

した興味深い「ソフトクリスタル現象」の多くは，が必要である。

粘り強く観察を続けた日本人研究者のセレンディピ

本共同利用課題は，こうしたソフトクリスタル現ティによるものと言ってよいだろう[2]。最近では，象の解明に向けた学理解明に要請されている，よりその準安定状態や相転移を制御することによって，

高度な様々な結晶シミュレーション技術を開発する

これまでにない革新的な機能を創生することが期待ための基盤研究として位置づけている。 特に，されている。我々はこの新奇物質群の結晶生成や相TSUBAME の特徴である GPU を活用し，機械学習に転移現象の学理を明らかにするために，理論に基づよる分子レベルでの物性解析や経験的ポテンシャル

く計算解析技術として，有機金属錯体が形成する結の導出，および立体配座や結晶多形データベースの晶構造を評価できる結晶力場の開発[3]，観測されて自動構築とそこから得たビッグデータの解析などをいないが存在し得る準安定な結晶多形構造を見つけ検討している。

89

（様式 20）成果報告書
参考文献

概要
分子性結晶は，高精度な第一原理計算を適用でき[1] 新学術研究：「ソフトクリスタル―高秩序で柔軟な応答系の学理と光機能」,
https://www.softcrystal.org/

る孤立分子や，分子動力学シミュレーションによってマクロな構造変位を明らかにできる溶液系やアモ[2] “Soft Crystals: Flexible Response Systems withHigh Structural Order”, Masako Kato, Hajime Ito,
Miki Hasegawa, Kazuyuki Ishii, Chem. Eur. J.,
25(20), 5105-5112.
doi: 10.1002/chem.201805641

ルファス分子集合体とは異なり，比較的単距離な分子間ネットワークで形成される高密度秩序から，比較的広範囲に渡る並進対称性を維持している。
当初，我々は，孤立分子系や数量体の分子会合系[3] “Soft Crystal Force Field for Reproducing theCrystal Structures of Aryl Gold Isocyanide
Complexes”, Nakayama, N.; Obata, S.; Hori, Y.;
Goto, H.; Seki, T.; Ito, H. J. Comput. Chem. Jpn.
2018, 17, 155-157.
doi: 10.2477/jccj.2018-0031

に対する高精度な第一原理計算の結果を参照して開発された古典力学に基づく結晶力場によって分子間相互作用にかかる演算時間を短縮し，より長距離まで分子間相互作用を考慮すれば，結晶計算の高速性[4] 「高精度量子化学計算に基づく分子間ポテンシ
ャルに関する考察」, 濱田信次, 宮下真人, 都築誠二, 下位幸弘, 小畑繁昭, 中山尚史, 後藤仁志,
日本コンピュータ化学会 2019 春季年会，2019
年 6 月，東京工業大学（大岡山キャンパス），
2P13.

能と精度を改善できると考えていた。しかし，結晶の秩序性は高密度分子接触から維持されるため，孤立分子系や数量体の分子会合系とは異なる状態までを十分に考慮する必要があることが分かってきた[4]。また，ソフトクリスタル現象として発見された[5] 「ソフトクリスタルの結晶計算と多形転移解析の技術考」, 後藤仁志, 日本化学会 第 99 春季年
会, 2019 年 3 月, 甲南大学（岡本キャンパス）,
4S2-15.

分子性結晶の大きな構造変位を追跡するためには，
分子動力学シミュレーションにおける計算セルに相当する結晶格子を適切に制御し，かつ積極的に変異させることも，重要であることが分かってきた[5]。
現在，このようないくつかの知見に基づき，新たなアプローチを開始している。そして，古典分子力
場計算であっても結晶計算に要求される演算性能は高く，課題解決のためにはさらに強力な計算機が必要となったことから，平成 31 年 1 月から TSUBAMEの共同利用を開始した。現在，いくつかの成果が得られたところである。

まとめ、今後の課題
弱い外部刺激によって結晶構造が変化する分子性結晶であるソフトクリスタルが示す新奇現象の学理を明らかにするため，新しい結晶シミュレーション技術の開発に取り組んでいる。TSUBAME の共同利用によって，その基盤技術の開発に繋がる成果が得られつつある。
尚,本研究の一部は,JSPS 科研費(17H06373)の支援を受けて実施している。

90

（様式 20）成果報告書

TSUBAME 共同利用 平成３０年度 学術利用 成果報告書

利用課題名 第一原理計算による電池・触媒メカニズム解明と新物質探索
英文：Materials science of batteries and catalysts via first principles calculation
館山 佳尚
Yoshitaka Tateyama
物質・材料研究機構
National Institute for Materials Science
邦文抄録
蓄電池・触媒の多くは電極および電解液から構成され、電極―電解液界面における化学反応および酸化還元反応が最も重要な素過程となっている。しかしながら埋もれた界面のその場観察はいまだに難しく、界面過程の微視的機構は不明な点が多い。我々はこのような界面過程について電子・原子状態を高精度に扱うことのできる第一原理計算を用いた理論計算研究を行ってきた。本プロジェクトでは TSUBAME を利用して、さらに微視的機構解明を進めるとともに新物質探索まで進めていくことを計画し、第一原理計算を実行する環境の整備を終える所まで到達した。
英文抄録
We have been working on reactions around buried interfaces between electrolyte and electrolyte inbattery and catalyst by means of density functional theory based first-principles calculations withcertain accuracy. In this project, we set up the first-principles calculation scheme on TSUBAME for
future expensive studies on interesting battery and catalyst issues.

Keywords: 第一原理計算、蓄電池、触媒、表面・界面
背景と目的ためには、相応のスーパーセルサイズ（原子数）と構造

蓄電池・触媒の多くは電極―電解液界面における化

サンプリングが必要となり、そのためにはプログラム最学反応および酸化還元反応が最も重要な素過程となっ適化・高効率化がまず必要となる。2018 年度はこの計ている。しかしこれらの界面過程の原子スケール描写

算技術的課題を中心的に取り組んだ。その結果、応用は実験的にもいまだ難しく、予言性の高い理論計算の計算に進む準備ができた。

ニーズが非常に高い。実際に当研究室では、第一原理
計算解析をもとに電池・触媒反応における界面の微視結果および考察的過程について予測・提案を行ってきており、それが実

当研究室の蓄電池・触媒界面研究で用いている第験研究の動機・駆動力となるケースを何度か経験して一 原理 計算 プロ グラム CPMD ( 高 次 並 列化 した

きた。また当研究室では「京」向けに開発した第一原理

stat-CPMD)および VASP に関して、TSUBAME 上で

サンプリングコード stat-CPMD を始め、第一原理計算

チューニングおよびベンチマークを行った。次年度とより広範囲な構造・反応サンプリングを可能にするモ以降の本格計算に進む準備ができた。

ジュール開発も進めている。
このような背景の下、本プロジェクトでは TSUBAME

まとめ、今後の課題において、これらの計算プログラムの高効率化・高速化

当研究室で使用している第一原理計算ブログラムに行うことにより、それらを用いた電池・触媒系の界面を TSUBAME 上で実行可能な状態にした。またそ過程に関する理論計算メカニズム解析をさらに発展的

れらの最適化・高速化について検討し、かつテスト計に進めることを目的とする。

算を行った。今後、TSUBAME を用いた電池・触媒
メカニズムに関する本格的な第一原理計算研究を実行していく予定である。

概要
蓄電池・触媒界面の電子・原子スケール解析を行う

91

東京工業大学 TSUBAME 共同利用
平成 30 年度利用終了課題 利用成果報告書集

発行 ： 令和２年 ７月
国立大学法人 東京工業大学 学術国際情報センター 共同利用推進室
住所 ： 〒152-8550 東京都目黒区大岡山 2-12-1 E2-6
E-mail : kyoyo@gsic.titech.ac.jp
URL : https://www.gsic.titech.ac.jp/tsubame
本書に記載の記事・写真等の二次利用を禁じます。これらの情報は著作権法上認められた「私的利用」または「引用」の条件をみたした場合を除いて、著作権者に無断で転載、複製、
放送、公衆送信、翻訳、販売、賃与等の利用を禁じます。