東京工業大学 TSUBAME 共同利用
平成 29 年度利用終了課題 利用成果報告書

東京工業大学 学術国際情報センター
共同利用推進室https://www.gsic.titech.ac.jp/tsubame

■平成 29 年度産業利用
申請課題名
所属機関／利用課題責任者

頁

自動車搭載ミリ波レーダの超大規模電磁界シミュレーション

1

株式会社豊田中央研究所／松沢晋一郎
建築環境の評価に向けた気候変動データの高度化

5
清水建設株式会社／PHAM VAN PHUC

ワイヤレス電力伝送による漏えい電波の環境解析技術の研究開発

9

株式会社パナソニックシステムネットワークス開発研究所／池田和彦
大容量データ伝送用ミリ波アンテナのレドームに関する基礎検討

15
スタッフ株式会社／千葉修二

産業利用のための大規模ディープラーニング

19
株式会社富士通研究所／山崎崇史■平成 29 年度学術利用 利用成果報告書別紙の提出免除課題（利用成果を論文/学会等にて発表した要旨等の提出により提出免除）
申請課題名
所属機関／利用課題責任者
提出物
高性能計算向け分散メモリ・ストレージ統合システムの研究
成蹊大学／緑川博子「高柔軟性と高性能を提供するマルチノードマルチスレッドプログラム向け分散共有メモリシステム」,
研究報告ハイパフォーマンスコンピューティング（HPC）, 2018-HPC-163 (10) 1-8
Permalink : http://id.nii.ac.jp/1001/00185951/
大型ホログラム記録とホログラフィックディスプレイのためのホログラム計算
国立研究開発法人情報通信研究機構／山本健詞「HOPTECH について -波面印刷技術から投影型ホログラフィック 3D 映像技術まで-」
2017 年 第 42 回 光学シンポジウム, 招待講演
http://myosj.or.jp/event2/opt_symp/2017_042nd/42nd_invited_abst.shtml#no3■平成 29 年度学術利用
申請課題名
所属機関／利用課題責任者
廃棄物最終処分場における間隙内流体挙動の数値解析

頁

21埼玉県環境科学国際センター／鈴木和将
高解像度画像を使った広域の家屋及び道路の深層学習による自動判別システムの開発

25

東京大学空間情報科学研究センター／柴崎亮介
蛋白質-リガンド複合体の会合・解離の速度定数を平衡論から導く
大阪大学蛋白質研究所／肥後順一

29

申請課題名所属機関／利用課題責任者

頁

先進的ステンシル・コード技術

31
東京大学情報理工学系研究科／千葉滋

LRnLA アルゴリズムを用いた物理シミュレーション

33
法政大学 情報科学部／善甫康成

凝集誘起発光についての理論的研究

37
千葉工業大学／山本典史

知識に基づく構造的言語処理の確立と知識インフラの構築

41
京都大学／黒橋禎夫

深層学習を利用したリアルタイム宇宙天気予報システムの開発
理化学研究所計算科学研究機構／村主崇行
解析的壁関数を用いた格子ボルツマン法による高レイノルズ数乱流解析コードの開発

課題
取り下げ
45

大阪府立大学大学院／須賀一彦
抗インフルエンザウイルス広域中和抗体のエスケープ変異株由来表面糖タンパク質の構造解析

49

国立感染症研究所感染病理部／長谷川秀樹
スマートデータセンター実現に向けたデータ解析基盤の構築

51

産業技術総合研究所 RWBC-OIL／松岡聡
MEMS 構造の光学応答解析

55
電気通信大学／菅哲朗

GPGPU による長周期地震動シミュレーション

57

国立研究開発法人防災科学技術研究所／藤原広行
都市解像モデルへのドップラーライダー観測データ同化による局地域豪雨発生予測の精度向上

61

京都大学生存圏研究所／古本淳一
第一原理計算と反応速度論による触媒活性予測技術の確立

65
物質・材料研究機構／石川敦之

HPC を利用した自然言語処理技術の研究

67

情報通信研究機構 ユニバーサルコミュニケーション研究所／鳥澤健太郎
有機分子集合体の半導体特性・光応答特性の解明

69

理化学研究所計算科学研究機構／河東田道夫
深層学習によるゲノム上の遺伝子発現制御情報抽出71

東京大学・新領域創成科学研究科・メディカル情報生命専攻／木立尚孝
ナノ構造界面における熱輸送特性の分子シミュレーション

73

東京大学工学系研究科機械工学専攻／塩見淳一郎
深層学習処理基盤を用いた大規模環境計測データの解析と応用

75

産業技術総合研究所／李時旭
大規模分散深層学習の性能調査

77
産業技術総合研究所 RWBC-OIL／松岡聡

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 産業利用 成果報告書

利用課題名 自動車搭載ミリ波レーダの超大規模電磁界シミュレーション
英文：Large scale electromagnetic simulation for automotive millimeter wave radar
松沢晋一郎
Shin-ichiro Matsuzawa
株式会社 豊田中央研究所
Toyota Central R&D Labs., Inc.
URL http://www.tytlabs.co.jp/
邦文抄録
車載ミリ波レーダは、前方車などの反射体の相対速度や方位を正確に測定可能という特徴がある。車載ミリ波レーダのフロントガラス背面への搭載を想定し，その主要課題であるフロントガラスの透過損失をシミュレーション評価し、さらにその改善方法を検討した．そのシミュレーションでは、スーパーコンピュータ TSUBAME3.0 を用いて行った。
英文抄録
A millimeter wave radar can measure the relative speed and angle of the target like a front vehicle
precisely. This report shows the transmission loss of the glass in the millimeter frequency when the
millimeter wave radar is mounted behind the front glass. We have simulated the radiation patterns of
the antenna by using the TSUBAM, and studied the improvement method.

Keywords: 電磁界シミュレーション、ミリ波レーダ

背景と目的

トグリル等による電波散乱も生じやすい。それらは全て

近年、自動ブレーキなどの先進運転支援システム

測定誤差要因となる為、設計の電磁界シミュレーション（ADAS: Advanced Driver Assistance Systems）の開発に際し、レーダ周辺の車体構造物を忠実にモデル化すが進められている。ミリ波レーダは、ADAS のキーセンサ

ることが望ましい。しかしながら、FI 法によるシミュレーシの一つである。

ョンをするに際しλ0/10 以下でのメッシュ分割が必要と現状の車両前方監視用ミリ波レーダは、一般的になり、総メッシュ数が約 40 億以上と膨大になるため、PC

樹脂エンブレムの背面に搭載されている。一方、同じ前

ワークステーションでは、計算が困難であった。そこで、方監視用のカメラは、車室内のフロントガラスの背面にスーパーコンピュータ TSUBAME3.0 を用いたシミュレー

搭載されている。将来的にミリ波レーダとカメラを一体化

ションを行った。

したセンサをフロントガラスの背面に搭載することを検討

図 1 にシミュレーションモデルを示す。ミリ波レーダ

している。ミリ波レーダをフロントガラスの背面に搭載し用の平面アンテナの放射方向にフロントガラスを模擬した場合、フロントガラスの透過損失が大きく、その検出たガラスが置かれている。ガラスの厚みは、一例として、距離が悪化することが事前検討で分かった。そこで、本

t=4.5mm とした。その比誘電率εr および誘電正接 tan

報告では、ミリ波帯におけるガラスの透過損失をシミュレ

δは、それぞれ 6.5、0.015 とした。一般的に車両のフローション評価し、その改善方法を検討した。

ントガラスは、2 層ガラスの間に中間膜が挿入されているが、本報告書では、初期検討として単層で検討した。ミ

概要

リ波の平面アンテナとガラスの距離は、一例として、
ミリ波レーダは、77GHz の高周波電磁波により、自D=100mm とした。

動車と対象物の相対距離・相対速度・角度を高精度に測定可能である。一方、その波長λ0 は約 4 ミリと短い為、周辺の構造物、例えば車体フレーム、バンパー、フロン1（様式 20）成果報告書
図 2 に平面アンテナのモデルを示す。1×9 列のマイクロストリップアレーアンテナとし、各素子を仮想的にワイヤで給電するモデルとした。各素子の形状およびワイヤの給電位置は、45°偏波を発生するように設定し、その給電電圧は、垂直方向のサイドローブレベルが-20dB 以下となるように、テーパをつけた。アンテナ基板
は、縦 30mm、横 50mm のフッ素樹脂基板とした。実際のレーダでは、本アレーを一つのサブアレーとして、水平方向に複数並べられているが、本解析では、基板の中央にあるアレーアンテナのみの特性を評価した。
(a) 断面図

図 2 平面アンテナのモデル

ガラスの損失の主要因は空気とガラスの間の比誘電率の差による反射であるため、その反射を抑える方法として、ガラスの裏面に空気とガラスの中間の比誘電率 3.5の樹脂フィルムを貼る方法を検討した（図 3)。樹脂フィ(b) 上面図(A)

ルムの厚み ts については、事前にフレネル係数による

図 1 シミュレーションモデル

解析で最適値を求め、ts=0.48mm としてアンテナの指向性を考慮して評価した。電磁界シミュレーションは、CST

現状のミリ波レーダでは、76～77GHz の周波数が用い社の Microwave Studio Ver.2017 により行い、手法は FIられているが、次世代レーダとして、高分解能化のため（有限積分法）法である。

の広帯域レーダが検討されている。その周波数は、77～81GHz であるため、それらを含む 76～81GHz をシミュレーションの対象とした。ガラスの傾斜角度θ g は、
45°、方位の検出角度範囲は、-45°～+45°とした。
ガラスの内部のメッシュサイズは 0.16mm 以下とする必要があり、実際の車両のガラスのサイズでのシミュレ
ーションは計算負荷が高すぎるため、困難である。そこ
で、水平検出角度±65°、垂直検出角度±30°の範囲にガラスが存在するように、その幅 W、高さ H を決定
し、W=500mm､H=150mm とした。

図 3 ガラスの低損失化の方法

2

（様式 20）成果報告書
結果および考察

周波数が低いほど、損失が大きくなる傾向となった。

平面アンテナ単体と前面にガラスを設置した場合の

図 6(a)および(b)に、低損失化のため樹脂フィルムの指向性を評価した。図 4(a)および(b)に 76.5GHz におけ

有無と透過損失の関係を示す。

る平面アンテナ単体とガラスを設置した場合の水平面
および垂直面の指向性の比較を示す。

図 5 θ（水平面）および周波数と透過損失の関係(a) 水平(zx 面)(a) θ=0°(b) 垂直面(yz 面)
図 4 平面アンテナ単体とガラスを設置した場合の指向性の比較

縦軸は、平面アンテナ単体の利得のピーク値で規格化した相対値（dB 値）である。水平面指向性では、ガラスを設置した場合、左右非対称の指向性となり振幅が低(b) θ=45°

下していることが分かる。これは、平面アンテナの偏波が 45°傾いているために、水平面内においてθが正の

図 6 フィルムの有無と透過損失の関係

時と負の時で、ガラス面への入射偏波が異なるため、非対称となったと考えられる。また、垂直面指向性の結果(a)は正面であるθ=0°および(b)は水平面の検出範囲から、ガラスを設置した場合に-90°方向に強い反射波

内で損失の高いθ=45°の場合の結果である。θ=45°が発生していることが分かる。

の場合に、フィルムを貼ることでの損失低減効果が顕著

図 5 に周波数をパラメータとした水平面でのθに対であった。

する透過損失の関係を示す。透過損失は、図 4(a)に示

最後に計算時間について述べる。本モデルのメッしたガラスを設置した振幅の平面アンテナ単体の振幅

シュ数は 38 億メッシュであり、その CPU タイムは 78 分（8から の 差分 と し て 定 義さ れ る 。 検 出範 囲 内 で は 、 θノード）であった。TSUBAME2.5 では、15 億メッシュのモ=45°方向の損失が大きく、最大 6.5dB となった。また、

デルで CPU タイムが 7 時間 11 分（12 ノード）であり、大3

（様式 20）成果報告書
幅な高速化を確認した。

まとめ、今後の課題
ミリ波レーダをフロントガラス背面への搭載を想定し、その主要課題であるフロントガラスの透過損失を、電磁界シミュレーションで評価し、その改善方法について検討した。
シミュレーションの結果、対策をしていないガラスを設置した場合では、アンテナの水平面指向性が非対称となり、損失が最大 6.5dB と大きいことが明らかになった。
その改善方法として、反射防止用の樹脂フィルムを貼る方法を提案し、その効果を確認した。

4

TSUBAME 共同利用 平成 29 年度 産業利用 成果報告書

利用課題名 建築環境の評価に向けた気候変動データの高度化
英文：Improvement of Climate Change Data for Building Environment Analysis
利用課題責任者
PHAM VAN PHUC
所属： 清水建設（株）技術研究所
Affiliation： Institute of Technology, Shimizu Corporation
URL： http://www.shimz.co.jp
本利用課題では，代表的な極端気象現象の一つとして，2017 年 7 月に九州地方で発生した局地豪雨を対象にして，気象モデルを用いた現象の再現計算と，観測結果との比較検証およびその発生メカニズムの解明を行た．また，気候変動データベース d4PDF を用いて，その地域における気候変動による影響を明らかにした．
In this study, meteorological simulation using the WRF model has been carried out to investigate
the sensitivity of a heave localized rainfall over the Kyushu in July, 2017 with a downscaled grid
resolution in the nesting method. Simulated results showed good agreement with observation
results. Climate change database d4PDF was used to investigate the daily precipitation to find theincrease under global warming.

Keywords: Heave Localized Rainfall, WRF, Climate Change

背景と目的することを目的とする．

異常高温，集中豪雨，大型台風などの極端な気象現概要

象による人的，経済的損失は極めて大きい．近年の気候変動として地球温暖化の影響で一部の地域ではその前年度の利用課題では，気象解析モデルの導入や気象現象の強度はすでに増加傾向にあり，今後も世界

気候変動データベースの整備と，データ可視化システ

規模でさらに増えていく．また，2017 年 7 月 5 日から 6

ム お よ び 特 徴 抽 出 シ ス テム の 構 築 を 行 っ た ． ま た ，日にかけて，九州北部地方では，総降水量が 500mm

TSUBAME スパコンでは複数並列処理により，過去・を超え，7 月の月降水量平年値を大幅に超える猛烈的

現在の気候状態と未来の気候状態における気象パラメな雨となったところがあった．特に，福岡県朝倉市では，ータの時間・空間的な変化を確認しており，台風等の極

24 時間降水量の値が観測史上 1 位の値を超えて，これ

端な気象現象を抽出できるとともに，データベースの特までの観測記録を更新する局地豪雨となった．今回の徴を明らかにした．

豪雨による被害については，死者が計 36 人となり，300

本利用 課題 で は，これらの 解析シ ステムを 用い ，カ所以上で山が崩れ，大量の流木や土砂が発生した等，

2017 年 7 月 5 日から 6 日にかけて，九州地方福岡県

大きな被害が引き起こされた．道路などのインフラ被害

朝倉市で発生した局地豪雨を対象として，再現解析をでは局地激甚災害にも指定された 1)．建設分野としても，行った．また，その九州地方の全域を対象として，気候その現象や気候変動の影響などを明らかにする必要が変動による影響を調べた．

あり，適用策などの提案は喫緊の課題である．

なお，図-1 には朝倉市の 地域気象観測システム

そこで，本利用課題は，まず，気象モデルを用いた

AmeDAS で，20 年間での 6 月と 7 月の最大日降水量

局地豪雨の再現を試みた．計算から得られた降水量とおよび今年の 7 月 5 日の日降水量の比較を示す．これ

その観測結果との比較により局地豪雨の特徴とその発までに観測された最大日降水量が 250mm 以下に対し

生メカニズムを明らかにする．また，局地豪雨の発生地て今回の大雨ではその一日で 2 倍以上の雨量が降っ域を対象として気候変動に基づく降水量の変化を評価てきた．また，今回の局地豪雨の発生メカニズムについ

5

計算概要

ては，気象分野で，図-2 のように考えられている． これは，朝倉市付近の上空では，大気下層にある暖かく湿気象モデルの解析では，米国の大気研究センターがった空気と，大気上層にある気温の低い寒気が流入し開発したメソ気象モデル WRF（Weather Research and

たため，積乱雲が次々に発達して，東へ移動することでForecasting）3)を採用して，上記の局地豪雨の再現計算

線状降水帯として形成され，同じ場所に強い雨を継続を行った．WRF は気圧，風，気温，水蒸気などで表せるして降らせたものである．さらに，図-3 は国土交通省の

大気の状態変化を流体力学や熱力学等の物理法則にX バンド MP レーダー観測データから得られた当時の基づいて解析できるものである．

雨雲の立体構造である．その雨雲は東西に延び，高度

計算領域としては，まず，豪雨に起因する積乱雲の15 km を超える非常に大きい積乱雲群であった 2)．

再現を目的とし，親領域の水平解像度を 16.2km(d01)として 5 段階ネスティングより最終評価領域（d05）での水平解像度を 200m とした（図-4）．各領域の中心緯度・経度は，朝倉市役所の位置とした．鉛直方向の気
圧準拠座標については地表から 60 層を設定した．初期値・境界値には米国の国立環境予測センターの全球
客観解析データ NCEP-NFL を用いて，2way ネスティ
ング計算を行った．

図-1 朝倉市の最大日降水量（気象庁，AmeDAS）

図-4 計算領域

結果および考察再現期間は 局地豪雨の発生した 7 月 5 日 09:00 から 7 月 6 日 09:00 までの 24 時間を対象とした．また，物理過程スキームについては，雨を再現するため，水
蒸気・雲・降水過程等を考慮できる雲微物理過程と渦図-2 豪雨の発生メカニズム（出典：朝日新聞）

輸送運動量・熱フラックス等を考慮できる境界層乱流混合過程を採用した．
計算精度を検討するため，朝倉観測所の地上観測
AmeDAS データ（ピンポイントの観測結果）とレーダーの解析雨量を用いた．図-5 には観測及び計算から得られた時降水量とその積算降水量を示す．なお，解析雨
量は AmeDAS の降水量と比べると 2 倍の差がある．また，図 6 は時刻 15 時の 1 時間降水量の分布の比較である．これより，WRF の計算から得られた降水量は観測

図-3 積乱雲の発達状況（時刻：15 時）

結果と比較的良好に一致していることが分かる．

2)6

図 7 は，WRF の計算から得られた 15 時の高度500m の大気 1kg あたりの水蒸気量分布・気圧の等値
線・風ベクトル（左図）と，高度約 5500m の気温分布・風ベクトル（右図）である．九州北部には，南西風によって大量の水蒸気が流入していた．また，上空 5500m 付近には，平年よりも約 3℃低い-7℃以下の寒気(福岡の高層観測の 7 月の平年値：-4.6℃)が流入していた．これらのことから，九州北部付近では積乱雲が非常に発達しやすい不安定な大気状態となっていたことが分かる．

図-5 降水量の変化

また，図 8 は図 6 の断面図 A-A の雨雲の反射強度を示す．その付近は高度約 15 km の積乱雲が発生した．

A

それらが猛烈に発達しながら，東へ移動することで，局A

地豪雨の発生をもたらした典型的な「バックビルディング型」の線状降水帯が形成されたことが分かった．

観測(解析雨量)0

気候変動による影響
本章では，「文科省・気候変動リスク情報創生プログ

1

計算(WRF)
5

10

30

60

100

150(mm)

図-6 1 時間降水量の分布（時刻：15 時）

ラム」に基づく気候変動データベース d4PDF を用いて，平年よりも約3℃低い，-7℃以下の寒気が流入

九州地方全域における気候変動の影響を評価した．
図-9 は 2000 年（Past）および，全球平均気温が産業革命以降 4 ℃上昇した 2100 年(Future)における日降
水量の頻度分布を示す．2000 年頃と比べて，2100 年
南西風によって大量の水蒸気が流入頃の降水量は増加する傾向があり，その増加率が約1.2 倍になることが分かる．

図-7 上空の大気状態（WRF 計算，時刻：15 時）

まとめ，今後の課題

高度(km) 反射強度
15

本研究では，平成 29 年 7 月九州北部で発生した局

雨量 100(mm/h)

地豪雨を対象として気象モデルを用いた再現計算を行10った．計算から得られた降水量は観測結果と比較的良好に一致している．また，計算結果の可視化により，局5

地豪雨発生付近では，大気下層の暖かく湿った空気と0

大気上層の冷たい空気が流れ込んで，発生した積乱雲が猛烈に発達しながら移動する等，局地豪雨をもたらし

-300

0

300(km)

図-8 線状降水帯の発達状況（WRF，時刻：15 時）た典型的な「バックビルディング型」の線状降水帯が形

Kyushu Island

成されたことを確認できた．さらに，九州地方を対象とし

1-year return periodて気候変動による影響を調べており，その降水量が約
Increase of 1.2 times

1.2 倍に増加することが分かった．今後の建築環境にお50-years return period

いて水害対策に対して注意する必要があると考えられる．

1

図-9 九州地方の降水量の頻度分布

7

参考文献
1) 気象庁: 平成 29 年 7 月 5 日から 6 日に九州北部地方で発生した豪雨の命名について，2017.
2) 防災科学技術研究所：2017 年 7 月 5 日から 6 日における福岡県・大分県の大雨について，2017.
3) WRF: WRF Users' Guide，Version 3.9, 2017.

8

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 産業利用 成果報告書

ワイヤレス電力伝送による漏えい電波の環境解析技術の研究開発
Research and development of environment analysis technique of leaked electromagnetic field from wireless power transfer

池田 和彦
Kazuhiko Ikeda
株式会社パナソニックシステムネットワークス開発研究所
Panasonic System Networks R&D Lab. Co., Ltd
https://panasonic.co.jp/cns/psnrd/
家電機器の充電などに用いられるワイヤレス電力伝送（WPT：Wireless Power Transfer）システムが近年検討されている．WPT システムから漏えいする電磁界は他の様々な電子機器に影響を与える可能性があり，その干渉影響を定量的に評価する必要がある．WPT システムの設置が想定される戸建て住宅や商業施設などの環境では近傍に様々な無線機器が存在するため，それらに影響を及ぼす恐れのある周波数帯での漏えい電磁界特性の評価が必要である．しかしながら，戸建て住宅や商業施設全体の漏えい電磁界を測定するには多大な時間と労力がかかり，シミュレーションでは解析空間サイズが大規模になる課題がある．筆者らはこれまでスーパーコンピュータ TSUBAME 2.5 を用いて戸建て住宅及び商業施設における漏えい電磁界を解析し，鉄筋や外壁などの建材が漏えい電磁界特性に大きな影響を与えることを示した．本利用課題では，より実際に近い WPT 使用環境を想定し，商業施設内に複数台の WPT システムが併設される場合や，商業施設周辺に多数の建造物が存在する場合の漏えい電磁界を解析する．
The wireless power transfer (WPT) system for electronics devices and so on has been actively developed in recent
years. Since the electromagnetic field leaked from the WPT system interferes with the other devices, it is required toquantitatively evaluate the electromagnetic interference. In the housing or commercial facilities environment, the WPTsystem is located generally close to other various devices. If the frequencies of the fundamental and high-harmoniccomponent of the WPT system are overlapped with operating frequency of these devices, the electromagnetic fieldleaked from the WPT system threatens to interfere with these devices. Thus, it is required to quantitatively evaluate theleaked electromagnetic field at various frequencies. The measurement in the whole house or commercial facilities
involves immense amount of time and effort, and the simulation requires the enormous analysis size. Therefore, wehave analyzed leaked electromagnetic fields in the housing or commercial facilities environment by using
supercomputer TSUBAME 2.5. It was confirmed that architectural materials, the steel mesh structure and exterior wall,
especially affect the electromagnetic field in the house simulation. In this paper, assuming an environment close toactual use case of the WPT system, we analyze the leaked electromagnetic field property under simultaneous operating
condition of multiple WPT systems by using supercomputer TSUBAME 2.5.
Keywords: Electromagnetic simulation, Ray launching, Wireless power transfer, Leaked electromagnetic field

1. まえがき

渉機器に影響を及ぼす恐れのある周波数帯（kHz 帯

家庭用電子機器や電気自動車の充電に用いられるから GHz 帯）の漏えい電磁界評価が重要となる．

ワイヤレス電力伝送（WPT：Wireless Power Transfer）

しかしながら，住宅環境等の WPT 設置環境全体

システムが近年検討されている[1],[2]．WPT システ

における漏えい電磁界の測定には多大な時間と労力ムから漏えいする電磁界は他の様々な電子機器の誤がかかるため，シミュレーションを用いて解析する

作動の要因になり得るため，その強度規制値の国際ことが望ましい．住宅環境全体を含むシミュレーシ

標準化に向けた議論が進められている．多種多様なョンの解析空間は大規模なものになるため，並列演

WPT システムからの漏えい電磁界によって引き起算による大規模解析が可能なスーパーコンピュータ

こされる干渉問題が重要な課題であり，様々な設置の利用が有効となる[3]．

環境や高次高調波を考慮した定量的な評価が必要不

平成 27 年度及び 28 年度の利用課題において，筆可欠である．例えば住宅環境においては，WPT シス

者らは，WPT システムや各種無線機器などが密集しテムの近傍に様々な無線機器が存在し，それら被干て設置される環境の 1 つとして戸建て住宅または商9（様式 20）成果報告書
2.1 波源モデル

業施設を含む空間に WPT 波源を配置し，漏えい電磁界の分布状況を解析することで，住宅を構成する

図 2.1 に本章で用いる波源モデルを示す．直径

鉄筋や外壁などの建材が漏えい電磁界特性に大きな

50mm，巻き数 3T のスパイラルコイルを 87MHz の影響を与えることを示した．本年度は，より実際に波源として用いる．

近い使用環境を想定し，商業施設内に複数台の WPT

2.2 商業施設における漏えい電磁界の解析システムが併設され同時動作する場合や，商業施設周辺に多数の建造物が立地している場合の漏えい電

本節では，商業施設をモデリングして WPT 波源

磁界を解析する．

を複数個配置し，複数の波源が同時動作する場合の本利用課題では，ラジオ受信機，携帯端末，無線

商業施設モデル内外の漏えい電界を解析する．

LAN ルータへの干渉を想定し，WPT システムの高2.2.1 シミュレーション条件

調波である 87MHz，3.5GHz，5.3GHz の漏えい電磁界をスーパーコンピュータ TSUBAME 2.5 [4]を用い

表 2.1 にシミュレーション条件を示す．計算機シて解析する．漏えい電磁界の波源と商業施設をモデ

ステムは TSUBAME 2.5，有限積分法の電磁界解析をリングして商業施設モデル内外の漏えい電磁界を解用い，解析周波数は FM ラジオ帯の 87MHz とし，析し，商業施設内に複数台の WPT 波源がある場合

6.78MHz（家電モバイル機器の充電向け）の 13 次高や商業施設周辺に多数の建造物が存在する場合の漏調波を想定した．波源は 2.1 節で説明したモデルを

えい電磁界特性を求める．また，商業施設を含む解析空間サイズの変更により解析で考慮する周辺建造

表 2.1

物の範囲を変化させ，妥当な解析に必要となる周辺計算機システムTSUBAME 2.5

建造物のモデル化範囲を検証する．なお，87MHz の解析手法

有限積分法電磁界解析

解析には有限積分法を用いた電磁界シミュレータで

解析周波数

87MHz

ある CST 社の MICROWAVE STUDIO[5]を，3.5GHz

出力

30dBm

及 び 5.3GHz の 解 析 に は 筆 者 ら が 開 発 し た Ray

波源

Launching 法を用いた電波伝搬シミュレータ[3]を使

解析モデル

87MHz

波源の配置位置

本章では，漏えい電磁界によるラジオ受信機への直径 50mm，巻き数 3T コイル
商業施設モデル

用して解析する．

2. 電磁界解析による漏えい電磁界の解析

シミュレーション条件

商業施設内イートインスペースのテーブル裏波源の配置数

2，5，10

解析対象エリア

商業施設含む 40×40×10m エリア

干渉を想定し，WPT システムの高調波である 87MHzの漏えい電界特性を電磁界解析手法（有限積分法）

鉄骨梁：金属

屋根：金属

外壁：サイディング

窓ガラス：ガラスにより解析する．

Z
Y
X

Y

50mm

車両：金属

X
Z

解析空間：40×40×10 m
テーブル：木 商品棚：金属

基礎鉄筋：金属

3turns

図 2.1

図 2.2

解析モデル（波源）

10

解析モデル（商業施設）

（様式 20）成果報告書
用い，送信電力は 30dBm とした．

の場合は駐車場近傍のイートインスペース配置，5

図 2.2 に商業施設モデルを示す．商業施設及びそ波源の場合は駐車場から最遠の配置，10 波源の場合の周辺の駐車場を含む解析空間のサイズは 40×40

は最悪条件としてイートインスペース全域に配置し×10m である．波源は前述の通り家電モバイル機器

た．また，複数の波源が同時動作する場合，波源間の充電向けを想定しているため，商業施設内イートの位相差によって漏えい電界強度は変動するため，

インスペースのテーブル裏に配置する（床からの高各波源間の位相差無しの場合と位相差有り（等間隔，さは 0.75m となる）
．波源の向きは図 2.1 及び図 2.2

2 波源：180˚刻み/5 波源：72˚刻み/10 波源：36˚刻み）の座標軸の通りであり，地面に対してコイル開口面の 2 通りを解析した．

が水平となる．波源の数は 2，5，10 の 3 通りとした．

図 2.3，図 2.4 より，波源の数が増えると漏えい電界強度が増加する傾向や，波源間の位相差によって2.2.2 評価結果

漏えい電界分布が変化することが確認できる．また，

図 2.3 及び図 2.4 に 87MHz における商業施設内と波源として用いたコイルは水平面無指向性のため，その周辺での漏えい電界分布を示す．地面から 1m

漏えい電界は基本的には波源を中心に放射状に分布の高さにおける水平面（XY 面）の分布を記載してするが，各構造物の影響による電界強度の変動が見おり，波源の配置位置を赤丸で示している．2 波源

られる．
（dBV/m）（dBV/m）（a）2 波源（a）2 波源（dBV/m）（dBV/m）（b）5 波源（b）5 波源（dBV/m）（dBV/m）（c）10 波源
図 2.3（c）10 波源

漏えい電界分布（波源間の位相差無し）

図 2.4

11

漏えい電界分布（波源間の位相差有り）

（様式 20）成果報告書

3. 幾何光学的電波伝搬解析による漏えい
電磁界の解析

3.2.1 シミュレーション条件
表 3.1 にシミュレーション条件を示す．波源は 3.1

本章では，携帯端末及び無線 LAN ルータへの干節で示したパッチアンテナを用い，受信機器はダイ

渉を想定し，WPT システムの高調波である 3.5GHz

ポールアンテナとした．なお，送信電力は 10dBm と及び 5.3GHz の漏えい電界特性を幾何光学伝搬解析

した．

手法（Ray Launching 法）により解析する．

図 3.2 に商業施設モデルと波源の配置位置を示す．
商業施設を中心として，周辺の建造物をモデリング

3.1 波源及び受信機器モデルしている．波源は前章同様に，商業施設内のイート

図 3.1 に本章で用いる波源モデルを示す．各周波ーンスペースのテーブル裏に配置する．受信機器は数で高い電界強度を放射するために周波数ごとに波図 3.3 に示すように商業施設を含む 40×40m の空間源モデルを設計しており，3.5GHz では 20.3×20.3mmに 0.1m 間隔で格子状に配置しており，受信機器設置

素子，5.3GHz では 12.6×12.6mm 素子のパッチアン

位置数は 160,000 点となる．配置高さは 1m とした．

テナを波源として用いる．また，無線機器そのもの

図 3.4 に評価する解析空間サイズの条件を示す．解の特性を含まない基本的な漏えい電磁界を解析する析空間サイズとしては，商業施設を中心として 40×

ため，受信機器をダイポールアンテナで模擬する．

40m，120×120m，200×200m，280×280m の範囲を抽出した 4 種類とする．図 3.5 に示すように，解析

3.2 商業施設における漏えい電磁界の解析

空間の境界上にある建造物については解析空間内の

本節では，解析空間サイズをパラメータとして，

壁面のみ残すように設定した．

商業施設モデルに WPT 波源と受信機器を配置し，受信機器を移動させたときのパスロスを解析する．

（a） 3.5GHz（a）3.5GHz

図 3.1

表 3.1

(b)5.3GHz（b）5.3GHz

計算機システムTSUBAME 2.5

解析手法

Ray Launching 法電波伝搬解析

解析周波数3.5GHz，5.3GHz

出力

10dBm

波源

解析モデル（波源）

周辺建造物：
コンクリート

3.5GHz20.3×20.3mm パッチアンテナ

5.3GHz12.6×12.6mm パッチアンテナ

受信機器

ダイポールアンテナ

解析モデル

商業施設及び周辺建物モデル

波源の配置位置
解析対象エリア

商業施設

シミュレーション条件

商業施設内イートインスペースのテーブル裏
商業施設含む 40×40×10m エリア

商品棚：金属
屋根：金属

鉄骨梁：金属

外壁：サイディング
基礎鉄筋：金属
h=1.0m波源
テーブル：木

車両：金属
窓ガラス：ガラス1m

図 3.2

商業施設モデルと波源の配置位置

図 3.3

12

1m

受信機器設置位置

（様式 20）成果報告書
ここで，各受信点ではマルチパスフェージングに値の差分を示す．これらの結果から，解析空間サイ

よるパスロスの瞬時変動が含まれるため，図 3.3 のズが 120×120m 以上でパスロス中央値の解析結果が青色の四角で示すように，1m 四方の領域ごとに 100

収束することがわかる．

受信点のパスロスの中央値を算出する．各解析空間

図 3.7 に 3.5GHz の各解析空間サイズにおけるパス

サイズにおいて，
図 3.4 に示す全エリア（600×600m）

ロス分布を示す．図 3.7（a）40×40m の波源の左側の結果を基準として 1m 四方の領域ごとにパスロスの領域において，他条件と比較してパスロス分布の中央値の差分を算出し，その中央値差分の累積確率

傾向が異なっているが，これ以外では全条件でほぼ分布を求める．本解析では，累積確率 10%，50%，

同等の分布となっている．この要因を推測するため，90%それぞれにおけるパスロス中央値差分により，差分が発生している箇所のレイ軌跡を解析する．図解析空間サイズの影響を評価する．

3.8 に 40×40m，120×120m の解析空間サイズにおけるレイ軌跡をそれぞれ示す．40×40m の条件では3.2.2 評価結果

商業施設の外壁からの透過波のみが到達しているの

図 3.6 に解析空間サイズを変更した場合のパスロ

に対し，120×120m の条件では周辺建造物からの反ス中央値差分の累積確率分布を示す．また，表 3.2

射波が多数到来することが確認できる．この結果かに累積確率 10%，50%，90%におけるパスロス中央ら，波源近傍の建造物からの反射波がパスロス分布の傾向が異なる主要因であるとわかった．また，
5.3GHz においても 3.5GHz と同様の分布となる．

図 3.4

解析空間サイズ（全エリア 600×600m）（a）3.5GHz（a）40×40m（b）120×120m（b）5.3GHz（c）200×200m
図 3.5

図 3.6

（d）280×280m

各解析空間サイズでのパスロス
中央値差分の累積確率分布

各解析空間サイズの建造物モデル

13

（様式 20）成果報告書
4 まとめ

表 3.2

各累積確率におけるパスロス中央値差分

本利用課題ではスーパーコンピュータ TSUBAME（a）3.5GHz

2.5 を用いて商業施設における漏えい電磁界特性を

累積確率

解析した．
より実際に近い WPT 使用環境を想定し，解析空間サイズ

90%

50%

10%

複数の波源が同時動作する場合を解析，波源間の位40×40m

4.9dB

0.1dB

0.0dB

相差により漏えい電界強度が変動することを確認し120×120m

0.1dB

0.0dB

0.0dB

た．また，解析空間サイズをパラメータとして解析

200×200m

0.1dB

0.0dB

0.0dB

で考慮する商業施設周辺の建造物の影響を検証した．

280×280m

0.1dB

0.0dB

0.0dB

TSUBAME 2.5 を用いることで，商業施設及びその周（b）5.3GHz

辺建造物を含む大規模なモデルを解析でき，有限積

累積確率

分法電磁界解析及び Ray launching 法電波伝搬解析
における TSUBAME 2.5 の有用性を確認した．
なお，本研究は総務省平成 27 年度電波資源拡大のための研究開発「ワイヤレス電力伝送による漏えい
電波の環境解析技術の研究開発」の一部である．

解析空間サイズ

90%

50%

10%

40×40m

4.9dB

0.1dB

0.0dB

120×120m

0.1dB

0.0dB

0.0dB

200×200m

0.1dB

0.0dB

0.0dB

280×280m

0.1dB

0.0dB

0.0dB

参考文献
[1] Q. Chen et al., “Antenna Characterization for WirelessPower Transmission System Using Near field Coupling,”
IEEE Antennas and Propagation Magazine, Vol.54, No.4,
Aug.2012.

（a）40×40m[2] J. Kim et al., “Electromagnetic Interference andRadiation from Wireless Power Transfer Systems,” 2014
IEEE International Symposium on Electro- magnetic
Compatibility, Aug. 2014.

（b）120×120m[3] K. Takagi, T. Yui, M. Anada, T. Izumi, H. Uno, H.
Watanabe and Y. Saito, “Analysis of Electromagnetic
Field Leaked from Wireless Power Transfer System in
Case-study House,” WPTC 2015, P2.5, May 2015.
[4] 東京工業大学 学術国際情報センター, TSUBAME(http:// www.gsic.titech.ac.jp/tsubame).
[5] CST MICROWAVE STUDIO（http://www.cst.com/）（c）200×200m
図 3.7（d）280×280m

3.5GHz におけるパスロス分布（a）40×40m
図 3.8（b）120×120m

3.5GHz におけるレイ軌跡

14

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 産業利用 成果報告書

利用課題名 大容量データ伝送用ミリ波アンテナのレドームに関する基礎検討
英文 A Study on radome for millimeter-wave antenna
利用課題責任者千葉 修二
Shuji Chiba
所属スタッフ株式会社
STAF corporation．
URL http://www.staf.co.jp/

邦文抄録（300 字程度）
屋外で使用される大容量データ伝送用ミリ波帯アンテナに装着されるレドームの形状に着目し検討を行った。
レドーム形状を曲面とし、曲面の曲率を R=100～1000 までの間で変化させた。
TSUBAME を用いた電磁界解析で、レドーム形状の曲面を細かく変化させた時のアンテナ指向性ならびにアンテ
ナ利得を示している。
その結果を元にレドーム形状の曲面について最適値を示した。
英文抄録（100 words 程度）
We studied the radome shape of outdoor millimeter wave antenna.
The shape of the radome was a curved surface, and the curvature of the curved surface was varied
between R = 100 and 1000.
The antenna directivity and the antenna gain are shown when the radome-shaped curved surface isfinely changed by electromagnetic field analysis using TSUBAME
Based on the result, we showed the optimum value for the radome shape curved surface.

Keywords: radome, electromagnetic simulation, horn antenna,
背景と目的

アンテナ利得、指向性に影響の少なかったレドームのミリ波帯を使用した大容量伝送用のアンテナは日本

条件を用いて、本年度はレドーム形状（曲面形状）に的

国内において、積極的な開発が行われておらず、海外を絞り、電磁界解析を用いて基礎的なデータの取得を製品がほとんどである。ついては、アンテナ特性（利得、行い、レドーム形状（曲面形状）の影響を明らかにして指向性、VSWR）において、海外製品同等以上のミリ波いる。

帯アンテナを無線装置開発メーカー様へ逸早く供給す

概要

る事は、弊社にとって喫緊の課題であり、この課題解決

本年度は、レドーム形状の曲面の曲率半径の違いのために同アンテナ開発を高精度かつ遅滞なく進めるによるアンテナ利得、指向性の変化に的を絞り基礎的ことが必要である。屋外で使用されるミリ波帯アンテナ

なデータの取得を行うため、検討アンテナは平成 26 年

において、高いアンテナ性能を維持しつつ、優れた耐度から用いている物と同じ条件（図 1）、レドームの厚み、候特性を確保する為のレドームは屋外用ミリ波帯アン

比誘電率、検討アンテナとレドーム間隔は平成 26 年度

テナを構成する重要な部品であり、最適化は重要であから平成 28 年度にかけて最適化した結果から、厚み

り大きな課題となる。

2mm、比誘電率 4.05 間隔 16.7mm（図 2）とした。レドー

本プロジェクトでは、上記課題に対し、電磁界解析を

ムの影響を確認する為に電磁界解析実施モデルは、レ

用いて、レドームの影響を明らかにする事を目的としてドームなしモデル図 1 を基本状態とし、次にレドームあいる。平成 26 年度から平成 28 年度にかけて、レドーム

りモデル図 2 としている。

の厚み、レドーム比誘電率、検討アンテナとレドームのレドーム形状の曲面の曲率半径を R＝100～2000 の間隔について電磁界解析を実施した。そこで得られた範囲で変化させた物とレドームなしモデルの比較を行う

15

（様式 20）成果報告書
事で E-Band 帯の 71GHz、76GHz、におけるレドームの

R=300 以上が良く、76GHｚ帯では R=100～500mm の間影響を確認した。

で利得の変動は少ない。以上のことから R=300 程度が良いと考えられる。
71GHｚ 0°方向利得の関係

開口部

14.00
13.50

0°方向利得（dBi)

13.00
12.50

12.00
11.50
11.00
10.50

給電部
図 1 ホーンアンテナ：角すいホーン

10.00

0

200

400

/レドームなしモデル基本状態

600

800

71GHｚ

1000 1200 1400
曲率半径（mm）

1600

1800

2000

2200

1600

1800

2000

2200

レドームなし71GHｚ

図 3（a） 71GHz 帯利得曲率半径を可変 R＝100～2000（mm）

76GHｚ 0°方向利得の関係

16.7（mm）

13.50

Z（0°）
H面

0°方向利得（dBi)13.00

レドーム厚みｔ2.0mm

E面

比誘電率 4.05

12.50
12.00
11.50
11.00

10.50

Y（90°） X（90°）

10.00

0

200

400

図 2 レドームありモデル

600

800

76GHｚ

1000 1200 1400
曲率半径（mm）
レドームなし76GHｚ

図 3（b） 76GHz 帯利得
結果および考察
図 3（a）（b）に図 1 と図 2 の電磁界解析の結果として

次に図 4（a）、(b)、（c）、（d）に 71GHz、76GHｚの指向

レドーム形状の曲率を変化させた時の利得変化を示

性を示す。

す。

71GHz、76GHz の E 面（ZX 面）、H 面（ZY 面）共に 1071GHz 帯について、曲率を変化させることで利得が～40 度付近はレドーム形状の曲面の違いで指向性が変化している事が解る。利得の変化には傾向があり、大きく変化する事は無く、レドーム形状の曲面の影響は曲率が大きくなるにつれて利得は低下傾向にある。

0°付近で現れる。

76GHz についても、71GHz 同じ傾向で曲率が大きくな

0°付近の影響が大きいのは、電波の入射角によるるにつて利得が低下している事が確認できる。

ものと考えられ、入射角がレドーム対し垂直になるにつレドームの影響がない状態＝レドームなしの状態とれて、検討アンテナに戻ってくる反射波が多くなり、ちょすると、すべての状態において利得の向上が見られる、
これは昨年度報告した検討アンテナとレドーム距離にっとした形状の変化で大きく特性が変わるものと推測する。

おいて、利得劣化が見られない距離関係を保っている
事が起因していると考えられる。
利得の観点から見ると 71GHz 帯では曲率 R=100～
200mm では変動が大きいため、変動が緩やかになる

16

（様式 20）成果報告書
まとめ、今後の課題
71GHz E面指向性の変化

ミリ波アンテナにおけるレドーム形状曲面の曲率半

20
15

10
利得（dBi)

径の違いによる影響を電磁界解析にて確認した。曲率

R=100mm5

半径を変化させることで、利得が変化する事が確認でR=200mm

0R=300mm-5-10

R=400mm-15

R=500mm-20

R=1000mm-25

R=2000mm-30

きた。また指向性においては、0°付近での影響が大きい事が確認できた。
今回の条件においては、71GHz、76GHｚ双方の利得レドームなし
0

20

40

60

80

の傾向から利得変動の少ない曲率半径 R＝300mm と100角度(deg)

判断している。
図 4（a） 71GHz 帯 E 面指向性

平成 26 年度～今年度に掛けてレドームに関係する課題を検討してきた結果、レドームの基礎的なデータ

71GHz

H面指向性の変化

は概ね取得できたと考えている。

20
15

10
利得（dBi)

今後の課題としては検討アンテナの違いによる、レド

R=100mm5ームの影響があげられる。検討アンテナを変える事でR=200mm

0R=300mm-5-10

R=400mm-15

R=500mm-20

R=1000mm-25

R=2000mm-30

レドームの影響度合いは変化する物と考えている。検討アンテナを変化させ、平成 26 年度から今年度までで最適化を行ったレドームを用いて、レドームあり、なしのレドームなし
0

20

40

60

80

特性比較を行う事で、検討アンテナとレドームの関係を

100

角度(deg)

明らかにしたい。
図 4（b） 71GHz 帯 H 面指向性
76GHz

E面指向性の変化

20
15
10

R=100mm

利得（dBi)5

R=200mm

0R=300mm-5-10

R=400mm-15

R=500mm-20

R=1000mm-25

R=2000mm-30

レドームなし
0

20

40

60

80

100

角度(deg)

図 4（c） 76GHz 帯 E 面指向性
76GHz

H面指向性の変化

20
15
10

R=100mm

利得（dBi)5

R=200mm

0R=300mm-5-10

R=400mm-15

R=500mm-20

R=1000mm-25

R=2000mm-30

レドームなし

0

20

40

60

80

100

角度(deg)

図 4（d） 76GHz 帯 H 面指向性

17

18

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 産業利用 成果報告書

利用課題名 産業利用のための大規模ディープラーニング
英文：Large-scale Deep Learning for Industrial Use
利用課題責任者
Takashi Yamazaki
所属
株式会社 富士通研究所
http://www.fujitsu.com/jp/labs/
邦文抄録（300 字程度）
人工知能研究の中心の一つであるディープラーニング(DL) 技術は，多くのフレームワークが公開されていることもあり，ものづくりから医療まで，様々な産業のフィールドで広く用いられ，特に画像・音声認識に威力を発揮し始めている．しかし，応用の際にはまだ課題も多い．例えば DL の性能は学習データの量や質に大きく依存するが，既存のフレームワークを用いるだけでは，大規模データを効率良く使うことはできない．
我々のプロジェクトでは，DL を大規模並列化し，ものづくりの現場で利用できる効率の良い DL を実装したいと考えている．トライアル的な利用において， 既存 DL フレームワークの効率を含む基礎的な調査を行った．
英文抄録（100 words 程度）
Deep learning (DL) technology, which is one of the one of the biggest trend of cutting-edge artificial
intelligence technology, has many open frameworks, and is widely used in various industrial fields
from manufacturing to medical treatment, and in particular, image and sound recognition. However,there are still many problems in application. For example, DL performance largely depends on theamount and quality of training data, but using existing frameworks cannot efficiently use large-scaledata.
In our project, we would like to massively parallelize DL and implement efficient DL code that can beused in the field of manufacturing. A basic survey including efficiency of existing DL code in MPI +GPU environment is conducted in a one-month trial use, and detailed issues are extracted.

Keywords: deep learning, artificial intelligence, industry, parallelization
背景と目的
ものづくりの分野においては，ディープラーニング

結果および考察(DL) に代表される AI 技術を用いた，開発過程の効TensorFlow を TSUBAME 上で実行し，基礎的なフレ率化や自動化，或いは最適なパラメータやデザインをームワークの環境整備を行うことができた． 基礎的な求めるといった応用がなされ，技術者・施術者の経験調査として，TSUBAME 上の TensorFlow を用いて，値や勘・直感を一般化する取り組みが始まっている．現

画像データの分類を行うプログラムを実装し，高精度な実の問題に応用する際の最大の課題の一つは，複雑分類性能を確認した．

な構造を持つ既存の製品やモックアップを学習データに用いる際に必要となる高解像度化である．この問題

まとめ、今後の課題を解決するために，大きなデータを扱うことができ，現今回の利用では，利用期間が一ヶ月と短かったため，場で利用できる精度と効率を持つ DL の実装が強く十分な考察を行うことができなかったが，TSUBAME

求められている．

を利用することで，今後の土台となる基礎的なノウハウ

本プロジェクトでは，既存の DL フレームワークを用を得ることができた。今後は，高解像度のデータを用い

いて，ものづくりの現場で利用できる高効率な DL 実装

た学習の精度および効率を評価するとともに，MPI をの評価・検討を念頭に，基礎的な調査を行うことを目的用いた高並列度の実行に関して調査・検討を進める．

とした．

19

20

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 廃棄物最終処分場における間隙内流体挙動の数値解析
英文：Numerical analyses of fluid dynamics in pores of landfill waste layer
利用課題責任者 鈴木和将
Kazuyuki Suzuki所属 埼玉県環境科学国際センター
Affiliation Center for Environmental Science in Saitama
URL http://www.pref.saitama.lg.jp/cess/index.html

邦文抄録
本研究では、廃棄物最終処分場内部の水やガスの流れ問題の高品質な計算スキームの開発を目的として、数値流体解析の検討を行った。具体的には支配方程式に Navier‐Stokes 方程式を用いて SUPG/PSPG 法に基づく安定
化有限要素法により離散化した。さらに,GPGPU コンピューティングによる計算の高速化を試みた。連立一次方程式の求解には GPBi‐CG 法を導入し、マルチ GPU を利用して高速並列計算によるシミュレーションを行った。
英文抄録
The purpose of this study is to establish a numerical simulation model of fluid flow in a landfill layer
with high quality and high precision. A 3D finite element method is a powerful tool for flows having
complex geometry such as porous media in landfill. However, it leads a huge amount of computation
cost. In this study, we examined to accelerate the 3D FEM by using the Graphics Processing Unit as a
general-purpose use (GPGPU).

Keywords: landfill, Numerical simulation, FEM, Navier-Stokes equations, GPGPU

析においても有用な方法ではあるが、要素数が多く背景と目的

我々はこれまで、廃棄物最終処分場内部の水や大規模な流れ解析を行う場合、計算量が増加し、計

ガスの流れ問題の高品質な計算スキームの開発を算に莫大な時間を要することなる。実問題に適用し目的として、埋立廃棄物のコアサンプル等の CT 画ていくためには、大規模化に伴う、計算の高速化が像から間隙形状を抽出する三次元モデリングを行い、求められている。

実際の形状を反映した内部の流れ解析を検討してき近年、画像処理を目的に開発されてきた GPU

た 1,2)。モデル化した間隙は複雑な形状をしており、(Graphics Processing Unit) を画像表示の目的でこのような中の流れ解析においては、任意形状の適はなく、科学技術計算に利用する GPGPU(General

合性に優れた有限要素法による数値解法が有効でPurpose Graphics Processing Unit)の研究が、天ある。しかし、非圧縮性粘性流体の支配方程式であ体や気象等様々な分野で盛んに行われている。

る Navier-Stokes 方程式と連続式に対して有限要

GPU 上には、数多くの演算コアが搭載されており、素法を適用すると、移流項の卓越や非圧縮性に起これらのコアを用いた並列計算を行うことにより、大因して数値的に不安定な挙動を生じることがある。

規模な問題に対して計算時間を大幅に短縮すること

本研究では、この数値的な不安定性を取り除く手法

が可能となってきた。数値流体解析においても、このとして Tezduyar ら 3,4)によって提案された SUPG

ような GPGPU コンピューティングを利用した高速化(Streamline Upwind/Petrov-Galerkin) / PSPGへの試みが図られてきている。非圧縮性流体(Pressure Stabilizing/Petrov Galerkin)法に基づ

Navier-Stokes 方程式を解析する際、解は係数行

く安定化有限要素法を適用して離散化を行った。安

列が大規模疎行列となるような連立一次方程式を反定化有限要素法は、汎用性が高く、間隙内の流れ解

復解法で解くことで求まるが、このプロセスが計算処

21

（様式 20）成果報告書
理の最も重い部分となりやすい。このため、連立一

𝜕𝑢

𝜕𝑞

𝑛

𝜕𝑢

𝜕𝑢

𝜕𝑝

𝑗

𝑖

𝑒𝑙
∫𝛺 𝑞 𝜕𝑥𝑖 𝑑𝛺 + ∑𝑒=1
∫𝛺 (𝜏 𝜕𝑥 ) ( 𝜕𝑡𝑖 + 𝑢̅𝑗 𝜕𝑥 𝑖 + 𝜕𝑥 ) 𝑑𝛺 =次方程式の求解の高速化が重要な課題であり、

𝑖𝑖

GPU による高速化が望まれる。

0,

(4)

ここで、 wi , q は、それぞれ式(1),(2)に対するそこで、本研究では、安定化有限要素法を適用した廃棄物埋立層内の流れ解析に対して、GPU スパ

Galerkin 項の重み関数である。また、 u i は移流速度

コン TSUBAME を用いた計算の高速化を試みた。

を表し、  は安定化パラメータを表している。これら(3),(4)式に対して Crank-Nicolson 法により時間方向の離散化を行うことで、有限要素方程式が導かれる。

概要

マイクロフォーカス X 線 CT 装置を用いて撮影した

導かれた連立一次方程式の解法には GPBi-CG 法を

埋立廃棄物のコアサンプル等の CT 画像を画像処適用した。

理ソフトウェアに読み込み、モデル間隙形状の作成

本研究では、計算の高速化を達成するために、を行った。さらに、作成した間隙形状のデータを STL

GPGPU を用いた並列計算を取り入れ、NVIDIA 社

ファイルへ変換し、この STL ファイルを基に、自動メの統合開発環境である CUDA とそれらのライブラリ

ッシュ生成ソフトウェア Gmsh を用いて有限要素メッ(cuBLAS, cuSPARSE)を用いて GPBi-CG 法を適用しシュの生成を行った。三次元モデリングを行った結た。

果を図 1 に示す。
結果および考察

埋立処分場間隙内の流れの数値シミュレーションを行った。時間刻み幅を 1.0×10-2sec として 100 ステ
ップを計算し、解析対象とした有限要素メッシュは、
節点数 99,560、要素数 437,386 である。計算効率を検討するために、CPU1 コア(1CPU)、 CPU1 コアと図 1 三次元間隙構造モデル

GPU1 コア(1CPU+1GPU)、CPU2 コア(2CPU)、CPU2
コアと GPU2 コア(2CPU+2GPU)のそれぞれを用いた支配方程式には、非圧縮性 Navier-Stokes 方程時の解析に要した時間を計測した。計測結果を表 1

式、連続の式を用いた。

に示す。

u i
u i
p
1   u i u j 
in , (1)
u j



t
x j
x i Re x j  x j x i 
u i
 0 inx i

表 1 計測結果

. (2)

ここで、 u は流速、 p は圧力、Re は Reynolds 数、
 は計算領域である。
上記(1),(2)の支配方程式に対して、安定化有限要素法（SUPG/PSPG 法）を適用すると以下のように弱形式が導かれる。
∫ 𝑤𝑖 (
𝛺

𝜕𝑤𝑖
𝜕𝑥𝑘

)(

𝜕𝑢𝑖
𝜕𝑡

+ 𝑢̅𝑗

𝜕𝑢𝑖
𝜕𝑥𝑗

+

𝜕𝑝
𝜕𝑥𝑖

1CPU

1.48×105

1CPU+1GPU

1.65×104

2CPU

7.69×104

2CPU+2GPU

9.06×103した。2GPU+2CPU では、2CPU と比較して 8.5 倍、

𝜕𝑢𝑖
𝜕𝑢𝑖
𝜕𝑤𝑖
+ 𝑢̅𝑗
) 𝑑𝛺 − ∫
𝜕𝑡
𝜕𝑥𝑗
𝛺 𝜕𝑥𝑖

1CPU と比較して 16.3 倍と大幅に高速化した。また、
図 2 に数値シミュレーション結果を示す。速度ベクト

1 𝜕𝑤𝑖 𝜕𝑢𝑖 𝜕𝑢𝑗
(
+
)
𝜕𝑥𝑖
𝛺 𝑅𝑒 𝜕𝑥𝑗 𝜕𝑥𝑗𝑛

計算時間(sec)

1GPU では、1CPU と比較して 9.0 倍高速化を実現+∫
𝑒𝑙+ ∑𝑒=1̅̅̅𝑘∫𝛺 (𝜏𝑢

数値計算環境ルの様子は、GPU、CPU どちらも同じ結果となった。
以上の結果より、埋立層間隙内流れ問題を対象とし) 𝑑𝛺 = 0 ,(3)た流体解析において GPU 並列計算の有用性を確認

22

（様式 20）成果報告書できた。

図 2 数値シミュレーション結果（上図：1CPU+1GPU
計算結果、下図：1CPU 計算結果）

まとめ、今後の課題

今後、より長期で広い空間の将来予測を高品質で可能とする数値解析手法の枠組みを構築していく。
参考文献
1)

2)

3)

4)

鈴木和将, 水藤寛: 廃棄物最終処分場内部における間隙構造の可視化と間隙中流れの数値的研究、第 26 回
廃棄物資源循環学会研究発表会講演原稿, 441-442(2015)
鈴木和将, 水藤寛: 廃棄物最終処分場における埋立層
間隙内の気液二相流数値解析、第 27 回廃棄物資源循
環学会研究発表会講演原稿, 451-452 (2016)
Tezduyar, T.E.: Stabilized finite element formulations forincompressible flow computations, Advanced in Applied
Mechanics, 28, 1-44(1991)
Tezduyar, T.E., Mittal, S., Ray, S.E. ＆ Shih, R.:
Incompressible flow computations with stabilized bilinear
and linear equal-order-interpolation velocity-pressure
elements, Computer Methods in Applied Mechanics andEngineering, 95, 221-242(1992)

23

24

TSUBAME 共同利用 平成２９年度 学術利用 成果報告書

利用課題名 高解像度画像を使った広域の家屋及び道路の深層学習による自動判別システムの開発
英文：System development of automatic building and road network detection using high resolution
imagery by deep-learning
柴崎亮介
Ryosuke Shibasaki
東京大学，空間情報科学研究センター
Center for Spatial Information Science, The University of Tokyo
shiba@csis.u-tokyo.ac.jp
深層学習手法による衛星画像からの特徴量抽出（家屋，道路，車両等の検出）についての研究を行った。家屋，道路，車両などの検出を検討したが，今年度は，サンプルデータの準備と検証の容易さから主に車両を対象に研究を進めた。成果の一つとして、Hard Example Mining(HEM)と呼ばれる手法の研究を行った。深層学習手法のトレーニングにおいて、対象地域内にある車両（ミニバン）中で，誤検出されやすい画像（ロス値の大きい画像）を対象に学習するこという手法である。この手法により、精度を改善することができた。
Deep learning allows us to detect feature objects (houses, roads, vehicles, etc.) in satellite image, butthere is space to improve accuracy and the sample images preparation. We advanced research mainly
for vehicles from the ease of preparation and verification of sample data. As one of theaccomplishments is a method called Hard Example Mining (HEM). In the training of the deep learning
method, it is a method to learn an image (image with a large loss value) that is easily erroneously
detected in a vehicle (minivan) in the target area. By this method, accuracy could be improved.

Object detection, Deep Learning, House-footprint, Vehicle detection

手法の改良（アルゴリズム・サンプリング・対象範囲の背景と目的条件など）の研究開発を行い，地上情報の整備手法の社会基盤情報として人口分布，交通ネットワークのオープン化を推進する。

整備は必須であるが，途上国，僻地の情報基盤の整備は乏しい状況にある。オープンな利用が広まりつつ

本プロジェクトは少ないサンプルデータで検出精度をある高解像度衛星画像から機械学習，ディープラーニ

高めるために，どのようなサンプルデータを準備するのングなどの手法で家屋や道路ネットワークを自動検出が最適なのか，手法と検出精度の向上との関係を調べし、地図データと利用することによる広域・社会基盤情た。家屋検出，道路検出を目的とするが，手法開発に

報の整備に寄与する。

おいてサンプルデータの準備と検出結果の評価の容易性から今年は，主に車両を対象として手法の開発を行

宇宙技術の競争が世界的に進む中，その応用利用なった。

の社会貢献が注目されている。衛星リモートセンシングの分野では，衛星画像の利用が容易になり，それらを活用した付加価値のある情報の生成，社会基盤情報結果および考察の整備のオープン化が進んでいる。社会基盤情報の一成果の一つとして、Hard Example Mining(HEM)とつである地図情報も版権が自由な情報が整備されつ呼ばれる手法の研究を行った。

つあるが，地上情報の整備手法のオープン化はあまり

具体的には、図１に示すように、車両をターゲットとす進んでいない。本研究では，高解像度衛星画像を元にる深層学習手法のトレーニングにおいて、間違って検家屋を自動検出し地図データ化する手法を開発するこ出しやすい車両（ミニバン）の画像（ロス値の大きい画とで，社会基盤情報の整備を加速させる一方で，画像像）のみを選んで学習するこという手法である。これに判別・深層学習・を使った地図情報の整備・更新，検出より、図２のように、精度を改善することができた。

25

図３ CORAL DA のアルゴリズム

図１ HEM のアルゴリズム

図４ Adversarial DA のアルゴリズム

図２ HEM による精度改善実験にあたっては、実験結果のふらつきを考慮して定量的な検討を行うため、同じ条件での実験を複数回行(a) DA による精度改善幅

ったが、TSUBAME の並列計算能力によって、これを効率的に行うことができた。
また、もう一つの成果として、ドメインアダプテーション
手法の研究を行った。深層学習を含む機械学習では、異なる分布（ドメイン）のデータがある場合に、一方のドメインでトレーニングしたモデルをもう一方のドメインに適用すると一般的に精度が大きく低下する。ドメインア
ダプテーションとは、両ドメイン間の共通の特徴空間を見出す等により、教師無しで精度低下を改善する手法
で あ る 。 本 研 究 で は 、 CORAL

Domain(b)車両検出結果の比較

Adaptation(DA)及び Adversarial DA という手法を設図５ DA による精度改善計した（図３，４）。これにより、精度低下幅の半分以上、大幅に精度を改善させることができた（図５）。

まとめ、今後の課題

本実験では、ベースとなる検出手法に比較的新しい手法を用いたほか、DA 手法も計算量が大きく、必要リ
ソースが大きかったが、tsubame3 の最新 GPU スペッ

26

クにより比較的容易に実装することができた。また、DA手法の設計にあたってはアルゴリズムのほか、パラメ
ータ 等も様々な検討 を行う 必要があった が 、これもTSUBAME の並列計算能力によって効率的に検討を行うことができた。

27

28

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 蛋白質-リガンド複合体の会合・解離の速度定数を平衡論から導く
英文：estimation of protein-ligand association/dissociation rate constant from equilibrium
利用課題責任者: 肥後順一
First name Surname: Junichi Higo
所属：大阪大学蛋白質研究所
Affiliation: Institute for Protein Research, Osaka University
URL
一般に効率的構造探索法からは、速度定数を見積もることはできない。構造探索効率をあげることを優先することで、実時間で規定される物理量の計算を犠牲にしている。我々は、効率的構造探索法から速度定数を算出することを提案している。具体的には、二つの生体高分子の会合と解離の速度定数を算出するために、アラ
ニン２分子を溶液中に配置し、効率的構造探索法である「アダプティブアンブレラサンプリング法」と「仮想系とカップルしたカノニカ分子動力学法」を、TSUBAME 3.0 上で行った。その結果、多数回の会合と解離を観測し、多数のスナップショットを得た。以上で本プロジェクトの目標を達成した。これにより速度定数を導き出す準備を整えた。
To calculate rate constants for association and dissociation of biomolecules in an explicit solvent,
we performed two types of effective conformational sampling methods: Adaptive umbrella sampling
and virtual-system coupled molecular dynamics. The system consisted of two alanine molecules
embedded in an explicit solvent. We obtained the association and dissociation events many times forthe system during the simulations with using the TSUBAME 3.0 system, and stored a large numberof snapshots from the simulation trajectories. These snapshots are used for calculating the rate
constants.

Keywords: reaction coordinate, enhanced conformational sampling, rate constant, free-energy
landscape, molecular dynamics
背景と目的

プティブアンブレラサンプリング（AUS）法」や「仮想系と最近、蛋白質をはじめとする生体高分子の立体構造

カップルしたカノニカ分子動力学（VcMD）法」を行い、探索が計算シミュレーションによって盛んに行われてい系の自由エネルギー地形を効率的に求めると同時に、る。ここ１０年、様々な効率的構造探索法が開発された

それ以上余分な計算をせずに速度定数を求めることをおかげで、生体高分子の大規模な立体構造変化や生目 的 と す る 。 我 々 は 、 VAUS 法 や VcMD 法 を体高分子複合体の会合・解離の自由エネルギー地形

TSUBAME3.0 上で実行することで、溶液中でのアラの計算が、徐々に可能になってきた。これらの手法で

ニン２分子の会合・解離の過程を多数回実現することは、平衡論としての自由エネルギー地形が得られる。しを目指した。

かし、その方法では速度論としての速度定数は得られない。一方、実験的な研究では、平衡論的な量だけで概要なく速度定数も得られることがある。一般に速度定数のアミノ酸の一種であるアラニン２分子を水中に配置し算出には効率的構造探索法は使えず、従来のカノニカ（図１）、AUS 法および VcMD 法を行った。その結果、

ル MD 法で行うしかない。したがって膨大な計算時間

アラニン２分子が水中で何度も会合と解離を繰り返した。

がかかる。速度定数を簡単に得られる計算手法が望ま

このデータを使い、会合と解離をつかさどる自由エネル

れる。

ギー地形を算出した（図２A）。

本プロジェクトでは、効率的構造探索法である「アダ29

げで構造探索が効率的になる。一方、そのバイアスのおかげで、スナップショットの時系列からは実時間上の構造変化の概念が失われる。
しかし、隣り合うスナップショットの間の構造変化からは、理論上バイアスポテンシャルの影響を消し去ることができる。我々は、シミュレーションから得られた多数のスナップショットを保存した。ここまでが、本プロジェクトの目標である。これらのスナップショットから、バイア

図１： 溶液中のアラニンの二分子

スポテンシャルの効果を消し去り、速度定数の計算の準備が整った。

結果および考察
これらのシミュレーションから、アラニン２分子の会合と解離の様子を図３に示す。これは全計算の一部であり、シミュレーションの全長では多数回の会合・解離が
図２A: 300K での自由エネルギー地形。横軸が２分子の重心間距得られた。したがって、このデータから速度定数を導き

離、縦軸が２分子の相互配向（分子の向きを表す単位ベクトルの内出すための統計性は充分であると考えられる。ここまで

積）。

の 結 果 は 、 J. Comput. Chem. (T. Hayami, K.

Kasahara, H. Nakamura, J. Higo. 2018. doi:
10.1002/jcc.25196)に発表した。本プロジェクトの目的
は、TSUBAME3.0 を使い、多数のスナップショットを作成することであったので、目的は達成された。このデータをもとに、今後、会合・解離の速度定数を算出する。

図３：アラニン分子の重臣間距離の時間変化。ある時間間隔での３本の trajectories を示した。

図３B： 図３A で示された地点（a,…,f）での２分子相互配置。

図２B は、自由エネルギー地形の数カ所から抜き出

まとめ、今後の課題

した、二分子の相対配置である。会合・解離の様々な

前節で記述したように、TSUBAME3.0 を使い、会状態が得られたことがわかる。

合・解離という大きな構造変化を表すスナップショットをさて、シミュレーションからは多数のスナップショット作成できた。さらに複雑な系の大規模構造変化の速度が得られるが、スナップショットの時系列は実時間上で定数を計算するためには、計算が大規模になる。今後、の構造変化を表していない。一般に効率的構造探索法

TSUBAME を使ったシミュレーションに関する経験をではバイアスポテンシャルが導入されており、そのおか蓄積する必要があると考えられる。

30

（様式 20）成果報告書

TSUBAME 共同利用 平成２９年度 学術利用 成果報告書

利用課題名 先進的ステンシルコード技術
英文：Advance Stencil-Code Engineering
利用課題責任者
千葉 滋
Shigeru Chiba所属
東京大学 情報理工学系研究科創造情報学専攻
Grad. School of Information Science and Technology
The University of Tokyo
http://www.csg.ci.i.u-tokyo.ac.jp
邦文抄録（300 字程度）
⾼度なステンシル計算のためのドメイン専⽤⾔語 (DSL) の開発を⾏い、その実⾏時性能を検証するた
め、NAS Parallel Benchmark の CG, LU 相当のプログラムを DSL で書き、TSUBAME 上で元のFortran によるプログラムと実⾏時性能の⽐較をおこなった。本研究課題は JST CREST/独 DFG による⽇独共同研究 SPPEXA の ExaStencil プロジェクトの中で実施している。ExaStencil プロジェクトで開発している ExaSlang の性能測定の⼀部も TSUBAME 上でおこなった。さらに DSL の実⾏基盤として分散システムの資源管理システムの研究もおこなった。具体的には Hadoop のオリジナル実装を MPI
環境で効率よく動かすための研究を TSUBAME をテストベッドとしておこなった。
英文抄録（100 words 程度）
We have developed a domain specific language (DSL) for high-performance stencil computing andexamined its execution performance on TSUBAME by writing equivalent programs in that DSL to NAS
Parallel Benchmark CG and LU. This work was performed under the ExaStencil project of the joint
research program SPPEXA of JST CREST and German DFG. Part of the performance evaluation of the
ExaSlang language developed in the ExaStencil project was also conducted on TSUBAME. Furthermore,
we also studied a distributed resource management system for the execution environment of DSLs. We
used TSUBAME to study an efficient MPI-based execution platform for the original implementation ofHadoop.

Keywords: domain specific languages, reflection, deep reification, stencil computing, Java.

ぶ）のライブラリとして実装される。ライブラリで背景と目的
ステンシル計算は多くの科学技術分野で頻繁に使はあるが、そのライブラリを⽤いた書かれたホスト

われる計算でこれまでも様々なドメイン専⽤⾔語や⾔語のプログラムが、あたかも専⽤の⾔語で書かれライブラリが開発されてきた。⼀⽅で、ドメイン専

たかのように⾒えるよう、ライブラリのプログラミ

⽤⾔語はせまい応⽤範囲（ドメイン）のために新規

ング・インタフェースを注意深く設計する。
しかし、にコンパイラやライブラリ、開発環境を整備しなけ

埋め込み型ドメイン専⽤⾔語は、ホスト⾔語のライればならず、開発コストの⼤きさが課題である。ドブラリであるが故に、開発コストが⽐較的⼩さくでメイン専⽤⾔語の開発コストという課題を解消する

きるが、実⾏時性能は必ずしも満⾜いくものではな

⼿法として注⽬されているのが埋め込み型ドメイン

かった。そのドメイン固有の実⾏時性能最適化技法

専⽤⾔語（Embedded Domain Specific Languages）などの適⽤が難しくなりがちだからである。

と呼ばれる⼿法である。この⼿法では、ドメイン専

本研究課題は、最新のプログラミング⾔語の技術

⽤⾔語は汎⽤プログラミング⾔語（ホスト⾔語とよを適⽤することで、⾼い実⾏時性能をもつ埋め込み31

（様式 20）成果報告書
型ドメイン専⽤⾔語の開発⼿法を明らかにすること

ローカルディスクのように⽤いてしまい、著しく効を狙っている。
昨年度に引き続き、ホスト⾔語に Java率が悪い。これを避けるためには各ノードのメモリ

⾔語を⽤いたドメイン専⽤⾔語を開発するためのプを⽤いて仮想ディスクを実現すればよいが、各ノーラ ッ ト フォ ー ム Bytespresso の開 発 を中 ⼼ に、ドの資源をどのように仮想ディスクに振り向ければ

TSUBAME を⽤いて研究をおこなった。

良いかの研究をおこなった。研究のテストベッドに、

概要

各ノードに SSD をローカルディスクとして備える

Bytespresso を⽤いた簡単なステンシル計算向け

TSUBAME を利⽤することで、各ノードのローカル

ドメイン専⽤⾔語の性能測定については昨年度に実な物理ディスクを⽤いる Hadoop の元の実⾏⽅法を施し、良好な結果を得た。本年度はステンシル計算

含め、様々な資源管理⽅式を⽐較実験した。

に限らずより⼀般的なドメイン専⽤⾔語を作成した結果および考察場 合 の 性 能 を 実 験 す る た め 、 NAS Parallel

Bytespresso で実装したドメイン専⽤⾔語で書い

Benchmark の中から CG と LU を選び、これを記た NAS CG と LU の性能を TSUBAME 3.0 で述するためのドメイン専⽤⾔語を Bytespresso を⽤測定した。コンパイラとしては GCC 4.8.5 を⽤いて開発し、実際にベンチマークと等価なプログラ

い、OpenMPI をライブラリとして⽤いた。各ノムを作成し、この性能測定を実施した。特に CG のードで 8 MPI プロセスを実⾏する設定の下、ノためには⾏列およびベクトル演算を MPI 環境で実ード数を 4, 8, 16, 32, 64 と増やして実験したと⾏するためのドメイン専⽤⾔語を新たに開発した。

ころ、CG では元の Fortran プログラムとほぼ同

このため、このドメイン専⽤⾔語を⽤いて書き直し

等の性能を得た。クラスは C である。⼀⽅、LU

た CG プログラムは、ベクトルや⾏列オブジェクトの場合は 10%から 20%の性能低下が⾒られた。

を⽤いた抽象的な記述になっており、元の Fortran

LU についてはクラス C と D で実験をおこなった。

によるプログラムに⽐べて注釈⾏を含んだ状態でこれらの結果の詳細は今後出版予定である。
Hadoop の実装⽅式に関する実験は TSUBAME

30%ほど⾏数が減少している。

2.5 上で実施し、結果は Thanh-Chung Dao and本研究課題は JST CREST/独 DFG による⽇独共同研究 SPPEXA の ExaStencil プロジェクトの中Shigeru

Chiba,SEMem:

Deploymentofで実施している。このプロジェクトでは、内部 DSL

MPI-Based In-Memory Storage for Hadoop on

だけでなく外部 DSL の研究開発もおこなっており、Supercomputers, Euro-Par 2017, Springer, pp.

ステンシル計算のための外部 DSL を Scala ⾔語で開442-454, 2017 にて公表した。

発している。ExaSlang と呼ばれるこの外部 DSL のGPU 搭載スーパーコンピュータ上での実⾏時性能

まとめ、今後の課題
本研究課題では、我々が研究開発した Bytespresso、を TSUBAME を⽤いて評価した。
加えて、Java ⾔語で実装された分散処理フレーム

ExaSlang、Hadoop のスーパコンピュータ上での実ワークである Hadoop をスーパーコンピュータ上で⾏⽅式の実効性を確かめるため、TSUBAME を⽤い

効率よく動かすための研究を TSUBAME 上でおこた性能測定をおこなった。おおむね望ましい性能をなった。通常 Hadoop のようなシステムは各計算ノ観察することができた。なお Bytespresso を⽤いてードにローカルディスクを備えた PC クラスタシス

開発したドメイン専⽤⾔語で書き直した NAS LU ベ

テムで動かすが、現在運⽤中の典型的な⼤規模スーンチマークの実験では、元の Fortran 版の LU ベン

パーコンピュータでは計算ノードにローカルディス

チマークのプログラムが TSUBAME 上で動作せず、クを備えていないことが多い。このため、
Hadoop を

segmentation fault で終了するという現象を観察しそのまま典型的なスーパーコンピュータ上で動かすた。これは実験当時 TSUBAME 3.0 が稼働開始直後と、ネットワーク上のファイルサーバのディスクをで⼗分に安定していなかったためと思われる。

32

TSUBAME 共同利用

平成 29 年度

学術利用

成果報告書

利用課題名 LRnLA アルゴリズムを用いた物理シミュレーション
英文 Simulation of Physical Processes with LRnLA Algorithms
善甫 康成
Yasunari Zempo
法政大学 情報科学部
Computer and Information Sciences
http://cis.k.hosei.ac.jp/
従来使用してきた高性能 FDTD コード DTmaxwell を TSUBAME3.0 に移植した。このコードは LRnLA
アルゴリズム DiamondTorre を使用しているが、大きな変更の必要はなく本来の性能を引出すことができた。性能をテストでは LRnLA 理論から予測される性能であることが検証できた。これは NVidia GPGPU
を使ったことと LRnLA アルゴリズムの成果である。TSUBAME3.0 では完全 4D 時空間での並列化ができれば更に性能を向上できることが判明した。そこで試験的にこの並列化を行う LRnLA アルゴリズム
DiamondCandy を開発した。FDTD のコードを使った検証の結果、新しい GPCPU の性能を効率的に向上させることを確認することができた。
The high-performance FDTD code DTmaxwell, which uses LRnLA algorithm DiamondTorre, hasbeen ported to the new TSUBAME3.0 supercomputer, and its performance has been tested. The
efficiency of the algorithmic method allowed to predict the performance and the prediction was verified
by the test runs. This experience has shown both the advantages of NVidia GPGPU hardware and theadvantages of the programming with LRnLA algorithms. The necessity of a full 4D space-time
localization has emerged more distinctly with the new hardware. A new FDTD code benchmark wasdeveloped with a new LRnLA algorithm DiamondCandy, and it was verified to be more efficient on the
new GPGPU.

Keywords: LRnLA algorithm, GPU, FDTD, high performanceに基づき、複数の計算効率向上を図りつつ解析できることを確認されている。
従来、我々は光学解析を行うため FDTD 法による解析のため DiamondTorre アルゴリズムを用いてきた。TSUBAME2.5 でテストを行い、性能が極めて優れていることがわかった[2]。
最近の GPGPU コンピューティング技術は急速に進歩している。新しい GPU アーキテクチャをはじめとし GPU 間の相互接続や CUDA の進歩している。これにより性能向上だけでなく重要な機能も提供されている。優れた互換性に加えて、新しいプラットフォームで古いコードを再コンパイルのみで、最高のパフォーマンスが得られるようになっている。
TSUBAME3.0 を利用することで LRnLA FDTD
コード DTmaxwell のパフォーマンスがどのように改善するか、GPGPU スーパーコンピューティング
動向に鑑み、どのようなアルゴリズム開発が必要かを検討することが非常に重要となっている。そこで我々の開発した手法を TSUBAME3.0 へ適用して、その性能を分析することとした。高度な内部並列性があればピーク性能が向上すれば、それに比例して性能は向上するはずである。
これまで DiamondTorre を用いた既存の FDTD

背景と目的
近年、数値シミュレーションにおける時空間局所化が一般的な話題となっている。科学技術計算において必要とされている資源効率の高い、高度な大規模計算を実現できるからである。最先端のハードウ
ェア技術により高性能計算が可能になるため、実施
アルゴリズムの進歩が不可欠である。
時空間局所化は、幾つか報告があり、”temporal
blocking”、”split tiling”、”diamond tiling”、”timeskewing”、”wavefront blocking”という名前で知られ て い る [1] 。 ”polyhedral compilation” と ”cacheoblivious algorithms”とも関連している。
これらの技術の考え方は、計算ドメインが時間層ごとに更新される伝統的な「ステップワイズ」アプ
ローチを止めてしまうことである。ステップワイズ
では、 時間層𝑡から(𝑡 + 𝑑𝑡)への更新は、総てのシ
ミュレーションドメインセルが(𝑡 − 𝑑𝑡) から𝑡に更新された後のみ開始されるためメモリアクセスの局
所性と並列スケーリングが非効率的である。
新しい時空間局所化技術は、𝑛D1T[(𝑛 + 1)次元
時空間]依存グラフの最適な分解をアルゴリズムの
局所性および並列性を最適化するブロックを探索することが必要である。LRnLA 方法は、この問題を解決する画期的な方法の 1 つであり、理論的な基盤

33

コード DTmaxwell を TSUBAME3.0 に移植すると予想される性能向上は 1GPU あたり 3 倍、1 ノード
あたり 5 倍となるはずである。

性を上げてもオーバーヘッドの影響を少なくすることができるはずである。
そこで最近提案された新しいタイプの LRnLA ア
ルゴリズム DiamondCandy を用いることとした[4] 。 こ れ は 3D1T の 局 所 性 を 持 っ て い る が 、CUDA ブロック内のスレッド間の計算は一様ではない。
従って細長いドメインのパフォーマンスは
DiamondTorre よりも低いが、大規模なキューブ型ドメインでの計算処理では高い性能が出ると期待される。
パフォーマンスの検討結果
DTmaxwell コードは TSUBAME3.0 で再コンパイルした上テストを行った。これまでに達成された最高の性能は、TSUBAME2.5 の記録を、GPU デ
バイス 1 個当たり 3.5 倍、1 つのノードあたり 5 倍
上回っていた。もちろん非同期ブロックの数が SMの数に達するとパフォーマンスは飽和する。

図１. (2D1T) の stepwise と DiamondTorre のイラスト。
緑色の個々のブロックは、同期（データ交換）イベントの前に 4 つの並列プロセッサによる可能な計算を示す。

TSUBAME3.0 の重要な特徴
TSUBAME3.0（P100 の 4.76TFlops）であり、TSUBAME2.5（K20x の 1.3 TFlops）より GPU パ
フォーマンスが高い。また同時に、より大きなメモ
リスループット（P100 では 732 GB/s、K20x では
250 GB/s）がある。DTmaxwell の FDTD 法はメモリバウンドの領域内に収まる。従ってパフォーマン
スとメモリの両方が 3 倍になれば 1 つの GPU でコードのパフォーマンスが 3 倍向上することが期待できる。また、PCI-e に代わって導入された NVlink
相互接続によりノード内のコードの並列効率の向上が期待できる。またメモリサイズも増加ているので（P100 GPU あたり 16GB、K20x GPU あたり
6GB）、最大限のパフォーマンスを得るために 1 つの GPU あたりのアルゴリズムパラメータを以前より自由に選択できるという特徴がある。
一方で GPU 性能の発達に伴い DiamondTorre ア
ルゴリズムの課題が顕在化した。 DiamondTorre
アルゴリズムでは、データが時間と 2 つの空間次元のみに局所化されているため、第 3 軸は CUDA ス
レッドを使用してステップワイズ法で処理されるところが大きな課題であった。
最近の GPU には、デバイスにもよるが数多くのSM（Streaming Multiprocessor）が搭載されている。我々のこれまでの研究によると、使用している
CUDA ブロックの数が 1 つのデバイスの SM 数またはこの数の整数倍に等しい場合、DTmaxwell の性能が飽和することがわかっている。従ってドメインの規模は、並列分解が可能な程度にとる。
DiamondTorre GPU 実 装 で は 、 𝑦 軸 の 分 解 にCUDA ブロックの並列処理が使用されている。その結果、細長いドメインで最高のパフォーマンスが達成されるような設計である。
最新の GPU でのデバイスあたりの SM の数の増加に伴い、最適なパフォーマンスを得るためには、方向によって異なるアスペクト比が必要になる。高度に局所化された LRnLA アルゴリズムを使うと、オーバーヘッドが増加する。アルゴリズムの中に多彩な機能を追加した新しい実装方法を使うと、局所図２．使用 CUDA ブロックの関数として TSUBAME2.5と TSUBAME3.0 上の一の GPU デバイス上で達成される
性能

図 3．使用 CUDA ブロックの関数として TSUBAME2.5と TSUBAME3.0 上の一のノード上で達成される性能

SM の数は P100 の方が多いので、以前の K20xに比べパフォーマンスの向上を連続して図ることができる高い。ブロック数が SM の数の倍数でない場
合、パフォーマンスが低下するので、図２と図３で横軸が 1 のところで最も高くなり一旦パフォーマン
スが低下し再度向上していることがわかる。
また weak scaling についても検証の結果、非常に効果的であることがわかった。ドメインが 𝑥 軸
または 𝑦 軸方向に増加すると、 並列効率が異なっ34

ている。𝑦 方向のノード並列処理は、各ステージの後、すなわち非同期 DiamondTorre 行が実行された
後、ノード間の同期が必要である。

ってできたことである。この移植では、コードの再コンパイル以外の作業は必要なく、パフォーマンス
はハードウェア機能の増加に比例して増加した。
LRnLA 理論からの性能予測が可能であることが確かめられた。実際 1 つの GPU で 3 倍のパフォーマ
ンス向上を得て、1 つのノードのパフォーマンスに対する最大 5 倍の性能向上が得られた。

図 ４ ． 異 な る ド メ イ ン サ イ ズ の 設 定 の た め の weakscaling 性能

4 つ以上のノードが関与すると、パフォーマンス
結果が不安定になるため、ここでは最も成功した実行の結果のみ表示している。この原因は、キュー上の他のジョブの干渉である可能性がある。これは使用可能なすべてのノードが関与すると、パフォーマンスが向上するということから推測できる。
さらに 𝑥方向のノード間並列処理のために”moving window”手法が実装されている。使用されているすべてのノードを同時に同期する必要がな
いためパフォーマンスの低下は見られない。

図６．DiamondTorre アルゴリズムと DiamondCandy ア
ルゴリズムのルーフライン制限と最大パフォーマンス結果。市販ソフト AxFDTD コードによる結果と比較している。 DiamondCandy と DiamondTorre の 2 つのマーカ
ーは、単精度と倍精度の結果を示す。

また TSUBAME3.0 の 72 ノードで 1 秒あたり
1012 Yee セルの更新が達成されたが、同じ結果を得るために TSUBAME2.5 の 512 ノードが必要であった。ただドメインアスペクトによる効果が最大となるように調整している。また新しいマシンでは並列性を上げることができるので、そのための新しいア
ルゴリズム DiamondCandy を導入した。3 次元の局所性があり、より多くの非同期性が可能になるという特徴がある。今回、この最初のベンチマークを行いその効果を確認した。
今後の課題として新しいアルゴリズムの実装、テスト、実際問題の応用について検討する予定である。
[1] T. Fukaya and T. Iwashita. Time-space tilingwith tile-level parallelism for the 3D FDTD
method. In Proceedings of the International
Conference on High Performance Computing in
Asia-Pacific Region, p. 116–126. ACM, 2018.
[2] A. Zakirov, V. Levchenko, A. Perepelkina, Y.
Zempo, “High performance FDTD algorithm for
GPGPU supercomputers”, J. Phys.: Conf. Ser.
759 012100, 2016[3] AxFDTD GPU Performance (v11.1.12).
http://www.acceleware.com/fdtd-solvers,
retrieved Mar 2018.
[4] V. D. Levchenko and A. Y. Perepelkina. Locallyrecursive non-locally asynchronous algorithms
for stencil computation. Lobachevskii Journal of
Mathematics, 39(4), 2018.

図５．問題データサイズの関数としての DiamondCandy アルゴ
リズムの性能テスト結果

また新しく開発した DiamondCandy アルゴリズ
ムでの初期ベンチマーク結果も以下に報告する。図
５に問題のデータサイズに対するパフォーマンスの依存性を、図６に P100 の roofline 図と 3 つのコード(DTmaxwell、DiamondCandy、効率的な最先端の市販ソフト AxFDTD [3])の性能テストの結果を示す。新しいアプローチの利点を示す結果となっている。
まとめ
TSUBAME2.5 と TSUBAME3.0 の 2 のマルチ
GPU スーパーコンピュータで DTmaxwell コードを実行した課題は、GPU ハードウェアと CUDA によ

35

36

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名： 凝集誘起発光についての理論的研究
英文： Theoretical Study on the Aggregation Induced Emission
山本典史
Norifumi Yamamoto
千葉工業大学工学部応用化学科
Department of Applied Chemistry, Faculty of Engineering, Chiba Institute of Technology
www.appchem.it-chiba.ac.jp/yamamoto/
邦文抄録（300 字程度）

近年，単体では発光しないが，分子が多数凝集すると発光する特性を持つ蛍光色素が注目されている。この現象は凝集誘起発光と呼ばれている。シアノスチルベン誘導体の CN-MBE は凝集誘起発光を示す蛍光色素であり，溶液中に分散した状態での蛍光量子収率（Φ）値は 0.001 であるが，凝集して微粒子や結晶になるとΦ値
は 0.69 まで増大する。この CN-MBE には E 体と Z 体の 2 種類の異性体があり，この 2 つの異性体のうち凝集誘起発光が観測されるのは E 体のみであり，Z 体は結晶構造でも発光が観測されない。このように CN-MBE は凝集状態における光物性がそれぞれの異性体で大きく異なるが，その分子機構は明らかではなかった。本研究では CN-MBE が示す凝集誘起発光のメカニズムについて，分子シミュレーションを用いた解析をおこなった。
英文抄録（100 words 程度）
The aggregation-induced emission (AIE) of a cyanostilbene derivative, called CN-MBE, was studied
theoretically by using electronic structure calculations, together with molecular dynamics (MD)simulations. The E-form of CN-MBE has been known to exhibit the AIE, which is non-emissive in
dilute solutions but becomes highly emissive in solid or aggregated states; however, its Z-isoform is
non-emissive even in a crystal. In this study, we have investigated the conformation-dependent AIE
mechanism of CN-MBE. The method combining the quantum chemistry calculation and the MD
simulation used in this study can not only be utilized for analysis of various other various AIE
phenomena but also in the development of new photochemical devices making use of the specificity ofmolecular crystals.

Keywords: ５つ程度
凝集誘起発光，円錐交差，分子結晶，電子状態計算，励起状態ダイナミクス
子や結晶になるとΦ値は 0.69 まで増大する。この

背景と目的
近年，単量体では発光しないが，分子が多数凝集す

CN-MBE には E 体と Z 体の 2 種類の異性体があり，ると発光する特性を持つ蛍光色素が注目されている。

この 2 つの異性体のうち凝集誘起発光が観測されるのこ の 現 象 は 凝 集 誘 起 発 光 （ Aggregation Induced

は E 体のみであり，Z 体は結晶構造でも発光が観測さEmission: AIE）と 呼ばれている。香港科技大学のれない。このように CN-MBE は凝集状態における光物

Tang ら は 凝 集 誘 起 発 光 特 性 を 持 つ 分 子 と し て性がそれぞれの異性体で大きく異なるが，その分子機

tetraphenylethene を見いだし，この分子を基本骨格

構は明らかではなかった。そこで本研究では，とする AIE 色素を数多く開発している。ソウル国立大学

CN-MBE の凝集誘起発光について分子シミュレーの Park らも CN-MBE と呼ばれるシアノスチルベン誘ションを用いた理論的解析に取り組み，そのメカニズ

導体が凝集誘起発光を示すことを発見し，この分子をムを明らかにした。

基本骨格とした機能性蛍光色素を開発している。
シアノスチルベン誘導体の CN-MBE は凝集誘起発

概要

光を示す蛍光色素であり，溶液中に分散した状態での本研究では CN-MBE が示す凝集誘起発光のメカニ

蛍光量子収率（Φ）値は 0.001 であるが，凝集して微粒ズムについて，分子シミュレーションを用いた解析をお37

（様式 20）成果報告書こなった。その結果，CN-MBE は基底電子状態と励起

回転角がφ = 90 度となる点で基底状態および励起状

状態のポテンシャルエネルギーが分子内 C=C 結合軸

態のポテンシャル曲面が交差することが明らかになっ

周りの回転に伴って近接し，ねじれ角度θが 90 度付近

た。さらに，Z 型（φ = 0 度）および E 型（φ = 180 度）となる地点で交差（円錐交差）することが明らかになっを垂直励起した点から，この S0/S1 交差点まで，ほとんた。希薄溶液ではこの C=C 結合軸の回転がほぼバリ

どバリアレスであることも明らかになった。これらの二つ

アレスで起こり，円錐交差を経由した光励起エネルギの事実から，この分子を光励起した後のふるまいとして，ーの無輻射失活が起こる。しがしながら，分子同士が垂直励起した点からφ = 90 度となる立体構造までの密に集合した凝集状態では，E 体の場合，凝集体中で自発的な変化がおこり，辿り着いた S0/S1 交差点を経由

は光励起後，分子構造の変化（C=C 結合部分の回転）

してすみやかに基底状態に戻ると予想される。つまり図を経て円錐交差に至る経路がエネルギー的に著しく不２のエネルギープロファイルからは，孤立した利になっていることが明らかになった。このことから，E

CN-MBE の場合， S0/S1 交差点を経由して無輻射緩体の場合，凝集構造では無輻射に緩和する経路が著和するために蛍光を示さないことが明らかになった。

しく抑制されているために強い発光を示すと考えられる。
一方で Z 体の凝集体が光励起されたときには，垂直励

CN

起したポテンシャルエネルギー曲面上の地点からバリアレスで円錐交差へとすみやかに緩和することが明ら(E)-CN-MBE

かになった。したがって，Z 体が凝集誘起発光を示さな
い原因は，凝集体中であっても比較的容易に C=C 結CN合部位の回転運動が起こることですみやかにポテンシ
ャル曲面上の円錐交差に到達することが可能であり，無輻射で緩和するためであることが明らかになった。本
研究の成果は，現在，アメリカ化学会が発行する物理
化学専門誌 Journal of Physical Chemistry C に投稿中である。

(Z)-CN-MBE
結果および考察
CN-MBE の電子状態について，時間依存密度汎関

図１ 凝集誘起発光色素 CN-MBE

数 （ TD-DFT ） 法 を 用 い て 解 析 し た 。 汎 関 数 に は
wB97-XD ， 基 底 関 数 に は 6-31+G(d,p) を 用 い た 。
S0/S1 交差点付近の電子励起状態については 8 軌道 8電子を完全活性空間とする多配置自己無撞着場法
CASPT2/6-31G(d)//CASSCF/6-31G(d)を用いて解析した。電子状態の解析にはプログラムとして
Gaussian16 と Molpro を使用した。
CN-MBE 分子の ethylenic C=C 二重結合部位の回転角（φ）を変化させながら，量子化学計算による構造最適化を実行した。得られた結果を図２に示す。図中では，グラフの横軸に回転角（φ），縦軸にポテンシャル
エネルギーを示し，下部は基底（S0）状態，上部は励起
図２ CN-MBE のポテンシャルエネルギー変化（S1）状態のエネルギー変化を示す。図２に示すように，

38

（様式 20）成果報告書
図３および４で得られた凝集体でメタダイナミクス分子
動力学シミュレーションを実行し，その結果から，
CN-MBE の ethylenic C=C 二重結合部位が回転する
ときの自由エネルギー変化を解析した。E 型 CN-MBEの凝集状態における自由エネルギープロファイルを図５に示す。この場合に得られたエネルギープロファイル
は，図２で示す孤立状態の結果と大きく異なる特徴を持つことが明らかになった。図５から CN-MBE の凝集
構造中におけるふるまいを読み取ると，E 型の
CN-MBE を垂直励起した場合にはφ = 180 度となる
直線状の構造を有しているが，凝集体中でこのような直線構造の分子がねじれようとすると周囲の分子が障壁となるので，これらを押しのけて ethylenic C=C 二重図３ E 型 CN-MBE の凝集構造

結合部分が回転するには大きなエネルギーが必要となる。このように，E 型 CN-MBE の場合，凝集体中では垂直励起後，分子構造の変化（ethylenic C=C 二重結合部分の回転）を経て S0/S1 交差点に至る経路がエネ
ルギー的に著しく不利になっていることが明らかになった。以上のことから，E 型 CN-MBE の場合，凝集構造
では無輻射に緩和する経路が著しく抑制されているために強い発光を示すと考えられる。

図４ Z 型 CN-MBE の凝集構造
図３に示すのは E 型 CN-MBE の凝集構造であり，図４に示すのは Z 型 CN-MBE の凝集構造である。それぞれの凝集構造で分子動力学シミュレーションを実行し，拡散定数の値（D）を解析した。その結果，E 型の凝集体の場合は D = 6.07 × 10－6 nm2 ps－1 であり，密に凝図５ (E)-CN-MBE の凝集状態における C=C 結合軸集していて，分子の運動が抑制された，堅い構造となっ回転に対する自由エネルギープロファイルていることが明らかになった。一方で Z 型の凝集体の場合，D = 8.06 × 10－6 nm2 ps－1 であり，比較的疎に凝Z 型 CN-MBE の凝集構造中におけるエネルギープ

集していて，柔らかい構造となっていることが明らかに

ロファイルを図 6 に示す。得られた自由エネルギー変化なった。

を解析したところ，図５に示す E 型 CN-MBE の結果と39

（様式 20）成果報告書は大きく異なることが明らかになった。図６をみると，Z象を示す蛍光物質（AIEgen: AIE luminogen）が報告

型 CN-MBE の凝集体が光励起されたときには，垂直されている。これらの AIEgen について，基本的なメカ励起した S1 ポテンシャルエネルギー曲面上の地点から

ニズムは今回解析したシアノスチルベン誘導体と同様

バリアレスで S0/S1 交差点へとすみやかに緩和することだと考えられるが，その詳細は不明である。そこで今後を示している。したがって，Z 型 CN-MBE が凝集誘起の課題として，本研究課題で確立した手法を駆使して，発光を示さない原因は，凝集体中であっても Z 型は比これまでに発見されている AIEgen の発光過程を調べ

較的容易に ethylenic C=C 二重結合部位の回転運動

ることで，AIE の基本的なメカニズムの解明に取り組むが起こることですみやかにポテンシャルの S0/S1 交差点

予定である。

に到達することが可能であり，この交差点を経て無輻
射で基底状態に構造緩和するためであることが明らかになった。また，基底状態に至った分子は２つの経路に分岐し，Z 型に戻るものと E 型に変化するものが現れるために室温中でも容易に異性化反応が起こることも明らかになった。

図６ (Z)-CN-MBE の凝集状態における自由エネルギ
ープロファイル

まとめ、今後の課題
本研究では，CN-MBE が示す凝集誘起発光現象のメカニズムの詳細を明らかにするために，量子化学と分子動力学シミュレーションを組み合わせた理論的な解析をおこなった。この結果，これまで不明であった
CN-MBE の凝集誘起発光のメカニズムを明らかにし，
この現象を利用した分子設計をおこなうための基礎を確立した。
シアノスチルベン誘導体の他にも，凝集誘起発光現40

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 知識に基づく構造的言語処理の確立と知識インフラの構築
英文：Establishment of Knowledge-Intensive Structural Natural Language Processing andConstruction of Knowledge Infrastructure
利用課題責任者 黒橋 禎夫
First name Surname Sadao Kurohashi
所属 京都大学 大学院情報学研究科
Affiliation Graduate School of Informatics, Kyoto University
URL http://nlp.ist.i.kyoto-u.ac.jp/
邦文抄録（300 字程度）
本利用課題では，知識に基づく頑健で高精度な構造的言語処理を実現し，これによって様々なテキストの横断的な関連付け，検索，比較を可能とする知識インフラを構築することを目的とする．そのために，大規模 Web コーパスに対して言語解析を適用し，その解析結果から膨大な知識を獲得する．この知識獲得の処理には膨大な計算量が必要になるが，TSUBAME の大規模並列計算資源を利用することによって，極めて短期間で達成することができた．
英文抄録（100 words 程度）
In this project, we aim to establish robust and accurate knowledge-intensive structural NLP, and toconstruct a knowledge infrastructure which can relate, retrieve and compare knowledge from various
texts. We perform linguistic analysis to a large-scale Web corpus and use the resulting analyses toacquire wide-coverage knowledge. We accomplished several knowledge acquisition processes quite
rapidly using TSUBAME.

Keywords: ５つ程度
natural Language processing, Web, predicate-argument structure analysis, parsing, similarity learning
背景と目的

定理証明を用いたフレーズ公理生成，関係知識獲得なテキストは，専門家によるデータの分析結果や解釈，

らびに英語コーパスの構文解析を行った．

ステークホルダーの批判・意見，種々の手続きや ノウ
ハウなどが表出されたものであり，人間の知識表現の根

Entity-Centric な述語項構造解析・共参照解析の同幹である．テキストとして表現された知識を計算機によっ

時学習て抽出・関連付けすることができれば，社会における知背景

識循環を円滑化し，異なる分野間での知識の相互関連

述語項構造解析とはテキスト中の「誰が何をどうした」を性の発見や，新しい知識・法則の発見を支援することが明らかにする解析である．述語項構造解析は情報抽出可能となる．言語情報処理はウェブをはじめとする大規や質問応答など様々なアプリケーションにとって重要と模テキストの活用によって長足の進歩を遂げつつあるなる基礎解析である．

が，本利用課題ではこれをさらに発展させ，知識に基づ

述語項構造解析は格解析とゼロ照応解析からなる．格

く頑健で高精度な構造的言語処理を実現し，これによ

解析は述語と項が係り受け関係にある場合に格関係をって様々なテキストの横断的な関連付け，検索，比較を明らかにする解析であり，ゼロ照応解析は述語と項が係可能とする知識インフラを構築する．

り受け関係にない場合に項を同定する解析である．ゼロ

本利用課題では，TSUBAME の大規模計算機環境を

照応解析はさらに文内ゼロ照応解析(述語と項が同一用いて，上記の目的を実現するために必要となる知識

文にある)と文間ゼロ照応解析(述語の文より前の文に項を大規模テキストコーパスから自動獲得する．具体的にがある)に大別することができる．述語と項の依存構造上は述語項構造解析・共参照解析の同時学習，論理式とのパスなどの手がかりが使えない，項の候補がたくさん

41

（様式 20）成果報告書
格解析と共参照解析の精度はほぼ変化ないが，ゼロ照

entityバッファ
著者

読者

コワリョフ氏 党員

ロシア

応解析の精度はベースラインに対してウェブで 3.8 ポイ・・・

ント(0.523 → 0.561)，新聞で 7.5 ポイント(0.280 →ガガ

0.355)の精度向上がみられた．特に文間ゼロ照応解析
コワリョフ氏は正式な党員ではないが、… ロシア共産党から立候補し当選した。

の精度がウェブで 27.2 ポイント(0.046 → 0.318)，新聞

・・・

で 15.5 ポイント(0.028 → 0.183)と大幅な精度向上がみ

同氏は当選までロシア内務省法律研究所の教授を務めていた法律学者。

ガ

られた．

・・・

訓練とテストは 1GPU で半日程度の時間を要する．様々

九四年に大統領令でチェチェン問題に関する人権監視委員会の委員長に任命された。

ガな条件での実行が必要となるが，TSUBAME を用いるこ・・・チェチェンへの軍事介入に関しては、… エリツィン大統領の立場を支持していた。

とで単時間での実行が可能となった．

図 1 述語項構造解析と共参照解析の同時学習

まとめ，今後の課題あるなどの理由から文間ゼロ照応解析は非常に難しい提案手法は文間ゼロ照応解析の精度を大きく向上する

タスクである．文間ゼロ照応解析の精度を向上させるたことができた．今後の課題として橋渡し参照などを行うこ

めには文章中で何が話題の中心であるかなどを捉えるとや事態間関係知識などの外部知識を取り入れること必要がある．

などがあげられる．

本研究では話題の中心を捉えるために entity という概念を導入する[柴田+ 18]．entity を考えるためには共参

論理式と定理証明を用いたフレーズ公理生成

照解析を行う必要があるので，述語項構造解析と共参

背景

照解析を同時に行う．Wiseman らは RNN (Recurrent

含意関係認識（Recognizing Textual Entailment, RTE）

Neural Network)で entity の embedding を計算しておりは，テキスト T が仮説文 H を含意するか否かを自動判定[Wiseman+ 2016]，本研究でもこの手法にならい entity

する自然言語処理のタスクであり，意味処理のもっともの embedding を計算し，話題の中心を捉える．

重要な基盤技術の一つである．文の意味を論理式で表方法

現し，論理推論によって高度な意味解析を行う手法は，提 案 手 法 の 概 要 を 図 1 に 示 す ． 各 entity に は論理式による意味表現と整合性の高い組合せ範疇文

embedding を割り当て，図の上部に示すバッファで管理(CCG)による頑健な統語解析の発展に伴い，RTE や文する．入力テキストが与えられると，まず Bi-directional

間類似度学習のタスク [Yanaka+ 2017]において高精

LSTM を用いて文脈を考慮した句の表現を得る．次に，度を達成している．

文章の先頭から対象の句が名詞句の場合は共参照解

論理推論によるアプローチでは，否定表現や数量表

析を，動詞句の場合は述語項構造解析を行う．共参照

現など機能語の意味解析を正確かつ効率的に扱うこと

解析・述語項構造解析ともにニューラルネットワークを用ができるが，内容語の語彙知識が必要な推論について

い て ス コ ア を 計 算 す る ． そ の 際 に mention のは課題が残されている．特に，論理ベースの手法におembedding(Bi-directional LSTM で得られるもの)だけでいて，WordNet など既存の大規模データベースの語彙

なく entity の embedding を考慮する．そして，両解析の知識を利用することで，単語間知識の扱いは一定の有解析結果を用いて RNN で embedding を更新し，情報を効性が認められているが，フレーズ間知識の扱いは十蓄積する．

分に検討されてこなかった．

結果

方法

評価は京都大学ウェブ文書リードコーパス(ウェブ, 約

そこで本研究では，論理ベースの深い意味解析の手

5,000 文書)と京都大学テキストコーパス(新聞, 約 550法に基づいてフレーズ間の語彙知識を獲得し，論理推文書)の 2 種類のコーパスで行った．entity を考慮しない論と組み合わせて用いる手法について検討した．フレ

ベースライン手法と提案手法を比較した．

ーズ間知識を論理推論で扱うためには，文中のフレー

42

（様式 20）成果報告書することで，さらなる精度向上が見込まれる．

ズの適切な対応付け（フレーズアライメント）を特定する必要がある．先行研究では文の表層情報を利用してフレーズアライメントを行う手法が研究されているが，cut ...

オートエンコーダとの同時学習による関係知識共有

into pieces など，非連続なフレーズを扱うことが難しいと概要いう問題がある．文の意味を論理式で表現することで，WordNet, YAGO, Freebase などのような大規模知識

こうした非連続なフレーズを含む広範囲の推論・言い換

ベースは，事実を（ヘッドエンティティ，関係，テールエ

えが扱えるようになると期待される．

ンティティ）の三つ組で表現し，意味解析，情報抽出，

より具体的には， 本研究では，自然演繹に基づく文

質問応答などに広く応用されてきた．しかし事実を完全間の含意関係の証明の実行過程からフレーズアライメ

網羅するのが難しいため，欠損されたエンティティを予

ントを特定し，論理推論に適用する手法を提案した．提測する知識ベース補完が盛んに研究され，これらの研案手法を用いてフレーズ間知識の公理を生成し，RTE

究では，エンティティと関係を含む知識ベースの要素をの問題に適用することで，単語間知識だけでは推論で連続ベクトル空間に埋め込むことで，格納された事実きなかったパラフレーズを含む文間の含意関係が推論（三つ組）の背後に存在する統計的な規則性をモデル可能となるか，RTE 評価用データセットによる評価を行化し，記述漏れした事実を導き出す．

った．

この連続空間埋め込みを行う際の研究課題の一つに，

結果関係間の知識共有がある．直感的に，例えば「（人物

提案手法の評価には RTE 評価用データセットであるが）（作品を）監督した」と「（人物が）（作品を）製作した」

SemEval2014 SICK を用いた．SICK は 2 つの文の含意という関係はどちらも「人物」と「作品」を結びつく概念で関係（yes, no, unknown）が人手で付与されている．訓練

あるように，多くの関係はいくつかの概念を共有するのデータは 5000 件，テストデータは 4927 件である．CCG

で，このような直感を知識ベースのモデル化に取り入れ

解析によって文を高階論理式に変換し，自動推論を行ることが望ましい．本研究は，知識ベースの埋め込みをうシステム ccg2lambda に提案手法であるフレーズアライ

訓練すると同時に，関係に対するオートエンコーダを合

メント機能，フレーズ間の公理生成機能を拡張し，実験

わせて学習することで関係間の知識共有を促す柔軟なを行った．まず，訓練データ中の RTE 正解ラベルが yes

枠組みを提案し，評価実験を行なった．この手法は，関か no の全文例について，提案手法を用いて含意関係係のモデル化自体に何の制約も与えずに，知識共有のの証明を行った上で，フレーズアライメントを特定し，フ強さ度合いをオートエンコーダのコード長で柔軟に調整

レーズ間知識の公理を収集した．次に，テストデータ中できる利点を持つ．

の全文例で含意関係の証明を行い，評価を行った．

方法

実験の結果，フレーズ間・単語間知識の公理生成を

具体的には，これまでに開発した VecDCS モデル

組み合わせた場合の正答率は 84.3%であり，公理生成[Tian+ 2016]をベースにした学習手法を知識ベース

なし(76.6%)，単語間公理生成のみ(83.1%)の場合と比べの埋め込みに適用し，その学習と同時に関係を表すて向上が見られた．また，SemEval2014 のトップスコア

行列を低次元コードから復号化するオートエンコーダ(83.6%)を上回る結果となった．フレーズ間知識の公理を加えた．

収集時・評価時の証明時間はいずれも 1 文ペアあたり

結果および考察

平均 3.0 秒だった．

知識ベース補間の標準的な評価データである WN18,

TSUBAME の分散並列処理の利用により，CCG による

FB15k, WN18RR, FB15k-237, YAGO3-10 などを用い統語解析，ccg2lambda による意味解析と自動証明の各てモデルを訓練し，評価を行った．訓練は TSUBAME

処理に関して，きわめて短期間に成果を得ることができの f_node を利用し，CPU 28 並列で行なった．その結果，たと言える．今後，訓練データから収集したフレーズを

VecDCS モデルの学習手法を利用したベースモデル

用いて公理を生成するか否かを判定する分類器を作成

は，既に多くのデータセットで state-of-the-art を達

43（様式 20）成果報告書成しており，今回提案のオートエンコーダを加えるとNatural Deduction Proofs. Proceedings of the 2017

更なる精度向上が見られた．これら結果の報告は[高Conference

橋+ 2018]で行なった．

Language Processing (EMNLP2017), Copenhagen,

まとめ，今後の課題

Denmark, September 7–11, 2017.

on

Empirical

Methods

in

Natural

今後は，パラメータ・チューニングによる更なる精度向[ 谷 中 + 2018] 谷 中 瞳 , 峯 島 宏 次 , Pascual

上と，知識ベース補間と含意関係認識の統合を目指す

Martinez-Gomez, 戸次大介. 自然演繹に基づく文よう研究を進めて行きたい．

間の含意関係の証明を用いたフレーズアライメントの試み. 言語処理学会第 24 回年次大会, 2018.

英語コーパスの構文解析[馬目+ 2018] 馬目華奈, 谷中瞳, 吉川将司, 峯島概要宏次, 戸次大介. RNN 系列変換モデルを用いた高階論理式からの文生成, 言語処理学会第 24 回年次

本研究は，単語の分散表現に感情極性や文書トピッ
クなど，単語生成に関わるいろんな因子を取り込むこと大会, 2018.

を目指す．そのために用いたデータセットは[Tian+ 2016] Ran Tian, Naoaki Okazaki, Kentaro Inui:

Multi-domain Sentiment Dataset で，25 カテゴリの商品

Learning Semantically and Additively Compositionalに対する 140 万レビューを集めたコーパスである．このDistributional Representations; In Proceedings of ACL,

コーパスに対して，SyntaxNet を用いた品詞タグ推定，

2016.

及び依存構造解析を行なった．

[高橋+ 2018] 高橋諒, 田然, 乾健太郎, オートエン結果および考察

コーダとの同時学習による知識共有, 言語処理学会
第 24 回年次大会, 2018.

構文解析は TSUBAME の q_node を使い，GPU を用いて行なった．２４時間以内に全コーパスの解析が終わ[田+ 2018] 田然, 渡邉研斗, 乾健太郎, 多因子単った．この解析結果を用いて訓練した単語分散表現の語埋め込みを用いる複数分野感情極性の転移学習,モデルから，各因子だけに関わる部分の特徴が現れた．

言語処理学会第 24 回年次大会, 2018.

これらの結果は[田+ 2018]で報告した．
まとめ，今後の課題
今後は，訓練した単語表現を他分野への転移学習
や含意関係認識に応用する予定である．

参考文献[柴田+ 2018] 柴田知秀, 黒橋禎夫. Entity-Centric
な述語項構造解析・共参照解析の同時学習. 言語処理学会第 24 回年次大会, 2018.
[Wiseman+ 2016] Wiseman, Sam, Rush, Alexander M.
andShieber, Stuart M. Learning Global Features

for Coreference Resolution. Proceedings of the 2016
Conference of the North American Chapter of the
Association for Computational Linguistics: Human
Language Technologies, 2016.
[Yanaka+ 2017] Hitomi Yanaka, Koji Mineshima,
Pascualand

Daisuke

Bekki.

TextualSimilarity

using

Martínez-Goméz

Determining

Semantic

44

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 解析的壁関数を用いた格子ボルツマン法による高レイノルズ数乱流解析コードの開発
英文：Development of Lattice Boltzmann Method with Analytical Wall Function for Higher Reynolds
number Turbulent Flow Simulations
利用課題責任者： 須賀 一彦
First name Surname： Suga Kazuhiko
所属： 大阪府立大学
Affiliation： Osaka Prefecture University
URL： http://www2.me.osakafu-u.ac.jp/htlab/
邦文抄録
格子ボルツマン法（LBM）を用いて航空機周りに見られる高レイノルズ数乱流の解析を行うために，LBM に壁関数法を組み合わせた解析を検討した．壁関数法で得られた壁面せん断応力と実際の壁面せん断応力とが合致するよ
うに，壁面に滑り速度を与えて解析を行った．手法評価のために，D3Q27 多緩和時間格子ボルツマン法を用いて摩擦レイノルズ数２,０００のラージ・エディ・シミュレーションを行い，壁関数法には対数測を用いる標準壁関数法と，剥離・再付着流れにも適用可能な解析的壁関数法を用いた．標準壁関数法で得られた結果は対数速度分布と良く合致することは確認されたが，壁面近傍の過大な圧力・速度変動により解析的壁関数法では正しく壁面せん断応力が見積もることができなかった．
英文抄録
To simulate high Reynolds number turbulent airfoil flows by the lattice Boltzmann method, awall-function method is introduced to the LBM. To impose the wall-shear stress determined by thewall-function, a slip velocity is imposed to the wall. For the validation, large eddy simulation of
turbulent channel flow at friction Reynolds number of 2,000 is carried out by the D3Q27
multiple-relaxation-time lattice Boltzmann method. For the wall function, we test the standard
wall-function and the analytical wall-function. It is found that the standard wall-function successfully
works while the analytical wall function does not provide precise wall-shear stress due to theoverpredicted pressure and velocity fluctuations at the wall adjacent cells.

Keywords: Lattice Boltzmann method, turbulence, standard wall-function, analytical wall-function
large-eddy-simulation

背景と目的

しかし，格子ボルツマン法に壁関数モデルを組み合わ

近年の格子ボルツマン法（LBM）の目覚ましい発展によせた解析例は少なく，解析的壁関数法などの高度な壁

り，高いレイノルズ数の乱流解析においても高精度でモデルの導入には未だ多くの検討が必要である．そこ

安定に解析することが可能になった．しかし，等間隔格で本課題では，標準壁関数法に加えて解析的壁関数子の使用を前提とする格子ボルツマン法では，壁面近法などの高度な壁モデルを格子ボルツマン法に導入す

傍の乱流を詳細に解析するためには膨大な解析格子る方法に関して検討を行った．

が要求されるために，壁関数法などの導入が望まれる．
壁関数法はこれまで，レイノルズ平均モデルを用いた概要差分法に用いられていたが，近年では計算機能力の向計算密度が高く並列計算に適した LBM は，その解析精上とともに，より高精度なラージ・エディ・シミュレーショ

度や妥当性向上の為に多くの研究が行われ，目覚ましンにも組み合わせも検討されている．また，乱流境界

い発展を遂げてきた．特に，乱流解析においては，高層での対数壁法則を前提する標準壁関数は，衝突・剥い精度で安定に解析が可能である衝突演算モデルや，

離流れなどの工学的な流れ場で予測精度が大きく下が乱流モデルを用いた解析手法，高い精度を持つ局所細るために，解析的壁関数法[1]をはじめとして多くの汎密格子法などが提案されてきた．しかし，LBM は等間

用的な壁関関数法が提案されてきた．

隔格子を用いるために，船舶や航空機周りなどの高い

45

（様式 20）成果報告書
レイノルズ数を対象とする乱流解析においては，壁面振動が生じ，正しい解を得ることができなかったので，近傍の格子解像度の不足は原理上避けることができな

標準壁関数法の結果のみを示している．標準壁関数でい．そこで，本課題では，これまで有限差分・体積法な得られた結果は，DNS と非常に良い一致を示している

どの乱流解析で広く用いられてきた壁関数法を格子ボことが確認できる．図３と図４にそれぞれ速度・圧力変ルツマン法に組み合わせることで，LBM による高いレイ

動強度分布を示す．図３より，壁面近傍では壁面垂直

ノルズ数乱流解析を可能とすることを目的とする．さら方向やスパン方向に大きな速度変動が生じていることに本研究では，壁面近傍の流れに対数則を仮定するが確認できる．さらに，図４より圧力変動に関しても非標準的な壁関数法に加えて，解析的に積分した運動量

常に大きな値を予測してしまうことが確認できる．解析式を用いることで剥離・再循環・衝突流れを含む複雑な的壁関数法は瞬時の速度・圧力を薄層近似した運動

流れ場を汎用的に扱える解析的壁関数法を用いる．

量式に代入し壁面せん断応力を求めるが，過大な速度・圧力変動のために，解析的壁関数法では正しく壁

有限差分法・体積法においては，壁関数法で求めら

面せん断応力が見積もれなかったと考えられる．

れる壁面せん断応力は，そのまま差分式に代入することができる．しかし，密度分布関数の時間発展を解く格子ボルツマン法は，壁関数法で得られた壁面せん断応
力を直接導入することができない．そこで，図１に示す
ように，壁面隣接点の速度𝑢𝑝1 , 𝑢𝑝2とせん断応力𝜏𝑤 ，粘性係数μを用いて壁面の疑似的な滑り速度𝑢𝑤𝑝 を算出
し，LBM へと導入する．滑り速度𝑢𝑤𝑝 は𝜏
4𝑢𝑝1 − 𝑢𝑝2 − 2Δ 𝑤
𝜇
𝑢𝑤𝑝 =
3
と与えられ，バウンスバック法を用いて LBM に導入する．

図２ 平均速度分布

開発した手法の評価を行うために，摩擦レイノルズ数２，０００のチャネル乱流ラージ・エディ・シミュレーションを行った．壁面垂直方向には１００点の計算格子を設定し，乱流モデルにはスマゴリンスキ―モデル[2]を用いた．
解析は D3Q27 多緩和時間格子ボルツマン法[3]を用いた．
結果および考察
図２に摩擦速度で無次元化した平均速度分布を直接

図３ 壁面近傍の乱流強度分布

数値解析のデータ[4]と比較した結果を示す．なお，標準壁関数・解析的壁関数の２つの壁関数を導入して解析を行ったが，解析的壁関数法を用いた解析では数値

図４ 圧力変動強度分布
図 1 壁面隣接セルの速度・圧力46（様式 20）成果報告書
まとめ、今後の課題
格子ボルツマン法（LBM）を用いて航空機周りに見られる高レイノルズ数乱流の解析を行うために，LBM に壁関数法を組み合わせた解析を検討した．壁関数法で得られた壁面せん断応力を LBM に導入するため，壁関数で得られた壁面せん断応力と実際の壁面せん断
応力とが合致するように，壁面に滑り速度を与えて解析を行った．手法評価のために，D3Q27 多緩和時間
格子ボルツマン法を用いて摩擦レイノルズ数２,０００のラージ・エディ・シミュレーションを行い，壁関数法には対数測を用いる標準壁関数法と，剥離・再付着流れにも適用可能な解析的壁関数法を用いた．標準壁関数法で得られた結果は対数速度分布と良く合致することは確認されたが，壁面近傍では圧力・速度変動は過大に見積もってしまうことが確認された．また，解析的壁
関 数法 を 用 い た 解 析 で は 数 値振 動 が 生じ てし ま い
LBM への導入には課題が残った．今後は，数値振動を抑える方法の検討や，壁面せん断応力の導入方法に問題がないか詳細に調べる必要がある．

参考文献[1] K.Suga, T.J.Craft and H.Iacovides, An
analytical wall-function for turbulent flows andheat transfer over rough walls. Int. J. Heat
Fluid Flow, Vol. 27, pp852-866, 2006.
[2]J.Smagorinsky,

Generalcirculation

experiments with the primitive equations. Mon.
Wea. Rev., Vol.91, pp.99-164, 1963.
[3]

Suga,

K.

et

multiple-relaxation-time

al.,

A

D3Q27

latticeBoltzmannmethod for turbulent flows, Compt. Math. Appl.,
Vol.69, No.6, pp.518-529, 2015.
[4] Hoyas, S. and Jimenez, J., Scaling of thevelocity fluctuations in turbulent channels up
toRe = 2003. Phys. Fluids 18 (1), 011702, 2006.

47

48

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 抗インフルエンザウイルス広域中和抗体のエスケープ変異株由来表面糖タンパク質の構造解析
英文：Structural analysis of surface glycoproteins derived from anti-influenza virus broadly

neutralizing antibody-escape mutants influenza A viruses
利用課題責任者 長谷川 秀樹
Hideki Hasegawa
所属 国立感染症研究所
Affiliation National Institute of Infectious Diseases
URL https://www.niid.go.jp/niid/ja/
邦文抄録（300 字程度）
我々は、有効性の高いインフルエンザワクチンや抗体医薬の開発を目指している。これまでに、様々なウイルス株の感染を阻止できる抗 HA 広域中和抗体 F11 を単離し、さらにその耐性変異を同定した。しかし、抗体による中和と変異による中和回避の分子機序は全く不明である。そこで本研究では、分子動力学解析により、変異が HA タン
パク質構造に与える影響を調べた。その結果、耐性変異は、HA 表面の疎水性に富んだ窪み（hydrophobic
groove）の構造特性変化を誘起することがわかった。この領域が、F11 のエピトープである可能性を示唆する。
英文抄録（100 words 程度）
We aim to develop effective vaccine and antibody preparation against influenza virus. Thus far, wehave isolated an anti-HA monoclonal antibody F11, which neutralizes various influenza virus strains
and identified two resistant mutations against F11. However, underlying mechanisms for theF11-mediated neutralization and antibody resistance remains unclear. To address this issue, we here
examined effects of resistant mutations on the structural properties of HA protein by using molecular
dynamics simulations. The study revealed that the mutations could induce structural changes arounda particular hydrophobic groove of HA trimer surface, suggesting that this region may be an epitope of
F11

Keywords: ５つ程度
influenza virus, broadly neutralizing antibody, neutralization escape, HA protein, molecular dynamics
simulation
背景と目的

A/California/04/2009/H1N1 California 株）を鋳型に、季節性インフルエンザ、および鳥インフルエンザのホモロジーモデリング法を用いて、中和実験に用いた

流行は社会に大きな損失をもたらす。我々は、有効株（A/Narita/01/2009/H1N1 株）、および F11 抗体低性の高いインフルエンザワクチンや抗体医薬の開発

感受性株（C1 株、G6 株）］の HA 三量体モデルを構築に向けて、様々なウイルスの感染を阻止できる広域した。それぞれのモデルについて、Amber 16 プログラ

中和抗体の開発に取り組んでいる。 これまでに 、

ムパッケージを用いて 1 atm, 310 K, 150 mM NaCl

様々なウイルス株の感染を阻止できる抗 HA 広域中

溶液環境下で MD 計算を 100 ns まで実施した。各分

和抗体 F11 を単離し、その耐性変異を同定した。しかし、子の力場は、ff14SB (タンパク質)、TIP3P (水分子)を抗体による中和と変異による中和回避の分子機序は用いた。時系列三次元情報を用いて、RMSD（根平均

全く不明である。本研究では、耐性変異が標的分子二乗偏差）と RMSF（根平均二乗揺らぎ）を算出した。

（HA タンパク質三量体）の構造特性にどのような影響をもたらすかについて分子動力学解析により調べた。

結果および考察RMSD 値の推移から、各 HA 三量体モデルは 70 ns

概要

以降に熱的平衡状態に達すると推察された。そこで、

H1N1 HA 分 子 三 次 元 情 報 （ PDB ID:3LZG

100 ns 時の各 HA 三量体モデルを比較したところ、

49

（様式 20）成果報告書
C1 株では変異により HA 表面の疎水性に富んだ窪み（hydrophobic groove）の表面積が減少することがわかった。また HA タンパク質の個々のアミノ酸残基の 70 ns～100 ns の間の RMSF を解析したと
ころ、C1、G6 株は、共に hydrophobic

groove お

よび fusion peptide 周囲のアミノ酸残基の RMSF の絶対値とプロファイルが変化していることがわかった。これらの結果より、F11 抗体は HA タンパク質の hydrophobic groove を標的とする可能性が考えられた。

まとめ、今後の課題
F11 抗体は、HA タンパク質の hydrophobic groove
周囲をエピトープとする可能性が提示された。既報のイ
ンフルエンザウイルス広域中和抗体は hydrophobic
groove 周囲に結合することが知られており、F11 抗体
も類似の領域を認識する可能性が高まった。次年度は、より生理的関連性の高いモデル（糖鎖付加型 HA 三量体分子モデル）を MD を用いて構築・解析し、今回の発見の再現性を調べる。

50

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 スマートデータセンター実現に向けたデータ解析基盤の構築
英文：Towards a data analysis framework for smart data centers
利用課題責任者 松岡聡
Satoshi Matsuoka
所属 産総研・東工大 実社会ビッグデータ活用オープンイノベーションラボラトリ
AIST – TokyoTech Real World Big-Data Computation Open Innovation Laboratory
https://unit.aist.go.jp/rwbc-oil/
データセンターの大規模化・複雑化に伴い、人力でシステムを監視し、運用設定を変更する従来型手法は困難になりつつある。本研究では従来型運用管理手法の問題を解決すべく、データセンターを構成する各種機器が生成するセンサーデータを蓄積し、解析することにより運用のトレンドを把握し、運用改善を行うシステムパラ
メータを提案し、運用にフィードバックするシステムの実現を目指す。TSUBAME3.0 の利用を通じて、センサー
データ、機械学習手段の調査を行い、センサーデータ収集基盤の基本設計を行った。
Operating datacenters by traditional manual operations becomes unfeasible because they becomelarger and more complicated systems than before. Our focus in this research is to develop a systemthat collects sensor data generated from components that compose datacenters, analyze the dataand propose system parameters that can improve system efficiency. In this work, we surveyed
sensor data of a datacenter and evaluated machine learning libraries on TSUBAME3.0 and thenpropose a basic design of data collector for datacenters.

Keywords: smart data center, machine learning, system operation

背景と目的
データセンターの大規模化・複雑化に伴い、人力でセンサーデータ収集基盤基本設計

システムを監視し、運用設定を変更する従来型手法は下図にデータストアの基本設計概念図を示す。

困難になりつつある。その問題を解決すべく、近年では

Algorithms for
improving operation

SQL like

データセンターが生成する各種センサー情報をもとに

DataStore
Make relation

データ解析を行い、運用改善するパラメータを提案し、Job Info.
DB

シ ステ ムに 自 動適 用 する 研究 が行 われて い た り、Env. Info.
DB
OpenTSDB

RDB

Google など先進的な大規模クラウドデータセンターを

Job Info.

運用する企業ではその技術の一部実用化を進めていEmv Info.

fluentdる。しかしながら、それら技術の詳細は公開されていな

collectd• Construct a DataStorethat stores job info. andenvironmental info.
• Provides scalable storingor accessing method forlarge amount and highdensity environmental
info.
• Use mature OOS for fastdevelopment

いこと、また、データセンターのハードウェア構成や、提供するサービスごとに取得すべきセンサー情報が異なデータ取得対象とするデータセンター構成要素としてりうるため、他データセンター事業者が模倣することはは、以下を想定する。

困難である。本プロジェクトでは、近年注目されている

l

計算ノード

HPC・AI 向けサービスを提供するデータセンターを事l

ジョブスケジューラ（兼、資源管理サービス）

例に、オープンな技術を用いて、データセンターのデーl

付帯設備（電力、冷却システム）

タ収集・解析・運用へのフィードバックを行うシステムの計算ノードについては、各種センサーデータとログデ実現を目指す。TSUBAME3.0 を用いてセンサーデー

ータを時系列データとして取得する。センサーデータにタの解析、機械学習手段の調査を行い、センサーデー

ついては collectd にて、分単位の粒度で取得すること

タ収集基盤の基本設計を行った。

を考える。これは計算ノードで実行されるジョブ 1 つに51

（様式 20）成果報告書
つき、ワークロードとして評価されるべきジョブは最低 1ズとなる。5 年間運用したとしても 20GB であり、1 ノード分以上の実行時間は有すべきであること、その時に最構成で問題ないと考えられる。

低 1 データポイント以上のデータを取得することが必要

ジョブレコード以外のデータは時系列データであり、という判断からである。より細粒度で取得することも不

その格納には時系列データベースを用いる。現状では、可能ではないが、ネットワーク転送量、蓄積するデータ実装が十分に枯れている OpenTSDB の採用を考えて量が増える。なお、TSUBAME2.0/2.5 計算ノード相当

いるが、近年時系列データベースの開発競争が活発でのデータを産総研 ABCI 規模（1088 ノード）のシステム

あることから、システム構築時の状況に応じて変更する

で、1 分間隔で取得した際のデータ量は以下の通りとなことも考えている。OpenTSDB は collectd、Fluentd

る。

の両方に対応したプラグインを有するため、それぞれでl

950MB/Node/年

送られてきたデータはそのまま格納できる。ただ、格納l

1010GB/システム/年

データ形式は数値に限定されるため、ログデータを

ログデータについては fluentd にて、収集対象のロ

Fluentd で転送する場合には、意味のある数値データ

グ出力のたびに取得することを想定する。取得するロに変換して送る必要がある。「過去の運用データ解析をグ内容については、GPU, SSD などの各種デバイスの通じてのシステム運用改善」を目的としていることより、

ヘルスチェック結果、重要なプロセスの死活チェック結

時系列データベースでは格納したデータの時間圧縮は果などが考えられるが、運用状況に応じて判断するべ行わない。これにより、ABCI 規模のシステムを 5 年間

き項目である。

運用した場合、計算ノードのセンサーデータだけでおよ

ジョブレコードについては、利用者のジョブ完了のた

そ 5TB、ログデータや付帯設備のデータも含めるとびに取得する。1 つのジョブレコードは複数のデータ型

7TB ほどになると思われる。1 ノードでも蓄積不可能なの異なるデータから構成されるため、fluentd にてテキ

データ量ではないが、ジョブデータとの関連づけのため

ストベースで収集する。付帯設備については、各種センには検索性能が重要となるため、分散システムとしてサーデータを時系列データとして取得する。付帯設備構築した方が良いと考えている。

は使用する機材によってサポートするデータ取得用のデータ解析用プログラム、運用改善アルゴリズムか

プロトコルが異なるため、サポートされているプロトコル

らのデータストアへのアクセスについては、本データスに応じたデータコレクタを採用する。

トア用に専用の API を用意するのではなく、様々な側

データストアを構成するデータベースには次の 2 種面からデータを解析する需要があると考え、ジョブレコードを保存する Relational データベース、時系列情報類を用いる。
ll

ジョブレコード保存用の Relational データベーを保存する時系列データベースのそれぞれの API をそスのまま提供することを考えている。ただし、頻出する検センサーデータ、ログデータ保存用の時系列デ

索項目、例えば、特定ジョブが使用した計算ノード群にータベースおける資源利用データの取得、に関しては、その機能

ジョブレコードを格納するために Relational データを実現する API を用意する。

ベースを用いる。利用者数・利用状況に応じて、ジョブ
レコード数は年間数万〜100 万規模まで変動すると予まとめ、今後の課題想されるが、PostgreSQL や MySQL、MariaDB など

本研究では TSUBAME3.0 上での TSUBAME2.0の枯れたサーバクライアント型 DB であれば性能・機能のセンサーデータの解析、機械学習ライブラリの評価を的に十分と考えている。Relational データベースでは通じて、大規模データセンター用センサーデータ収集基

Fluentd にて送られてきたデータをレコード形式に変換

盤の基本設計を行った。今後、性能評価を含め詳細設して DB に登録する。DB 上の 1 レコードサイズを仮に計を行い、産総研 ABCI システムへの配備を行う。

4KB とすると、100 万レコードの場合には 4GB のサイ

ABCI での運用を通じて運用データを蓄積し、その解析

52

（様式 20）成果報告書
技術を確立するとともに、得られた成果は広く公開す
る。

53

54

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 MEMS 構造の光学応答解析
英文：Analysis on Optical Responses of MEMS Structures
菅 哲朗
Tetsuo Kan
電気通信大学
The University of Electro-Communications
http://www.uec.ac.jp
本研究課題は、通常はシリコン単体では検出できない赤外光を、ナノピラー構造による光の高効率な吸収と、金属・シリコン界面に形成されるショットキー障壁を用いることで、電気的に検出可能とする赤外検出デバイスの光学応答解析を目的としている。受光素子の性能向上には計算による構造探索が必要である。しかし、通常のワークステーションでは計算速度に限界があり、有効な探索が難しかった。そこで、有限要素アプリケーション
を高速な計算機上で用いることで、本課題の本格的な展開に取り組むために、TSUBAME での計算の方法の検討を進めた。
In this research, numerical analysis of optical responses of Si nano-pillar structures coated by Au
thin film was performed. Our research group is investigating on a Si based infrared photodetector
based on the nano-pillar structure, and finite element method calculation is used to analyze its
photo response. This year, we mainly focused on an investigating regarding how to construct a
calculation environment using TSUBAME.

Keywords: Si infrared photodetector, surface plasmon resonance, FEM, nano-pilllar, MEMS

ことで、本課題の本格的な展開に取り組むために、背景と目的
本研究課題は、通常はシリコン単体では検出できな

TSUBAME での計算の方法の検討を進めた。利用者

い赤外光を、ナノピラー構造による光の高効率な吸収は、光学的応答解析のソフトウェアとして、商用のアプと、金属・シリコン界面に形成されるショットキー障壁をリケーションソフトである COMSOL Multiphysics を利用いることで、電気的に検出可能とする赤外検出デバ用しており、COMSOL の TSUBAME 上での実行可

イスの光学応答解析を目的としている。学術的には、シ能性についての調査を進めた。

リコンデバイスを利用した、新たな光センシング方法の確立と位置付けることができる。具体的構造としては、

結果および考察

赤外光を波長選択的に吸収する金属ナノピラーを用い調査の結果、ライセンスサーバの設置方法の具体案がた、シリコン製の MEMS 構造である。入射した赤外光明確化した。来年度以降、ライセンスサーバのが金属表面の自由電子を励振することで表面プラズモ

TSUBAME 内のインストールを進め、本格的な計算実

ン共鳴（SPR）が発生することで、光が吸収される。ナノ行へと着手する予定である。本年度は計算実行としてピラー構造の組成・形状により SPR が発生する波長や本格的運用は未着手である。

偏光、および入射角度の条件が異なるため、受光素子の性能向上には計算による構造探索が必要である。しまとめ、今後の課題

かし、通常のワークステーションでは計算速度に限界

本年度は、計算機としての本格利用までは到達せず、
商用アプリケーションを TSUBAME 上でどのように運があり、有効な探索が難しかった。

用するかについての方針決定を進めた。来年度以降、
概要

本格的な計算に着手する予定である。

有限要素アプリケーションを高速な計算機上で用いる

55

56

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 GPGPU による長周期地震動シミュレーション
英文：Long-period ground motion simulation using GPGPU藤原広行
Hiroyuki Fujiwara
国立研究開発法人 防災科学技術研究所
National Research Institute for Earth Science and Disaster Resilience
URL: http://www.bosai.go.jp/
本課題では、南海トラフで発生する海溝型巨大地震を対象として、3 次元差分法を用いた大規模地震波伝播
シミュレーションにより長周期地震動の検討を行った。具体的には、震源パラメータの不確実性や破壊不均質性を考慮して 112 ケースの震源モデルを設定し、関東から九州までを計算対象領域とし、申請者らが TSUBAME のGPU 環境に対応させた地震動シミュレータ GMS による地震波伝播シミュレーションを実施し、それらの結果をもとに震源モデルの不確実性や不均質性を考慮した長周期地震動評価を行った。
We simulated long-period ground motion of Nankai-Trough megathrust earthquakes by the 3-D
FDM of the Ground Motion Simulator (GMS) adapted to GPU on TSUBAME. We used 112 cases ofseismic source model which have different source parameters such like hypocenter and asperity andsimulated long-period ground motion for vast area from Kanto to Kyushu. These simulation results
enable us to estimate long-period ground motions by considering uncertainties of source model onlong period ground motions.

Keywords: 長周期地震動、3 次元差分法、GMS、南海トラフ地震

背景と目的的に評価することが重要となる。そのためには計算

大地震の際に超高層ビルや石油タンクなどの長大コストの高い大規模シミュレーションを多数行う必

構造物が長周期地震動による被害を受けることが知要がある。

られている。２０１１年東北地方太平洋沖地震の際

そこで、本課題では、TSUBAME の GPU 環境を利用に、大阪平野内の超高層ビルが長周期地震動によるして、多数回の大規模地震波伝播シミュレーション被害を受けた事例は、震源から遠く離れた平野や盆にもとづいた長周期地震動のハザード評価を行う。

地においても、複雑な地下構造の影響によって増幅概要された長周期地震動が、構造物に被害を及ぼし得る

南海トラフで発生する海溝型巨大地震を対象としことを示している。３次元差分法などの数値シミュて、震源パラメータの不確実性や破壊不均質性を考

レーションにより複雑な地下構造が長周期地震動に慮して 112 ケースの震源モデルを設定し、関東から及ぼす影響を評価することが可能だが、長周期地震

九州までを計算対象領域とし、3 次元差分法を用い動の予測のためには、地下構造の情報に加え、震源た大規模地震波伝播シミュレーションにより長周期からの地震波の励起特性（震源モデル）に関する情

地震動の検討を行った。シミュレーションには申請報も必要となる。

者らが TSUBAME の GPU 環境に対応させた地震動シミ

巨大地震の震源モデルを事前に予測することが極ュレータ GMS を使用した。

めて困難なことは、2011 年東北地方太平洋沖地震や本検討で対象とした震源モデルは、地震調査研究2016 年熊本地震からも明らかであり、長周期地震動

推の予測では、さまざまな可能性を考慮して多数の震（https://www.jishin.go.jp/main/chousa/kaikou_

源モデルを設定し、各震源モデルに対する予測に加pdf/nankai_2.pdf）で例示された 15 の震源域のうち、え、予測結果がどの程度のばらつきを持つかを定量

マグニチュード８程度に相当する 5 つの震源域（図

57

進

本

部

の

長

期

評

価

（様式 20）成果報告書
1）に対応するもので、それぞれ破壊開始点やアスペ

離れた大阪平野や濃尾平野でも局所的に揺れが大き

リティの配置を変えた計 112 モデルを設定した。

い。震源域が主として東側に位置する SF010、SO010

地下構造モデルは防災科学技術研究所で作成してでは震源域に近い御前崎周辺での揺れが大きくなっいる全国の 3 次元地下構造モデルにプレート構造をているとともに、震源域から離れた地域としては、付与したものを用いた。南北 660km、東西 950km、深大阪平野、濃尾平野に加え関東平野でも揺れが大き

さ 100km までの領域を水平方向 140m、深さ報告 100m

く、特に震源域が駿河湾まで拡がる SF010 では（深さ 8km 以深ではその 3 倍の大きさ）の格子でモ100cm/s を超える領域も現れている。震源域が浅い

デル化した。格子数は約 36.8 億である。

AO100 では SF010 に近い分布を示しており、更に日

地震波伝播シミュレーションでは、地下構造モデ

本海側でも揺れの大きな地域が見られ、震源が浅い

ルを水平方向に 6×8 に分割し、それぞれの部分領域

ために長周期地震動に寄与する表面波が効果的に励に１つの GPU を割り付けて計算処理を行っている。

起されたためと考えられる。震源モデルの不確実さ

計算結果は、GMS の 1D Dump 機能を利用し、地動速を考慮した計算結果から、長周期地震動が大きい領度の 1 成分を 1 ファイルとして東西、南北、上下の域が関東平野などの平野・盆地部に概ね限定されて3 成分について出力している。1 ファイルには、陸域おり、長周期地震動評価において地下構造の影響をに約 2km 間隔で設定した約 5 万観測点の毎タイムス

適切に評価することの重要性を示している。

テップ（全部で 103200 ステップ=430 秒）の地動速度値が記録されており、1 ファイルで約 90GB である。

まとめ、今後の課題

震 源モデ ルの大き さにもよ るが、 TSUBAME3.0 のTSUBAME の GPU 環境を用いて、南海トラフの海溝

48GPU（12 ノード）を使用した実行時間は、2.1～2.5型巨大地震を対象とした 112 ケースの震源モデルに時間であり、90％以上は 2.2 時間以下であった。

対する長周期地震動シミュレーションを行い、震源モデルの違いによるばらつきを含んだ長周期地震動結果および考察評価を行った。

出力された 1D Dump ファイルに対して、フィルタ、

今後は、本研究で行った検討を他の地域で想定さダウンサンプリングのポスト処理を行い、各ケース

れている巨大地震に対して適用していくと同時に、について速度応答スペクトルの空間分布を求め、さ本課題で設定した多数の震源モデルが長周期地震動

らに、結果を統計処理し、5 つの震源域に対する平のばらつきを評価する上で十分な母集団となってい均の速度応答スペクトル（周期 3 秒、7 秒）の空間

るかについて検討することが重要な課題である。ま

分布を求めた（図 1）。

た、シミュレーションによって得られる膨大な計算

震源域が主として西側に位置している AS010、

結果から、防災、減災に有用な情報を抽出し、効果

TS010 では、震源域に近い太平洋側の紀伊半島南部

的に可視化する手法を開発することも今後の重要なや四国南部で揺れが大きくなるとともに、震源から課題である。

58

（様式 20）成果報告書
破壊開始時間（s）

震源域

震源モデル

相対速度応答（cm/s）

周期 3 秒

周期 7 秒

AO100

AS010

SF010

SO010

TS010

図１ ５つの震源域の断層面（左列）と、速度応答値（減衰 5％）の平均値空間分布（中列：周期 3 秒、
右列：周期 7 秒）
。

59

60

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

都市解像モデルへのドップラーライダー観測データ同化による局地域豪雨発生予測の精度向上
Data assimilation of Doppler lidar data into the Large Eddy Simulation aiming at the improve
convective generation forecasts in the Metropolitan area
古本 淳一
Jun-ichi Furumoto
京都大学生存圏研究所
Research Institute for Sustainable Humanosphere, Kyoto University
http://www.rish.kyoto-u.ac.jp
邦文抄録
人間活動に影響を及ぼす集中豪雨等の極端気象現象の中でも、都市部で発生する局地的豪雨は予測の社
会的需要の大きさにも関わらずその発生予測は極めて難しい。この予報精度向上には、その発生メカニズムを明らかにすることが必要不可欠である。
本研究では積雲対流活動発生メカニズムを表現できる LES (Large Eddy Simulation) を用いて東京都市域の実地形を考慮したシミュレーションを行うとともに、詳細な街区レベルの地表面データを入力するだけでなく、CDL による稠密な風況観測データを組み合わせ、局地的豪雨の発生時における大気境界層内の大気構造を
再現した。
英文抄録
This study focused on the characteristics of convective initiation by combining Coherent Doppler Lidar(CDL) and Large Eddy Simulation (LES), aiming to explicate the developing mechanism of the active
convective cell, which often causes localized heavy rainstorms. The convergence near the ground is oneof the most important triggers of the convective activity. The observed data using with CDL wereassimilated into the LES model by using the three-dimensional variational assimilation method.

Keywords: large eddy simulation, Doppler lidar, boundary layer, localized heavy rain, metropolitan
area

背景と目的

概要

本研究では積雲対流活動発生メカニズムを表現でき

人間活動に影響を及ぼす集中豪雨等の極端気象現

る LES (Large Eddy Simulation) を用いて東京都市域の象の中でも、都市部で発生する局地的豪雨は予測の社

実気象シミュレーションを実現する。詳細な街区レベル

会的需要の大きさにも関わらずその発生予測は極めての地表面データを入力するだけでなく、CDL (Coherent

難しい。この予報精度向上には、その発生メカニズムを

Doppler Lidar) による稠密な風況を同化を行うことで、明らかにすることが必要不可欠である。

極端気象の予測精度向上を目指し、気象予報モデル

本研究では積雲対流活動発生メカニズムを表現できの空間分解能を 2m まで向上させる。

る LES (Large Eddy Simulation) を用いて東京都市域のメソ気象モデルとして実用されている WRF (Weather

実地形を考慮したシミュレーションを行うとともに、詳細

Research and Forecasting)と独・ハノヴァー大学が開発な街区レベルの地表面データを入力するだけでなく、した LES モデルである PALM を用いて、空間分解能をCDL による稠密な風況観測データを組み合わせ、局地多段階で向上させ、対流発生に重要な役割を果たすと的豪雨の発生時における大気境界層内の大気構造をされる下層風収束をモデル内部で表現するため、CDL再現した。

観測で得られた風速データを LES に同化することを試みる。

結果および考察
都市域における大気境界層内の風の流れについて61

（様式 20）成果報告書
詳細に表現するため、大きな渦を陽に表現できる LES

図によると、西から積乱雲が発達しながら都市部に接近モデルである PALM Ver.4.0 [1] を使用し、東京都環境

し、CDL が設置されている日本橋周辺に近づくにつれ

科学研究所の地表面データを用いて図 1 に示す水平て発達していく様子がわかる。

分解能 2m の高解像度都市モデルを作成した。計算領
域は 2km x 2km で CDL が設置されていた東京都中央区日本橋が含まれるように設定した。

図 1: 東京都中央区日本橋付近の街区

CDL は距離分解能が 100m、角度分解能は 1 度 で観測範囲は半径 4km、地上 200m の高さの視線風速を観測した。観測結果を VAD 法を用いて解析し、解析された平均風を PALM に初期値として用いた。
本実験では CDL で観測を行っていた 2015 年の夏季において発生した局地的豪雨の事例 （2015 年 7
月 24 日）について解析を行った。

図 3:関東周辺のレーダーエコー分布図（2015 年７月 24
日 1300JST〜1400JST）
図 4 に計算開始 1 時間後における地上 200m での水平風 (矢印) と鉛直流 (上向きが正) を示す。計算
領域内の境界層内では空間スケールが数 100m スケー
ルのオーダー局所的な収束域と上昇流域が再現されており、積雲対流が接近すると局所的に対流活動が活発化しやすい環境が形成されていたことが示唆された。

図２：2015 年 7 月 24 日午前 9 時の地上天気図
図２にこの日の午前 9 時の地上天気図、図３に世田谷で 22.5mm/10min の激しい降雨があった時のレーダ
ー画像を示す。この日は停滞前線が東北地方に停滞し、関東付近は太平洋に存在する高気圧の縁辺をまわりこむ南西風場になっており、湿った空気塊が流入しやすい状況であった。図３に示すレーダーエコーの時系列

62

（様式 20）成果報告書

図 4: 地上 200m の水平風(矢印) と鉛直流(上向き正)×印は CDL 観測点を示す。

まとめ、今後の課題
モデルの分解能を 2m まで向上させ、ビルを解像することによって都市部の細かな収束発散を表すことが可能になった。境界層内の局所的な収発散が、自由対流高度より上空の大気に及ぼす影響を明らかにするには、より多くの事例について実験を行い、CDL 観測との比較検証が必要であると考えられる。

参考文献[1] Siegfried Raasch and Michael Schroter, "PALM‒ A
large-eddy simulation model performing on massively
parallel computers", Meteorologische Zeitschrift, Vol.
10, No. 5, pp,363-372, 2001.

63

64

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 第一原理計算と反応速度論による触媒活性予測技術の確立
英文：Development of combined method of first-principle method andchemical kinetics for catalyst activity prediction
利用課題責任者 石川 敦之
First name Surname
Atsushi Ishikawa

Affiliation

所属 物質・材料研究機構
National Institute of Materials Science

邦文抄録 本研究では、Ru, Os, Rh 触媒による NH3 生成反応を研究対象として第一原理計算と反応速度論を用いることにより NH3 合成の活性予測を行なった。理論計算の結果、Ru が触媒として最も優れた役割を示すことがわかり、実験と一致する結果となった。また、活性を決める要因は(1)活性化エネルギー、(2)活性サ
イトの占有率、(3)活性サイトの数 の３つが主であることが示された。
英文抄録 NH3 synthesis on Ru, Os, and Rh nanoparticle catalysts was investigated using density
functional theory calculations. For all metal species, step sites appeared at nanoparticle diameters(d) >2–4 nm. The calculated activation barriers (Ea) were small at step sites, and Ru and Os stepsites exhibited similar Ea values despite the former having a higher turnover frequency. This is
likely due to the surface coverage of vacant sites being higher on Ru. Our results show that Ea
values, surface vacant sites, and the number of step sites are important factors for NH 3 synthesis.
The Ru nanoparticles exhibited high activity due to satisfying all three factors.

Keywords: 触媒、第一原理計算、表面、化学反応、電子状態

背景と目的小さいことが予測され近年、水素社会の到来により優れた NH3 合成触媒る。 実 際 に算 出さ れが求められている。本研究では、第一原理計算をベ

た Ea は、Ru, Os, Rhースとした理論計算によって NH3 合成に適した金属に対して 0.39, 0.41,

触媒を検討した。

1.20 eV と、予測した通りの結果となった。

概要

これらの活性化エネ

本研究では、Ru, Os, Rh 触媒による NH3 生成反応

ルギーを用いて反応

図１. Ru, Os, Rh における N2解離反応の遷移状態を研究対象として第一原理計算と反応速度論を用いる

速度論解析を実行したところ、Ru がもっとも NH3 生成

ことにより NH3 合成の活性予測を行なった。第一原理

反応速度が高く、次いで Os, Rh となった。これは、Os

計算には平面波基底関数による密度汎関数法を用い、では NH2 が活性サイトの占有率が高く被毒作用を引き

プ ロ グ ラ ム ソ フ ト ウ ェ ア と し て Vienna ab initio

起こしていることが原因であった。

simulation package (VASP)を利用した。
まとめ、今後の課題
結果および考察

これらの研究成果により、活性化エネルギー同様に被図１に、第一原理計算により求められた Ru, Os, Rh

毒作用も触媒活性を左右する上で重要な因子であるこのステップ面による N2 解離反応の N2 吸着状態と遷移とが、第一原理計算と速度論解析により明らかとなった。

状態の構造を示す。Ru や Os においては吸着状態と遷

今後はさらに多くの金属系や他の触媒反応系における移状態の N2 結合長変化が Rh に比べて小さく、Ea が活性の予測に取り組む。

65

66

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 HPC を利用した自然言語処理技術の研究
英文：High Performance Computing for Natural Language Processing Technology Research
利用課題責任者
鳥澤 健太郎
所属
国立研究開発法人情報通信研究機構 ユニバーサルコミュニケーション研究所
データ駆動知能システム研究センター
http://www2.nict.go.jp/direct/
邦文抄録（300 字程度） 質問応答や対話等の高度な自然言語処理技術には、大量のテキストの意味的に深い分析が必要であるが、数十億規模の Web 文書の分析には、多数の計算機を用いた並列実行が必須である。
本課題では、各種の分析プログラム群を TSUBAME 上で多数並列実行し、大量の Web テキストを高速に処理することを目指した。その結果、大規模 Web 情報分析システム WISDOM X で必要となる分析を、1 日 1 億
Web ページ以上の速度で実行できた。また、200 億レコード(1.5TB)超のデータに対して、対話システム
WEKDA で用いられる深層学習プログラムを適用し、最大 100 以上の GPGPU を使用し、16 時間で処理できた。さらに、ニューラルネットワークの自動分割による、複数 GPU を用いた並列処理を実現し、同じく WEKDA
で用いられる深層学習プログラムの学習を約 2 倍高速化した。
英 文 抄 録 （ 100 words 程 度 ） Advanced natural language processing applications including
question-answering and dialogue systems require semantic deep analyses on a large amount of texts.
Such analyses should be distributed on many compute nodes because the semantic analyses consistof computationally heavy programs. In this project, we introduce our middleware RaSC and tuned
the configurations for TSUBAME. As the result, we processed 100 million web pages per day withanalysis programs for WISDOM X. We also processed 20 billion records in 16 hours with our deeplearning programs for WEKDA using more than 100 GPUs. We also automated automatic model
parallelism on multiple GPUs and doubled the training speed of the deep learning programs.

Keywords: 自然言語処理, 大規模情報分析, テキスト分析, モデルパラレル

背景と目的

概要

質問応答や対話等の高度な自然言語処理技術には、当機構に蓄積された Web テキストについて、大量のテキストの意味的に深い分析が必須である。例

TSUBAME 環境で各種の分析プログラムを適用した。

えば、情報通信研究機構が開発している大規模 Web

本課題では、以下に示す 3 つのケースを実施した。

情 報 分 析 シ ス テ ム WISDOM X 1 や 対 話 シ ス テ ム

ケース 1) ストリーミング処理によるプログラム連携

WEKDA2には、40 億以上の Web ページの解析結果

当機構で用いている分析プログラムは、速度や使用メが用いられている。こうしたアプリケーションのためのテ

モリ量が様々であり、複数の分析プログラムを連携させキストの分析は、計算機負荷が高く、数十億規模のるにあたって、単純に全てのプログラムを同一プロセス

Web 文書の分析には、多数の計算機を用いて並列に数だけ起動してパイプラインを構成すると、メモリ消費分析を実行することが必須である。

量等の点で非効率である。従って、当機構が開発したミ

そこで本課題では、当機構の持つ分析プログラム群

ドルウェア RaSC を用い、各分析プログラムに最適な数を TSUBAME 上で多数並列実行し、大量の Web テキのプロセスを起動してプールし、それらをストリーミング

ストを高速に処理することを目指した。

通信によって連携する構成とした。
バッチジョブの中でこの構成を実現するため、バッ

12

http://wisdom-nict.jp
https://www.nict.go.jp/press/2017/10/24-1.html

チジョブの冒頭で、分析プログラムの実行環境構築と、

67

（様式 20）成果報告書
それらのプログラムのプロセスをプールする RaSC サー

ジョブとして実行した。各ジョブ内においては、RaSC をビスの起動等を行った。RaSC を用いる場合、全体の実用いた並列実行が行われるため、資源リソースには多行を管理する中央サーバによって、分析プログラムの数のコアを持つ f_node を用いた。最大でおよそ 50 ジョ

複数の実行ノードへの配備や、プログラムの死活監視

ブが同時実行され、一日あたり 1 億 Web ページを超え等を一括して行える。しかし、TSUBAME 環境においてる分析が実現された。

は動的に計算ノードが割り当てられるため、複数のジョ

またケース 2) においては、対象となる Web テキスト

ブにまたがって持続的に中央サーバを起動しておくこと

約 1.5TB (200 億レコード) を全て TSUBAME のストが難しい。そのため、各ジョブが一つの計算ノードを用

レージにコピーした上で、学習済み深層学習モデルにいるものとし、その計算ノードに中央サーバと全ての分よる推論を行った。また、全データを 200 に分割し、そ析プログラムを設置・起動してから、分析対象データをれぞれを 1 つのジョブとして実行した。各ジョブは GPU

送信することとした。

を 1 つのみ使用するため、資源タイプには q_node を用

ケース 2) 深層学習プログラムのバッチ実行いた。その結果、最大で 100 ジョブ以上を同時稼動する

本課題では、学習済みの深層学習モデルを用いて、ことができ、およそ 20 時間で全ジョブを完了した。

Web テキストに対する推論を行うプログラムを実行した。

ケース 3)については、WEKDA で用いる深層学習プ

深層学習のためのライブラリには、実行時に GPGPU の

ログラムの学習を、2 倍以上高速化することに成功した。

ための実行コードを生成し、コンパイルを行うものがあ

同一の計算機上の GPGPU を用いるため、資源タイプ

る。コンパイルされたコードは、ディスク上の一時領域には 4 枚の GPGPU が利用可能な f_node を用いた。

に保存される。本課題で用いた深層学習プログラムで高速化効果には、GPGPU 間の通信速度が極めて大は、深層学習のためのライブラリに Theano 及び

きく影響するため、TSUBAME において GPGPU が

PyTorch を用いたが、前者はユーザのホーム領域を一NVLink で接続されていることが大きく寄与したと思わ時領域として、GPGPU 用コードの出力とコンパイルを行れる。

う。多数の計算ノードが同一のパスを参照することにな
るため、ロック開放待ちやサイズの小さいファイルが多まとめ、今後の課題

数読み書きされるため、パフォーマンスが低下する。そTSUBAME の計算機リソースが、ストリーミング処のため、コンパイル結果の配置は、ノードごとに独立し理による分析プログラム連携を行うケースや、深層学

たキャッシュ領域に書き込むように設定して実行した。

習プログラムを用いる行うケースなど、幅広い状況で大ケース 3) モデルパラレルによる並列化

量データの処理に有用であることが確認された。

上記で用いたニューラルネットワークが、並列実行可能

一方で、TSUBAME 上に配置不可能な大規模デーな分岐構造を持つことから、ニューラルネットワークをタを処理するため、データを分割してそれぞれをバッチ分割し、各部を異なる GPGPU 上で計算するモデルパラ

ジョブで処理していることから、入出力データのディスク

レルの自動化を試みた。このため、ニューラルネットワ

読み書きのコストを生じている。今後、TSUBAME 環ークを構成する各計算モジュールの計算時間をプロフ境に起動した分析プログラムに対し、ストレージを介すァイリングするとともに、最適な分割方法をスケジューリ

ることなく、直接ネットワークでの入出力データの送受

ングによって求めるようにした。

信を行うよう拡張することを検討している。
また本課題で実施したモデルパラレルの自動化は、
1 台の計算機上の GPGPU を用いることを前提としたも結果および考察
上述のケース 1)においては、対象となる全データはのであり、スケーラビリティに限界があった 。今 後、圧縮状態で数百 TB 規模となるため、本課題ではそのTSUBAME が多数の GPGPU 計算機を高速に結合し一部を対象とした上、200 万 Web ページ相当のデータていることを生かし、複数の GPGPU を用いるように拡(約 30GB) を 1 単位として TSUBAME にコピーし、1張していく予定である。

68

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 有機分子集合体の半導体特性・光応答特性の解明
英文：Elucidation of semiconducting and photo response properties of organic molecular assemblies
河東田 道夫Michio Katouda
国立研究開発法人理化学研究所 計算科学研究機構
RIKEN Advanced Institute for Computational Science
https://researchmap.jp/michio_katouda/
有機分子集合体を対象に、半導体特性特性や光応答特性の発現機構を第一原理電子状態計算や古典分
子動力学シミュレーションなどの大規模計算化学シミュレーションにより解明する。研究対象として、従来型の有機半導体や有機発光材料だけでなく、外力などの外部刺激に応答して発現および変化する動的な半導体特性やメカノクロミック発光特性を示す分子を対象に、圧力に誘起されて発現するこれらの電子機能の発現機構を解明する。さらに、仮想的な計算機実験を実施し、新奇有機分子材料の理論的分子設計、外力などの外部刺激に寄る動的な半導体特性や光応答特性の制御方法の提案も試みる。
The object of this project is to elucidate mechanisms of hole and electron transport andphotoluminescence processes in organic molecular assemblies responded to the external stimulus
such as pressure, rubbing, light, and heat. In this project, we use TSUBAME for large-scalemassively parallel electronic structure calculations of organic molecular assemblies.

Keywords: 有機半導体、有機発光材料、有機太陽電池、第一原理電子状態計算、分子動力学シミュレーショ
ン

概要

背景と目的
近年、材料作成コストの低さ、材料の軽量性と加工

本研究では、従来型の有機半導体や有機発光材料

性より、有機エレクトロニクス材料研究に関心が持たれだけでなく、外力などの外部刺激に応答して発現およている。特に、有機太陽電池、有機発行材料、有機半び変化する動的な半導体特性やメカノクロミック発光特導体は次世代エネルギー・電子デバイス材料として精性を示す分子を対象に、圧力に誘起されて発現するこ力的に研究開発が進められている。

れらの電子機能の発現機構を第一原理電子状態計算により解明するために研究計画を策定し共同利用を申これらの有機エレクトロニクス材料は、光や電場を加えた際の励起子の生成、励起子の電荷分離、ホール・請した。

電子移動が材料の性能に大きく影響するが、マクロな申請が採択された後、実験担当の共同研究者と相談

材料中の高速かつ微視的な物理的機構を伴うため、物し、TSUBAME を用いた計算を行うための結晶構造モ

理化学的測定による材料の動作機構の理解は難しく、デルを作成し、第一原理電子状態計算プログラム

詳細な物理的動作機構は未解明な材料も多い。そのQuantum Espresso を用いた計算を行うための入力フ

ため、計算物理、計算化学を活用し、材料の物理的動

ァイルを作成し、計算の実施準備を行った。

作メカニズム解明や材料設計・探索を微視的・直接的
結果および考察に検討する研究アプローチが強く求められている。
本研究課題では、有機分子集合体を対象に、半導体本務との兼合いで課題を実施する時間が確保できず特性特性や光応答特性の発現機構を第一原理電子状システムを全く利用しなかったため、利用成果はない。

態計算や古典分子動力学シミュレーションなどの大規
まとめ、今後の課題

模計算化学シミュレーションにより解明することが目的

今後、本課題を実施する研究時間が確保できた際に

である。

69

は、TSUBAME 共同利用を申請し、本課題を実施した
い。

70

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 深層学習によるゲノム上の遺伝子発現制御情報抽出
英文：Extracting regulatory code on genome by deep learning
木立 尚孝
Hisanori Kiryu
東京大学 新領域創成科学研究科 メディカル情報生命専攻
Dept. of Computational Biology and Medical Sciences, GSFS, Univ. of Tokyo
https://sites.google.com/edu.k.u-tokyo.ac.jp/kiryulab
邦文抄録（300 字程度）
細胞中の遺伝子の発現量は主にシスエレメントと呼ばれるゲノム上の DNA 配列によって制御されている。
本研究では、 ゲノム中のシスエレメントを精度よく検出するために、遺伝子周辺のシスエレメントを含むと予想される DNA 配列を入力としその遺伝子の発現パターンを出力とする畳み込みニューラルネットワーク(CNN)モ
デルを作成した。本手法を線虫（C. elegans）の遺伝子発現量データ（single cell RNA-seq）に対して適用した
ところ、CNN のパラメタの一部である畳み込みフィルタに転写因子の結合モチーフを含む、シスエレメントと予想される配列特徴が学習された。
英文抄録（100 words 程度）
Gene expression in a cell is controlled mainly by DNA sequences on genome called cis-regulatory
elements. In this study, we developed a convolutional neural network (CNN) model to predict anexpression pattern of a gene from DNA sequence around the gene, which may harbor cis-regulatory
elements. We have applied our model to a gene expression data (single cell RNA-seq) of worm (C.
elegans). The CNN model learned sequence features including transcriptional factor binding motifs,
which may be cis-regulatory elements.

Keywords: deep learning, convolutional neural network, single cell RNA-seq, cis-regulatory
elements, worm

背景と目的

概要

細胞中の遺伝子の発現量は、主にシスエレメントと線虫(C. elegans)の遺伝子の転写開始点周辺の呼ばれるゲノム上の DNA 配列によって制御されていDNA 配列を入力とし、その遺伝子の発現パターン

る。このシスエレメントを遺伝子の発現量データを用い（single cell RNA-seq データより作成）を出力とするて検出する試みがなされてきた。また、近年、画像認識

CNN モデルを作成した。線虫の遺伝子のうち、等の分野で成果を上げた畳み込みニューラルネットワ

11865 遺伝子を訓練データ、2966 遺伝子をテストデーク（CNN）が生物の配列解析にも用いられるようになータとし、訓練データに対し予測誤差を最小化するよってきた。CNN は予測を行う上で有用な特徴を入力のうに学習を行った 。学習後のモデルの畳み込み層

中から自動的に抽出するという特徴を持っている。

において認識されている配列特徴を計算した。

本研究では、ゲノム中のシスエレメントを精度よく検出するために、遺伝子周辺の DNA 配列を入力とし、そ結果および考察の遺伝子がどの細胞で発現するかという発現パターン

上記のデータを用いて学習を行い、テストデータにを出力とする CNN モデルを作成した。発現パターンを対する予測精度を評価した結果、CNN モデルが入予測するように学習を行った CNN モデルは、入力の力配列から発現パターン予測に有用な特徴を抽出しDNA 配列中からシスエレメントを含む発現パターンのていることが示唆された。学習後のモデルの畳み込予測に有用な特徴を抽出していると期待出来る。

み層において認識されている配列特徴を計算したところ、一部が既知の転写因子結合モチーフなどのシ71

（様式 20）成果報告書
スエレメントと一致した（図 1）。

図 1. 転写因子 ceh-28 の既知結合モチーフ（上段）とCNN モデル中の畳み込みフィルタに学習されたモチーフ（下段）。

まとめ、今後の課題
遺伝子周辺 DNA 配列から遺伝子発現パターンを予測する CNN モデルを作成した。このモデルは発現パターン予測に有用な配列特徴の一部を抽出したことが確認された。今後の課題としては、この CNN モデルを用いた新規シスエレメントの発見等が挙げられる。

72

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 ナノ構造界面における熱輸送特性の分子シミュレーション
英文： Thermal transport properties at nanostructured interfaces
利用課題責任者
塩見淳一郎
Junichiro Shiomi
所属 東京大学 工学系研究科 機械工学専攻
Affiliation: Department of Mechanical Engineering, The University of Tokyo
URL: http://www.phonon.t.u-tokyo.ac.jp
近年ナノ加工技術の発達により，ナノスケールにおける熱・電子輸送特性制御が可能になりつつある．一方，ナノ構
造は複数の特性に影響するため，それぞれの特性を独立に制御することが困難である．例えば，熱電変換を目的とした加工ではナノ構造が熱・電子両方の特性を抑制してしまい，熱伝導率抑制の効果が限定的になってしまう場合が多い．そこで本研究では，グリーン関数法を用いた熱・電子輸送特性解析とベイズ最適化を組み合わせることで，熱電変換特性向上を目的としてグラフェンナノリボンの最適ナノ構造を探索した．その結果，構造最適化により熱伝導特性抑制と電子輸送特性向上を両立させ，熱電変換特性を大きく向上させることが可能であることが明らかになった．
Recent development of nanotechnology enables to tune thermal and electronic properties at nanoscale.
Because nanostructures affect different properties, independent tuning of these transport properties isdifficult. For instance, nanostructures for thermoelectric applications suppress both of heat andelectron transport. Here, we perform optimization of nanostructures of thermoelectric graphene
nanoribbons by combining phonon and electron transport simulations with a Green’s function method
and a Bayesian optimization. We found that the multifunctional structural optimization can
independently tune phonon and electron transport properties and considerably acceleratenanostructure design for thermoelectric properties.

Keywords: Nanostructure, thermoelectric property, Green’s function method, Bayesian optimization

背景と目的

概要

材料開発ではしばしば複数の材料特性間のジレンマ

近年のナノ技術の発達により，ナノスケールにおけるに直面する．例えば，熱電変換では高い電気伝導率，

熱・電子輸送特性制御が可能になりつつある．そこで，高いゼーベック係数，低い熱伝導率が必要になるが，本研究では，従来の熱・電子輸送特性解析技術（材料

一般にはそれらは材料構造に対して相反する傾向を示科学）と情報科学を組み合わせたマテリアルズ・インフ

す．ナノ構造技術はこれらの特性をある程度独立に制ォマティクス（MI）を駆使することで，種々の目的にかな御することを可能にするが，最適構造の決定は自由度った最適なナノ構造を提案する．特に，熱電変換材料とが大きく困難である．本プロジェクトでは，熱電材料としして注目されているナノ構造体（ナノ粒子の焼結材やナてグラフェンナノリボン（GNR）を例に，複数（フォノンとノ粒子を母材に埋め込んだ構造体）を対象とし，第一原電子）の輸送特性解析とベイズ最適化による構造最適理解析やグリーン関数法を用いた材料特性解析とベイ化を交互に行うことにより，熱・電子輸送特性の独立制

ズ最適化を組み合わせることで，最適なナノ構造を効

御を可能にした．その結果，ランダム探索と比較して約率よく探索し，設計指針を確立する．

5 倍の速さで構造最適化が可能になり，熱電変換効率

結果および考察を 10 倍以上向上することに成功した．また，この手法

まず，ベイズ最適化の効率を評価するために，ベイは熱・電子輸送特性のみでなく，機械，化学特性等，

ズ探索とランダム探索それぞれにおいて全ての構造の様々な物性の最適化に利用することが可能である．

内上位 k%に含まれる構造を見つけるまでに必要な試73

（様式 20）成果報告書
行回数を比較することでベイズ最適化の効果を評価し本プロジェクトの成果は参考文献[1]にまとめられていた．この評価では全ての候補構造が解析可能なよう，る．

図 1 挿図のように，幅方向に炭素原子鎖が m 列（m =6-10）並んだ zigzag 型 GNR（m-ZGNR）の比較的小さなユニットセルの周期構造を用い構造最適化を行い，完全な六員環の有無により各サイトを “0”, “1” でラベ
ル付けしベイズ探索の descriptor とした．
その結果図 1 に示すように，全ての場合においてベイズ最適化により構造最適化が加速された．また，探索構造が限定される程（k が小さい程）ベイズ探索の効率が向上していることから，探索構造が多い場合などのより厳しい条件において，ベイズ最適化によりより効率良く構造最適化が可能であることが期待できる．なお，

m = 6 の場合に特異点が生じているのは，構造の変化

図 1. ベイズ最適化の効果．NBayes/rand はベイズ/ラに対して熱電特性が不連続に変化しているためである

ンダム探索において，全ての候補構造の内上位 k%と考えられる．

に含まれる構造を見つけるのに必要な試行回数．

さらに，より現実的な系として m-ZGNR (m = 6-10)[1]の長さ 30 nm の領域に直径 2.9 Å のポーラスを作製す
る こ と で 熱 ・ 電 子 輸 送 特 性 を 制 御 し た ． 図 2A に
7-ZGNR のナノ構造領域に周期的にポーラスを導入した構造と非周期にポーラスが導入された最適構造を示した．図 2B に示すように，ポーラスを導入していない構造と比較して，無次元熱電特性は約 5 倍，11 倍となった．さらに，パワーファクター，熱抵抗ともに構造最適化
により向上していることが分かる．
詳細なフォノン・電子輸送特性の解析を行った所，フォノンに関してはポーラスの導入による界面散乱，ポーラス間における干渉効果，さらに非周期性によるフォノ
ンモードのミスマッチの効果が構造最適化により最大限に利用されていると考えられる．また電子に関しては，

図 2． GNR 熱電材料のナノ構造最適化．A. 規則

非周期性によりエッジ構造以外の状態の透過が抑制さ的なポーラス構造（上）とランダムにポーラスを作製れることで，エッジ状態を利用することで熱電変換効率

した最適構造（下）．B. ポーラスのない構造（黒），が向上していることが明らかになった．

周期的なポーラス構造（青），最適化された非周期なまとめ、今後の課題

ポーラス構造（赤）の熱電変換特性．無次元性能指数（ZT），パワーファクター（P），熱抵抗（Rth）．[1]以上のようにベイズ最適化により，複数の材料特性を独立に制御することが可能であることが明らかになった．一方で，本研究ではモデルのサイズや手法におい

参考文献て現実を完全には再現できていない部分もあるため，[1] M. Yamawaki, M. Ohnishi, S. Ju, and J.

今後，計算速度と現実的な計算のバランスをとりつつ，

Shiomi, Sci. Adv.4 , eaar4192 (2018).

より現実的な系の計算を進めていく予定である．なお，

74

（様式 20）成果報告書

TSUBAME 共同利用 平成 30 年度 学術利用 成果報告書

利用課題名 深層学習処理基盤を用いた大規模環境計測データの解析と応用
英文：Developing Large-Scale DNN for Real-World Data
利用課題責任者 李 時旭First name Surname Shi-wook Lee
所属 産業技術総合研究所
Affiliation National Institute of Advanced Industrial Science and Technology
URL http://www.aist.go.jp/
邦文抄録（300 字程度）
マルチメディア情報の時系列処理に適した統合的な回帰ニューラルネットワークの高性能化を研究目的とする。現存の技術では、画像・音声・テキストなどの情報を個別に処理するシステムや深層学習の研究開発が進められてきた。本研究課題では、異種性の高い画像・音声・テキストの情報を総合的に処理可能な深層学習の開発やシステム統合手法を研究する点に学術的な意義がある。研究では、大規模な実データに対する実証実験を通してその有効性を確認する。また、深層学習に対する実験的・数理的な解釈を伴い、マルチメディア情報処理の基盤技術の研究も並行する。
英文抄録（100 words 程度）
We aim to achieve high performance by recurrent neural network, which is suitable for time series ofmultimedia information, speech and video. Research and development of deep neural network-based
systems have been significantly advanced in the last five years. In this research project, we develop anovel system combination method which manages heterogeneous image, speech and text information.

Keywords: multimedia data, time series, system combination, recurrent neural network

背景と目的った。また、深層学習に対する実験的・数理的な解釈を

本プロジェクトでは、社会に埋め込まれる様々な高精伴い、マルチメディア情報処理の基盤技術の研究も並度センサから得られる、映像、音響、音声を含むマルチ行した。

モーダルデータの処理を深層回路網によって行った。
まとめ、今後の課題
概要

大規模マルチメディアデータベースの特徴抽出や深層社会に埋め込まれる様々な高精度センサから得られる、学習を実施した。 二か月の短期間であるため、まだ顕

映像、音響、音声を含むマルチモーダルデータを統合

著な成果は得られなかったが、設定などの工夫を含め的に処理できる深層学習処理基盤の構築を行う。ドライ

た進捗からこれからの成果を期待する。

ブレコーダや監視カメラ等から所得される映像、音響、
音声のデータの収集及び整備、大規模スーパーコンピ
ュータを用いた個別データにおける深層学習処理の高性能化を進める。映像、音響、音声等の異種マルチモ
ーダルデータを統合的に処理できる深層学習処理基盤の構築を行い、評価実験に向けて実フィールド、実データの整備を進める。

結果および考察研究では、大規模な実データに対する実証実験を行

75

76

（様式 20）成果報告書

TSUBAME 共同利用 平成 29 年度 学術利用 成果報告書

利用課題名 大規模分散深層学習の性能調査
英文：Performance Studies for Large-scale Distributed Deep Learning
利用課題責任者 松岡 聡
First name Surname Satoshi Matsuoka
所属 産業技術総合研究所 RWBC-OIL
Affiliation National Institute of Advanced Industrial Science and Technology, RWBC-OIL
URL https://unit.aist.go.jp/rwbc-oil/
邦文抄録（300 字程度） 将来のスーパーコンピュータでの最重要カーネルである分散深層学習を対象に，大規模環境下での性能評価を ImageNet1k のデータセットに対して行った．実行の結果，ネットワーク通信など性
能上のボトルネックなどが明らかになった．
英文抄録（100 words 程度） We conducted performance studies for distributed deep learning to
ImageNet1K datasets. The results basically show good scalability on TSUBAME3, however, weobserve performance degradation derived from network interconnects.

Keywords: HPC, AI, Big Data, Deep Learning

背景と目的

分散深層学習を用いて性能を計測した．学習の際のア

将来のスーパーコンピュータでの最重要カーネルで

ル ゴ リ ズ ム は ， Goyal et al. 「 Accurate, Large

ある分散深層学習を対象に，大規模環境下での学習

Minibatch SGD: Training ImageNet in 1 Hour」の際のアルゴリズムやハイパーパラメータの設定の精(https://arxiv.org/abs/1706.02677)と同等のものを用度への影響の調査，ネットワーク通信やストレージ I/O

いた．

などシステムに対するバンド幅や遅延などの性能要求結果および考察の調査を行うことで，将来の AI/ビッグデータ処理に特実行の結果，TSUBAME3.0 の 64 ノード，256GPU

化したクラウド上での実社会ビッグデータを活用するアを用いることで，100 epoch の学習に 21152 秒 (5.87

プリケーションの実行やシステムソフトウェアの要素技時間)を要し，OmniPath を用いた際の通信の最適化

術の要求要件・設計情報となることを目指す．

が必要であることを確認した．

概要
現在広く行われている ImageNet 1K(1000 カテゴ
リ ・ 100 万 枚 の 画 像 ) の 学 習 に お い て ， こ れ ま で ，NVIDIA Tesla K20 GPU で 21 日程度かかる処理が並列化を含むアルゴリズムの改善や実装技術の向上
により，NVIDIA Tesla P100GPU を 1024 台用いることで 15 分程度に大幅に削減できることが知られている．
しかし，分散深層学習を幅広く汎用的に応用し高速化するためには，様々な学習シナリオでのアルゴリズム
やハイパーパラメータの評価，システムに対する性能

まとめ、今後の課題

要求の明確化が必須となる．そこで，我々は，今後の課題としては，他のシステムでの性能評価

ImageNet 1K のデータセットに対して ChainerMN でなどが挙げられる．

77

東京工業大学 TSUBAME 共同利用
平成 29 年度利用終了課題 利用成果報告書

発行 ： 令和元年 6 月
国立大学法人 東京工業大学 学術国際情報センター 共同利用推進室
住所 ： 〒152-8550 東京都目黒区大岡山 2-12-1 E2-6
E-mail : kyoyo@gsic.titech.ac.jp
URL : https://www.gsic.titech.ac.jp/tsubame
本書に記載の記事・写真等の二次利用を禁じます。これらの情報は著作権法上認められた「私的利用」または「引用」の条件をみたした場合を除いて、著作権者に無断で転載、複製、
放送、公衆送信、翻訳、販売、賃与等の利用を禁じます。