第４回 スーパーコンピュータ「不老」ユーザ会 2023年9月6日

クライオ電⼦顕微鏡法によるタンパク質構造決定におけるスーパーコンピュータ不⽼の活⽤検討
名古屋大学細胞生理学研究センター
田中 康太郎2022年度 名古屋大学HPC計算科学連携研究プロジェクト
JHPCN萌芽型共同研究課題

1

タンパク質の構造決定
タンパク質の化学構造、立体構造と機能発現側鎖(20種類)

ペプチド結合遺伝子で決められた長さ・配列で重合
R1H Ri-R+
H3 N Cα C O
H O

折れたたみ
H RN+
H3 N Cα C N Cα C N Cα COO
H O
H O
H(L)アミノ酸

機能発現

N-2

タンパク質

立体構造

立体構造決定の目的• タンパク質の機能発現の機構の解明• 変異タンパク質の構造解析 → 病理の解明• 薬剤との複合体構造の解析 → 薬理の解明• 標的タンパク質の構造決定 & 薬剤の設計 = 構造指南創薬
2

タンパク質の構造を調べる方法
計算による推論• 機械学習、バイオインフォマティクス (例：AlphaFold) 正確さの問題• 計算物理学 (例：MD計算)
 計算量の問題

実験による構造決定• X線結晶構造解析• 核磁気共鳴法(NMR)• クライオ電子顕微鏡法(Cryo-EM)
12000

構造決定数

10000

X線

8000
6000

電顕

4000
2000
02000

NMR
2005

X線

2010
NMR

2015
電顕

2020

ここ数年で基盤技術に成長

3

クライオ電子顕微鏡法
含水試料を凍結固定

クライオ電子顕微鏡
試料を液体窒素冷却できるTEM

試料の拡大投影像 (2D)

CRYO ARM (日本電子)

Krios (Thermo Fisher Scientific)

日立ハイテク「構造細胞生物学のための電子顕微鏡技術」

画像解析による立体構造計算•

タンパク質試料を撮影して構造解析する手法を特に単粒子解析と呼ぶ

4

単粒子解析の基本解析フロー例
入力データ
数千 movies (数百GB ~ 数TB)
~4k x 4k画素, 数十フレーム/movie

2Dクラス分類
数十分～数時間
Alignment有の教師無しクラス分類

試料ドリフト・変形の補正数秒～数十秒/movie
補正の上で平均化した画像を出力

クラス選別
クラス平均像が良いものを目視で選抜

像ボケ推定
数秒/image
粒子検出
数秒/image

クラス平均像

ab initio 3D構造再構成
数十分～数時間
3Dリファインメント(精密化)
数十分～数時間
3Dクラス分類
数十分～数時間

粒子切り出し数秒/image
粒子画像セット
数十万～数百万 particles
数百 x 数百画素 /particle
数十 x 数十画素にダウンサンプリング

クラス選別
細部まで見えているもの、構造が異なるものを目視で選抜
3Dリファインメント
数十分～数時間高解像度で粒子再切り出し• 試行錯誤が必要で、アドホックなワークフロー• 速ければ全体で数日程度の作業

5単粒子解析のソフトウェア
RELION••

単粒子解析による構造決定で使用されたソフトウェアの内訳

••

2500
2000

•

1500

単粒子解析普及の立役者
英MRC-LMB Sjors
Scheresらが開発主体
C++/CUDA
フリーソフトウェア(GPLv2)
Cryo-ET計算にも対応

1000

RELIONCRYOSPARCCISTEM

FREALIGN

EMAN2

XMIPP

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

0

2012

500

SPHIRE•RELIONとcryoSPARCがデファクトスタンダード

cryoSPARC
•
•
••
•
•

Structura Biotechnology
社が開発
クローズドソース
ライセンス制• 商用利用は有償
一部アルゴで特許取得
ウェブアプリとして実装されたUIが優れている
処理が高速
6

単粒子解析における不老の活用検討
所属研究グループの計算環境• 主力 GPUワークステーション 3 台• 単粒子解析向けとしてはミドルレンジ～ハイエンドに相当• スペックは十分だが、リソース不足を感じる場合があった

GPUワークステーション
Real Computing inc.
水冷GPUサーバー nami4Ⅱ• AMD EPYC 7502P 32core• 256 GB RAM• GeForce RTX3090 (24 GB) x 2~4• 1 TB NVMe, 10 TB HDD• 計算プロジェクトが立て込んでいるとき• パラメータを振ってチューニングしたいとき• かといって高額なGPUワークステーションを増設する程でもない
 不老で単粒子解析の環境を準備し、追加リソースとして利用したい
不老の活用検討• RELION・cryoSPARCの環境構築• 構造解析を実行• 性能、使い勝手、コストの評価• 課題抽出TypeⅡサブシステム

クラウドシステム

7

RELIONの環境構築@不老
ビルド

不老向け設定• 手順は公式ドキュメントに倣った• モジュールファイル作成• https://relion.readthedocs.io/en/release- • ジョブスクリプトテンプレート作成
4.0/Installation.html#!/bin/sh• GPUジョブ実行用• GCC 11.3.0• CUDA 11.8.0• OpenMPI 4.1.5• CPUジョブ実行用#PJM -L rscgrp=XXXqueueXXX#PJM -L node=XXXnodesXXX#PJM -L elapse=XXXextra1XXX#PJM --mpi proc=XXXmpinodesXXX#PJM -o XXXoutfileXXX#PJM -e XXXerrfileXXX#PJM -S
module load relion/build-4-db5f63-cpu-double-oldintel
mpirun -machinefile $PJM_O_NODEINF -np XXXmpinodesXXX XXXcommandXXX• Intel CPU用に最適化されたコードパスがあるので、GPU用と別途ビルドした• X forwardingでGUIをローカルへ飛ばす• Intelコンパイラ(2020.4.304)• パラメータ指定してジョブ投下• 脆弱性があるため新しいoneAPIで要再ビルド• CPU専用ノードのクラウドシステムはローカルSSDが無いため、ローカルSSDをスクラッチディレクトリとして使う場
合はGPUノード(TypeⅡサブシステム)で実行
8

cryoSPARCの環境構築@不老• 公式手順のうちcluster configurationを参考に構築• https://guide.cryosparc.com/setup-configuration-and-management/how-to-download-install-and-configure••

ラウンドロビンでたまたま割り当てられたログインノードで構築・稼働
10個の連番TCPポートが必要なので、デフォルトの39000~39010 を確保••

cx-share, cx-single用のコンフィグおよびジョブスクリプトテンプ
レート作成

マスタープロセス稼働中のログイン
ノードのTCP 39000に対しsshポートフォワードで接続

9計算結果の確認・利用方法• 結果の可視化・原子モデル構築など、3D可視化が適時必要
ローカルPCのWindowsにインストールしてある可視化ソフトを利用• WinFSP/SSHFS-Winを利用したファイルブラウズが便利だった
学内回線であればストレス無く実行できた
Windowsのエクスプローラーで不老のストレージが見れる

Windowsに入れてあるソフトで3D可視化

10

cryoSPARCベンチマーク• cryoSPARC標準搭載のベンチマーク取得機能を利用• ラボ所有の計算機とTypeⅡサブシステム(cx-single)で比較• cryoSPARCのほどんどのジョブはGPU 1基での計算のため、GPU 1基のみで計測

ベンチマークデータ処理時間 [秒]
ラボ計算機

cx-single

3500

研究室計算機CPUAMD EPYC 7502P
32core 2.5GHz

Intel Xeon Gold 6230
40core 2.1GHz

3000

cx-single

RAM

256 GB

384 GBGPU

RTX3090 (24 GB)

V100 (32 GB)

ストレージ

内蔵HDD 10 TB

ホットストレージ

1000

スクラッチ

NVMe 1 TB

NVMe 6 TB

500

2500
2000
15000• 単粒子解析WSとしてミドルレンジ～ハイエンドのラボ所有計算機と同等の性能であると確認できた

EMPIAR-10025
T20sプロテアソーム

EMPIAR-10305
タバコモザイクウイルス11

実践計算① アポフェリチン (EMPIAR-10248)
解析フロー• RELIONとcryoSPARCを併用しての高分解能構造解析のテストとして実施• 972 movies → 105,039 particle images• 計算時間 60 時間• cryoSPARC 41 時間• RELION 19 時間• 分解能 1.55 Å• データセット公開者らの解析では 1.54 Å• 計算コスト 2,400 円
• 安い！

12

実践計算② カンナビノイド受容体 (EMPIAR-10671)
解析フロー• Structura社がAWSでの構造解析ベンチマークとして利用した中規模データセッ
ト (2021年)• 2,756 movies → 488,490 particle images• AWS ParallelCluster (2021年 Structura社)• 計算時間 4.29 時間• 分解能 > 3 Å• 計算コスト $47.12 (US)

• 不老cx-single/cx-share• 計算時間 19 時間• 分解能 2.90 Å• 計算コスト 1,125 円• 大変コストパフォーマンスが良い13まとめ・課題点
成果• 単粒子解析ソフトのデファクトスタンダードであるRELIONとcryoSPARCを不老向けに環境構築• 一通りの構造決定計算を遂行できることを確認• コストパフォーマンスに大変優れることが確認
課題点 – cryoSPARCの運用• ログインノードで一定のリソース専有・負荷がかかる• 複数の常駐プロセスの連続稼働が必要• 10個連番のTCPポート確保 (複数ユーザーが使い始めたときに最初に問題になる）• CPU・RAM消費は基本的に小さいが、CPU 数コア100% 消費が続く場合もある• 機密性• ウェブUIは別ユーザーでもアクセスできてしまう• ウェブUIとの通信、cryoSPARC内のプロセス間通信は暗号化されない

マスターノード最小要件

ログインノードの仮想化システムや、cryoSPARC用の専用ログインノードがあればよい？
14

将来展望
• RELIONを主軸とした計算のプラットフォームとしては即利用可能• cryoSPARCの課題点を解決できれば、多くの単粒子解析ユーザーにとって魅力的な計算プラットフォームとなる• 今後の検討事項• 大量の並行計算が可能なことを利用した新しい計算ワークフローの研究開発• メタヒューリスティクスによる自動パラメータチューニングなど• ニューラルネットワークを利用した単粒子解析計算での活用• Cryo-ET計算での活用• 名古屋大学に自動撮影型のクライオ電顕が導入されたらば、こんなことも？
• 不老と直結してon-the-flyでの前処理を実行• そのまま不老で構造解析を完結• 今後とも活用させていただきます。
以上

15